Multimodaalinen tekoäly: ääni- ja kuvakäyttöliittymät
Kerromme, miten ääntä, kuvaa ja tekstiä yhdessä ymmärtävät mallit muuttavat verkkosivujen ja sovellusten käyttöliittymiä, sekä käyttöalueista, suunnitteluperiaatteista ja rajoista.
Aurora YazılımToimitustiimi
6 min lukuaika
Multimodaalinen tekoäly (multimodal AI) tarkoittaa tekoälymalleja, jotka ymmärtävät samanaikaisesti eri tietotyyppejä, kuten tekstiä, kuvaa, ääntä ja videota, ja osaavat yhdistää niitä toisiinsa. Se voi kuvailla valokuvan, vastata puhuttuun kysymykseen tai lukea ja tulkita näytöllä olevan taulukon. Tämä kyky yleistää muita käyttöliittymiä kuin näppäimistö ja hiiri.
Mitä multimodaalinen tekoäly on?
Ensimmäisen sukupolven keskusteluavustajat toimivat vain tekstillä: kysyit kirjoittamalla ja sait vastauksen kirjoitettuna. Multimodaalinen tekoäly sen sijaan tarjoaa ihmiselle lähemmän havaintokyvyn. Voit näyttää valokuvan ja kysyä »mikä tätä kasvia vaivaa?», ladata laskun kuvan ja pyytää kohdat taulukkoon tai keskustella puheella kuin puhuisit puhelimeen.
Sana »moodi» tarkoittaa tässä tietotyyppiä: teksti on yksi moodi, kuva toinen ja ääni kolmas. Multimodaalinen malli ei vain käsittele näitä tyyppejä erikseen vaan luo niiden välille merkityssiteen. Se voi yhdistää videon puheen ruudulla näkyvään kaavioon ja tulkita ne yhdessä.
Suurten avustajien, kuten Geminin, ChatGPT:n ja Clauden, nykyversioilla on multimodaalisia kykyjä eri mitassa. Se, kuinka hyvin mikäkin moodi on tuettu, vaihtelee mallista toiseen; siksi työkäytössä on tärkeää testata omilla esimerkeillä.
Miten se toimii?
Multimodaaliset mallit toimivat muuntamalla eri tietotyypit yhteiseen esitystilaan. Kuva jaetaan pieniin osiin ja jokainen osa muunnetaan numeeriseksi esitykseksi; ääntä käsitellään samaan tapaan. Nämä esitykset arvioidaan samassa mallissa yhdessä tekstitokenien kanssa.
Näin malli oppii, että ilmaus »punainen auto» ja punaisen auton valokuva vastaavat samaa käsitettä. Koulutuksessa käytetään miljoonia kuva-kuvaus-, ääni-teksti- ja video-tekstitys-pareja.
Joissakin järjestelmissä ääni muunnetaan ensin tekstiksi, malli käsittelee tekstin ja vastaus muunnetaan takaisin ääneksi. Uudemmissa lähestymistavoissa malli käsittelee äänen suoraan; tämä vähentää viivettä ja säilyttää yksityiskohdat, kuten äänensävyn ja painotuksen.
Puheavustaja ja puhehaku
Puhehaku ei ole uusi asia, mutta multimodaalisten mallien myötä sen laatu muuttuu. Vanhat puheavustajat tunnistivat tiettyjä komentokaavoja; nykyiset mallit ymmärtävät vapaata puhetta, väliin tulevia korjauksia ja kontekstia. Luonteva lause, kuten »pöytä kahdelle huomisillaksi, merenmaisemalla… itse asiassa meitä onkin kolme», voidaan nyt käsitellä.
Puheella toimivaa avustajakäyttöliittymää suunniteltaessa pätevät eri säännöt kuin näytön suunnittelussa. Käyttäjä ei välttämättä katso näyttöä; siksi vastausten on oltava lyhyitä, selkeitä ja keskittyä yhteen seuraavaan askeleeseen.
- Pidä vastaukset lyhyinä; tiivistä pitkät luettelot ja lähetä ne näytölle sen sijaan, että lukisit ne ääneen.
- Anna käyttäjän keskeyttää milloin tahansa.
- Pyydä puheella vahvistus ennen tärkeitä toimia: »Varaan pöydän kolmelle kello 20.00, vahvistatko?»
- Kirjoitettu vaihtoehto on aina oltava saatavilla meluisia ympäristöjä ja aksentteja varten.
Kuvaa ymmärtävät käyttöliittymät
Kamera on nyt näppäimistön rinnalla syöttöväline. Käyttäjät ottavat kuvan ja kysyvät sen sijaan, että kuvailisivat pitkästi. Tämä avaa uusia käyttöliittymämahdollisuuksia monilla aloilla.
Visuaalinen haku verkkokaupassa
Asiakas lataa kuvan tuotteesta, josta pitää, ja sivusto listaa samankaltaiset tuotteet. Mitä järjestelmällisemmät ja tarkemmat tuotekuvat ja -kuvaukset ovat, sitä osuvampia tulokset ovat.
Asiakirjojen ja lomakkeiden lukeminen
Laskut, muut lomakkeet kuin henkilöllisyysasiakirjat, käsinkirjoitetut muistiinpanot tai kuvakaappaukset voidaan lukea valokuvasta ja muuntaa jäsennellyksi dataksi. Henkilötietoja sisältävissä asiakirjoissa on ehdottomasti tarkistettava, minne data lähetetään ja missä sitä säilytetään.
Ravintola ja matkailu
Vieras voi ottaa kuvan vieraskielisestä ruokalistasta ja pyytää selityksen omalla kielellään. Digitaalisesti ruokalistansa esittävät yritykset voivat vastata tähän tarpeeseen suoraan; monikielinen QR-ruokalista säästää vierasta kuvaamasta ja etsimästä käännöstä.
Vaikutus verkkosuunnitteluun
Multimodaalinen tekoäly tekee tärkeäksi sen, että verkkosivut ovat ymmärrettäviä paitsi ihmisille myös niitä lukeville tekoälyjärjestelmille. Avustajat tulkitsevat sivua paitsi tekstin myös kuvien ja rakenteen perusteella.
Siksi tutut saavutettavuusperiaatteet nousevat uudelleen esiin. Merkitykselliset kuvaukset, oikea otsikkohierarkia, kuvaavat linkkitekstit ja kuvien sisään upotettujen tärkeiden tekstien esittäminen myös sivulla tekstinä tekevät eron sekä vammaisille käyttäjille että tekoälyjärjestelmille. Myös WCAG:n tavallisen tekstin suositus, 4,5:1 kontrastisuhde, ja vastaavat säännöt turvaavat luettavuuden.
Hakupuolella sisällön on oltava selkeää ja jäsenneltyä, jotta tekoälytiivistelmät mainitsevat sen lähteenä. Käsittelimme tätä aihetta artikkelissa miten AI Overviews muuttaa SEO:ta; mittaaminen ja parantaminen kuuluvat SEO ja analytiikka -työlle.
Suunnitteluperiaatteet
Multimodaalisten käyttöliittymien suunnittelu on vähemmän näyttöjen kaunistamista kuin eri syöttötapojen yhdistämistä johdonmukaiseksi kokemukseksi. Käyttäjän pitää voida aloittaa työ puheella ja päättää se näytöllä sekä saada kirjoitettu vastaus valokuvalla esittämäänsä kysymykseen. Tämän kokonaisuuden oikea rakentaminen vaatii kattavan UI/UX-suunnittelun prosessin.
- Moodin valinta käyttäjällä: puheen, tekstin ja kameran välillä pitää voida vaihtaa milloin tahansa.
- Tilan näkyvyys: on näytettävä selvästi, kun järjestelmä kuuntelee, ajattelee tai käsittelee.
- Lupa ja yksityisyys: mikrofonin ja kameran lupa tulee pyytää vain tarvittaessa ja syy selittäen.
- Virhesietoisuus: väärin ymmärretty puhekomento pitää voida korjata helposti.
- Mobiili edellä: kameraa ja mikrofonia käytetään eniten puhelimella; mobiiliystävällinen suunnittelu on näiden käyttöliittymien perusta.
Laitteella toimivat multimodaaliset mallit
Äänen ja kuvan lähettäminen pilveen joka kerta on kallista sekä viiveen että yksityisyyden kannalta. Siksi pienempien mallien ajaminen suoraan puhelimessa, tietokoneessa tai selaimessa yleistyy jatkuvasti. Esimerkiksi puheen muuntaminen tekstiksi tai yksinkertainen kuvien luokittelu voidaan tehdä laitteella.
Yksi selaimessa tämän mahdollistavista teknologioista on WebGPU, joka tekee näytönohjaimen käytettäväksi verkkosivuilta. Lisätietoa löydät artikkelistamme mikä WebGPU on.
Rajat ja huomioitavaa
Vaikka multimodaaliset mallit ovat vaikuttavia, ne eivät ole virheettömiä. Ne voivat lukea kuvan pienen tekstin väärin, sekoittaa samankaltaisia kohteita tai kuvailla yksityiskohdan, jota kuvassa ei ole. Puheliittymissä aksentit, melu ja erisnimet aiheuttavat yhä vaikeuksia.
Kamera- ja mikrofonidata on usein henkilötietoa. Kun rakennat käyttöliittymää, joka käsittelee kasvoja, ääntä ja ympäristön kuvaa, on annettava selkeä tiedote, dataa ei saa säilyttää tarpeettoman pitkään ja voimassa oleva lainsäädäntö on arvioitava lakineuvojan kanssa.
Lopuksi: kaiken ei tarvitse olla multimodaalista. Yksinkertainen lomake voi olla nopeampi kuin puheavustaja. Oikea kysymys on: missä työssä ääni tai kuva todella vähentää käyttäjän vaivaa? Lähestymistavan, joka asettaa tekoälyn tuotteen keskiöön, käsittelimme artikkelissa AI-native-sovellus.
Usein kysytyt kysymykset
01Mikä on multimodaalisen tekoälyn ja tavallisen tekoälyn ero?
Yksimoodiset mallit toimivat vain yhdellä tietotyypillä, yleensä tekstillä. Multimodaaliset mallit ymmärtävät yhdessä tekstiä, kuvaa ja ääntä ja osaavat yhdistää niitä toisiinsa; tämä mahdollistaa luonnollisemman vuorovaikutuksen.
02Pitäisikö verkkosivuillemme lisätä puhehaku?
Se riippuu siitä, miten käyttäjäsi käyttävät sivustoa. Jos tuote- tai sisältöluettelo on laaja ja kävijät tulevat enimmäkseen mobiilista, puhehaku voi tuoda lisäarvoa; muuten hyvin toimiva tekstihaku on etusijalla.
03Ymmärtääkö multimodaalinen tekoäly turkinkielistä puhetta?
Useimmat suuret mallit tunnistavat turkinkielistä puhetta ja voivat vastata turkiksi puheella. Laatu vaihtelee mallin, taustamelun ja erisnimien mukaan; paras tapa on testata omalla käyttötilanteellasi.
Multimodaalinen tekoäly avaa aikakauden, jossa käyttäjät ovat vuorovaikutuksessa sivustojen ja sovellusten kanssa puhumalla, näyttämällä ja kirjoittamalla; tässä vaiheessa voittavat käyttöliittymät, jotka yhdistävät eri syöttötavat selkeäksi kokemukseksi. Valmistele tuotteesi käyttöliittymä tähän muutokseen tutustumalla Auroran UI/UX-suunnittelu-palveluun; toimialakohtaisiin tarpeisiin löydät vastauksia ohjelmistoratkaisuistamme.
