Multimodal AI: stemme- og bildegrensesnitt
Vi forklarer hvordan modeller som forstår lyd, bilde og tekst sammen vil endre nett- og appgrensesnitt, med bruksområder, designprinsipper og begrensninger.
Aurora YazılımRedaksjonen
6 min lesetid
Multimodal AI er AI-modeller som kan forstå ulike datatyper som tekst, bilde, lyd og video samtidig og lage sammenhenger mellom dem. Den kan beskrive et bilde, svare på et spørsmål som stilles med stemmen, eller lese og tolke en tabell på skjermen. Denne evnen gjør grensesnitt utover tastatur og mus mer utbredt.
Hva er multimodal AI?
Første generasjon chatassistenter jobbet bare med tekst: du stilte spørsmål skriftlig og fikk skriftlige svar. Multimodal AI gir en oppfatning som ligger nærmere mennesker. Du kan vise et bilde og spørre «hva er det med denne planten?», laste opp bildet av en faktura og be om at postene settes inn i en tabell, eller snakke høyt som i en telefonsamtale.
Ordet «modalitet» her betyr datatype: tekst er én modalitet, bilde en annen og lyd en tredje. En multimodal modell behandler ikke bare disse typene hver for seg, men skaper en meningsmessig forbindelse mellom dem. Den kan koble det som sies i en video til grafen som vises på skjermen, og tolke de to sammen.
De nyeste versjonene av store assistenter som Gemini, ChatGPT og Claude har multimodale evner i ulik grad. Hvor godt hver modalitet støttes, varierer fra modell til modell. Derfor er det viktig å teste med dine egne eksempler i bedriftsbruk.
Hvordan fungerer det?
Multimodale modeller fungerer ved å gjøre ulike datatyper om til et felles representasjonsrom. Bildet deles opp i små biter, og hver bit gjøres om til en tallrepresentasjon. Lyd behandles på tilsvarende måte. Disse representasjonene vurderes sammen med tekst-tokens inne i samme modell.
Slik lærer modellen at uttrykket «rød bil» og et bilde av en rød bil svarer til samme begrep. I treningen brukes millioner av par med bilde og beskrivelse, lyd og tekst, og video og undertekst.
I enkelte systemer gjøres lyden først om til tekst, modellen behandler teksten, og svaret gjøres om til lyd igjen. I nyere tilnærminger behandles lyden direkte av modellen. Det reduserer forsinkelsen og gjør at detaljer som stemmetone og trykk bevares.
Stemmeassistent og talesøk
Talesøk er ikke noe nytt, men med multimodale modeller endrer kvaliteten seg. Eldre stemmeassistenter kjente igjen bestemte kommandomønstre. Dagens modeller kan forstå fri tale, rettelser midt i setningen og kontekst. En naturlig setning som «et bord for to i morgen kveld, med havutsikt … egentlig, la oss være tre» kan nå behandles.
Når du designer et assistentgrensesnitt med stemme, gjelder andre regler enn i skjermdesign. Brukeren ser kanskje ikke på skjermen. Derfor bør svarene være korte, tydelige og rettet mot ett neste steg.
- Hold svarene korte. Oppsummer lange lister og send dem til skjermen i stedet for å lese dem opp.
- La brukeren avbryte når som helst.
- Be om muntlig bekreftelse før viktige handlinger: «Jeg reserverer bord for tre personer kl. 20.00, bekrefter du?»
- Et skriftlig alternativ bør alltid være tilgjengelig for støyende omgivelser og aksenter.
Grensesnitt som forstår bilder
Kameraet er nå et inndataverktøy ved siden av tastaturet. I stedet for å beskrive lenge tar brukerne et bilde og stiller spørsmål. Det åpner nye grensesnittmuligheter i mange bransjer.
Visuelt søk i nettbutikk
Kunden laster opp et bilde av et produkt hun liker, og nettsiden lister opp lignende produkter. Jo mer ryddige og riktige produktbildene og beskrivelsene er, desto mer treffsikre blir resultatene.
Lesing av dokumenter og skjemaer
Fakturaer, andre skjemaer enn ID-dokumenter, håndskrevne notater eller skjermbilder kan leses via et bilde og gjøres om til strukturerte data. I dokumenter med personopplysninger må du alltid kontrollere hvor dataene sendes og lagres.
Restaurant og reiseliv
En gjest kan ta et bilde av en meny på et fremmed språk og be om en forklaring på sitt eget språk. Bedrifter som presenterer menyen digitalt, kan dekke dette behovet direkte. Med en flerspråklig QR-meny slipper gjesten å ta bilde og lete etter oversettelse.
Påvirkning på webdesign
Multimodal AI gjør det viktig at nettsider er forståelige ikke bare for mennesker, men også for AI-systemene som leser dem. Assistenter tolker en side ikke bare ut fra teksten, men også ut fra bildene og strukturen.
Derfor kommer de kjente prinsippene for tilgjengelighet til heder igjen. Meningsfulle alternative tekster, riktig overskriftshierarki, beskrivende lenketekster og at viktig tekst som ligger innebygd i bilder, også finnes som tekst på siden, utgjør en forskjell både for brukere med funksjonsnedsettelser og for AI-systemer. Regler som kontrastforholdet 4,5:1 som WCAG anbefaler for vanlig tekst, sikrer også lesbarheten.
På søkesiden må innholdet være klart og strukturert for å bli brukt som kilde i AI-sammendrag. Dette har vi tatt for oss i artikkelen hvordan AI Overviews endrer SEO. Måling og forbedring er jobben til SEO og analyse.
Designprinsipper
Å designe multimodale grensesnitt handler mindre om å gjøre skjermer penere enn om å samle ulike inngangsveier i én konsekvent opplevelse. Brukeren bør kunne begynne en oppgave med stemmen og avslutte den på skjermen, og få skriftlig svar på et spørsmål stilt med et bilde. Å bygge dette riktig krever en omfattende UI/UX-designprosess.
- Brukeren velger modus: det bør være mulig å bytte mellom stemme, tekst og kamera når som helst.
- Synlig status: det bør vises tydelig når systemet lytter, tenker eller utfører en handling.
- Tillatelser og personvern: tillatelse til mikrofon og kamera bør bare bes om når det trengs, med en forklaring på hvorfor.
- Feiltoleranse: en misforstått talekommando bør kunne rettes enkelt.
- Mobil først: kamera og mikrofon brukes mest på telefon. Mobiltilpasset design er grunnlaget for disse grensesnittene.
Multimodale modeller på enheten
Å sende lyd og bilde til skyen hver gang er kostbart både for forsinkelse og for personvern. Derfor blir det stadig vanligere å kjøre mindre modeller direkte på telefonen, datamaskinen eller i nettleseren. Oppgaver som å gjøre tale om til tekst eller enkel bildeklassifisering kan for eksempel gjøres på enheten.
En av teknologiene som gjør dette mulig i nettleseren, er WebGPU, som gjør grafikkortet tilgjengelig fra nettsider. Du finner detaljene i artikkelen vår om hva er WebGPU.
Begrensninger og hva du bør passe på
Selv om multimodale modeller er imponerende, er de ikke feilfrie. De kan lese små tekster i bildet feil, forveksle lignende objekter eller beskrive en detalj som ikke finnes i bildet. I stemmegrensesnitt skaper aksent, støy og egennavn fortsatt vanskeligheter.
Kamera- og mikrofondata er ofte personopplysninger. Når du bygger et grensesnitt som behandler ansikt, stemme og omgivelsesbilder, må du gi tydelig informasjon, ikke lagre dataene lenger enn nødvendig og vurdere gjeldende regelverk sammen med en jurist.
Til slutt: ikke alt trenger å være multimodalt. Et enkelt skjema kan være raskere enn en stemmeassistent. Det riktige spørsmålet er: i hvilken oppgave reduserer stemme eller bilde virkelig byrden for brukeren? Tilnærmingen der AI settes i sentrum av produktet, har vi tatt for oss i artikkelen om AI-native applikasjoner.
Vanlige spørsmål
01Hva er forskjellen på multimodal AI og vanlig AI?
Enmodale modeller jobber bare med én datatype, som regel tekst. Multimodale modeller kan forstå typer som tekst, bilde og lyd sammen og skape forbindelser mellom dem, og det gir en mer naturlig samhandling.
02Bør vi legge til talesøk på nettsiden vår?
Det avhenger av hvordan brukerne dine bruker nettsiden. Hvis produkt- eller innholdskatalogen er stor og de besøkende stort sett kommer fra mobil, kan talesøk tilføre verdi. Ellers er et godt tekstsøk det som kommer først.
03Forstår multimodal AI tyrkisk tale?
De fleste store modellene gjenkjenner tyrkisk tale og kan svare med tyrkisk stemme. Kvaliteten varierer etter modell, støy i omgivelsene og egennavn. Det er tryggest å teste med ditt eget bruksscenario.
Multimodal AI åpner døren til en tid der brukerne samhandler med nettsider og apper ved å snakke, vise og skrive. I denne tiden vinner grensesnitt som samler ulike inngangsveier i en enkel opplevelse. For å forberede grensesnittet til produktet ditt på denne endringen kan du se på tjenesten UI/UX-design fra Aurora. For bransjespesifikke behov kan du se på programvareløsningene våre.
