Multimodal AI: röst- och bildgränssnitt

01Vad är multimodal AI?

De första generationernas chattassistenter arbetade bara med text: du ställde frågor i text och fick svar i text. Multimodal AI ger i stället en uppfattning som ligger närmare människans. Du kan visa ett foto och fråga »vad är det för fel på den här växten?«, ladda upp en bild på en faktura och be om att få raderna i en tabell, eller prata med den som i ett telefonsamtal.

Ordet »modalitet« här beskriver datatypen: text är en modalitet, bild en annan och ljud en tredje. En multimodal modell bearbetar inte bara typerna var för sig utan skapar ett meningssamband mellan dem. Den kan koppla ihop talet i en video med diagrammet som syns på skärmen och tolka dem tillsammans.

De aktuella versionerna av stora assistenter som Gemini, ChatGPT och Claude har multimodala förmågor i olika grad. Hur väl varje modalitet stöds varierar från modell till modell; därför är det viktigt att testa med dina egna exempel vid användning i arbetet.

02Hur fungerar det?

Multimodala modeller fungerar genom att omvandla olika datatyper till ett gemensamt representationsutrymme. Bilden delas upp i små delar och varje del omvandlas till en numerisk representation; ljud bearbetas på liknande sätt. De här representationerna bedöms tillsammans med texttoken i samma modell.

På så sätt lär sig modellen att uttrycket »röd bil« och ett foto av en röd bil motsvarar samma begrepp. I träningen används miljontals par av bild och beskrivning, ljud och text samt video och undertext.

I vissa system omvandlas ljudet först till text, modellen bearbetar texten och svaret omvandlas åter till ljud. I nyare angreppssätt bearbetas ljudet direkt av modellen; det minskar fördröjningen och gör att detaljer som tonläge och betoning bevaras.

03Röstassistent och röstsökning

Röstsökning är inte nytt, men med multimodala modeller förändras karaktären. Äldre röstassistenter kände igen bestämda kommandomönster; dagens modeller kan förstå fritt tal, rättelser som kommer mitt i och sammanhang. En naturlig mening som »ett bord för två i morgon kväll med havsutsikt … vi säger tre personer i stället« kan nu bearbetas.

När du utformar ett röstassistentgränssnitt gäller andra regler än för skärmdesign. Användaren tittar kanske inte på skärmen; därför bör svaren vara korta, tydliga och inriktade på ett enda nästa steg.

• Håll svaren korta; sammanfatta långa listor i stället för att läsa upp dem och skicka dem till skärmen.
• Låt användaren avbryta när som helst.
• Be om muntlig bekräftelse före viktiga åtgärder: »Jag bokar ett bord för tre personer klockan 20.00, bekräftar du?«
• Ha alltid ett skriftligt alternativ för bullriga miljöer och för dialekter.

04Gränssnitt som förstår bilder

Kameran är numera ett inmatningsverktyg vid sidan av tangentbordet. Användare tar ett foto och ställer en fråga i stället för att beskriva länge. Det öppnar nya möjligheter för gränssnitt i många branscher.

Visuell sökning i e-handel

Kunden laddar upp ett foto av en produkt hen gillar och webbplatsen listar liknande produkter. Ju mer ordnade och korrekta produktbilderna och beskrivningarna är, desto träffsäkrare blir resultaten.

Läsning av dokument och formulär

Fakturor, formulär som inte är id-handlingar, handskrivna anteckningar och skärmbilder kan läsas med ett foto och omvandlas till strukturerad data. För dokument som innehåller personuppgifter måste man alltid kontrollera vart data skickas och var det lagras.

Restaurang och turism

En gäst kan ta ett foto av en meny på ett främmande språk och be om en förklaring på sitt eget språk. Verksamheter som erbjuder sin meny digitalt kan möta det behovet direkt; med en flerspråkig QR-meny behöver gästen inte ta foton och söka efter översättning.

05Påverkan på webbdesign

Multimodal AI gör det viktigt att webbplatser är begripliga inte bara för människor utan också för de AI-system som läser dem. Assistenter tolkar en sida inte bara utifrån texten utan också utifrån bilder och struktur.

Därför kommer välkända tillgänglighetsprinciper tillbaka i förgrunden. Meningsfulla alternativtexter, rätt rubrikhierarki, beskrivande länktexter och att viktig text som är inbäddad i bilder också finns som text på sidan gör skillnad både för användare med funktionsnedsättning och för AI-system. Regler som kontrastförhållandet 4,5:1 som WCAG rekommenderar för vanlig text säkrar också läsbarheten.

På söksidan måste innehållet vara tydligt och strukturerat för att kunna anges som källa i AI-sammanfattningar. Det ämnet har vi gått igenom i inlägget så förändrar AI Overviews SEO; mätning och förbättring är en uppgift för arbetet med SEO och analys.

06Designprinciper

Att utforma multimodala gränssnitt handlar mindre om att göra skärmarna snygga än om att föra samman olika sätt att mata in till en konsekvent upplevelse. Användaren ska kunna börja en uppgift med rösten och avsluta den på skärmen, och få ett skriftligt svar på en fråga som ställts med ett foto. Att bygga upp ett sådant flöde rätt kräver en omfattande UI/UX-designprocess.

• Användaren väljer modalitet: det ska gå att växla mellan röst, text och kamera när som helst.
• Synlig status: det ska tydligt framgå när systemet lyssnar, tänker eller utför en åtgärd.
• Tillstånd och integritet: be om tillgång till mikrofon och kamera bara i det ögonblick den behövs och med en förklaring.
• Feltolerans: ett missförstått röstkommando ska gå lätt att rätta.
• Mobilen först: kamera och mikrofon används mest på mobilen; mobilanpassad design är grunden för de här gränssnitten.

07Multimodala modeller på enheten

Att skicka ljud och bild till molnet varje gång är kostsamt både för fördröjningen och för integriteten. Därför blir det allt vanligare att mindre modeller körs direkt på mobilen, datorn eller i webbläsaren. Till exempel kan tal till text och enkel bildklassificering göras på enheten.

En av teknikerna som gör det möjligt i webbläsaren är WebGPU, som gör grafikkortet tillgängligt för webbsidor. Du hittar detaljerna i inlägget vad är WebGPU.

08Begränsningar och saker att tänka på

Hur imponerande multimodala modeller än är, är de inte felfria. De kan läsa liten text i en bild fel, blanda ihop liknande objekt eller beskriva en detalj som inte finns i bilden som om den fanns. I röstgränssnitt orsakar dialekter, buller och egennamn fortfarande svårigheter.

Data från kamera och mikrofon är ofta personuppgifter. När du bygger ett gränssnitt som bearbetar ansikten, röster och miljöbilder måste du informera tydligt, inte spara data längre än nödvändigt och bedöma gällande lagstiftning (GDPR) tillsammans med en juridisk rådgivare.

Slutligen behöver inte varje uppgift vara multimodal. Ett enkelt formulär kan vara snabbare än en röstassistent. Den rätta frågan är: i vilken uppgift minskar röst eller bild verkligen användarens börda? Angreppssättet där AI står i produktens centrum har vi gått igenom i inlägget AI-native applikationer.