Intelligenza artificiale

IA multimodale: interfacce vocali e visive

Spiegiamo come i modelli che comprendono voce, immagini e testo insieme cambieranno le interfacce di web e app, con casi d'uso e consigli pratici.

Aurora YazılımRedazione 6 min di lettura
Multimodal AI: Voice and Visual Interfaces
Cos’è l’AI multimodale?

L’AI multimodale indica i modelli di intelligenza artificiale in grado di comprendere contemporaneamente tipi di dati diversi, come testo, immagini, audio e video, e di collegarli tra loro. Può descrivere una foto, rispondere a una domanda posta a voce oppure leggere e interpretare una tabella mostrata sullo schermo. Questa capacità sta rendendo sempre più comuni le interfacce che vanno oltre tastiera e mouse.

Cos’è l’AI multimodale?

Gli assistenti chat di prima generazione lavoravano solo con il testo: si faceva una domanda per iscritto e si riceveva una risposta scritta. L’AI multimodale offre una percezione più vicina a quella umana. Si può mostrare una foto e chiedere “cos’ha questa pianta?”, caricare l’immagine di una fattura e farne trasformare le voci in una tabella, oppure parlare a voce come in una telefonata.

La parola “modalità” si riferisce qui al tipo di dato: il testo è una modalità, le immagini un’altra, l’audio un’altra ancora. Un modello multimodale non si limita a elaborare questi tipi separatamente, ma crea collegamenti significativi tra di essi. Può mettere in relazione il parlato di un video con un grafico mostrato a schermo e interpretare i due elementi insieme.

Le versioni attuali dei principali assistenti, come Gemini, ChatGPT e Claude, hanno capacità multimodali in misura diversa. Il livello di supporto per ciascuna modalità varia da modello a modello, quindi per l’uso aziendale è importante fare dei test con i propri esempi.

Come funziona?

I modelli multimodali funzionano convertendo tipi di dati diversi in uno spazio di rappresentazione condiviso. Un’immagine viene suddivisa in piccole porzioni e ognuna viene trasformata in una rappresentazione numerica; l’audio viene elaborato in modo simile. Queste rappresentazioni vengono valutate insieme ai token di testo all’interno dello stesso modello.

In questo modo il modello impara che l’espressione “auto rossa” e la foto di un’auto rossa corrispondono allo stesso concetto. Per l’addestramento si usano milioni di coppie immagine-didascalia, audio-testo e video-sottotitoli.

In alcuni sistemi il parlato viene prima convertito in testo, il modello elabora il testo e la risposta viene riconvertita in voce. Negli approcci più recenti l’audio viene elaborato direttamente dal modello: questo riduce la latenza e conserva dettagli come il tono di voce e l’enfasi.

Assistenti vocali e ricerca vocale

La ricerca vocale non è una novità, ma i modelli multimodali ne stanno cambiando la natura. I vecchi assistenti vocali riconoscevano specifici schemi di comando; i modelli di oggi comprendono il parlato spontaneo, le correzioni a metà frase e il contesto. Una frase naturale come “Un tavolo per due domani sera con vista mare… anzi, per tre” oggi può essere gestita.

Progettare una interfaccia per assistente vocale segue regole diverse dalla progettazione di uno schermo. L’utente potrebbe non guardare lo schermo, quindi le risposte devono essere brevi, chiare e incentrate su un solo passo successivo.

  • Mantenete le risposte brevi; invece di leggere ad alta voce lunghi elenchi, riassumeteli e inviateli sullo schermo.
  • Lasciate che l’utente possa interrompere in qualsiasi momento.
  • Chiedete una conferma vocale prima delle azioni importanti: “Sto prenotando un tavolo per tre alle 20:00, confermate?”
  • Tenete sempre disponibile un’alternativa scritta per gli ambienti rumorosi e per gli accenti.

Interfacce che comprendono le immagini

La fotocamera è ormai un dispositivo di input accanto alla tastiera. Invece di descrivere a lungo, gli utenti scattano una foto e fanno una domanda. Questo apre nuove possibilità di interfaccia in molti settori.

Ricerca visiva nell’e-commerce

Un cliente carica la foto di un prodotto che gli piace e il sito elenca prodotti simili. Più le immagini e le descrizioni dei vostri prodotti sono ordinate e accurate, più i risultati saranno precisi.

Lettura di documenti e moduli

Fatture, moduli diversi dai documenti d’identità, appunti scritti a mano o screenshot possono essere letti da una foto e trasformati in dati strutturati. Per i documenti che contengono dati personali, bisogna sempre verificare dove i dati vengono inviati e conservati.

Ristoranti e turismo

Un ospite può fotografare un menu in lingua straniera e chiederne la spiegazione nella propria lingua. Le attività che presentano il menu in formato digitale possono rispondere direttamente a questa esigenza; un menu con codice QR multilingue evita agli ospiti di scattare una foto e cercare una traduzione.

Impatto sul web design

L’AI multimodale rende importante che i siti web siano comprensibili non solo alle persone, ma anche ai sistemi di intelligenza artificiale che li leggono. Gli assistenti interpretano una pagina non solo dal testo, ma anche dalle immagini e dalla struttura.

Per questo i ben noti principi di accessibilità tornano in primo piano. Un testo alternativo significativo, una corretta gerarchia dei titoli, testi dei link descrittivi e la presenza come testo in pagina anche dei testi importanti incorporati nelle immagini fanno la differenza sia per gli utenti con disabilità sia per i sistemi di AI. Regole come il rapporto di contrasto 4,5:1 raccomandato dalle WCAG per il testo normale tutelano inoltre la leggibilità.

Sul fronte della ricerca, per essere citati nei riepiloghi dell’AI i contenuti devono essere chiari e strutturati. Ne abbiamo parlato nel nostro articolo su come le AI Overviews stanno cambiando la SEO; la misurazione e il miglioramento sono compito del lavoro di SEO e analytics.

Principi di progettazione

Progettare interfacce multimodali significa meno rendere belli gli schermi e più combinare percorsi di input diversi in un’esperienza coerente. Un utente dovrebbe poter iniziare un’attività a voce e concluderla sullo schermo, e ricevere una risposta scritta a una domanda posta con una foto. Per ottenere questo flusso serve un accurato processo di progettazione UI/UX.

  • La scelta della modalità resta all’utente: il passaggio tra voce, testo e fotocamera deve essere possibile in qualsiasi momento.
  • Visibilità dello stato: deve essere chiaramente indicato quando il sistema sta ascoltando, pensando o elaborando.
  • Permessi e privacy: l’autorizzazione per microfono e fotocamera va richiesta solo quando serve, spiegandone il motivo.
  • Tolleranza agli errori: un comando vocale frainteso deve essere facile da correggere.
  • Mobile first: fotocamera e microfono si usano soprattutto sugli smartphone; il design mobile-friendly è la base di queste interfacce.

Modelli multimodali on-device

Inviare ogni volta voce e immagini al cloud ha un costo sia in termini di latenza sia di privacy. Per questo è sempre più comune eseguire modelli più piccoli direttamente sullo smartphone, sul computer o nel browser. Ad esempio, la trascrizione vocale o una semplice classificazione di immagini possono essere eseguite sul dispositivo.

Una delle tecnologie che lo rendono possibile nel browser è WebGPU, che permette di usare la scheda grafica dalle pagine web. Trovate i dettagli nel nostro articolo su cos’è WebGPU.

Limiti e aspetti da tenere d’occhio

Per quanto impressionanti, i modelli multimodali non sono infallibili. Possono leggere male un testo piccolo in un’immagine, confondere oggetti simili o descrivere come presente un dettaglio che nella foto non c’è. Nelle interfacce vocali, accenti, rumore e nomi propri restano ancora una sfida.

I dati di fotocamera e microfono sono spesso dati personali. Quando si costruisce un’interfaccia che elabora volti, voci e ambienti circostanti, bisogna fornire un’informativa chiara, non conservare i dati più del necessario e valutare la normativa vigente con un consulente legale.

Infine, non ogni attività deve essere multimodale. Un semplice modulo può essere più rapido di un assistente vocale. La domanda giusta è: per quali attività la voce o le immagini alleggeriscono davvero il carico dell’utente? L’approccio che mette l’AI al centro del prodotto è trattato nel nostro articolo sulle app AI-native.

Domande frequenti

01Qual è la differenza tra AI multimodale e AI tradizionale?

I modelli a modalità singola lavorano con un solo tipo di dato, di solito il testo. I modelli multimodali possono comprendere insieme tipi come testo, immagini e audio e collegarli, rendendo l’interazione più naturale.

02Dovremmo aggiungere la ricerca vocale al nostro sito?

Dipende da come i vostri utenti usano il sito. Se il catalogo di prodotti o contenuti è ampio e la maggior parte dei visitatori arriva da mobile, la ricerca vocale può aggiungere valore; altrimenti viene prima una ricerca testuale che funzioni bene.

03L’AI multimodale comprende il parlato in lingue come il turco?

La maggior parte dei grandi modelli riconosce il turco parlato e può rispondere a voce in turco. La qualità varia in base al modello, al rumore di fondo e ai nomi propri; testare il proprio caso d’uso è l’approccio più sicuro.

L’AI multimodale sta aprendo le porte a un’epoca in cui gli utenti interagiscono con siti e app parlando, mostrando e scrivendo; a vincere saranno le interfacce che combinano percorsi di input diversi in un’esperienza semplice. Per preparare l’interfaccia del vostro prodotto a questo cambiamento, scoprite il servizio di progettazione UI/UX di Aurora; per le esigenze specifiche del vostro settore, date un’occhiata alle nostre soluzioni software.