Multimodale KI: Sprach- und Bildoberflächen
Wir zeigen, wie Modelle, die Sprache, Bild und Text gemeinsam verstehen, Web- und App-Oberflächen verändern werden – mit Einsatzgebieten, Gestaltungsprinzipien und Grenzen.
Aurora YazılımRedaktionsteam
6 Min. Lesezeit
Multimodale KI (Multimodal AI) bezeichnet KI-Modelle, die unterschiedliche Datenarten wie Text, Bild, Ton und Video gleichzeitig verstehen und miteinander verknüpfen können. Sie kann ein Foto beschreiben, eine gesprochene Frage beantworten oder eine Tabelle auf dem Bildschirm lesen und deuten. Diese Fähigkeit macht Oberflächen jenseits von Tastatur und Maus alltäglich.
Was ist multimodale KI?
Die Chat-Assistenten der ersten Generation arbeiteten nur mit Text: Sie fragten schriftlich und erhielten schriftliche Antworten. Multimodal AI bietet dagegen eine Wahrnehmung, die dem Menschen näherkommt. Sie können ein Foto zeigen und fragen “Was hat diese Pflanze?”, das Bild einer Rechnung hochladen und die Positionen in eine Tabelle übertragen lassen oder sich per Sprache unterhalten wie am Telefon.
Das Wort “Modalität” bezeichnet hier die Datenart: Text ist eine Modalität, Bild eine andere, Ton wieder eine andere. Ein multimodales Modell verarbeitet diese Arten nicht nur getrennt, sondern stellt zwischen ihnen einen inhaltlichen Zusammenhang her. Es kann das Gesprochene in einem Video mit einer eingeblendeten Grafik verknüpfen und beides gemeinsam deuten.
Die aktuellen Versionen großer Assistenten wie Gemini, ChatGPT und Claude besitzen multimodale Fähigkeiten in unterschiedlichem Ausmaß. Wie gut welche Modalität unterstützt wird, unterscheidet sich von Modell zu Modell; im geschäftlichen Einsatz ist es daher wichtig, mit eigenen Beispielen zu testen.
Wie funktioniert das?
Multimodale Modelle arbeiten, indem sie unterschiedliche Datenarten in einen gemeinsamen Repräsentationsraum überführen. Ein Bild wird in kleine Teile zerlegt und jeder Teil in eine numerische Repräsentation umgewandelt; Ton wird ähnlich verarbeitet. Diese Repräsentationen werden zusammen mit den Text-Token im selben Modell ausgewertet.
So lernt das Modell, dass der Ausdruck “rotes Auto” und das Foto eines roten Autos demselben Begriff entsprechen. Im Training kommen Millionen von Bild-Beschreibung-, Ton-Text- und Video-Untertitel-Paaren zum Einsatz.
Bei manchen Systemen wird Sprache zuerst in Text umgewandelt, das Modell verarbeitet den Text, und die Antwort wird wieder in Sprache gewandelt. Bei neueren Ansätzen verarbeitet das Modell den Ton direkt; das verringert die Latenz und bewahrt Details wie Tonfall und Betonung.
Sprachassistent und Sprachsuche
Die Sprachsuche ist nicht neu, aber mit multimodalen Modellen ändert sich ihre Qualität. Frühere Sprachassistenten erkannten bestimmte Befehlsmuster; heutige Modelle können freies Sprechen, Zwischenkorrekturen und Kontext verstehen. Ein natürlicher Satz wie “Einen Tisch für zwei Personen morgen Abend mit Meerblick … eigentlich lieber für drei” lässt sich inzwischen verarbeiten.
Beim Entwurf einer Sprachassistenten-Oberfläche gelten andere Regeln als beim Bildschirmdesign. Der Nutzer schaut womöglich nicht auf den Bildschirm; Antworten sollten daher kurz, klar und auf einen einzigen nächsten Schritt ausgerichtet sein.
- Halten Sie Antworten kurz; fassen Sie lange Listen zusammen und senden Sie sie auf den Bildschirm, statt sie vorzulesen.
- Lassen Sie zu, dass der Nutzer jederzeit unterbrechen kann.
- Holen Sie vor wichtigen Vorgängen eine mündliche Bestätigung ein: “Ich reserviere einen Tisch für drei Personen um 20.00 Uhr, bestätigen Sie das?”
- Für laute Umgebungen und Akzente sollte immer eine schriftliche Alternative offenstehen.
Oberflächen, die Bilder verstehen
Die Kamera ist heute neben der Tastatur ein Eingabegerät. Statt lange zu beschreiben, machen Nutzer ein Foto und stellen eine Frage. Das eröffnet in vielen Branchen neue Möglichkeiten für Oberflächen.
Visuelle Suche im E-Commerce
Ein Kunde lädt das Foto eines Produkts hoch, das ihm gefällt, und die Website listet ähnliche Produkte auf. Je geordneter und korrekter Produktbilder und -beschreibungen sind, desto treffsicherer sind die Ergebnisse.
Dokumente und Formulare lesen
Rechnungen, Formulare außer Ausweisdokumenten, handschriftliche Notizen oder Screenshots lassen sich per Foto lesen und in strukturierte Daten umwandeln. Bei Dokumenten mit personenbezogenen Daten muss unbedingt geprüft werden, wohin die Daten gesendet und wo sie gespeichert werden.
Gastronomie und Tourismus
Ein Gast kann die Speisekarte in einer Fremdsprache fotografieren und eine Erklärung in seiner eigenen Sprache anfordern. Betriebe, die ihre Karte digital anbieten, können diesen Bedarf direkt erfüllen; mit einer mehrsprachigen QR-Speisekarte muss der Gast nicht erst ein Foto machen und nach einer Übersetzung suchen.
Auswirkungen auf das Webdesign
Multimodale KI macht es wichtig, dass Websites nicht nur für Menschen, sondern auch für die KI-Systeme verständlich sind, die sie lesen. Assistenten deuten eine Seite nicht nur anhand ihres Textes, sondern auch anhand von Bildern und Struktur.
Deshalb rücken die bekannten Prinzipien der Barrierefreiheit wieder in den Vordergrund. Aussagekräftige Alternativtexte, eine korrekte Überschriftenhierarchie, beschreibende Linktexte und wichtige, in Bilder eingebettete Texte, die auch als Text auf der Seite stehen, machen sowohl für Nutzer mit Behinderung als auch für KI-Systeme einen Unterschied. Regeln wie das von den WCAG für normalen Text empfohlene Kontrastverhältnis von 4,5:1 sichern zudem die Lesbarkeit.
Auch in der Suche muss ein Inhalt klar und strukturiert sein, um in KI-Zusammenfassungen als Quelle genannt zu werden. Dieses Thema haben wir im Beitrag Wie AI Overviews das SEO verändern behandelt; Messung und Verbesserung sind Aufgabe der Arbeit im Bereich SEO & Analyse.
Gestaltungsprinzipien
Multimodale Oberflächen zu gestalten bedeutet weniger, Bildschirme zu verschönern, als verschiedene Eingabewege in einem einheitlichen Erlebnis zu vereinen. Der Nutzer sollte eine Aufgabe per Sprache beginnen und am Bildschirm beenden können und auf eine per Foto gestellte Frage eine schriftliche Antwort erhalten. Diesen Ablauf richtig aufzubauen, erfordert einen umfassenden UI/UX-Design-Prozess.
- Die Wahl der Modalität liegt beim Nutzer: Wechsel zwischen Sprache, Text und Kamera müssen jederzeit möglich sein.
- Sichtbarer Status: Es muss klar angezeigt werden, ob das System zuhört, nachdenkt oder eine Aktion ausführt.
- Berechtigung und Datenschutz: Mikrofon- und Kamerazugriff nur im nötigen Moment und mit Erklärung des Grundes anfordern.
- Fehlertoleranz: Ein falsch verstandener Sprachbefehl muss sich leicht korrigieren lassen.
- Mobile first: Kamera und Mikrofon werden am häufigsten am Smartphone genutzt; Responsive Webdesign ist die Grundlage dieser Oberflächen.
Multimodale Modelle auf dem Gerät
Ton und Bild jedes Mal in die Cloud zu senden, ist sowohl bei der Latenz als auch beim Datenschutz teuer. Deshalb setzt sich zunehmend durch, kleinere Modelle direkt auf dem Smartphone, dem Computer oder im Browser auszuführen. Spracherkennung oder einfache Bildklassifizierung können beispielsweise auf dem Gerät erfolgen.
Eine der Technologien, die das im Browser möglich machen, ist WebGPU, das die Grafikkarte für Webseiten nutzbar macht. Details finden Sie in unserem Beitrag Was ist WebGPU.
Grenzen und Hinweise
So beeindruckend multimodale Modelle sind, fehlerfrei sind sie nicht. Sie können kleine Schrift in Bildern falsch lesen, ähnliche Objekte verwechseln oder ein Detail beschreiben, das im Bild gar nicht vorhanden ist. Bei Sprachoberflächen bereiten Akzente, Lärm und Eigennamen weiterhin Schwierigkeiten.
Kamera- und Mikrofondaten sind häufig personenbezogene Daten. Beim Aufbau einer Oberfläche, die Gesicht, Stimme und Umgebungsbilder verarbeitet, muss klar informiert werden, die Daten dürfen nicht länger als nötig gespeichert werden, und die aktuelle Rechtslage sollte gemeinsam mit einer Rechtsberatung bewertet werden.
Nicht jede Aufgabe muss multimodal sein. Ein einfaches Formular kann schneller sein als ein Sprachassistent. Die richtige Frage lautet: Bei welcher Aufgabe entlasten Sprache oder Bild den Nutzer wirklich? Den Ansatz, KI ins Zentrum des Produkts zu stellen, haben wir im Beitrag AI-native Anwendung behandelt.
Häufig gestellte Fragen
01Was ist der Unterschied zwischen Multimodal AI und normaler KI?
Unimodale Modelle arbeiten nur mit einer Datenart, meist Text. Multimodale Modelle können Text, Bild und Ton gemeinsam verstehen und miteinander verknüpfen; das ermöglicht eine natürlichere Interaktion.
02Sollten wir unserer Website eine Sprachsuche hinzufügen?
Das hängt davon ab, wie Ihre Nutzer die Website verwenden. Ist der Produkt- oder Inhaltskatalog groß und kommen die Besucher überwiegend mobil, kann Sprachsuche Mehrwert schaffen; andernfalls hat eine gut funktionierende Textsuche Vorrang.
03Versteht multimodale KI gesprochenes Türkisch?
Die meisten großen Modelle erkennen gesprochenes Türkisch und können türkisch antworten. Die Qualität hängt von Modell, Umgebungslärm und Eigennamen ab; am besten testen Sie mit Ihrem eigenen Anwendungsszenario.
Multimodale KI öffnet die Tür zu einer Ära, in der Nutzer mit Websites und Apps sprechend, zeigend und schreibend interagieren; die Gewinner werden Oberflächen sein, die verschiedene Eingabewege in einem schlichten Erlebnis vereinen. Um die Oberfläche Ihres Produkts auf diesen Wandel vorzubereiten, informieren Sie sich über das UI/UX-Design von Aurora; für branchenspezifische Anforderungen werfen Sie einen Blick auf unsere Softwarelösungen.
