Was ist ein LLM? Wie große Sprachmodelle funktionieren
Wir erklären die Funktionsweise großer Sprachmodelle anhand von Token, Trainingsdaten und Kontextfenster und zeigen, wo sie im Geschäftsalltag nützen und wo sie sich irren.
Aurora YazılımRedaktionsteam
6 Min. Lesezeit
Ein LLM (Large Language Model, großes Sprachmodell) ist ein KI-Modell, das mit riesigen Textmengen trainiert wurde und Text erzeugt, indem es vorhersagt, welches Stück am wahrscheinlichsten auf einen Text folgt. Assistenten wie ChatGPT, Claude und Gemini beruhen auf LLMs. Aufgaben wie Fragen beantworten, Zusammenfassen, Übersetzen und Programmieren erledigen sie über diesen Vorhersagemechanismus.
Was ist ein LLM? Kurze Definition
Die Frage »Was ist ein LLM?« lässt sich am einfachsten so beantworten: eine statistische Maschine zur Textvervollständigung, die durch das Lesen von Milliarden Sätzen die Muster der Sprache gelernt hat. Wenn Sie ihr eine Frage schreiben, sieht sie diese als Anfang eines Textes und erzeugt die passendste Fortsetzung Wort für Wort.
Das Wort »groß« beschreibt zweierlei: die Menge der Daten, die im Training verwendet wurden, und die Zahl der einstellbaren Zahlenwerte im Modell, also die Anzahl der Parameter. Parameter sind das numerische Gegenstück des Wissens, das das Modell beim Training gelernt hat.
Diese Modelle speichern Wissen nicht zeilenweise wie eine Datenbank. Sie lernen es, indem sie es in Mustern verdichten. Deshalb können sie sehr flüssig schreiben, aber manchmal auch selbstsicher falsche Informationen erzeugen.
Was ist ein Token?
Sprachmodelle verarbeiten Text nicht als Buchstaben oder Wörter, sondern in Stücken, die man Token nennt. Ein Token ist manchmal ein ganzes Wort, manchmal eine Endung, manchmal ein einzelnes Satzzeichen. In agglutinierenden Sprachen wie dem Türkischen wird ein einzelnes Wort oft in mehrere Token zerlegt.
In der Praxis begegnet Ihnen der Token-Begriff an drei Stellen. Modelldienste rechnen meist pro Token ab; die Textmenge, die ein Modell auf einmal verarbeiten kann, wird in Token gemessen; und auch die Antwortgeschwindigkeit wird in erzeugten Token pro Sekunde angegeben.
- Einen langen Vertrag analysieren zu lassen verbraucht viel mehr Token, als eine kurze E-Mail schreiben zu lassen.
- Derselbe Inhalt umfasst im Türkischen in der Regel mehr Token als im Englischen; berücksichtigen Sie das bei der Kostenrechnung.
- Auch Tabellen, Code und Sonderzeichen erhöhen die Token-Zahl.
Wozu dient die Transformer-Architektur?
Fast alle heutigen Sprachmodelle beruhen auf der neuronalen Netzarchitektur namens Transformer. Im Kern dieser Architektur steht der Aufmerksamkeitsmechanismus (Attention): Während das Modell ein Wort verarbeitet, betrachtet es alle anderen Wörter des Satzes und berechnet, welche für die Bedeutung wichtiger sind.
Im Satz »Er setzte sich ans Ufer der Bank und ging dann zur Bank, um ein Konto zu eröffnen« werden beispielsweise die unterschiedlichen Bedeutungen der beiden Wörter »Bank« anhand der umgebenden Wörter unterschieden. Ältere Architekturen lasen den Text der Reihe nach und verloren diese Beziehungen in langen Sätzen; der Transformer stellt diese Bezüge parallel her.
Dass er parallel arbeiten kann, machte es möglich, das Training in großem Maßstab auf Grafikkarten (GPU) durchzuführen. Hinter dem rasanten Sprung bei Sprachmodellen steht die Verbindung dieser Architektur mit der wachsenden Rechenleistung.
Wie läuft das Training ab?
Ein LLM wird in der Regel in mehreren Phasen trainiert. Jede Phase formt eine andere Seite des Modells, und der Assistent, den der Endnutzer sieht, ist die Summe dieser Phasen.
Vortraining
Das Modell lernt anhand umfangreicher Textquellen wie Büchern, Webseiten und Code-Repositories, das nächste Token vorherzusagen. Grammatik, Allgemeinwissen und Denkmuster werden in dieser Phase erworben. Trainingsdaten haben einen Stichtag; Ereignisse nach diesem Datum kennt das Modell nicht von selbst.
Feintuning und Feedback
Das Modell nach dem Vortraining ist ein guter Textvervollständiger, aber noch kein hilfsbereiter Assistent. Methoden wie Feintuning mit Frage-Antwort-Beispielen und bestärkendes Lernen mit menschlichem Feedback sorgen dafür, dass das Modell Anweisungen befolgt und sichere, nützliche Antworten gibt.
Antworterzeugung und Temperatur
Die Nutzung des Modells nach Abschluss des Trainings nennt man Inferenz. Bei jedem Schritt berechnet das Modell eine Wahrscheinlichkeitsliste für mögliche Token und wählt eines davon aus. Die Einstellung Temperatur (Temperature) bestimmt, wie frei diese Auswahl ausfällt: Niedrige Werte liefern konsistentere und reproduzierbarere, hohe Werte kreativere, aber unvorhersehbarere Antworten.
Deshalb erhalten Sie auf dieselbe Frage jedes Mal eine etwas andere Antwort. Für Berichte, Klassifizierung und Datenextraktion wird eine niedrige Temperatur bevorzugt, für Slogans und Ideenfindung eine höhere.
Kontextfenster und Gedächtnis
Das Kontextfenster ist die Gesamtmenge an Token, die das Modell in einer einzigen Anfrage gleichzeitig sehen kann: Ihre Nachricht, die bisherige Unterhaltung, angehängte Dokumente und die eigene Antwort des Modells müssen in dieses Fenster passen. Ist das Fenster voll, fallen die ältesten Informationen heraus.
Das Modell hat kein dauerhaftes Gedächtnis; bei jeder Anfrage wird die gesamte Unterhaltung erneut gesendet. Gedächtnisfunktionen mancher Anwendungen sind Zusatzschichten, die wichtige Informationen separat speichern und in spätere Unterhaltungen einfügen.
Für große Wissensbestände wie Firmendokumente, die nicht ins Kontextfenster passen, werden Verfahren eingesetzt, die relevante Teile suchen und heranholen. Dieser Ansatz ist der gängigste Weg, aktuelle und unternehmensspezifische Antworten zu erhalten, ohne das Modell neu zu trainieren.
Wo irren sich LLMs?
Das Ziel eines Sprachmodells ist nicht, die Wahrheit zu finden, sondern die wahrscheinliche Fortsetzung zu erzeugen. Selbst zu einem Thema, von dem es nichts weiß, kann es eine flüssige Antwort schreiben; das nennt man Halluzination. Erfundene Quellen, ein nicht existierender Gesetzesparagraf oder ein falsches Datum sind Fehler dieser Art. Ursachen und Erkennungsmethoden haben wir in unserem Beitrag zur KI-Halluzination ausführlich behandelt.
- Aktuelle Informationen: Entwicklungen nach dem Stichtag kennt es nicht, solange es keinen Internetzugang erhält.
- Rechnen: Bei langen Rechenaufgaben kann es Fehler machen; für exakte Ergebnisse sollte ein Rechenwerkzeug verwendet werden.
- Quellenangaben: Auf Verlangen kann es Quellen erfinden; jeder Link und jedes Zitat muss geprüft werden.
- Lokale Details: Bei kleinen Städten, lokalen Vorschriften und Nischenbranchen kann sein Wissen schwach sein.
LLMs im Geschäftsalltag
Richtig eingesetzt, schaffen LLMs den Teams spürbar Zeit. Die Regel ist einfach: Das Modell erstellt den Entwurf, der Mensch entscheidet. Texte schreiben, Zusammenfassen, Klassifizieren und Datenextraktion sind die effizientesten Einsatzgebiete.
Im Marketing lassen sich Kampagnenideen, Varianten von Anzeigentexten und Content-Entwürfe schnell erstellen; Markenstimme und Faktencheck sind jedoch Aufgabe des Online-Marketing-Teams. Inhalte, die für die Sichtbarkeit in der Suche entstehen, sollten mit einem Prozess für SEO & Analyse gemessen werden.
In der Softwareentwicklung lassen sich LLMs per API an bestehende Systeme anbinden: etwa um eingehende Kundennachrichten zu klassifizieren, Produktbeschreibungen zu vereinheitlichen oder Berichte aus Bestelldaten zusammenzufassen. Solche Anbindungen sollten im Rahmen von E-Commerce-Integrationen und branchenspezifischen Softwarelösungen geplant werden.
Welches Modell bei welcher Aufgabe vorn liegt, finden Sie in unserem Vergleich von ChatGPT, Claude und Gemini, und Techniken zum Formulieren von Anweisungen für bessere Ergebnisse in unserem Ratgeber Prompts schreiben.
Worauf achtet man bei der Modellwahl?
Es gibt nicht »das eine beste Modell«; die Wahl richtet sich nach der Art der Aufgabe. Bei der Bewertung sind neben der Qualität auch Kosten, Geschwindigkeit und Datenrichtlinie entscheidend.
| Kriterium | Warum wichtig? |
|---|---|
| Antwortqualität | Testen Sie mit Ihren eigenen Beispielaufgaben; allgemeine Ranglisten spiegeln Ihre Arbeit möglicherweise nicht wider. |
| Kontextfenster | Wenn Sie lange Dokumente verarbeiten wollen, ist ausreichende Kapazität nötig. |
| Geschwindigkeit und Latenz | Entscheidend bei Live-Chats und Kundenschnittstellen. |
| Kosten | Der Preis pro Token wird entscheidend, wenn er mit dem monatlichen Volumen multipliziert wird. |
| Datenrichtlinie | Prüfen Sie, ob eingegebene Daten gespeichert und für das Training verwendet werden. |
| Leistung auf Türkisch | Qualität und Token-Effizienz bei türkischem Text unterscheiden sich je nach Modell. |
Häufig gestellte Fragen
01Sind LLM und künstliche Intelligenz dasselbe?
Nein. Künstliche Intelligenz ist ein weites Feld; auch Bilderkennung, Empfehlungssysteme und Robotik gehören dazu. Ein LLM ist ein auf Sprache spezialisierter Teilbereich der künstlichen Intelligenz.
02Ist ein LLM mit dem Internet verbunden?
Das Modell selbst ist nicht mit dem Internet verbunden; es antwortet nur mit dem Wissen, das es im Training gesehen hat. Manche Assistenten können über ein Suchwerkzeug aktuelle Seiten lesen, aber das ist eine Funktion der Anwendung, nicht des Modells.
03Müssen wir ein eigenes LLM für unser Unternehmen trainieren?
Für die meisten Unternehmen nicht. Suchbasierte Verfahren, die ein fertiges Modell mit Ihren eigenen Dokumenten versorgen, und gut formulierte Anweisungen liefern ein ähnliches Ergebnis zu deutlich geringeren Kosten als ein Training von Grund auf.
04Sind die Daten, die ich in Sprachmodelle eingebe, sicher?
Das hängt von den Bedingungen des genutzten Dienstes ab. In Unternehmenstarifen unterscheiden sich Datenspeicherung und Einstellungen zur Nutzung für das Training meist; prüfen Sie Vertrag und Einstellungen, bevor Sie personenbezogene oder vertrauliche Daten eingeben.
LLMs sind leistungsstarke Sprachmaschinen, die Token vorhersagen; wer weiß, wie sie arbeiten, erkennt, wo man ihnen vertrauen kann und wo man prüfen muss. Um künstliche Intelligenz an der richtigen Stelle in Ihr Unternehmen einzubinden, sehen Sie sich die Lösungen von Aurora Yazılım an oder schreiben Sie uns über unsere Kontaktseite.
