Was ist RAG? KI, die mit Unternehmensdaten arbeitet

01Was ist RAG und wozu braucht man es?

Große Sprachmodelle sind stark im Allgemeinwissen, kennen aber weder die Preisliste Ihres Unternehmens noch interne Abläufe oder die im letzten Monat geänderte Rückgaberichtlinie. Diese Informationen stecken nicht in den Trainingsdaten, und wenn doch, sind sie veraltet. Die kürzeste Antwort auf die Frage »Was ist RAG?« lautet: eine Suchschicht, die das Modell das richtige Dokument lesen lässt, bevor es die Frage beantwortet.

Die drei Wörter im Namen fassen den Ablauf zusammen. Retrieval (Abruf) bedeutet, passende Textabschnitte zu finden, Augmented (angereichert) heißt, diese Abschnitte der Frage hinzuzufügen, und Generation (Erzeugung) bedeutet, dass das Modell die Antwort mit diesem Kontext schreibt. Das Modell verhält sich wie ein Student bei einer Open-Book-Prüfung.

Dieser Ansatz spielt seine Stärken besonders in KI-Projekten für Unternehmen aus. In Bereichen wie Kundenservice, Vertriebsunterstützung, Personalhandbüchern und technischer Dokumentation kann das Modell Wissen sicher nutzen, das es nicht kennt, Sie aber schon.

02Wie funktioniert RAG?

Ein RAG-System besteht aus zwei getrennten Abläufen: dem Indexierungs-Ablauf, in dem die Dokumente vorab aufbereitet werden, und dem Abfrage-Ablauf, der bei jeder Frage läuft. Die Indexierung erfolgt einmalig (und immer dann, wenn sich Dokumente ändern); der Abfrage-Ablauf ist bei jeder Nutzernachricht in wenigen Sekunden abgeschlossen.

Indexierungs-Ablauf

PDFs, Word-Dateien, Webseiten oder Datenbankeinträge werden in Text umgewandelt und in sinnvolle Abschnitte (Chunks) zerlegt. Jeder Abschnitt wird mit einem Embedding-Modell in einen numerischen Vektor umgewandelt und in einer Vektordatenbank gespeichert. Vektoren repräsentieren die Bedeutung eines Textes; Sätze mit ähnlicher Bedeutung erzeugen nahe beieinanderliegende Vektoren.

Abfrage-Ablauf

1. Die Frage des Nutzers wird mit demselben Embedding-Modell in einen Vektor umgewandelt.
2. In der Vektordatenbank werden die Abschnitte gesucht, die der Frage am nächsten liegen (meist die ersten 3–10 Treffer).
3. Die gefundenen Abschnitte werden zusammen mit Frage und Anweisungen an das Sprachmodell gesendet.
4. Das Modell schreibt die Antwort ausschließlich auf Grundlage dieses Kontexts und nennt die Quelle.

03Vektordatenbank und Embeddings

Die klassische Suche prüft Wortübereinstimmungen; wer nach »Rückgabefrist« sucht, übersieht womöglich den Absatz mit der Formulierung »Widerrufsrecht«. Die semantische Suche misst dagegen die Nähe zwischen Vektoren und erkennt beide Ausdrücke als dasselbe Thema. Die Stärke von RAG beruht zu einem großen Teil auf diesem Schritt.

Zum Speichern der Vektoren können spezialisierte Vektordatenbanken genutzt werden; bei PostgreSQL kann aber auch die bestehende relationale Datenbank mit Erweiterungen wie pgvector diese Aufgabe übernehmen. Welche Lösung passt, bestimmen Datenmenge, Aktualisierungshäufigkeit und das Know-how des Teams. Die Wahl des Datenmodells haben wir im Beitrag SQL und NoSQL im Vergleich ausführlich erklärt.

In der Praxis entsteht das beste Ergebnis oft mit einer hybriden Suche: Die Ergebnisse der semantischen Suche und der Stichwortsuche werden kombiniert. Bei Ausdrücken, die exakt übereinstimmen müssen, etwa Produktcodes oder Vertragsnummern, ist die Wortsuche weiterhin treffsicherer.

import numpy as np

def kosinus(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# parca_vektorleri: her belge parcasinin embedding vektoru
# soru_vektoru: kullanici sorusunun embedding vektoru
skorlar = [kosinus(soru_vektoru, v) for v in parca_vektorleri]
en_iyi = np.argsort(skorlar)[::-1][:5]
print(en_iyi)

04RAG oder Fine-Tuning?

Die zwei Wege, einem Modell Unternehmensdaten beizubringen, werden häufig verwechselt. Fine-Tuning bedeutet, die Gewichte des Modells mit Ihren eigenen Beispielen neu zu trainieren; das eignet sich gut, um Stil, Format und bestimmte Aufgabenmuster zu vermitteln. RAG hält das Wissen dagegen außerhalb des Modells und holt es bei jeder Frage hinzu.

Wenn sich das Wissen oft ändert, Quellenangaben wichtig sind und Zugriffsrechte je nach Nutzer variieren, ist RAG fast immer der treffsicherere Einstieg. Beide Methoden lassen sich auch kombinieren.

05Einsatzgebiete und Beispiele

Chat mit Dokumenten ist das bekannteste Beispiel: Statt hunderte Seiten Prozessbeschreibungen zu lesen, stellen Mitarbeitende Fragen, und das System antwortet mit Zitat der passenden Stelle. Dieselbe Logik funktioniert auch auf der Kundenseite.

• Kundensupport-Assistent: beantwortet Fragen zu Versand, Rückgabe und Garantiebedingungen mit den aktuellen Richtlinien der Website.
• Hotel und Tourismus: beantwortet Gästefragen anhand von Zimmerausstattung, Hausregeln und Tourprogrammen; für Buchungsdaten wird er mit Systemen wie einer Hotelsoftware kombiniert.
• E-Commerce: vergleicht Produkte anhand von Beschreibungen und technischen Datenblättern; Live-Daten wie Bestand und Preis werden dagegen über eine E-Commerce-Integration direkt aus dem System gelesen.
• Interne Wissensdatenbank: Personal, Buchhaltungsabläufe und technische Einrichtungshinweise werden über eine Oberfläche durchsucht.
• Marketingteam: erstellt Entwürfe auf Basis von Markenleitfaden und früheren Kampagnenberichten; diese Entwürfe durchlaufen im Online-Marketing eine menschliche Freigabe.

06Wie baut man ein RAG-Projekt auf?

Auch wenn die technischen Bausteine fertig verfügbar sind, steckt der Großteil der Arbeit in einem erfolgreichen Projekt auf der Datenseite. Die folgenden Schritte bieten einen Fahrplan, der für die meisten Unternehmensprojekte gilt.

1. Umfang eingrenzen: Wählen Sie zunächst ein einziges Einsatzszenario, zum Beispiel nur Fragen an den Kundensupport.
2. Quellen bereinigen: Sortieren Sie veraltete, widersprüchliche und Entwurfsdokumente aus; ein falsches Dokument liefert keine richtige Antwort.
3. Chunking-Strategie festlegen: Teilen Sie nach Überschriften- und Absatzgrenzen und lassen Sie zwischen den Abschnitten eine kleine Überlappung.
4. Zugriffsrechte planen: Ergänzen Sie jeden Abschnitt um Metadaten dazu, wer ihn sehen darf.
5. Anweisung formulieren: Verlangen Sie vom Modell, nur mit dem gelieferten Kontext zu antworten und zu sagen, wenn es etwas nicht weiß.
6. Testsatz erstellen: Messen Sie regelmäßig anhand von 50–100 echten Nutzerfragen mit den erwarteten Antworten.
7. Aktualisierungsablauf einrichten: Sorgen Sie dafür, dass die betroffenen Abschnitte automatisch neu indexiert werden, wenn sich ein Dokument ändert.

07Häufige Fehler

RAG-Systeme wirken in der ersten Demo beeindruckend; die Probleme zeigen sich erst mit echten Nutzern. Der häufigste Fehler ist ein schlechtes Chunking: Eine Tabelle wird in zwei Hälften geteilt, Überschrift und Inhalt landen in getrennten Abschnitten, und das Modell antwortet mit halbem Wissen.

Der zweite Fehler besteht darin, nur die letzte Antwort zu betrachten, ohne die Qualität des Abrufs zu messen. Die Ursache einer falschen Antwort ist oft nicht das Modell, sondern der Abruf eines falschen Abschnitts. Deshalb sollten die Suchergebnisse gesondert bewertet werden.

Der dritte Punkt ist die Sicherheit. In Dokumenten versteckte Anweisungen können versuchen, das Modell zu steuern (Prompt Injection). Abgerufener Text muss stets als Daten behandelt werden und darf Systemanweisungen nicht übersteuern. Wird das Modell mit weiteren Systemen verbunden, gelten auch hier die Berechtigungsprinzipien aus unserem Beitrag Was ist MCP?.

Schließlich ist RAG nicht der gesamte Ablauf. Muss nach der Antwort ein Ticket angelegt, eine E-Mail versendet oder ein Datensatz aktualisiert werden, braucht es die Kombination mit Werkzeugen für die Workflow-Automatisierung.

08Bevor Sie ein RAG-Projekt starten

Stellen Sie sich drei Fragen: Welche Fragen kosten Ihre Mitarbeitenden heute die meiste Zeit? Sind die Antworten aktuell und an einer einzigen Stelle dokumentiert? Was kostet eine falsche Antwort? Die Antworten bestimmen den Umfang des Projekts und die Stellen, an denen eine menschliche Freigabe nötig ist.

Wenn mit Dokumenten mit personenbezogenen Daten gearbeitet wird, müssen die Bedingungen für Verarbeitung und Speicherung von Anfang an klar sein. Prüfen Sie im Vertrag, wo der genutzte Modelldienst Daten verarbeitet und ob er sie speichert; für die rechtliche Bewertung ziehen Sie die aktuellen Vorschriften und Ihre Beratung hinzu.

Wenn wir bei Aurora Yazılım branchenspezifische Softwarelösungen entwickeln, stellen wir in jedem Projekt in den Mittelpunkt, wo Daten liegen und wer darauf zugreifen kann. Wenn Sie Ihr Projekt besprechen möchten, erreichen Sie uns über die Seite Kontakt.