Vad är RAG? AI som arbetar med företagets data

01Vad är RAG och varför behövs det?

Stora språkmodeller är starka på allmän kunskap, men de känner inte till ditt företags prislista, interna rutiner eller den returpolicy som uppdaterades förra månaden. Den informationen finns inte i träningsdatan, och även om den gjorde det vore den inaktuell. Det kortaste svaret på vad RAG är: ett söklager som låter modellen läsa rätt dokument innan den svarar.

De tre orden i namnet sammanfattar processen. Retrieval (hämtning) är att hitta relevanta textavsnitt, augmented (utökad) är att lägga till dem i frågan och generation (generering) är att modellen skriver svaret med det sammanhanget. Modellen beter sig som en student som får använda boken på tentan.

Metoden passar särskilt bra i projekt för AI i företag. Inom kundtjänst, säljstöd, HR-handböcker och teknisk dokumentation gör den att modellen säkert kan använda kunskap som den inte har men som du har.

02Så fungerar RAG

Ett RAG-system består av två separata flöden: indexeringen, där dokumenten förbereds i förväg, och frågeflödet, som körs vid varje fråga. Indexeringen görs en gång (och sedan när dokumenten ändras); frågeflödet slutförs på några sekunder för varje meddelande från användaren.

Indexeringsflödet

PDF-filer, Word-dokument, webbsidor eller databasposter omvandlas till text och delas upp i meningsfulla delar (chunks). Varje del görs om till en numerisk vektor med en embedding-modell och sparas i en vektordatabas. Vektorerna representerar textens betydelse; meningar med liknande innebörd ger vektorer som ligger nära varandra.

Frågeflödet

1. Användarens fråga omvandlas till en vektor med samma embedding-modell.
2. Vektordatabasen söker upp de delar som ligger närmast frågan (vanligtvis de 3–10 bästa träffarna).
3. De hittade delarna skickas till språkmodellen tillsammans med frågan och instruktionerna.
4. Modellen skriver svaret enbart utifrån detta sammanhang och anger källan.

03Vektordatabas och embedding

Klassisk sökning jämför ord; den som söker på ”returtid” kan missa ett stycke som säger ”ångerrätt”. Semantisk sökning mäter i stället hur nära vektorerna ligger varandra och förstår därför att de två uttrycken handlar om samma sak. Mycket av RAG:s styrka kommer från just detta steg.

För att lagra vektorer kan man använda särskilda vektordatabaser, men en befintlig relationsdatabas kan också sköta jobbet med tillägg som pgvector för PostgreSQL. Vilket som passar avgörs av datamängd, uppdateringsfrekvens och vilken teknik teamet kan. Valet av datamodell går vi igenom i vår artikel om skillnaden mellan SQL och NoSQL.

I praktiken ger hybridsökning oftast bäst resultat: träffarna från semantisk sökning och nyckelordssökning kombineras. För uttryck som måste matcha exakt, som produktkoder och avtalsnummer, är ordsökning fortfarande träffsäkrare.

import numpy as np

def kosinus(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# parca_vektorleri: her belge parcasinin embedding vektoru
# soru_vektoru: kullanici sorusunun embedding vektoru
skorlar = [kosinus(soru_vektoru, v) for v in parca_vektorleri]
en_iyi = np.argsort(skorlar)[::-1][:5]
print(en_iyi)

04RAG eller finjustering (fine-tuning)?

De två sätten att lära en modell företagets data förväxlas ofta. Finjustering innebär att modellens vikter tränas om med dina egna exempel; det passar bra för att lära in ton, format och vissa uppgiftsmönster. RAG håller däremot kunskapen utanför modellen och hämtar den vid varje fråga.

Om informationen ändras ofta, om källhänvisning är viktig och om åtkomsträttigheterna skiljer sig mellan användare är RAG nästan alltid den bättre startpunkten. De två metoderna kan också användas tillsammans.

05Användningsområden och exempel

Chatt med dokument är det mest kända exemplet: i stället för att läsa en procedur på hundratals sidor ställer medarbetarna en fråga, och systemet svarar med ett citat från rätt punkt. Samma logik fungerar på kundsidan.

• Assistent för kundsupport: svarar på frågor om frakt, retur och garantivillkor utifrån de aktuella policyerna på webbplatsen.
• Hotell och turism: svarar på gästers frågor utifrån rumsegenskaper, regler för anläggningen och resprogram; för bokningsdata tänker man sig det tillsammans med system som hotellsystem.
• E-handel: jämför produkter utifrån produktbeskrivningar och tekniska datablad, medan levande data som lager och pris läses direkt från systemet via e-handelsintegration.
• Intern kunskapsbas: HR, bokföringsrutiner och tekniska installationsanteckningar kan sökas från ett enda gränssnitt.
• Marknadsteam: skapar utkast utifrån varumärkesriktlinjer och tidigare kampanjrapporter; utkasten godkänns av en människa i digital marknadsföring.

06Så bygger du ett RAG-projekt

Även om de tekniska komponenterna finns färdiga ligger det mesta av arbetet i ett lyckat projekt på datasidan. Stegen nedan ger en färdplan som fungerar i de flesta företagsprojekt.

1. Avgränsa omfattningen: välj först ett enda användningsfall, till exempel bara frågor till kundsupporten.
2. Rensa källorna: sortera bort gamla, motsägelsefulla och preliminära dokument; ett felaktigt dokument ger inget korrekt svar.
3. Bestäm chunkningsstrategi: dela efter rubriker och styckegränser och låt delarna överlappa lite.
4. Planera åtkomsträttigheter: lägg till uppgiften om vem som får se varje del som metadata.
5. Skriv instruktionen: be modellen svara enbart utifrån det givna sammanhanget och säga ifrån om den inte vet.
6. Ta fram en testuppsättning: mät regelbundet med 50–100 exempel på verkliga användarfrågor och förväntade svar.
7. Bygg uppdateringsflödet: se till att berörda delar indexeras om automatiskt när ett dokument ändras.

07Vanliga misstag

RAG-system ser imponerande ut i första demon; problemen visar sig först med riktiga användare. Det vanligaste misstaget är dålig chunkning: en tabell delas i två, rubrik och innehåll hamnar i olika delar och modellen svarar utifrån halv information.

Det andra misstaget är att bara titta på det slutliga svaret utan att mäta hämtningens kvalitet. Orsaken till ett felaktigt svar är oftast inte modellen utan att fel del har hämtats. Därför måste sökresultaten utvärderas separat.

Det tredje är säkerhet. Instruktioner som gömts i dokument kan försöka styra modellen (prompt injection). Hämtad text ska alltid behandlas som data och aldrig gå före systeminstruktionerna. Om modellen ska kopplas till andra system gäller behörighetsprinciperna i vår artikel Vad är MCP? även här.

Slutligen är RAG inte hela flödet. Om du efter svaret behöver skapa ett ärende, skicka e-post eller uppdatera en post måste det kombineras med verktyg för arbetsflödesautomation.

08Innan du startar ett RAG-projekt

Ställ dig tre frågor: Vilka frågor tar i dag mest tid för medarbetarna? Finns svaren aktuella och nedskrivna på ett enda ställe? Vad kostar ett felaktigt svar? Svaren avgör projektets omfattning och var mänskligt godkännande behövs.

Om ni ska arbeta med dokument som innehåller personuppgifter måste villkoren för behandling och lagring av data vara tydliga från början. Kontrollera i avtalet var den använda modelltjänsten behandlar data och om den sparar den; för juridisk bedömning bör du kontrollera gällande lagstiftning och rådfråga din rådgivare.

När vi på Aurora Yazılım utvecklar branschanpassade mjukvarulösningar ställer vi alltid frågan var data finns och vem som kommer åt den i centrum för varje projekt. Vill du prata om ditt projekt kan du nå oss via vår kontaktsida.