Hva er RAG? AI som jobber med bedriftens egne data

01Hva er RAG, og hvorfor trengs det?

Store språkmodeller er sterke på allmenn kunnskap, men kjenner ikke bedriftens prisliste, interne prosedyrer eller returpolicyen som ble oppdatert forrige måned. Slik informasjon finnes ikke i treningsdataene, og selv om den gjorde det, ville den vært utdatert. Det korteste svaret på spørsmålet hva er RAG er dette: et søkelag som får modellen til å lese riktig dokument før den svarer.

De tre ordene i navnet oppsummerer prosessen. Retrieval (henting) er å finne relevante tekstbiter, augmented (utvidet) er å legge disse til i spørsmålet, og generation (generering) er at modellen skriver svaret med denne konteksten. Modellen oppfører seg som en student som får bruke åpen bok på en eksamen.

Tilnærmingen kommer særlig til sin rett i KI-prosjekter i bedrifter. Innen kundeservice, salgsstøtte, håndbøker for HR og teknisk dokumentasjon gjør den at modellen kan bruke kunnskap den ikke kjenner, men du kjenner, på en trygg måte.

02Hvordan virker RAG?

Et RAG-system består av to separate flyter: indekseringsflyten, der dokumentene forberedes på forhånd, og spørringsflyten, som kjører ved hvert spørsmål. Indekseringen gjøres én gang (og på nytt når dokumentene endres), mens spørringsflyten er ferdig i løpet av sekunder for hver brukermelding.

Indekseringsflyten

PDF, Word, nettsider eller databasposter gjøres om til tekst og deles i meningsfulle biter (chunks). Hver bit gjøres om til en numerisk vektor med en embedding-modell og lagres i en vektordatabase. Vektorene representerer tekstens mening, og setninger med lignende mening gir vektorer som ligger nær hverandre.

Spørringsflyten

1. Brukerens spørsmål gjøres om til en vektor med den samme embedding-modellen.
2. Vektordatabasen søker etter bitene som ligger nærmest spørsmålet (vanligvis de 3–10 første treffene).
3. Bitene som er funnet, sendes til språkmodellen sammen med spørsmålet og instruksjonene.
4. Modellen skriver svaret bare ut fra denne konteksten og oppgir kilden.

03Vektordatabase og embedding

Klassisk søk ser på ordtreff. Den som søker «returfrist», kan gå glipp av et avsnitt som sier «rett til å sende tilbake». Semantisk søk måler nærhet mellom vektorer og gjenkjenner derfor de to uttrykkene som samme tema. Styrken til RAG kommer i stor grad fra dette trinnet.

Vektorene kan lagres i spesialiserte vektordatabaser, men en eksisterende relasjonsdatabase kan også ta jobben, for eksempel PostgreSQL med utvidelser som pgvector. Hva som passer, avgjøres av datamengden, hvor ofte data oppdateres og hvilken teknologi teamet kan. Valget av datamodell har vi gått gjennom i artikkelen Forskjellen på SQL og NoSQL.

I praksis gir hybridsøk ofte det beste resultatet: resultatene fra semantisk søk og nøkkelordsøk slås sammen. For uttrykk som må treffe nøyaktig, som produktkoder og kontraktsnumre, er ordsøk fortsatt mer treffsikkert.

import numpy as np

def kosinus(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# parca_vektorleri: her belge parcasinin embedding vektoru
# soru_vektoru: kullanici sorusunun embedding vektoru
skorlar = [kosinus(soru_vektoru, v) for v in parca_vektorleri]
en_iyi = np.argsort(skorlar)[::-1][:5]
print(en_iyi)

04RAG eller finjustering (fine-tuning)?

De to måtene å lære modellen bedriftens data på blir ofte blandet sammen. Finjustering er å trene modellens vekter på nytt med dine egne eksempler, og det passer til å lære stil, format og bestemte oppgavemønstre. RAG holder derimot kunnskapen utenfor modellen og henter den ved hvert spørsmål.

Endrer informasjonen seg ofte, er det viktig å vise kilde, og varierer tilgangsrettighetene fra bruker til bruker, er RAG nesten alltid det riktigere utgangspunktet. De to metodene kan også brukes sammen.

05Bruksområder og eksempler

Chat med dokumenter er det mest kjente eksemplet: i stedet for å lese en prosedyre på hundrevis av sider stiller de ansatte et spørsmål, og systemet svarer med sitat fra den aktuelle paragrafen. Den samme logikken fungerer også mot kundene.

• Kundestøtteassistent: svarer på spørsmål om frakt, retur og garantivilkår ut fra gjeldende policyer på nettsiden.
• Hotell og turisme: svarer på gjestenes spørsmål ut fra romfunksjoner, husregler og turprogrammer. For bookingdata ses den i sammenheng med systemer som hotellprogramvare.
• Nettbutikk: sammenligner ut fra produktbeskrivelser og tekniske datablad, mens levende data som lager og pris leses direkte fra systemet via nettbutikkintegrasjon.
• Intern kunnskapsbase: HR, regnskapsprosesser og tekniske installasjonsnotater søkes fra ett grensesnitt.
• Markedsføringsteam: lager utkast ut fra merkevareguiden og tidligere kampanjerapporter, og utkastene går gjennom menneskelig godkjenning i digital markedsføring.

06Hvordan bygger man et RAG-prosjekt?

Selv om de tekniske komponentene er ferdige, ligger det meste av arbeidet i et vellykket prosjekt på datasiden. Trinnene nedenfor gir et veikart som gjelder for de fleste bedriftsprosjekter.

1. Avgrens omfanget: velg først ett enkelt brukstilfelle, for eksempel bare spørsmål til kundestøtten.
2. Rydd i kildene: fjern gamle, motstridende og utkastdokumenter. Feil dokument gir ikke riktig svar.
3. Bestem strategien for oppdeling: del etter overskrifter og avsnitt, og la det være en liten overlapping mellom bitene.
4. Design tilgangsrettighetene: legg til informasjon om hvem som kan se hver bit som metadata.
5. Skriv instruksjonen: be modellen svare bare ut fra den gitte konteksten og si fra hvis den ikke vet.
6. Lag et testsett: mål jevnlig med 50–100 eksempler fra ekte brukerspørsmål og forventede svar.
7. Sett opp oppdateringsflyten: sørg for at de berørte bitene indekseres på nytt automatisk når et dokument endres.

07Vanlige feil

RAG-systemer ser imponerende ut i den første demoen, og problemene dukker opp med ekte brukere. Den vanligste feilen er dårlig oppdeling: en tabell deles i to, overskriften og innholdet havner i hver sin bit, og modellen svarer med halve informasjonen.

Den andre feilen er å bare se på det endelige svaret uten å måle kvaliteten på hentingen. Kilden til et galt svar er som regel ikke modellen, men at feil bit ble hentet. Derfor må søkeresultatene vurderes særskilt.

Den tredje er sikkerhet. Instruksjoner skjult inne i dokumenter kan prøve å styre modellen (prompt injection). Hentet tekst bør alltid behandles som data og aldri gå foran systeminstruksjonene. Skal modellen kobles til andre systemer, gjelder tilgangsprinsippene i artikkelen Hva er MCP også her.

Til slutt er RAG ikke hele flyten. Må du etter svaret opprette en sak, sende e-post eller oppdatere en post, må det kombineres med verktøy for arbeidsflytautomatisering.

08Før du starter et RAG-prosjekt

Still deg selv tre spørsmål: Hvilke spørsmål tar mest av de ansattes tid i dag? Er svarene oppdaterte og skrevet ned på ett sted? Hva koster et galt svar? Svarene avgjør omfanget av prosjektet og på hvilket punkt det trengs menneskelig godkjenning.

Skal du jobbe med dokumenter som inneholder personopplysninger, må vilkårene for behandling og lagring av data være avklart fra start. Sjekk i avtalen hvor modelltjenesten du bruker behandler dataene, og om den lagrer dem. For juridisk vurdering bør du se gjeldende regelverk og rådføre deg med rådgiveren din.

Når vi hos Aurora Yazılım utvikler programvareløsninger for ulike bransjer, setter vi hvor dataene ligger og hvem som har tilgang i sentrum av hvert prosjekt. Vil du snakke om prosjektet ditt, kan du ta kontakt via kontaktsiden.