Hva er en LLM? Slik fungerer store språkmodeller

01Hva er en LLM? Kort definisjon

Spørsmålet hva er en LLM kan besvares slik i sin enkleste form: en statistisk motor for tekstfullføring som har lært språkets mønstre ved å lese milliarder av setninger. Når du skriver et spørsmål til den, ser den på det som begynnelsen på en tekst og lager den mest passende fortsettelsen ord for ord.

Ordet «stor» beskriver to ting: mengden data som er brukt i treningen, og antallet justerbare tall inni modellen, altså antallet parametere. Parametrene er den numeriske representasjonen av det modellen har lært under treningen.

Disse modellene lagrer ikke kunnskap rad for rad som en database. De lærer ved å komprimere kunnskap til mønstre. Derfor kan de skrive svært flytende, men av og til også produsere feil informasjon med stor selvsikkerhet.

02Hva er et token?

Språkmodeller behandler tekst ikke som bokstaver eller ord, men som biter som kalles tokens. Et token er noen ganger et helt ord, noen ganger en endelse og noen ganger bare ett skilletegn. I språk med mye bøying og sammensatte ord deles ett enkelt ord ofte opp i flere tokens.

I praksis møter du tokens tre steder. Modelltjenester priser vanligvis per token, mengden tekst modellen kan behandle på én gang måles i tokens, og svarhastigheten oppgis som antall tokens per sekund.

• Å la modellen analysere en lang kontrakt bruker langt flere tokens enn å skrive en kort e-post.
• Samme innhold utgjør som regel flere tokens på tyrkisk enn på engelsk. Ta hensyn til det når du regner ut kostnader.
• Tabeller, kode og spesialtegn øker også antall tokens.

03Hva brukes transformer-arkitekturen til?

Nesten alle dagens språkmodeller bygger på en nevralt nettverksarkitektur som kalles transformer. I hjertet av denne arkitekturen ligger oppmerksomhetsmekanismen (attention): når modellen behandler et ord, ser den på alle de andre ordene i setningen og regner ut hvilke som er viktigst for betydningen.

I setningen «Han satt ved elvebredden, og senere gikk han til banken for å åpne en konto» skilles for eksempel de ulike betydningene av ordet «bank» ved å se på ordene rundt. Eldre arkitekturer leste teksten i rekkefølge og mistet slike sammenhenger i lange setninger. Transformeren knytter disse båndene parallelt.

At den kan jobbe parallelt, gjorde det mulig å trene i stor skala på grafikkort (GPU). Bak den raske utviklingen av språkmodeller ligger kombinasjonen av denne arkitekturen og økende regnekraft.

04Hvordan trenes en språkmodell?

En LLM trenes vanligvis i flere trinn. Hvert trinn former en ulik side av modellen, og assistenten sluttbrukeren ser, er summen av disse trinnene.

Fortrening

Modellen lærer å forutsi neste token i brede tekstkilder som bøker, nettsider og kodelagre. Grammatikk, allmennkunnskap og mønstre for resonnering tilegnes i dette trinnet. Treningsdata har en kuttdato, og modellen kjenner ikke til hendelser etter denne datoen av seg selv.

Finjustering og tilbakemelding

Modellen som kommer ut av fortreningen, er en god tekstfullfører, men ennå ingen hjelpsom assistent. Metoder som finjustering med eksempler på spørsmål og svar og forsterkningslæring med menneskelig tilbakemelding får modellen til å følge instruksjoner og gi trygge og nyttige svar.

Svargenerering og temperatur

Å bruke modellen etter at treningen er ferdig, kalles inferens. I hvert steg regner modellen ut en liste med sannsynligheter for mulige tokens og velger ett av dem. Innstillingen temperatur (temperature) bestemmer hvor fritt dette valget er: lav verdi gir mer konsekvente og repeterbare svar, høy verdi gir mer kreative, men mer uforutsigbare svar.

Det er derfor du får litt ulike svar på det samme spørsmålet hver gang. Til oppgaver som rapporter, klassifisering og datauttrekk foretrekkes lav temperatur, mens høyere temperatur brukes til slagord og idéutvikling.

05Kontekstvindu og hukommelse

Kontekstvinduet er den totale mengden tokens modellen kan se samtidig i én forespørsel. Meldingen din, tidligere samtale, dokumentene du legger ved og modellens eget svar må alle få plass i dette vinduet. Når vinduet er fullt, faller de eldste opplysningene ut.

Modellen har ingen varig hukommelse. Hele samtalen sendes på nytt i hver forespørsel. Hukommelsesfunksjonene noen applikasjoner tilbyr, er hjelpelag som lagrer viktig informasjon separat og legger den til i senere samtaler.

For store kunnskapsmengder som ikke får plass i kontekstvinduet, som bedriftsdokumenter, brukes metoder som søker opp og henter inn de relevante delene. Dette er den vanligste måten å få oppdaterte og virksomhetsspesifikke svar på uten å trene modellen på nytt.

06Hvor tar LLM-er feil?

Språkmodellens mål er ikke å finne det riktige, men å lage den mest sannsynlige fortsettelsen. Den kan skrive et flytende svar selv om den ikke kan noe om temaet. Dette kalles hallusinasjon. Oppdiktede kilder, en lovparagraf som ikke finnes eller en feil dato er eksempler på slike feil. Årsakene og hvordan du fanger dem opp, har vi gått grundig gjennom i artikkelen vår om KI-hallusinasjoner.

• Oppdatert informasjon: den kjenner ikke til utviklingen etter kuttdatoen med mindre den får tilgang til internett.
• Regning: den kan gjøre feil i lange aritmetiske operasjoner. For eksakte resultater bør du bruke et regneverktøy.
• Kildehenvisning: den kan finne på kilder når du ber om det. Hver lenke og sitat må kontrolleres.
• Lokale detaljer: kunnskapen kan være svak om små byer, lokalt regelverk og nisjebransjer.

07LLM-er i arbeidslivet

Når de plasseres riktig, frigjør LLM-er mye tid for teamene. Regelen er enkel: modellen lager utkast, mennesket bestemmer. Tekstskriving, oppsummering, klassifisering og datauttrekk er de mest effektive bruksområdene.

I markedsføring kan kampanjeideer, varianter av annonsetekster og innholdsutkast lages raskt. Merkevarens stemme og kontroll av at det stemmer er likevel oppgaver for teamet for digital markedsføring. Innhold som lages for synlighet i søk, må måles gjennom en prosess med SEO og analyse.

På programvaresiden kan LLM-er kobles til eksisterende systemer via API, for eksempel for å klassifisere innkommende kundemeldinger, standardisere produktbeskrivelser eller oppsummere rapporter fra ordredata. Slike koblinger bør planlegges innenfor nettbutikkintegrasjoner og bransjespesifikke programvareløsninger.

Hvilken modell som utmerker seg på hvilken oppgave, finner du i artikkelen vår sammenligning av ChatGPT, Claude og Gemini, og teknikker for å skrive instruksjoner som gir bedre resultater, i guiden vår om hvordan skrive en prompt.

08Hva bør du se på når du velger modell?

Det finnes ingen enkelt «beste modell». Valget gjøres etter type oppgave. I vurderingen er kostnad, hastighet og datapolitikk like avgjørende som kvalitet.