Vad är en LLM? Så fungerar stora språkmodeller

01Vad är en LLM? Kort definition

Frågan vad en LLM är kan besvaras så här i sin enklaste form: en statistisk motor för textkomplettering som har lärt sig språkets mönster genom att läsa miljarder meningar. När du skriver en fråga till den ser den frågan som början på en text och skapar den mest lämpliga fortsättningen ord för ord.

Ordet »stor« syftar på två saker: mängden data som används vid träningen och antalet justerbara tal i modellen, alltså antalet parametrar. Parametrarna är den numeriska motsvarigheten till den kunskap som modellen lärde sig under träningen.

Dessa modeller lagrar inte kunskap rad för rad som en databas. De lär sig kunskap genom att komprimera den till mönster. Därför kan de skriva mycket flytande men ibland också självsäkert ge felaktiga uppgifter.

02Vad är en token?

Språkmodeller bearbetar text inte som bokstäver eller ord utan som delar som kallas token. En token är ibland ett helt ord, ibland en ändelse och ibland bara ett skiljetecken. I agglutinerande språk som turkiska delas ett enda ord ofta upp i flera token.

Begreppet token dyker upp på tre ställen i praktiken. Modelltjänster tar oftast betalt per token; hur mycket text modellen kan bearbeta åt gången mäts i token; och svarshastigheten uttrycks som antalet token som genereras per sekund.

• Att låta analysera ett långt avtal förbrukar betydligt fler token än att låta skriva ett kort mejl.
• Samma innehåll motsvarar oftast fler token på turkiska än på engelska; ta hänsyn till det i kostnadsberäkningen.
• Tabeller, kod och specialtecken ökar också antalet token.

03Vad är transformerarkitekturen bra för?

Nästan alla dagens språkmodeller bygger på en neural nätverksarkitektur som kallas transformer. I hjärtat av den här arkitekturen finns uppmärksamhetsmekanismen (attention): när modellen bearbetar ett ord tittar den på alla andra ord i meningen och räknar ut vilka som är viktigast för betydelsen.

I meningen »Hon la locket på kastrullen och strök en lock hår ur pannan« skiljs till exempel de två orden »lock« med olika betydelser åt genom att man tittar på orden runt omkring. Äldre arkitekturer läste texten i tur och ordning och tappade de här sambanden i långa meningar; transformern bygger de här kopplingarna parallellt.

Att den kan arbeta parallellt gjorde det möjligt att träna i stor skala på grafikkort (GPU). Bakom de snabba sprången i språkmodeller ligger kombinationen av den här arkitekturen och den ökade beräkningskraften.

04Hur tränas en modell?

En LLM tränas vanligtvis i flera steg. Varje steg formar en annan sida av modellen, och den assistent som slutanvändaren ser är summan av dessa steg.

Förträning

Modellen lär sig att förutsäga nästa token i breda textkällor som böcker, webbsidor och kodarkiv. Grammatik, allmänbildning och resonemangsmönster förvärvas i det här steget. Träningsdata har ett stoppdatum; modellen känner inte av sig själv till händelser efter det datumet.

Finjustering och återkoppling

Modellen efter förträningen är en bra textkompletterare men inte en hjälpsam assistent. Metoder som finjustering med exempel på frågor och svar och förstärkningsinlärning med mänsklig återkoppling gör att modellen följer instruktioner och ger säkra och användbara svar.

Svarsgenerering och temperatur

När träningen är klar kallas användningen av modellen inferens (inference). I varje steg räknar modellen fram en sannolikhetslista för möjliga token och väljer en av dem. Inställningen temperatur (temperature) avgör hur fritt det valet är: lågt värde ger mer konsekventa och reproducerbara svar, högt värde ger mer kreativa men mer oförutsägbara svar.

Därför får du lite olika svar varje gång på samma fråga. Vid uppgifter som rapporter, klassificering och datautvinning föredras låg temperatur; vid slogans och idégenerering högre temperatur.

05Kontextfönster och minne

Kontextfönstret är den totala mängd token som modellen kan se samtidigt i en enda förfrågan: ditt meddelande, tidigare konversation, bifogade dokument och modellens eget svar måste rymmas i fönstret. När fönstret är fullt hamnar den äldsta informationen utanför.

Modellen har inget bestående minne; hela konversationen skickas om vid varje förfrågan. Minnesfunktionerna i vissa tillämpningar är hjälpskikt som lagrar viktig information separat och lägger till den i senare konversationer.

För stora kunskapsmängder som inte ryms i kontextfönstret, som företagsdokument, används metoder som söker upp och hämtar relevanta delar. Det är det vanligaste sättet att få aktuella och företagsspecifika svar utan att träna om modellen.

06Var har LLM:er fel?

Språkmodellens mål är inte att hitta det rätta utan att generera den sannolika fortsättningen. Den kan skriva ett flytande svar även i ett ämne där den saknar kunskap; det kallas hallucination. Påhittade källor, en lagparagraf som inte finns eller ett felaktigt datum är fel av det här slaget. Orsakerna och hur man fångar dem har vi gått igenom i inlägget om AI-hallucinationer.

• Aktuell information: den känner inte till utvecklingen efter stoppdatumet om den inte får tillgång till internet.
• Beräkningar: den kan göra fel i långa aritmetiska operationer; för exakta resultat bör ett räkneverktyg användas.
• Källhänvisning: den kan hitta på källor när du ber om dem; varje länk och citat måste kontrolleras.
• Lokala detaljer: kunskapen kan vara svag om små städer, lokala regler och nischade branscher.

07LLM i arbetslivet

Rätt positionerade frigör LLM:er teamens tid på allvar. Regeln är enkel: modellen tar fram utkast, människan fattar beslutet. Textskrivning, sammanfattning, klassificering och datautvinning är de mest effektiva användningsområdena.

På marknadsföringssidan kan kampanjidéer, annonsvarianter och innehållsutkast tas fram snabbt; men varumärkets röst och faktakontroll är uppgifter för teamet för digital marknadsföring. Innehåll som tas fram för synlighet i sök bör mätas i processen för SEO och analys.

På mjukvarusidan kan LLM:er kopplas till befintliga system via API: att klassificera inkommande kundmeddelanden, standardisera produktbeskrivningar eller sammanfatta rapporter från orderdata. Den här typen av kopplingar bör planeras inom e-handelsintegration och branschspecifika mjukvarulösningar.

Vilken modell som utmärker sig för vilken uppgift hittar du i vårt inlägg jämförelse mellan ChatGPT, Claude och Gemini, och tekniker för att skriva instruktioner för bättre resultat i vår guide om hur man skriver en prompt.

08Vad ska man titta på när man väljer modell?

Det finns ingen enskild »bästa modell«; valet görs utifrån typen av uppgift. Vid bedömningen är kostnad, hastighet och datapolicy lika avgörande som kvalitet.