År 1948 skrev matematikern Claude Shannon text med hjälp av en vanlig bok. Han slog upp en sida på måfå och tog ett ord. Sedan slog han upp en ny sida, läste tills samma ord kom och skrev av ordet efter. Så fortsatte han, ord för ord, och resultatet lät nästan som engelska.[1] En språkmodell gör något liknande, fast den räknar med sannolikheter. Här räknar du på hur, och till sist bygger du en egen minimodell med en tärning.
Från räkning till sannolikhet
Hur får en språkmodell fram sannolikheterna för nästa ord, som i kapitel 1? Det enklaste sättet är att räkna. Här är en kort text som vi har skrivit:
Jag tar bussen till skolan. Bussen är full. Jag tar cykeln till hallen. Cykeln är snabb. Jag tar bussen hem. Bussen är sen. Mamma tar tåget till jobbet. Tåget är sent. Pappa tar cykeln hem. Pappa tar bussen till jobbet.
Ordet tar står sex gånger. Efter det kommer bussen tre gånger, cykeln två och tåget en. Hur stor andel av gångerna något händer kallas : bussen kom i 3 fall av 6, alltså 3/6 = 0,5. Används de relativa frekvenserna som sannolikheter har vi en modell: efter tar kommer bussen med sannolikheten 0,5, cykeln med 2/6 ≈ 0,33 och tåget med 1/6 ≈ 0,17. Tillsammans blir det 1, eftersom något av orden alltid kommer.
Vi gör likadant med varje ord, skriver orden med små bokstäver och räknar punkten som ett ord, så att modellen kan avsluta meningar.
| Ord | Följs av, antal gånger | Sannolikheter |
|---|---|---|
| tar | bussen 3, cykeln 2, tåget 1 | 3/6, 2/6, 1/6 |
| bussen | till 2, är 2, hem 1 | 2/5, 2/5, 1/5 |
| cykeln | till 1, är 1, hem 1 | 1/3 var |
| tåget | till 1, är 1 | 1/2 var |
| till | jobbet 2, skolan 1, hallen 1 | 2/4, 1/4, 1/4 |
| är | full, snabb, sen och sent, 1 var | 1/4 var |
| jag, mamma, pappa | tar varje gång | 1 |
| hem, skolan, hallen, jobbet, full, snabb, sen, sent | punkt varje gång | 1 |
Räknat ur texten, 40 ord. Raden för punkten är utelämnad, eftersom alla meningar här får börja med jag.
En modell som bara tittar ett ord bakåt kallas en , efter bigram, ordpar. Längre följder av ord ger mer sammanhang, men varje följd blir ovanligare i texten, och då blir det färre fall att räkna på.[2] Shannons text byggde på ordparen i en bok: ”THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT …” Varje ordpar låter som engelska, men helheten betyder ingenting.
En riktig språkmodell har ingen sådan tabell. Llama 3, som Meta släppte i april 2024, har ett ordförråd på omkring 128 000 tokens, alltså ord och delar av ord.[3] En tabell över alla par skulle få 128 000 · 128 000 ≈ 16,4 miljarder rutor, dubbelt så många som den minsta versionens 8 miljarder parametrar, och ändå bara se ett ord bakåt. Modellen räknar i stället fram sannolikheterna med parametrarna, utifrån hela sammanhanget.
Sammanhanget är ett villkor
I kapitlet ändrades sannolikheterna för vad som fanns i väskan när meningen började med efter hockeyträningen. Det är : sannolikheten för något, givet att något annat gäller. Det skrivs P(skridskorna | hockey) och läses ”sannolikheten för skridskorna, givet hockey”.
Tänk dig 10 000 meningar i träningsdatan med orden öppnade väskan och hittade och sedan ett ord. I 500 av dem står det om hockeyträning före. Siffrorna är påhittade, men valda så att de stämmer med kapitlets Gissa nästa ord.
| Meningen | skridskorna | mobilen | något annat | Alla |
|---|---|---|---|---|
| Med hockeyträning före | 135 | 25 | 340 | 500 |
| Utan hockeyträning | 65 | 2 375 | 7 060 | 9 500 |
| Alla | 200 | 2 400 | 7 400 | 10 000 |
Utan villkor räknar du med alla meningarna: P(mobilen) = 2 400/10 000 = 0,24. Med villkoret räknar du bara med den första raden: P(skridskorna | hockey) = 135/500 = 0,27 och P(mobilen | hockey) = 25/500 = 0,05. Villkoret byter nämnaren, och det är det som sammanhanget gör. Vänd inte på villkoret av misstag: P(hockey | skridskorna) = 135/200 = 0,675 är ett annat tal.
Samma räkning förklarar en sak i kapitlets väska. Staplarna blir där bara 70 procent tillsammans, och slumpen drar bland de fem orden som syns. Mobilen kommer då med sannolikheten 0,24/0,70 ≈ 0,34, givet att det blir ett av dem, alltså ungefär 34 gånger av 100.
Bigrammodellen har ordet före som villkor. Mer sammanhang ger ett skarpare villkor, men färre fall att räkna på. Pröva med resorna.
Här arbetar ingen riktig språkmodell. Alternativen och startvärdena är förskrivna. Reglaget ändrar hur ofta ett ovanligare alternativ kommer.
tar …
En mening är ett flerstegsförsök
Modellen skriver ett ord i taget. Varje ord är ett steg, och meningen är ett . Sannolikheten för en viss mening får du genom att multiplicera stegens sannolikheter, som längs en gren i ett träddiagram. Så troligt är det att minimodellen skriver ”Jag tar bussen till skolan.” om den börjar med jag:
jag → tar → bussen → till → skolan → punkt: 1 · 3/6 · 2/5 · 1/4 · 1 = 1 · 0,5 · 0,4 · 0,25 · 1 = 0,05
Ungefär 1 gång av 20 blir det den meningen. Men ”Jag tar bussen är sen.” får också 0,05, eftersom två meningar i texten börjar med Bussen är. Bigrammodellen tittar bara ett ord bakåt, och i det villkoret finns inget som säger att meningen redan har ett verb. Av samma skäl är ”Tåget är sen.” lika troligt som ”Tåget är sent.”
Långa texter blir osannolika, även när varje ord är troligt. Har varje ord sannolikheten 0,9 multipliceras sannolikheten med förändringsfaktorn 0,9 för varje nytt ord:
- 10 ord: 0,9¹⁰ ≈ 0,35
- 50 ord: 0,9⁵⁰ ≈ 0,005
- 100 ord: 0,9¹⁰⁰ ≈ 0,000027, ungefär 3 gånger på 100 000
Varje enskilt långt svar är alltså osannolikt, även ett bra. Därför blir två långa svar på samma fråga sällan likadana ord för ord. Och troligt betyder inte sant: en kort och felaktig mening kan vara mycket troligare än en lång och riktig.
Räkna på resorna
Använd tabellen över minimodellen.
Slumpen i svaren
Varför kan samma fråga ge olika svar? Modellen räknar fram sannolikheterna, men ordet dras med slump enligt dem. Ett ord med sannolikheten 0,5 kommer ungefär varannan gång, inte varje gång.
Du kan härma dragningen med en tärning. För ordet efter tar ger 1, 2 eller 3 bussen, 4 eller 5 cykeln och 6 tåget. Ett slumpförsök som härmar ett annat kallas en . Vi lät en dator slå tärningen 6 000 gånger och räknade efter 6, 60, 600 och 6 000 slag.
Efter sex slag stämde det precis, men det var tur. Efter 60 slag hade bussen bara kommit i 43 procent av fallen.
En datorsimulering, 6 000 slag i samma omgång. Relativ frekvens i procent, avrundad till hela procent.
Efter 6 000 slag ligger alla tre nära sannolikheterna. Med fler försök brukar den relativa frekvensen hamna närmare sannolikheten. Därför behöver du fråga en chatt många gånger innan du kan säga hur den brukar svara.
Reglaget Hur mycket slump? i Gissa nästa ord ändrar inte vilka ord som finns, bara hur sannolikheterna fördelas innan ordet dras. Med lite slump blir de vanliga orden ännu vanligare, och det troligaste kommer nästan alltid. Med mycket slump jämnas sannolikheterna ut, och ovanliga ord kommer oftare. I riktiga modeller kallas reglaget . Mer slump betyder inte mer kreativitet: i en studie från 2024 gav högre temperatur något mer nyskapande, men framför allt mer osammanhängande berättelser.[4]
Gå djupareFormeln bakom reglaget
Reglaget är ett tal T som börjar på 1. Varje sannolikhet p upphöjs till 1/T, och sedan delas allt med summan, så att det blir 1 tillsammans:
ny sannolikhet = p^(1/T) / (summan av alla p^(1/T))
Med T = 1 händer ingenting. Med T = 0,5 blir exponenten 2. För ordet efter tar blir det (1/2)² = 9/36, (1/3)² = 4/36 och (1/6)² = 1/36, med summan 14/36. De nya sannolikheterna blir 9/14 ≈ 0,64, 4/14 ≈ 0,29 och 1/14 ≈ 0,07: bussen blev vanligare och tåget ovanligare.
Räkna själv med T = 2, alltså med kvadratroten. Svaret är omkring 0,42, 0,34 och 0,24. Reglaget i modellen ovan går från 0,3 till 2,2. Dra det nästan längst åt höger och slumpa fram ett ord, så står det hur ofta ordet kommer med den inställningen.
Lönar det sig att gissa?
I kapitlet fanns ett prov där rätt svar gav 1 poäng, fel svar −1 och vet inte 0. Den som gissar i blindo bland fyra alternativ får i genomsnitt 0,25 · 1 + 0,75 · (−1) = −0,5 poäng. Ett sådant genomsnitt kallas : vad du i genomsnitt får per gång om du gör samma sak väldigt många gånger.
Men oftast gissar man inte i blindo. Säg att sannolikheten för att du har rätt är p och att ett fel ger s minuspoäng. Då är väntevärdet för att svara p − (1 − p) · s. Att svara lönar sig när väntevärdet är större än 0, alltså när p är större än s/(1 + s). Är du 60 procent säker på kapitlets prov blir väntevärdet 0,6 − 0,4 = 0,2, och då lönar det sig.
| Poängsystem | Fel svar ger | Svara om sannolikheten för rätt är större än |
|---|---|---|
| Högskoleprovet och många AI-tester | 0 | 0, alltså alltid |
| Fyra alternativ och straff för fel | −1/3 | 1/4 = 0,25 |
| Provet i kapitlet | −1 | 1/2 = 0,5 |
| Forskarnas förslag med gränsen 0,75 | −3 | 3/4 = 0,75 |
| Forskarnas förslag med gränsen 0,9 | −9 | 9/10 = 0,9 |
Rätt svar ger 1 poäng och vet inte 0. Med −1/3 för fel blir väntevärdet 0 för den som gissar i blindo bland fyra alternativ.
Det förklarar varför AI-modeller gissar. När ett test ger 0 poäng både för fel svar och för vet inte lönar det sig alltid att svara, och när modeller tränas för att få höga poäng blir gissningar vanligare än vet inte. Forskarna bakom förklaringen i kapitlet föreslår att testerna anger en gräns t för hur säker modellen ska vara och ger fel svar t/(1 − t) minuspoäng. Med t = 0,75 blir straffet 0,75/0,25 = 3, som i tabellens fjärde rad.[5]
Räkna poängen per 100 frågor om fel svar ger −1. Vilken modell får flest poäng?
Ska chatten gissa eller säga vet inte?
Straffet för ett fel beror på situationen. Det finns inget facit. Välj det du tycker passar bäst och läs hur vi tänkte.
Förslag på ett namn till klassens lag i frågesporten.
Om en svamp som du har hittat i skogen går att äta.
Vilket år en händelse inträffade, till en inlämningsuppgift.
Slutuppgift: bygg en minimodell
Bygg en egen bigrammodell med papper, penna och tärning, ungefär som Shannon gjorde 1948.
- Välj en text på 100–200 ord: en egen text, en folkvisa eller en text från läraren. Skriv orden med små bokstäver och räkna punkten som ett ord.
- Gör en tabell över vilka ord som följer på vilka, med antal och sannolikheter som bråk och decimaltal, för minst tio ord.
- Generera minst tre meningar. Börja med ett ord som inleder en mening. Står ordet n gånger i texten, numrera orden efter det från 1 till n. Slå en tärning och slå om när talet är större än n. Är n större än 6, dra i stället ett slumptal mellan 1 och n i ett kalkylprogram. Skriv ned varje slag, och stoppa efter 15 ord.
- Räkna sannolikheten för en av meningarna steg för steg, och jämför med en mening ur texten.
- Resonera om varför en del meningar blir konstiga, vad mer text och två ord bakåt skulle ändra och hur en riktig språkmodell skiljer sig från din.
Redovisa på ett av två sätt. Läraren säger vilket.
- En skriftlig rapport på 1–2 sidor med tabellen, meningarna och uträkningarna.
- En affisch med tabellen och ett träddiagram för en mening, som du redovisar muntligt i 3–4 minuter.
Planera din minimodell
Skriv stödord här medan du arbetar. Själva rapporten eller affischen gör du sedan på det sätt som läraren säger.
Tre saker att ta med
En språkmodell bygger på sannolikheter för nästa ord. I en bigrammodell är de relativa frekvenser ur en text, och en riktig modell räknar fram dem med sina parametrar.
Sammanhanget är ett villkor som byter nämnaren, och en mening är ett flerstegsförsök där sannolikheterna multipliceras. Därför blir långa texter osannolika, och troligt betyder inte sant.
Ordet dras med slump enligt sannolikheterna, så samma fråga kan ge olika svar. Om det lönar sig att gissa beror på poängsystemet, och det räknar du ut med väntevärdet.
Dina svar sparas bara i den här webbläsaren. Ladda ned dem eller skriv ut kapitlet om du vill ha dem kvar.
Kapitel 1 i fler ämnen
- TeknikTräna, testa, förbättra
Hur byggs och testas ett AI-system, och hur vet man vad modellen egentligen har lärt sig?
Två till tre lektioner · Slutuppgift: teknisk rapport eller presentation med demonstration - MatematikNästa ord är en sannolikhet
Hur räknar en språkmodell fram nästa ord, och varför kan samma fråga ge olika svar?
Två till tre lektioner · Slutuppgift: minimodell, som rapport eller affisch
Ord på sidan
- Relativ frekvens
- Hur stor andel av gångerna något har hänt: antalet gånger delat med antalet försök. Kommer bussen efter ordet tar 3 gånger av 6 är den relativa frekvensen 3/6 = 0,5.
- Bigrammodell
- En språkmodell som räknar fram nästa ord utifrån bara ordet före. Ett bigram är ett ordpar.
- Betingad sannolikhet
- Sannolikheten för något, givet att något annat gäller. Skrivs P(A | B). Villkoret avgör vilka fall du räknar med, alltså nämnaren.
- Flerstegsförsök
- Ett slumpförsök i flera steg efter varandra, till exempel flera tärningsslag eller flera ord i en mening. Sannolikheten för ett visst utfall får du genom att multiplicera sannolikheterna för stegen.
- Simulering
- Ett slumpförsök som härmar ett annat, till exempel en tärning som får bestämma nästa ord.
- Temperatur
- Talet som styr hur mycket slump en språkmodell använder när nästa ord dras. Låg temperatur ger nästan alltid det troligaste ordet, och hög ger oftare ovanliga ord.
- Väntevärde
- Det du i genomsnitt får per gång om du gör samma slumpförsök väldigt många gånger. Du räknar ut det genom att multiplicera varje utfall med sin sannolikhet och lägga ihop.
Läs och se mer
- ArtikelGood-looking gibberish
Engelska. Matematiktidningen Plus om hur Claude Shannon skrev nästan engelska med slump och sannolikheter.
För lärare
Lektionsstart i Rummet · cirka 15 min
Relativ frekvens ur en kort text, betingad sannolikhet med väskan efter hockeyträningen, slumpen i svaren och en fråga i Fyra hörn om minuspoäng för fel svar.
Visa storbilden på projektorn och stega med piltangenterna eller en clicker. Det du kan säga står i lärarpanelen. Eleverna ansluter med en kod och svarar på mobilen eller datorn, utan konto.
Starta lektionen i RummetSyfte
Eleven ska kunna räkna fram relativa frekvenser och använda dem som sannolikheter, tolka betingad sannolikhet i en tabell, räkna sannolikheter i flerstegsförsök, jämföra en simulering med sannolikheten och använda väntevärde för att avgöra när det lönar sig att gissa. Fördjupningen bygger på Gissa nästa ord och provfrågan i kapitel 1.
Centralt innehåll
Fördjupningen hör till de delar av kursplanen i matematik för åk 7–9 i Lgr22 som handlar om sannolikhet och statistik (slumpförsök i flera steg, simuleringar, tabeller och diagram), om samband och förändring (förändringsfaktor, och väntevärdet som en linjär funktion) och om problemlösning, med kombinatorik i uppgiften om antalet meningar. Läs formuleringarna i Skolverkets kursplan innan du kopplar slutuppgiften till betygskriterierna. De är inte kontrollerade här.
I gymnasiet passar fördjupningen i matematik på nivå 1, särskilt i delarna om sannolikhet och statistik. Jämför med det centrala innehållet i ämnesplanen.
Upplägg, tre lektioner
Lektion 1. Ingressen, Från räkning till sannolikhet och Sammanhanget är ett villkor. Räkna tabellen över resorna tillsammans, och låt klassen räkna ut staplarna innan ni visar Gissa nästa ord på storbilden.
Lektion 2. En mening är ett flerstegsförsök, med uppgiften, och Slumpen i svaren. Låt varje elev slå en tärning 30 gånger för ordet efter tar och lägg ihop klassens resultat, så syns hur den relativa frekvensen närmar sig 0,5.
Lektion 3. Lönar det sig att gissa? med snabbkollen och sorteringen, och start på slutuppgiften, som redovisas en senare lektion eller lämnas in.
Anpassningar
- Mer stöd. Ge en färdig tabell, till exempel den över resorna, så att eleven bara slår tärningen, skriver meningarna och räknar en sannolikhet. Slutuppgiften kan göras i par med en text på 50–80 ord, och sannolikheterna kan stanna vid bråk.
- Mer utmaning. Låt eleven använda formeln för reglaget på sin egen tabell, bygga en trigrammodell med två ord bakåt och räkna hur många fall som finns kvar, eller jämföra två texter, till exempel en visa och en nyhetsartikel. Väntevärdet kan ritas som funktion av p: räta linjer som skär p-axeln vid s/(1 + s).
- Gymnasiet. Skriv betingad sannolikhet som P(A | B) = P(A och B)/P(B) och kontrollera med väskans tabell: 0,0135/0,05 = 0,27. Låt eleverna programmera minimodellen och jämföra andelen meningar av formen ”Jag tar … är …” med den teoretiska, 71/180 ≈ 0,39.
Om faktauppgifterna
- Simuleringen. Python 3, random.seed(2026), en omgång på 6 000 slag. Antalen för bussen, cykeln och tåget: 3, 2 och 1 efter 6 slag, 26, 23 och 11 efter 60, 281, 217 och 102 efter 600 och 3 061, 1 975 och 964 efter 6 000. Att sex slag blir precis 3, 2 och 1 händer i omkring 14 fall av 100. Med 30 slag kommer bussen 12–18 gånger i omkring 80 fall av 100.
- Reglaget. Komponenten räknar p^(1/T) och delar med summan för de ord som visas. T går från 0,3 till 2,2 och börjar på 1. Talet syns inte, men när reglaget är markerat flyttar piltangenterna det 0,1 åt gången.
- Shannon. Bell System Technical Journal, juli och oktober 1948. Metoden med boken beskrivs för bokstäver, och enligt Shannon gjordes exemplen med ord på liknande sätt.
- Gissningarna. Förslaget står i avsnitt 4.2 hos Kalai m.fl., med gränserna 0,5, 0,75 och 0,9. OpenAI:s siffror gäller testet SimpleQA, med o4-mini som den äldre och gpt-5-thinking-mini som den nyare modellen, och är företagets egna.
Kopplingar
Kapitel 1 har Gissa nästa ord, provfrågan och Träna en egen modell. I paketet Data och sannolikhet tränar teknik en egen modell och undersöker vad datan gör. Matematiken till kapitel 7 räknar andelar och sannolikheten för små urval i AI-bilder. Programmering och svenska passar också.
Källor
- Shannon, C. E. (juli 1948). A Mathematical Theory of Communication. Bell System Technical Journal 27, avsnitt 3 om stegvisa approximationer av engelska. Återgiven av IEEE REACH. reach.ieee.org/primary-sources/a-mathematical-theory-of-communication
- Google, Machine Learning Crash Course: Introduction to Large Language Models. developers.google.com/machine-learning/crash-course/llm
- Meta (18 april 2024). Introducing Meta Llama 3: The most capable openly available LLM to date. Om ordförrådet på 128K tokens och modellerna med 8 och 70 miljarder parametrar. ai.meta.com/blog/meta-llama-3
- Peeperkorn, M., Kouwenhoven, T., Brown, D. och Jordanous, A. (2024). Is Temperature the Creativity Parameter of Large Language Models? International Conference on Computational Creativity (ICCC), Jönköping, juni 2024. arXiv 2405.00492. arxiv.org/abs/2405.00492
- Kalai, Nachum, Vempala och Zhang (4 september 2025). Why Language Models Hallucinate. Forskare vid OpenAI och Georgia Tech. arXiv 2509.04664. arxiv.org/abs/2509.04664
- OpenAI (5 september 2025). Why language models hallucinate. Jämförelsen av två av företagets modeller på testet SimpleQA. openai.com/index/why-language-models-hallucinate
Hur kan AI göra en förklaring, ett spel och en låt av samma text?