Träna, testa, förbättra

Ett AI-system är en teknisk lösning

I kapitel 1 tränades en modell att skilja vargar från huskyer. Men modellen är bara en del av ett tekniskt system, och allt börjar med ett problem: vad ska systemet göra, för vem och var? Ta den påhittade Batterivakten, en kamera som ska upptäcka batterier bland pappret i skolans återvinning.

Träningsdata är exemplen som modellen tränas på. Testdata sparas undan och används aldrig i träningen. Bara testdatan kan visa hur modellen klarar nya fall.

Tänk på ett prov med exakt samma frågor som läxförhöret. Då vet läraren inte om du har förstått eller bara minns svaren. En modell kan på samma sätt passa perfekt till sina träningsbilder, med bakgrund, ljus och fläckar, och ändå missa nya bilder. Testdatan ska därför likna verkligheten där systemet ska användas: andra dagar, annat ljus, andra batterier.

Märkningen är facit. Blir etiketterna fel tränas modellen mot fel facit. För en språkmodell är märkningen redan gjord: rätt svar är nästa ord i texten.

När modellen lär sig fel sak

Snön i kapitel 1 är inget undantag. En modell använder det mönster som enklast skiljer svaren åt i träningsdatan, och ibland är det fel mönster. Det kallas genvägsinlärning: genvägen fungerar i träningsdatan men inte i verkligheten. Tre verkliga fall från vården:

• Sjukhuset. I en studie från 2018 tränade forskare i USA modeller att hitta lunginflammation på 158 323 lungröntgenbilder från tre sjukhus och vårdnätverk. En modell som tränades att känna igen sjukhuset hade rätt för mer än 99,9 procent av bilderna från de två största. För modellerna kunde det löna sig att se sjukhuset, eftersom lunginflammation var mycket vanligare bland bilderna från ett av dem. I tre av fem jämförelser klarade modellerna bilder från andra sjukhus sämre än bilder från sina egna.[1]
• Texten i bilden. I en studie från 2021 tränade forskare vid University of Washington modeller som skulle hitta covid-19 på lungröntgen, på samma sätt som många andra hade gjort, och granskade vad modellerna tittade på. De använde bland annat textmärkningar i bilderna och hur patienten var placerad, sådant som skilde sig mellan bildsamlingarna. Modellerna såg träffsäkra ut men misslyckades på bilder från nya sjukhus.[2]
• Pennstrecket. I en studie från 2019 lät hudläkare i Tyskland en modell bedöma 130 hudförändringar, varav 23 var melanom, den farligaste sortens hudcancer. Förändringarna fotograferades med och utan ett lila streck från en märkpenna, som läkare ritar inför operationer. Utan strecket bedömde modellen ungefär vart sjätte ofarligt födelsemärke som melanom. Med strecket blev det mer än hälften.[3]

I alla tre fallen syntes felet när någon testade på data från en annan plats eller ändrade en enda sak i bilden.

Testa på riktigt

Ett test börjar med andelen rätt, men du behöver också veta vilka fel modellen gör. För ett system som ska larma finns två sorter. Ett falskt larm är när systemet larmar fast inget finns. Ett missat fall är när systemet är tyst fast något finns.

Batterivakten testas på 100 nya bilder. På 20 av dem finns ett batteri.

Låter 90 procent bra? En vakt som aldrig larmar får 80 procent rätt, eftersom 80 bilder saknar batteri, men den hittar inte ett enda batteri. Därför räknar man felen var för sig.

Vilket fel som är värst beror på användningen. Ett missat batteri hamnar bland pappret, och ett falskt larm gör att någon letar i onödan. I vården kan ett missat fall vara en cancer som inte upptäcks, och ett falskt larm en frisk person som oroas i onödan. Var gränsen för larm ska gå väljer människor, och färre missade fall ger oftast fler falska larm. Hur mycket ett fel får kosta innan det är bättre att inte svara räknar matematikfördjupningen på, med väntevärden.

Bygg själv

I Teachable Machine ↗ från Google tränar du en modell i webbläsaren utan att programmera. Du väljer några kategorier, som kallas klasser, och ger exempel på varje. Enligt Google sker träningen i webbläsaren, och exemplen skickas inte till några servrar om du inte sparar projektet i Google Drive. Det behövs inget konto för att träna, bara för att spara. Publicerar du modellen hamnar den på Googles servrar, men inte exemplen.[5]

Regler för experimentet:

• Föremål, ljud från saker eller teckningar, aldrig människor. Rikta kameran mot föremål på bordet så att ingen syns i bild, och spela inte in röster.
• Spara inte i Drive och publicera inte modellen, om inte läraren säger något annat.
• Avgränsa problemet till två eller tre klasser, till exempel sax, sudd och penna, eller knackning, prassel och en ringklocka. Ett ljudprojekt behöver också bakgrundsljud, alltså hur det låter när inget av ljuden hörs.

Gör så här:

1. Samla träningsdata, omkring 20 exempel per klass. Variera vinkel och avstånd.
2. Bestäm testdata innan du tränar: 10 nya exempel per klass, till exempel andra föremål av samma sort, en annan bakgrund eller ett annat ljus. De får aldrig användas i träningen.
3. Träna och testa. Visa testexemplen ett i taget i förhandsvisningen och skriv i ett testprotokoll: rätt svar, modellens svar och säkerheten i procent. Hög säkerhet betyder inte att svaret är rätt.
4. Räkna andelen rätt och skriv vilka klasser modellen blandade ihop.
5. Ändra en sak i datan, träna om och testa igen med samma testdata. Pröva till exempel dubbelt så många träningsexempel, andra underlag för hälften av bilderna eller en klass med fem gånger så många exempel som de andra. Svarar modellen då oftare med den stora klassen?

Teknik, människa och samhälle

I juli 1958 visade den amerikanska flottan upp en dator, en IBM 704 som vägde fem ton. Den körde psykologen Frank Rosenblatts perceptron, ett av de första neuronnätverken. Efter 50 försök kunde den skilja kort som var märkta till vänster från kort som var märkta till höger. Enligt New York Times räknade flottan med att maskinen skulle kunna gå, prata och vara medveten om sin existens. Perceptronen levde inte upp till förväntningarna, och i många år efteråt var det svårt att få pengar till forskning om neuronnätverk. Perioder då pengarna till AI-forskning minskar kallas AI-vintrar.[6]

Källor: ImageNet [7], AlexNet [8], transformern [9], Nobelpriset [10].

I dag kan felen få stora följder. Företaget Epic säljer journalsystem till sjukhus i USA, med en modell som ska varna när en patient håller på att få sepsis, ofta kallat blodförgiftning. Forskare vid University of Michigan testade modellen på 38 455 sjukhusvistelser. Den missade 67 procent av patienterna som fick sepsis men larmade för 18 procent av alla inlagda.[11] Epic svarade att forskarna hade prövat en tänkt inställning, utan den anpassning som ska göras före användning.[12] År 2022 kom en ny version, och Epic rekommenderade att modellen först tränas på sjukhusets egna data.[13]

Vem har ansvaret: företaget som byggde modellen, sjukhuset som valde inställningen eller personalen som fick larmen? Ofta delar flera på det. Enligt EU:s AI-förordning ska AI-system med hög risk tränas och testas med data som är relevanta, tillräckligt representativa och så långt det går fria från fel.[14] För de flesta sådana system gäller kraven från december 2027. Före användning bör man åtminstone ta reda på:

• Hur modellen klarar ny data från platsen där den ska användas.
• Vilka fel den gör och vem som drabbas.
• Vad som händer när något ändras, till exempel ljuset, utrustningen eller patienterna.
• Hur människorna som använder systemet upptäcker och rättar fel.

Slutuppgift: träna, testa och förbättra

Träna en modell på ett avgränsat problem, testa den på ny data, förbättra datan och testa igen. Använd Teachable Machine eller ett verktyg som skolan har valt, och följ reglerna i Bygg själv. Dokumentationen ska innehålla:

1. Problemet: vad modellen ska känna igen och var den skulle kunna användas.
2. Datan: klasserna, antalet träningsexempel per klass och hur du samlade dem.
3. Testet: minst 10 nya testexempel per klass, testprotokollet och andelen rätt med uträkning.
4. Felen: vilka fel modellen gjorde och vad de kan bero på. Är problemet en ja- eller nej-fråga, räkna falska larm och missade fall.
5. Förbättringen: en ändring i datan och varför du valde den.
6. Resultatet: ett nytt test med samma testdata, den nya andelen rätt och en jämförelse.
7. En reflektion: Vilka genvägar kan modellen ha tagit? Vad behöver testas innan en sådan modell används på riktigt, och vem bär ansvaret om den gör fel?

Redovisa på ett av två sätt. Läraren säger vilket.

• En teknisk rapport på 1–2 sidor med testprotokoll och en tabell över resultaten.
• En presentation med demonstration på 4–5 minuter, där du visar modellen på testexempel.

Utan dator utvärderar du Batterivakten med de påhittade resultaten nedan: rita systemet, räkna andelen rätt för båda versionerna, beskriv felen, förklara varför version 2 blev bättre, föreslå nästa ändring och skriv reflektionen. Redovisa som en teknisk rapport.