Räkna vem som syns

Från bild till data

I kapitel 7 beskrev du vad du såg. Men en bild blir inte data förrän någon har bestämt vad som ska räknas. Därför gör forskare ett kodschema: vad som räknas, efter vilken regel och i vilka kategorier. Reglerna bestäms innan man räknar, så att man inte anpassar dem efter det man hoppas hitta.

Den sista raden kräver eftertanke. Kön går inte att avgöra från en bild, och personerna är påhittade. Det vi kan räkna är hur bilden framställer personen. Vi väljer kategorierna man och kvinna för att kunna jämföra med statistiken över yrken, som delar in de anställda just så. Men valet har gränser. Två kategorier rymmer inte alla, och kodningen bygger på våra egna föreställningar om hur kvinnor och män ser ut, kanske just de stereotyper som vi vill undersöka.

Två som kodar samma bilder blir sällan helt överens. Därför kodar forskare var för sig och räknar andelen överensstämmelse: antalet bilder där de kodade lika, delat med antalet bilder. Eleverna A och B kodade armarna i alla 16 bilder. A skrev nej när armarna inte syntes, men B skrev går inte att avgöra. De blev överens om 13 bilder: 13/16 = 0,8125, alltså omkring 81 procent. Oenigheten visar var regeln behöver bli tydligare.

Andelar och procent

Antal är svåra att jämföra när nämnarna skiljer sig. En andel i procent får du om du delar delen med det hela och multiplicerar med 100: 3/8 = 0,375 = 37,5 procent.

Men vilken nämnare är rätt? I en av vd-bilderna gick armarna inte att avgöra. Räknar du bara de sju som gick blir andelen 6/7 ≈ 86 procent i stället för 75. Båda svaren är riktiga men svarar på olika frågor, så skriv alltid vad du delade med och hur många bilder som inte gick att avgöra.

Med orden ”i Sverige” sjönk andelen med slips från 100 till 37,5 procent. Skillnaden mellan två procenttal mäts i procentenheter, så andelen sjönk med 62,5 procentenheter. Procent använder du när du jämför förändringen med startvärdet, och då blir det oftast ett annat tal.

Pröva också med kapitlets egna siffror. I studien med 8 000 yrkesbilder framställdes personen som man i 76 procent av bilderna.[1] 0,76 · 8 000 = 6 080, men 76 är avrundat, så det kan vara allt från 6 040 till 6 120. ”Omkring 6 100 bilder” är ett ärligare svar. Facebooks annons för ett mekanikerjobb visades för män i 96 procent av fallen.[2] Av 100 som såg den var 96 män och 4 kvinnor, alltså 24 män för varje kvinna.

Jämför med verkligheten

Är det mycket eller lite att ingen av de åtta vd:arna framställs som kvinna? Det beror på vad du jämför med. SCB, Statistiska centralbyrån, räknar varje år hur många kvinnor och män som arbetar i olika yrken.[3] För vd:ar finns en annan statistik, över dem som leder ett företag eller en annan verksamhet.[4]

Räkna själv: 49 400/56 000 ≈ 0,882, alltså omkring 88 procent. Skriv alltid exakt vad du jämför med: vd-siffran gäller en annan statistik och ett annat år.

Samma mönster syns i större undersökningar. Nyhetsföretaget Bloomberg lät 2023 bildmodellen Stable Diffusion göra 5 100 bilder, 300 per ord, och jämförde med statistik från USA. Kvinnor och personer med mörkare hy syntes för sällan i bilderna av högavlönade yrken och för ofta i bilderna av lågavlönade. För ordet judge, domare, framställde omkring 3 procent av bilderna kvinnor, fast 34 procent av domarna i USA är kvinnor.[5] Av 300 bilder blir det omkring 9 kvinnor i stället för omkring 102.

Slumpen och små urval

Åtta bilder är ett litet urval. Kan 8 av 8 ha blivit så av en slump? Det går att räkna på, om du bestämmer vad du jämför med.

Tänk dig en modell som singlar slant för varje bild: kvinna eller man, med sannolikheten 0,5 för var. Bilderna är oberoende, så en bild påverkar inte nästa. Det stämmer ganska väl här, där varje bild fick ett eget startvärde. Då får du multiplicera sannolikheterna:

• En bild som framställer en man: 0,5.
• Två i rad: 0,5 · 0,5 = 0,25.
• Tre i rad: 0,5 · 0,5 · 0,5 = 0,125.
• Åtta i rad: 0,5⁸ = 1/256 ≈ 0,004, ungefär 4 gånger på 1 000.

Men varför skulle modellen singla slant? Om den framställde män lika ofta som det finns manliga verksamhetsledare i Sverige, 71 procent, blir sannolikheten för 8 av 8 i stället 0,71⁸ ≈ 0,065, ungefär 1 gång på 15.

Samma utfall, 8 av 8, kan alltså vara ovanligt eller helt väntat. Var också ärlig om vad uträkningen inte visar:

• Urvalet kommer från modellen, inte från verkligheten. Uträkningen säger inget om verkliga vd:ar.
• Ett osannolikt utfall bevisar inget ensamt. Vi valde vad vi skulle räkna efter att ha sett bilderna. Gör du 20 jämförelser med 5 procents risk var väntas ungefär en bli ”osannolik” av ren slump.
• Fler bilder säger mer. För 20 vd-bilder i rad som framställer män blir sannolikheten 0,71²⁰ ≈ 0,001. Ett litet urval väcker en fråga, och ett större kan pröva den.

Fel per grupp

Hittills har du räknat hur ofta en grupp syns. Man kan också räkna hur ofta ett system gör fel på olika grupper, systemets felfrekvens. I Gender Shades testade Joy Buolamwini och Timnit Gebru 2018 tre företags system för ansiktsanalys på 1 270 bilder av parlamentsledamöter. Systemen skulle avgöra om personen var kvinna eller man. De gjorde fel på mellan 20,8 och 34,7 procent av de mörkhyade kvinnorna, men på högst 0,8 procent av de ljushyade männen.[6][7]

Små procenttal blir lättare att jämföra som antal per 1 000: 34,7 procent är 347 fel per 1 000 och 0,8 procent är 8. Jämför du det högsta felet i varje grupp blev det 347/8 ≈ 43 gånger så många fel för de mörkhyade kvinnorna.

Microsofts system gjorde 0,0 procent fel på de ljushyade männen.[7] Hur många gånger fler fel blev det då för de mörkhyade kvinnorna? Det går inte att räkna, eftersom man inte kan dela med noll. Då är skillnaden i procentenheter eller per 1 000 ett bättre mått. Och 0,0 procent i ett test betyder inte att systemet aldrig gör fel.

Slutuppgift: gör en statistisk undersökning

Gör en egen statistisk undersökning av AI-bilder. Använd kapitlets tio omgångar eller egna bilder från den bildtjänst som skolan har valt. Gör du egna: minst åtta bilder per instruktion, spara alla och skriv ned tjänst, datum och instruktion.

Undersökningen ska innehålla:

1. En fråga eller hypotes, till exempel ”Ändras klädseln när instruktionen skrivs på svenska?”, bestämd innan du räknar.
2. Ett kodschema med regler och kategorin går inte att avgöra.
3. En datatabell bild för bild. Låt en kompis koda samma bilder och räkna andelen överensstämmelse.
4. Andelar i procent, med nämnaren utskriven.
5. Ett diagram över det viktigaste resultatet.
6. En jämförelse med statistik, till exempel från SCB, med källa, yrkesgrupp och år.
7. Ett resonemang om slumpen eller urvalets storlek.
8. Felkällor, till exempel reglerna, kodarna, instruktionen och urvalet.
9. En slutsats om vad undersökningen visar och vad den inte visar.

Redovisa på ett av två sätt. Läraren säger vilket.

• En skriftlig rapport på 1–2 sidor med tabell och diagram.
• En affisch med tabell och diagram, som du redovisar muntligt i 3–4 minuter.