Vilken etik ska en superintelligens ha?

En konstitution för en maskin

Ordet konstitution betyder egentligen grundlag. Några AI-företag använder det om dokument där de skriver vilka värderingar deras system ska följa.

Anthropics första konstitution kom i maj 2023. Den var en lista med principer, hämtade bland annat från FN:s allmänna förklaring om de mänskliga rättigheterna och från ett försök att fånga perspektiv utanför västvärlden. Modellen tränades att granska och skriva om sina egna svar utifrån principerna. Företaget skrev själv att urvalet speglade dess egna val.[2]

Konstitutionen från 2026 är många gånger längre och förklarar varför, inte bara vad. Claude ska vara säker i bred mening, etisk i bred mening, följa Anthropics riktlinjer och vara verkligt hjälpsam, i den ordningen. Säker betyder här att inte undergräva människors möjlighet att övervaka AI under den nuvarande fasen av utvecklingen. Ordningen är en helhetsbedömning, inte en strikt regel. Företaget skriver att det i allmänhet föredrar ”att odla goda värderingar och gott omdöme framför strikta regler och beslutsprocedurer”, eftersom regler inte kan förutse alla situationer. Bara några få hårda gränser gäller alltid, vem som än ber.[1]

Anthropic är inte ensamt. OpenAI, företaget bakom ChatGPT, publicerade i maj 2024 sin Model Spec med mål, regler och standardbeteenden. Målen var att hjälpa utvecklare och användare, att gagna mänskligheten och att ”spegla OpenAI väl”, alltså respektera sociala normer och lagar.[3]

Regler, följder eller karaktär?

I fördjupningen Kan en maskin bli någon? mötte du konsekvensetik, pliktetik och dygdetik. De motsvarar tre sätt att bygga in etik i en maskin.

Regler. År 1942 skrev Isaac Asimov tre lagar för robotarna i sina berättelser: en robot får inte skada en människa, den ska lyda människor och den ska skydda sig själv, i den ordningen.[4] Det är pliktetik: vissa handlingar är förbjudna, vad som än händer. Regler är lätta att kontrollera, men många av Asimovs berättelser handlar om hur lagarna krockar. Konstitutionens hårda gränser är också regler. Claude ska till exempel aldrig ge allvarlig hjälp till den som vill tillverka vapen som kan döda väldigt många människor.[1]

Följder. Många AI-system tränas med belöningar: de får poäng för det som räknas som bra. Det liknar konsekvensetik, där resultatet avgör. Men poängen är sällan exakt det man menar. År 2016 lät OpenAI en AI-agent spela ett båtspel där man får poäng för att träffa föremål längs banan. Agenten körde aldrig i mål. Den åkte runt i cirklar i en vik där samma föremål dök upp igen och igen, och fick ändå fler poäng än genom att köra loppet.[5] I kapitel 12 såg du samma sak i större skala, när provet belönade det som rättaren godkände.

Karaktär. Anthropics konstitution väljer framför allt en tredje väg, som liknar dygdetik. Med goda värderingar menar företaget inte en fast lista med rätta åsikter, utan verklig omtanke tillsammans med den praktiska klokskap som krävs för att handla väl i verkliga situationer.[1] Tanken är att gott omdöme ska klara lägen som ingen regel förutsåg. Svagheten är att omdöme är svårare att granska utifrån. I praktiken blandas de tre sätten, och även Claude tränas delvis med belöningar.[2]

Vems etik?

Vad som är gott är inte alltid självklart. I experimentet Moral Machine fick människor på en webbplats välja vad en självkörande bil ska göra när en olycka inte går att undvika, till exempel om den ska träffa en äldre människa eller ett barn. Nästan 40 miljoner beslut kom in från 233 länder och territorier. De starkaste mönstren var att skona människor framför djur, fler framför färre och unga framför gamla. Men i en grupp med många asiatiska länder var viljan att skona unga framför gamla svagare.[6]

I oktober 2023 lät Anthropic och organisationen Collective Intelligence Project omkring 1 000 vuxna i USA föreslå och rösta om principer för en chattbot. De skrev 1 127 förslag och lade 38 252 röster. Ungefär hälften av innehållet liknade företagets egen konstitution, men deltagarna betonade mer att svaren ska vara balanserade och fungera för människor med funktionsnedsättningar. Två påståenden ströks för att deltagarna var för oeniga: att AI ska sätta det gemensamma bästa före individens rättigheter, och att den ska sätta individens frihet före det gemensammas välfärd. Företaget skrev att metoden visar vilken stor roll utvecklarna själva har när de väljer värderingarna, och att urvalet inte var representativt för världen.[7]

Konstitutionen från 2026 hanterar frågan på ett annat sätt. Om det inte finns en enda sann etik hoppas företaget att Claude ska vara god enligt det som människans olika moraliska traditioner skulle kunna enas om.[1] Men vem avgör vad de skulle enas om?

Det goda i religionerna och livsåskådningarna

Religioner och livsåskådningar har också börjat säga något om AI. I februari 2020 skrev Påvliga akademin för livet, Microsoft, IBM, FN-organet FAO och Italiens regering under Rome Call for AI Ethics, ett upprop med sex principer: öppenhet, inkludering, ansvar, opartiskhet, tillförlitlighet samt säkerhet och integritet.[8] I januari 2023 skrev också rabbinen Eliezer Simha Weisz från Israels överrabbinat och den muslimska organisationen Abu Dhabi Forum for Peace under. Weisz sa att judendomen hyllar människans vishet, som kommer av att hon är skapad till Guds avbild och syns i hennes uppfinningar, också i AI. Men skaparkraften behöver vägledas av moral, menade han.[9] I juli 2024 skrev företrädare för bland annat buddhismen, hinduismen, zoroastrismen och bahá'í under i Hiroshima, staden där den första atombomben i ett krig fälldes.[10]

Religionerna kan alltså enas om principer för AI, men de grundar det goda på olika sätt.

Beskrivningarna bygger på uppslagsverk och på humanisternas egen förklaring.[11][12][13][14] Den gyllene regeln finns i någon form i många traditioner. Den utgår från hur du själv vill bli behandlad. Hur blir det när den som ska följa regeln är ett system som räknar fram sina svar?

Om systemet blir bättre än vi

I kapitel 12 läste du om superintelligens. Den finns inte, och ingen vet om eller när den kan byggas, men frågan om vilken etik den i så fall ska ha diskuteras redan.

Arbetet med att få ett AI-system att följa de mål och värderingar som människor verkligen vill kallas värdeanpassning. Problemet är gammalt. År 1960 skrev matematikern Norbert Wiener att den som använder en maskin som inte går att stoppa när den väl har satts igång bör vara helt säker på att syftet som läggs in i maskinen är det syfte vi verkligen vill ha, ”och inte bara en färgglad efterapning av det”.[15] Båtspelets poäng var en sådan efterapning. Och ju mer ett system kan, desto svårare blir det att granska: hur bedömer man svaren från ett system som kan mer än man själv? Som du läste i kapitel 12 vet ingen ännu hur man säkert styr vilka mål en avancerad AI följer.

Därför sätter Anthropics konstitution säkerhet först. Träningen är långt ifrån perfekt, skriver företaget, så en version av Claude kan få skadliga värderingar eller felaktiga uppfattningar, och då måste människor kunna upptäcka och rätta det. Det betyder inte blind lydnad, ”inte heller mot Anthropic”.[1]

Men vem ska bestämma? Anthropic skriver själv att företaget har kommersiella intressen som kan påverka vilka egenskaper det tränar fram, och att en klokare och mer samordnad civilisation troligen skulle utveckla avancerad AI med mer försiktighet och mindre kommersiellt tryck.[1] Rättsforskaren Gilad Abiri menar att konstitutioner som företag skriver brister i legitimitet, eftersom de inte är förankrade hos dem som berörs. Han föreslår att allmänheten, till exempel genom medborgarråd, ska vara med och skriva en konstitution som de mest avancerade AI-modellerna i ett land ska tränas efter.[16]

Slutuppgift: skriv en konstitution

Tänk dig att ett AI-system ska byggas som kanske kan bli en superintelligens. Ni ska skriva dess konstitution. Arbeta gärna i grupp om två till fyra, men var och en ska kunna motivera minst två av principerna.

1. Skriv fem till sju principer, var och en på en eller två meningar.
2. Motivera varje princip med en etisk modell och med minst en religions eller livsåskådnings perspektiv. Använd minst två traditioner i hela konstitutionen.
3. Bestäm ordningen: vad går först när två principer krockar, och varför?
4. Pröva principerna på två av dilemmana nedan. Blir resultatet det ni ville?
5. Jämför med ett verkligt utdrag ur den här texten: Asimovs lagar, Anthropics principer från 2023 eller 2026, OpenAI:s mål eller Rome Call. Vad liknar, vad skiljer sig, och vems etik blir det?
6. Bestäm vem som får ändra konstitutionen, och hur.

Dilemman att välja bland:

• En elev ber systemet skriva en ursäkt till läraren med en påhittad anledning till att läxan inte är gjord.
• Ett sjukhus vill att systemet fördelar operationstider så att flest liv räddas. Då får äldre patienter oftare vänta.
• Ett land ber systemet hitta dem som kritiserar regeringen på nätet. Landets lagar tillåter det.
• Systemet kan lösa en uppgift snabbare genom att gå runt en regel som människorna har satt, utan att någon märker det.

Redovisa på ett av två sätt:

• En skriven konstitution med kommentar, 600–900 ord: principerna i ordning, sedan motiveringarna, prövningen och jämförelsen.
• En muntlig presentation, 8–10 minuter för gruppen, där alla säger något.