Hur röstar ChatGPT?

"Claude svarar som en sosse"

Nyligen lät Svenska Dagbladet fyra AI-modeller, ChatGPT, Claude, Gemini och Grok, göra tidningens valkompass: 55 frågor, tjugo omgångar per modell för att jämna ut slumpen. Rubrikerna blev kittlande. Claude svarar som sosse, ChatGPT som centerpartist, Gemini som miljöpartist och Grok, Elon Musks AI-modell, som kristdemokrat och moderat.

Men redan i februari hade pr-byrån The Stockholm Projekt gjort nästan samma sak mot SVT:s valkompass från 2022 och fått helt andra resultat. Där landade ChatGPT, Claude och Gemini närmast Liberalerna, och rubriken blev i stället "Tidö vinner".

Så vad är sant? Lutar AI-modellerna vänster eller höger?

Det intressanta är förmodligen inte vilket parti modellerna hamnar närmast. Det intressanta är hur lätt resultatet rör på sig när frågorna, formuleringarna eller modellerna byts ut. Det enda som står sig genom båda testerna är att Grok sticker ut åt höger medan de övriga samlas betydligt närmare mitten. Tittar man dessutom på siffrorna bakom SvD:s rubriker är avståndet mellan "sossen" Claude och "centerpartisten" ChatGPT bara några få procentenheter.

Håll kvar den tanken. Den handlar egentligen om något större än hur ChatGPT skulle rösta.

Var fjärde förstagångsväljare har redan chattat om politik

Ungefär hälften av gymnasieungdomarna använder AI i stället för att googla, enligt Internetstiftelsen. Inför årets val uppger var fjärde förstagångsväljare att de har använt AI för att chatta om politik och samhällsfrågor, mer än dubbelt så många som i befolkningen i stort, och ungefär var tionde väljare frågar redan AI om politik.

Samtidigt tror nästan 9 av 10 svenskar att AI kommer att användas för att skapa falska bilder och videoklipp i syfte att påverka valet, och drygt 4 av 10 tycker att det är svårt att avgöra om ett politiskt inlägg är AI-genererat.

Det här är alltså inte en framtid där elever kommer att möta politik genom AI. De gör det redan. Och då förändras något mer grundläggande än vilket verktyg de använder.

Förut kom frågan först. Nu kommer svaret först.

Anna Lodén, gymnasielärare och nydisputerad doktor vid Umeå universitet, har följt gymnasieelever i fyra delstudier och sett vad som händer när Google får sällskap av ChatGPT i klassrummet. Hennes forskning är gjord i naturvetenskapliga ämnen, men förskjutningen hon beskriver känns igen långt utanför biologisalen.

Den som googlar får en lista. Några rubriker, några avsändare. En myndighet, en tidning, ett företag, en blogg. Eleven måste välja vart blicken ska riktas, öppna, läsa, jämföra, backa och söka igen. Vägen till svaret är synlig, och det är längs den vägen källkritiken har haft sin naturliga plats.

Den som frågar en chattbot möter något annat: ett färdigformulerat, sammanhängande och ofta rimligt svar. Urvalet har redan skett. Sammanfattningen har redan skett. Formuleringen har redan skett. Eleven ser svaret. Inte vägen dit.

Det betyder inte att Google var en neutral informationsmiljö. Sökmotorer rangordnar, väljer och sorterar de också. Men de lämnade kvar det sista valet hos eleven. Någon måste fortfarande avgöra vilken av träffarna som dög. Chattboten har redan valt.

Därmed riskerar källkritiken att byta plats i processen. Som Lodén själv uttrycker det finns en risk att "källkritiken kommer för sent, efter att tolkningen redan är gjord av AI". Den har inte försvunnit. Den har flyttat sig till efter att svaret redan landat.

Om den kommer alls.

AI är inte en neutral mellanhand

Frågan om hur ChatGPT röstar är fel ställd, men inte ointressant. Inte därför att en språkmodell har ett ett partimedlemskort gömt bland serverskåpen, utan därför att svaret vi får alltid är format: av frågan, av träningsmaterialet, av modellens instruktioner och finjustering, och av våra egna förväntningar på vad vi ska få.

Frågan formar svaret. "Varför ska man rösta på parti X?" är inte samma fråga som "Varför ska man inte rösta på parti X?". Be modellen argumentera för en ståndpunkt och den kan göra det övertygande. Be den argumentera för motsatsen och den kan ofta göra det lika övertygande. Det är en av språkmodellens stora styrkor, och i det här sammanhanget också en av dess svagheter. Den följer oss en bit längs nästan vilken väg vi än pekar ut.

Träningsdatan formar svaret. Modellerna är tränade mest på engelskspråkigt material. Ju mer specifik en fråga om svensk politik är, desto större är risken att något blir fel, och det märks inte, för svaret låter precis lika säkert ändå. Prova samma fråga på svenska och på engelska så syns det ofta direkt.

Någon har valt mittfåran. AI-företagen tränar sina modeller att vara balanserade. Men vad som räknas som balanserat är i sig ett val, gjort i USA, av företag med egna intressen. Att tre av fyra modeller klumpar ihop sig i mitten av en svensk valkompass är inte ett naturfenomen. Det är ett resultat av beslut som någon har fattat.

Allt detta är lätt att glömma när svaret väl ligger framför oss. Vi möter inte sannolikhetsfördelningar eller träningsdata. Vi möter en text. Psykiatrikern Anders Hansen satte fingret på varför det biter så bra på oss, i en SVT-intervju i somras: "Vi är hårdkodade att tro på sådant som är tydligt."

Och AI är alltid tydlig. Den låter säker när den vet. Den låter säker när den gissar. Den låter säker när den har fel.

Någon försöker påverka svaret

Det finns ett lager till. AI används inte bara för att sammanfatta det som redan finns, utan också för att fylla på med nytt.

P4 Uppland avslöjade i vintras fyra TikTok-konton med "svenska tjejer" som spred högerextrema budskap. Tjejerna fanns inte. De var AI-genererade, skapade av en och samma person med ideologiska motiv. Innan TikTok stängde kontona hade de tillsammans över 32 000 följare, och deras tio mest sedda klipp hade över fyra miljoner visningar. När vi tänker på AI och valpåverkan tänker vi ofta på det spektakulära. En partiledare som säger något hon aldrig sagt. En bild från ett upplopp som aldrig ägt rum. Men påverkan behöver inte skrika. Den kan ha ansikte, röst och följare, och ändå inte finnas.

Sedan den 2 augusti kräver EU:s AI-förordning bland annat att den som tillhandahåller en chattbot ska informera användaren om att hen pratar med en maskin, och att AI-genererade bilder, ljud och video som föreställer verkliga personer eller händelser ska märkas. Ett steg framåt. Men märkningen sitter ofta där ingen tittar, och den hjälper inte mot konton som det P4 hittade, där hela avsändaren är påhittad.

Samtidigt uppstår en ny arena. En kartläggning från digitalbyrån Grandur visar att AI:ns svar om svensk politik i hög grad bygger på några få källor, som Wikipedia, SVT och riksdagen. Och precis som med Google går det att arbeta för att synas.

I tjugo år har organisationer frågat sig hur de hamnar högst i sökresultatet. Nu tillkommer en ny fråga: hur blir vi en del av svaret?

Vilket leder till den fråga som hela det här inlägget egentligen kretsar kring: vad granskar man när det inte längre ligger tio länkar framför en?

Vad gör vi i klassrummet?

Det enkla svaret vore att säga åt eleverna att inte lita på AI. Men det är varken särskilt användbart eller särskilt trovärdigt, när de samtidigt ser att AI kan förklara svåra begrepp, hjälpa dem orientera sig i ett nytt ämne och på några sekunder sammanfatta sådant som annars hade tagit lång tid att hitta.

Vi behöver något bättre än en varningsskylt. Om AI har gjort delar av informationsprocessen osynliga är vår uppgift att hjälpa eleverna veckla ut den igen. Källkritikens klassiska frågor (vem säger detta, varför, kan det bekräftas?) har fått några syskon:

• Varför fick jag just det här svaret?
• Vad verkar modellen ha lagt tonvikten på, och vad saknas?
• Vad händer om jag ändrar frågan? Om någon annan ställer den? Om jag frågar en annan modell?
• Vad händer om jag frågar på engelska i stället för på svenska?
• Vad händer när jag lägger AI:ns påstående bredvid en källa som faktiskt går att identifiera och granska?

Det fina är att allt detta går att undersöka direkt i klassrummet, med projektor och utan elevkonton.

Ställ samma valkompassfråga till två modeller och jämför. Be en modell beskriva varför man bör rösta på ett parti, och sedan varför man inte bör göra det, och undersök vad som händer med språk, urval och argument. Låt två elever formulera samma politiska fråga på olika sätt och jämför svaren. Lägg AI:ns sammanfattning av ett partis politik bredvid partiets eget valmanifest och låt eleverna leta efter det som förstärkts, tonats ned eller försvunnit.

Det är inte källkritik trots AI. Det är källkritik genom AI.

En sista sak

När jag gjorde researchen till den här texten hamnade jag själv i en snårskog av anonyma "valsajter". Sidor utan tydliga avsändare. Texter som såg korrekta ut och formuleringar som lät rimliga. Flera av sajterna såg dessutom misstänkt AI-genererade ut.

Jag började med att leta efter svar. Efter en stund letade jag mest efter vem som stod bakom dem.

Kanske säger det något om den informationsmiljö vi nu ska rusta våra elever för. Förr började källkritiken när man öppnade en källa. Nu börjar den tidigare än så, i själva frågan, och den slutar inte när svaret kommer.