Försäkringskassans AI-system pekar ut kvinnor som mer sannolika fuskare vid vård av sjukt barn. Det avslöjar SvD som kommit över hemlig data från systemet.
Trots att kvinnor och män stod för ungefär samma andel fel med vab i verkligheten så pekade Försäkringskassans AI-system ut kvinnor som sannolika fuskare mer än dubbelt så ofta som män.
Systemet pekade gång på gång ut oskyldiga mammor och föräldrar med utländsk bakgrund, låg utbildning eller inkomst.
Kvinnor drabbades särskilt. De fick mycket oftare systemets högsta risknivå, samtidigt som hälften av dem var helt oskyldiga.
Tillsynsmyndigheten Inspektionen för socialförsäkring påpekade redan 2018 brister i likabehandling. Men Försäkringskassan avfärdade då analysen som undermålig, enligt SvD.
Trots det införde man ett eget test för rättslig uppföljning. Men testet har godkänt den befintliga modellen och använder höga gränsvärden för diskriminering. ”För varje svensk du flaggar, så får du flagga fyra invandrare. Det är en slående siffra.” bedömer Moritz Hardt, direktör på Max Planck-institutet för smarta system i SvD.
Experten: ”Man lurar sig själv”
Måns Jonasson är internetexpert på svenska Internetstiftelsen. Han är inte förvånad över resultaten som Försäkringskassans AI levererar.
– Mognaden på AI-system är inte riktigt där än. Att förlita sig på AI-system är vanskligt, säger han.
Trots att systemet bara flaggar för risker och inte tar beslut, så menar han att resultatet snedvrids.
– Man lurar sig själv att tro det är en människa som fattar beslutet. Men en dator fattar första beslutet och det är minst lika viktigt. Om hundra människor söker ett jobb och en AI väljer ut vilka fem du ska intervjua, så kommer ditt anställningsbeslut inte vara fritt från eventuell snedvridning från AI:n.
Försäkringskassans AI inte transparent
Måns Jonasson menar att källkod som används i myndigheters AI-system bör vara öppen.
– Det är en otrevlig tanke att myndigheter har hemliga system. Ju fler hemliga system som finns, desto mer omöjligt blir det för oss medborgare att veta grunderna för beslut. Det är grundläggande i vår förvaltningsmodell att du ska veta hur ett beslut har fattats.
– Det låter mellan raderna från Försäkringskassan som att det är sekretessbelagt för att undvika att folk lär sig gå runt systemen. Men det finns väl bara ett rätt sätt att fylla i vab. Det låter konstigt, säger Måns Jonasson.
Kammarrätten: Uppföljningen av AI hemlig
På Försäkringskassan anför man däremot just det skäl som Måns Jonasson läser mellan raderna. Pressekreteraren Gustav Berg svarar på Arbetsvärldens mejlfråga.
– Vår bedömning är att detaljer kring hur våra kontrollsystem är uppbyggda skulle kunna användas av den som vill kartlägga och runda systemen med syfte att begå bidragsbrott. Därför omfattas detta av sekretess – en bedömning som även kammarrätten gör.
Försäkringskassan hänvisar till den dom där SvD:s journalist begärt ut Försäkringskassans uppföljningar av AI-systemet. Däremot inte själva koden till AI-systemet. Kammarrätten skriver att uppföljningarna delvis kan avslöja omfattningen av vissa kontroller. Om omfattningen blev känd skulle kontrollerna kunna ”kartläggas”, vilket antas kunna motverka deras syfte att förhindra fusk.