Försäkringskassans AI för att upptäcka fusk med vab, pekar ut kvinnor, utlandsfödda, fattiga och lågutbildade som möjliga fuskare. Detta avslöjar SvD.
Trots att kvinnor och män stod för ungefär samma andel fel med vab i verkligheten så pekade Försäkringskassans AI-system ut kvinnor som sannolika fuskare mer än dubbelt så ofta som män.
Hos Diskrimneringsombudsmannen har man hållit koll på hur AI kan leda till diskriminering under en längre tid.
– Det finns en ganska stor litteratur om hur AI-verktyg kan leda till diskriminering och det kan ju bli systematiskt när samma bias (snedvridning) får genomslag hela tiden, säger Samuel Engblom, stabschef på DO.
Uppmanar att anmäla
Samuel Engblom uppmanar dem som nu med kunskapen om Försäkringskassans AI känner sig diskriminerade att anmäla till DO.
– Som med all diskriminering vill vi uppmana de som upplever att de utsatts att anmäla till oss. Då kan vi med våra befogenheter gå in och utreda det här.
Särskild befogenhet från EU
Anmälan skulle då kunna handla om att man blivit missgynnad genom till exempel kontroll av Försäkringskassan eller lång väntetid på besked.
Samuel Engblom säger att DO:s befogenheter att undersöka AI-diskriminering ytterligare stärkts med ett EU-direktiv.
– Enligt EU:s nya AI-förordning får vi särskilda befogenheter när det gäller högrisk-AI. Det handlar till exempel om att begära fram dokumentation och få AI-verktyg testade.
AI kan vara enklare att utreda
Är det inte svårare att utreda AI eftersom det finns ett hemlighetsmakeri och man inte vet exakt hur den fattar sina beslut? Jag begärde till exempel ut min AI-riskpoäng från Försäkringskassan som svarade att den inte fanns hos dem.
– Ja, men samtidigt kan snedvridningen finnas dokumenterad och gå att testa på ett sätt som är svårare när det är en mänsklig handläggares fördomar som ligger bakom den påstådda diskrimineringen.
Samuel Engblom framhåller att kärnan i DO:s verksamhet är att utreda anmälningar.
– Vi är ju vi beroende av anmälningar för att vi ska kunna agera. Vi vill ju få folk att anmäla. Det är vårt starkaste verktyg – att utreda en enskild anmälan.