Vi använder cookies för att ge dig en bättre upplevelse.
Godkänn
Myndighetsrobotar i USA krävde felaktigt pengar från arbetslösa Runt 40 000 arbetslösa i Michigan anklagades felaktigt för fusk av myndighetsroboten MIDAS 2013-2015. Foto: Bytemark/Flickr

Myndighetsrobotar i USA krävde felaktigt pengar från arbetslösa

AI i socialtjänsten Sverige är långtifrån världsledande ifråga om myndighetsrobotar. Nu sprider sig automatiserade beslut om arbetslöshetsförsäkringar och polisärenden över världen. Länder som USA har gjort betydligt djärvare experiment – med blandade resultat.
Jon Weman
18 feb 2020

Internationellt är försörjningsstödsalgoritmen som Trelleborgs kommun använder långtifrån banbrytande. Utbetalningar av bidrag, arbetslöshet- och assistansersättning är populära områden att automatisera. Och nu börjar ännu mer ”tänkande” system hantera migrations- och polisiära frågor.

Automatiserade bidragsbeslut har emellertid ifrågasatts av kritiker som menar att personer i svaga och utsatta positioner kan ha svårt att klaga på den typen av beslut.

När man inför algoritmer för att hantera stöd till fattiga är en av de frågor man bör ställa sig ifall människor som inte är fattiga skulle acceptera att bemötas på samma sätt, argumenterar bland andra Virginia Eubanks i boken Automating Inequality (2018).

Michigan lät ett datasystem söka efter misstänkt fusk i arbetslöshetsförsäkringen, vilket resulterade i tiotusentals nya anmälningar som ledde till återkrav från arbetslösa. Problemet var bara att de nästan aldrig höll när en mänsklig domare tittade närmare på dem.

Tjänstemännen, som tog emot överklagandena, visste inte vad de skulle svara, eftersom inte heller de begrep hur algoritmen fungerade

En algoritm i Arkansas för biståndsbedömningar för funktionshindrade började raskt kapa timmar från klienterna, trots att deras tillstånd inte förändrats – och ingen kunde förklara varför.

Tjänstemännen, som tog emot överklagandena, visste inte vad de skulle svara, eftersom inte heller de begrep hur algoritmen fungerade, rapporterar tekniktidningen The Verge.

Efter något år upptäcktes att flera sjukdomstillstånd inte lagts in i programmet, och delstaten korrigerade många bedömningar. I ett motsvarande fall i Idaho försökte delstaten vägra att lämna ut koden med hänvisning till att den var en affärshemlighet för det privata företag som utvecklat den.

Robotisering ökade återbetalningskrav

Inte bara USA har sett skandaler och kontroverser. Australien robotiserade indrivandet av återkrav i socialförsäkringen med systemet Centerlink och ökade antalet återkrav från 20 000 till 170 000 om året, enligt ABC News.

Australiska myndigheten Centrelinks automatiserade beslut ledde till att 860 000 personer fick felaktiga återbetalningskrav 2010-2013. Foto: Shinjjman

Men återigen kom det klagomål: systemet skickade ut krav för skulder som inte existerade, var så gamla att dokumentationen kastats, eller som personerna redan bestridit.

“Vi är allvarligt oroade att personer betalar för att det är för svårt att bevisa att de inte är skyldiga pengarna”, kommenterade en talesman för Socialtjänsternas råd. I det fallet har regeringen dock inte backat, utan planerar tvärtom att utvidga systemet.

När det handlar om myndigheter kan den enskilde inte välja bort att interagera med dem, därför måste sådana beslut alltid granskas särskilt

– Automatiska beslutssystem kommer snabbt på många områden också i Europa. I offentlig sektor är arbetslöshetsersättning och polisiär verksamhet exempel. När det handlar om myndigheter kan den enskilde inte välja bort att interagera med dem, därför måste sådana beslut alltid granskas särskilt, säger Matthias Spielkamp, chef på organisationen Algorithm Watch.

Och om man följer mediebevakningen kan man skönja ett mönster: i nästan alla exempel på misslyckanden har robotarna beviljat för få assistanstimmar, flaggat för många misstänkta bedrägerier, krävt in icke-existerande skulder och beviljat för låga utbetalningar. I ett fall som Arbetvärlden hittills hittat fanns exempel på motsatsen: ett amerikanskt program för beräkning av veteranförmåner som betalade ut för höga belopp. Är det så att införandet av algoritmer ibland fungerar som en dold åtstramningsmetod?

– En förklaring kan vara urvalet av mediamaterial, att media främst rapporterar när människor känner sig illa behandlade och protesterar. Men visst, ofta automatiserar man när det finns krav på att spara pengar, så det är inte långsökt att ett motiv kan vara att skärpa tillämpningarna. Vi ser att införandet ibland går hand i hand med ett skifte från att se klienter som innehavare av rättigheter till att se dem som någon som ber om hjälp, säger Matthias Spielkamp på Algorithm Watch.

EU:s lögndetektor granskar ansiktsuttryck

Ett annat populärt område för automatisering är lag och ordning.

EU testar just nu iBorderCtrl, en AI-lögndetektor som ska läsa av migranters ansiktsuttryck, längs sina gränser.

Staden New York använder en algoritm – som man också kämpat för att slippa lämna ut – för att avgöra var patruller och kontroller ska sättas in. Kalifornien har ett system som bedömer fångars placering och eventuella villkorliga frigivning.

Det finns ytterligare komplikationer. Exempelvis tillämpar en socialbidragsalgoritm bara ett väldefinierat regelsystem, och det är i princip inte ogörligt att följa logiken i hur den arbetar och dubbelkolla dess beslut. Åtminstone är det i teorin det främsta skälet till att införa systemen arbetsbesparing.

Men när en algoritm ska avgöra en fånges farlighet eller var polisen gör mest nytta, är förhoppningen att den ska vara bättre än det mänskliga omdömet, tack vare mönsterigenkänning och maskininlärning.

En risk är dock att materialet som programmet ska tränas på bara återskapar mänskliga brister, till exempel kan polisalgoritmen beordra fler insatser i svarta bostadsområden än vad som behövs på grund av en sådan trend inom amerikansk polis.

Ju mer komplext ett system blir desto svårare blir det att förstå hur det når sina resultat och avgöra om de är korrekta

Det finns också ett grundläggande problem med robotbesluten, enligt Matthias Spielkamp. Om vi skapar ett system som “tänker” på ett sätt som är främmande och obegripligt för människor, hur kan vi då någonsin kontrollera det?

– Ju mer komplext ett system blir desto svårare blir det att förstå hur det når sina resultat och avgöra om de är korrekta. Det är inte omöjligt, men det kan kräva så stor expertis och resurser att det i praktiken blir ogörligt. När det händer är det mycket svårt att veta vem som ska hållas ansvarig för beslut, vilket är en essentiell del av ett demokratiskt system.

Jon Weman
18 feb 2020
Kommentera
Kommentera

Kommentera artikeln

Vi vill gärna få frågor, kommentarer och reflektioner om våra artiklar! Arbetsvärlden förhandsmodererar artikelkommentarer, vilket gör att det kan dröja en stund innan din kommentar dyker upp. Håll dig till ämnet, och håll en god ton. Vi föredrar om du anger ditt riktiga namn, men du måste inte.

Nyheter
De viktigaste nyheterna två gånger i veckan