Internationellt är försörjningsstödsalgoritmen som Trelleborgs kommun använder långtifrån banbrytande. Utbetalningar av bidrag, arbetslöshet- och assistansersättning är populära områden att automatisera. Och nu börjar ännu mer ”tänkande” system hantera migrations- och polisiära frågor.
Automatiserade bidragsbeslut har emellertid ifrågasatts av kritiker som menar att personer i svaga och utsatta positioner kan ha svårt att klaga på den typen av beslut.
När man inför algoritmer för att hantera stöd till fattiga är en av de frågor man bör ställa sig ifall människor som inte är fattiga skulle acceptera att bemötas på samma sätt, argumenterar bland andra Virginia Eubanks i boken Automating Inequality (2018).
Michigan lät ett datasystem söka efter misstänkt fusk i arbetslöshetsförsäkringen, vilket resulterade i tiotusentals nya anmälningar som ledde till återkrav från arbetslösa. Problemet var bara att de nästan aldrig höll när en mänsklig domare tittade närmare på dem.
Tjänstemännen, som tog emot överklagandena, visste inte vad de skulle svara, eftersom inte heller de begrep hur algoritmen fungerade
En algoritm i Arkansas för biståndsbedömningar för funktionshindrade började raskt kapa timmar från klienterna, trots att deras tillstånd inte förändrats – och ingen kunde förklara varför.
Tjänstemännen, som tog emot överklagandena, visste inte vad de skulle svara, eftersom inte heller de begrep hur algoritmen fungerade, rapporterar tekniktidningen The Verge.
Efter något år upptäcktes att flera sjukdomstillstånd inte lagts in i programmet, och delstaten korrigerade många bedömningar. I ett motsvarande fall i Idaho försökte delstaten vägra att lämna ut koden med hänvisning till att den var en affärshemlighet för det privata företag som utvecklat den.
Robotisering ökade återbetalningskrav
Inte bara USA har sett skandaler och kontroverser. Australien robotiserade indrivandet av återkrav i socialförsäkringen med systemet Centerlink och ökade antalet återkrav från 20 000 till 170 000 om året, enligt ABC News.
Australiska myndigheten Centrelinks automatiserade beslut ledde till att 860 000 personer fick felaktiga återbetalningskrav 2010-2013. Foto: Shinjjman
Men återigen kom det klagomål: systemet skickade ut krav för skulder som inte existerade, var så gamla att dokumentationen kastats, eller som personerna redan bestridit.
“Vi är allvarligt oroade att personer betalar för att det är för svårt att bevisa att de inte är skyldiga pengarna”, kommenterade en talesman för Socialtjänsternas råd. I det fallet har regeringen dock inte backat, utan planerar tvärtom att utvidga systemet.
När det handlar om myndigheter kan den enskilde inte välja bort att interagera med dem, därför måste sådana beslut alltid granskas särskilt
– Automatiska beslutssystem kommer snabbt på många områden också i Europa. I offentlig sektor är arbetslöshetsersättning och polisiär verksamhet exempel. När det handlar om myndigheter kan den enskilde inte välja bort att interagera med dem, därför måste sådana beslut alltid granskas särskilt, säger Matthias Spielkamp, chef på organisationen Algorithm Watch.
Och om man följer mediebevakningen kan man skönja ett mönster: i nästan alla exempel på misslyckanden har robotarna beviljat för få assistanstimmar, flaggat för många misstänkta bedrägerier, krävt in icke-existerande skulder och beviljat för låga utbetalningar. I ett fall som Arbetvärlden hittills hittat fanns exempel på motsatsen: ett amerikanskt program för beräkning av veteranförmåner som betalade ut för höga belopp. Är det så att införandet av algoritmer ibland fungerar som en dold åtstramningsmetod?
– En förklaring kan vara urvalet av mediamaterial, att media främst rapporterar när människor känner sig illa behandlade och protesterar. Men visst, ofta automatiserar man när det finns krav på att spara pengar, så det är inte långsökt att ett motiv kan vara att skärpa tillämpningarna. Vi ser att införandet ibland går hand i hand med ett skifte från att se klienter som innehavare av rättigheter till att se dem som någon som ber om hjälp, säger Matthias Spielkamp på Algorithm Watch.
EU:s lögndetektor granskar ansiktsuttryck
Ett annat populärt område för automatisering är lag och ordning.
EU testar just nu iBorderCtrl, en AI-lögndetektor som ska läsa av migranters ansiktsuttryck, längs sina gränser.
Staden New York använder en algoritm – som man också kämpat för att slippa lämna ut – för att avgöra var patruller och kontroller ska sättas in. Kalifornien har ett system som bedömer fångars placering och eventuella villkorliga frigivning.
Det finns ytterligare komplikationer. Exempelvis tillämpar en socialbidragsalgoritm bara ett väldefinierat regelsystem, och det är i princip inte ogörligt att följa logiken i hur den arbetar och dubbelkolla dess beslut. Åtminstone är det i teorin det främsta skälet till att införa systemen arbetsbesparing.
Men när en algoritm ska avgöra en fånges farlighet eller var polisen gör mest nytta, är förhoppningen att den ska vara bättre än det mänskliga omdömet, tack vare mönsterigenkänning och maskininlärning.
En risk är dock att materialet som programmet ska tränas på bara återskapar mänskliga brister, till exempel kan polisalgoritmen beordra fler insatser i svarta bostadsområden än vad som behövs på grund av en sådan trend inom amerikansk polis.
Ju mer komplext ett system blir desto svårare blir det att förstå hur det når sina resultat och avgöra om de är korrekta
Det finns också ett grundläggande problem med robotbesluten, enligt Matthias Spielkamp. Om vi skapar ett system som “tänker” på ett sätt som är främmande och obegripligt för människor, hur kan vi då någonsin kontrollera det?
– Ju mer komplext ett system blir desto svårare blir det att förstå hur det når sina resultat och avgöra om de är korrekta. Det är inte omöjligt, men det kan kräva så stor expertis och resurser att det i praktiken blir ogörligt. När det händer är det mycket svårt att veta vem som ska hållas ansvarig för beslut, vilket är en essentiell del av ett demokratiskt system.