Den Statslige Styrelse for Arbejdsmarked og Rekruttering, med den marginalt mere sexede forkortelse STAR, har i en årrække benyttet en algoritme til at vurdere lediges konkrete behov og muligheder for at komme i arbejde. Det har ført til heftig kritik fra blandt andet forsker Telli Karacan, der mente sig etnisk profileret i en periode som dagpengemodtager.
Forskere har også ytret kritik af det såkaldte profilafklaringsværktøj, men nu har STAR droppet algoritmen. Eller nærmere den kritiserede del, som tog udgangspunkt i en række statistisk data. Det fremgår af brev til Folketingets beskæftigelsesudvalg fra beskæftigelsesminister Peter Hummelgaard (S), som STAR hører under.
Ministeren fortæller, at en praksisundersøgelse viser, at borgere mange steder ikke har været klar over, at de blev udsat for en statistisk risikovurdering og ej heller, at denne er frivillig. Derudover bliver den omfattende indsamling af data brugt som årsag til at skrotte algoritmen.
“Der gælder desuden et særligt grundprincip i databeskyttelsesreglerne om formålsbegrænsning og dataminimering, som siger, at når der indsamles data om borgere, skal der være et formål, og indsamlingen af data skal være tilstrækkelig, relevant og nødvendig,” skriver Hummelgaard.
For ganske nylig valgte Lyngby-Taarbæk Kommune ligeledes at droppe den såkaldte ASTA-algoritme til at screene ledige efter kritik fra kommunens egne sagsbehandlere efter en række forskere havde undersøgt den. I Aarhus har kommunen skrinlagt en machine learning-algoritme til at opspore mistrivsel i børnefamilier: Et risikoprofileringsprojekt med stor lighed med den stærkt omdiskuterede Gladsaxe-model.
Så kunne man stille det relevante spørgsmål: Er det her enden på den risikovurdering af borgere i forskellig sammenhæng, som der har været stort politisk fokus på og som blandt Kommunernes Landsforening har støttet ivrigt?
Dårlige erfaringer
Kristian Bloch Haug, Ph.d.-studerende ved Roskilde Universitet, som har lavet et oversigtsstudie om det offentliges brug af profileringsalgoritmer i beskæftigelsesindsatsen på tværs af en lang række lande, mener, at erfaringerne i det offentlige har været tvivlsomme.
– Jeg tror, at de mange fejlslagne forsøg – aktualiseret af STAR-algoritmen – på kort sigt kan vise sig at være dødsstødet på en specifik brug af AI. Nemlig den der risikoprofilerer udsatte borgere, siger han og forklarer, at problemer tit opstår i samspillet med praktikerne, siger han og
– Det er langt fra unikt, at algoritmer, der risikoprofilerer ledige, bliver lukket ned. Der er ofte modstand fra sagsbehandlere og borgere. Eksempelvis kan det for sagsbehandlere opleves, at algoritmerne demotiverer de ledige og for de ledige selv, kan risikovurderinger opleves diskriminerende. Erfaringer viser, at hvis ikke de her risikovurderingsværktøjer skaber en stor nok værdi for brugerne, så har de svære chancer for overlevelse.
Kristian Haug nævner, at man en årgang i op til midt 00’erne anvendte det såkaldte Jobbarometer, som vurderede de arbejdsløse risiko for ledighed i forskelligt-farvede kategorier. Systemet mødte stor sagsbehandlermodstand og blev siden droppet.
– Uanset om den arbejdsløse var rød eller grøn i forhold til risiko for langtidsledighed, så kunne systemet opleves demotiverende for de arbejdsløse, siger forskeren.
Oversigtsstudiets konklusion er, myndigheder er nødt til at have en helhedsorienteret tilgang til profileringsalgoritmer, hvis de skal kunne fungere. Det handler om at forstå, at de politiske målsætninger, indsamling af data, udvikling af algoritmen og brugernes ejerskab hænger sammen.
– Profilering er komplekst og skrøbeligt. Der er mange ting, som skal spille sammen for at det fungerer. I Danmark har vi haft en ide om, at de kunne gavne på en social- og beskæftigelsesområdet. Det kan det måske også med tiden, men jeg tror diverse fejlslagne forsøg betyder, at offentlige beslutningstagere tænker sig ekstra grundigt om fremover ved brug af lignende systemer, der forudsiger individuel risiko. Fordi profilering langtfra er ligetil, hvilket mit oversigtsstudie også viser, siger Kristian Bloch Haug.
Algoritmer buldrer afsted
Dorte Caswell, der er professor ved Aalborg Universitet og forsker i socialt arbejde, velfærd og innovation, mener ikke, at vi skal regne med at se færre algoritmer eller mindre kunstig intelligens i forvaltningen.
– Jeg tror ikke, at AI og digitalisering er på retur. Det buldrer afsted, men man trækker måske nogle algoritmer eller indsatser tilbage fordi, at man har brændt fingrene. Kunstig intelligens og digitalisering åbner for helt nye muligheder for automatisering og algoritmer. Så man kan sige, at vi ser en forøget yoyo-aktivitet, siger hun og tilføjer:
– Dilemmaet ved algoritmer og kunstig intelligens er, at vi skal vide, hvem der har truffet beslutningen, når nogen har lavet et skøn. AI-folkene vil sige, at de kan undgå fejl, hvis bare vi lader maskinerne øve sig på en masse data, men retssikkerhedsmæssigt holder det ikke.
Ligebehandlingsnævnet nåede i juni frem til, at STAR ikke forskelsbehandler på baggrund af etnisk oprindelse, når da de profilerede dagpengemodtagere med algoritmer. Nævnet havde taget sagen op efter Institut for Menneskerettigheder havde klaget i 2020 i kølvandet på statskundskaber Telli Karacans personlige oplevelse, hvor hun som nyledig dagpengemodtager blev vurderet til at være i risikogruppen for langtidsledighed på baggrund af sin ‘herkomst’ som barn af ikke-vestlige borgere.
Forskere fra Københavns Universitet nåede dog frem til en anden konklusion i en rapport om netop STAR-algoritmen. Men forskellen heri kan reelt være i anskuelsen mellem jura og metoden i brug af statistik.
– Det er ikke diskrimination i forhold til etnicitet efter Ligebehandlingsnævnets vurdering, men vores forskning viser, at der er forskelsbehandling i forhold til herkomst og alder, siger Thomas Hildebrandt, som er professor i softwareudvikling ved Københavns Universitet.
Datatilsynet er siden Radars historier om ASTA-algoritmen nået frem til, at den ikke må bruges til at profilere nyledige, fordi der mangler hjemmel i loven
“Datatilsynet vurderer, at borgerens samtykke ikke kan danne grundlag for behandling i henhold til databeskyttelsesforordningen (GDPR), eftersom borgerens samtykke i den pågældende kontekst ikke kan anses for frivilligt,” skriver Datatilsynet.
