Direkte til sidens indhold

Cathy O’Neil: Udskamning er brændstoffet i vores bærende algoritmer

Dataforsker Cathy O’Neil har begået en ny bog, hvor skam og udskamning bliver udpeget som det primære brændstof i mange af vores algoritmer. Skammen efterlader borgere og brugere i en anti-intellektuel tilstand, hvor vi drives af afmagt og hovedløs aggression.

For et par år siden gik matematiker og dataforsker Cathy O’Neil med tanken om at få foretaget fedmekirurgi. En snigende følelse af at samfundet krævede det af hende, trængte sig på, selvom den direkte baggrund var, at hun ville forbedre sine chancer for at undgå diabetes. I O’Neils research op til operationen skete der noget.

– Jeg blev overvældet af reklamer, der fatshamede. Jeg blev forvirret og ramt af en slags skamchok. Jeg glemte på en måde, hvad jeg var kommet for og følte afmagt, fortæller hun.

Cathy O’Neils tur rundt i et net af algoritmestyrede fedmereklamer mindede hende om research, som hun foretog til sin bog “Weapons of Math Destruction”, som hun udgav i 2016 til stor anmelderros.

– Jeg så, hvordan lærere blev fyret af en algoritme. Og da de spurgte om mere information og baggrund for fyringen, så fik de at vide, at de ikke ville forstå matematikken i algoritmen. Det var en bevidst strategi til at udskamme lærerne, så de ikke stillede nogle spørgsmål. Det sørgelige var, at det virkede, siger hun.

Skam-maskinen

Cathy O’Neil lagde i kølvandet på sin research om fedmeoperationer mærke til, hvordan skam og udskamning spillede en central rolle i algoritmerne på sociale medier og i markedsføring. Det ledte til sidst frem til, at hun skrev bogen “The Shame Machine: Who Profits in the New Age of Humiliation”. Her undersøger dataforskeren, hvordan blandt andet wellness og fedmeindustri profiterer på at skabe en mindreværdsfølelse hos den enkelte, som ingen kur i verden kan kurere.

– Min teori er, at sociale mediers algoritmer og design er optimeret til udskamning. Og det er de i høj grad, fordi skam forvirrer os og distraherer os, så vi ikke længere bruger den rationelle del af vores hjerne, men i højere grad bliver reaktive, siger hun og tilføjer:

– Vi bliver fanget i en tilstand, hvor vi bliver chokerede, fyldt med harme, fyldt af skam og er ude efter at udskamme andre. Det er en slags anti-intellektuel tilstand, som er en slags besættelse, siger hun.

Hersker i eget rige

En af grundene til, at skam og udskamning er så stærk en drivkraft på eksempelvis sociale medier, er, at vi får en følelse af, at vi kan være hersker i vores eget rige, fortæller Cathy O’Neil.

– Sociale medier virker så godt, fordi de giver os følelsen af at være konge i vores eget lille rige, selvom det rige er meget lille. Vi har enormt tætte grupper af meningsfæller, som har meget indforståede og snævre normer, der retweeter os, når vi udskammer andre. Det minder meget om et hyperlokalt bysamfund, hvor vi hader alle samfund omkring os og kaster skam-granater ud mod alle de andre.

Algoritmerne, der forbinder os med meningsfæller og modsat plotter os mod dem, som vi er uenige med, har ingen demokratisk funktion. Kommunikationen ender med at være rent performativ, fortæller hun.

– Dem, vi optræder for, er allerede enige med os, og dem, vi skyder på, er allerede uenige med os. De to ting, vi opnår er, at vi føler os selvretfærdige, fordi vi bliver delt og liket blandt vores meningsfæller. Det andet er en modreaktion: Hvornår har nogen sidst ændret holdning på grund af diskussioner på sociale medier? Meningen er, at algoritmerne skal få os ind i disse diskussionsspiraler og performe skam og udskamning for vores venner. Og af den grund løser det ikke konflikter. Det skaber konflikter, siger Cathy O’Neil.

Men selve handlingen at udskamme andre fremkalder til gengæld nydelse i hjernens belønningscenter, og derfor er skam så effektivt.

Musk er perfekt til Skam-maskinen

Talen falder naturligt på tech-komet Elon Musk, når Cathy O’Neil forklarer skam som central komponent i de algoritmer, som former vores omgang med hinanden på Twitter eller Facebook.

– Elon Musk elsker opmærksomhed, og han troller folk på Twitter for opmærksomhed, så han er perfekt til den verden. Han virker til faktisk at nyde det. Jeg tror, de fleste af os ikke nyder det cirkus, siger hun.

Cathy O’Niel driver i dag konsulentfirmaet ORCAA, som laver revision af algoritmer. Det betyder blandt andet, at hun afdækker den bias, fairness og potentielle diskrimination, som gemmer sig i matematikken. Firmaet har både offentlige myndigheder og private selskaber som kunder.

O’Neil oplever, at blandt andet Google har ændret praksis i dag i forhold til de reklamer, som den enkelte bruger møder gennem algoritmernes fra- og tilvalg for brugeren.

– Google tillader nu, at folk kan fravælge slankekursreklamer. Google vil gerne vise, at de gør noget ved disse ting, men det her med at kunne fravælge disse ting fungerer ikke. Den type reklamer skal være ulovlige, siger hun.

Dataforskeren er grundlæggende meget bekymret over, at vi stadig trods mange års debat grundlæggende ikke har den store indsigt i Big Techs algoritmer.

– Lige nu er det nærmest op til den næste whistleblower at sikre, at vi ved, hvad der foregår inde i Facebooks algoritmer, siger hun og kommer med en forudsigelse:

– Spørgsmålet er måske ikke om sociale medier forbedrer sig selv, spørgsmålet er nok i højere grad, om vi i hobetal kommer til at forlade sociale medier, fordi de steder er blevet alt for giftige og røvsyge steder at være. Jeg har tre sønner på 22, 19 og 13 år. Ingen af dem er på sociale medier. De synes, det er for gamle mennesker.

Kom til debat med faderen, der startede Chromebook-sagen
Digitalisering

Kom til debat med faderen, der startede Chromebook-sagen

Jesper Graugaard startede hele Chromebook-sagen, der tog Helsingør Kommune på sengen tæt på skolestart. Her fortæller han om sin aktivisme, og vi tager den større debat om cloud-løsninger, privacy-problemer og tredjelandsoverførsler.

AFLYTTET #1: Pegasus og den forcromede bog
Ind i algoritmen

AFLYTTET #1: Pegasus og den forcromede bog

Her er den første udgave af det nye Aflyttet, som Radar og Anders Kjærulff har genstartet med den garvede techkritiker og journalist bag mikrofonen. Denne gang tester vi aktivisters telefoner for Pegasus og dykker ned i Chromebook-sagen og mere.