Movies that Matter

Arme en zwarte mensen lijden meer onder kunstmatige intelligentie, toont deze documentaire

Pijnlijk, als de gezichtsherkenning alleen werkt met een wit masker op. Beeld
Pijnlijk, als de gezichtsherkenning alleen werkt met een wit masker op.Beeld

Bedrijven, politie, overheid: allemaal controleren ze burgers door middel van algoritmen. De documentaire Coded Bias laat zien waarom de gevaren hiervan vrouwen, minderheden en arme mensen vaak het hardst treffen.

Het is een wrange scène: een jonge studente die een wit masker moet dragen om door gezichtsherkenning te worden opgemerkt. Masker op, en de software ziet haar direct. Masker af, en ze zou net zo goed onzichtbaar kunnen zijn in plaats van zwart.

“Ik wilde gewoon coderen, ver weg van de problemen van de echte wereld”, zegt de Amerikaanse Joy Buolamwini aan het begin van de ­documentaire Coded Bias. “Daarom ging ik computerwetenschap studeren.”

Maar al snel achtervolgde die echte wereld haar naar de technische universiteit MIT. Voor een kunstproject bedacht ze een spiegel die het gezicht van de kijker verving door dat van bijvoorbeeld een leeuw, of een beroemdheid als Beyoncé.

Coded Bias wordt op zaterdag 24 april om 17.00 uur uitgezonden. Daarna is hij terug te kijken tot 28 april. Klik hier voor meer informatie.

Die spiegel werkte met een algoritme: een set instructies die je een computer geeft om een bepaald doel te bereiken. Hoofdingrediënt was in dit geval een grote database vol portretfoto’s, die de software analyseerde om gezichten te leren identificeren.

“Ligt het aan de belichting?”, vroeg Buolamwini zich af toen het cameraatje boven de spiegel haar niet registreerde. Maar het bleek te liggen aan de plaatjes waar de software mee was getraind: die waren bijna allemaal van witte mensen, en voornamelijk mannen.

Hoe gevaarlijk wordt het wanneer er écht iets op het spel staat?

Discriminatie door onnozelheid. In dit geval was het vooral pijnlijk, maar hoe gevaarlijk wordt het wanneer er écht iets op het spel staat? Die vraag wil regisseur Shalini Kantayya in Coded Bias beantwoorden.

Arme en zwarte mensen hebben veel meer last van de schaduwkanten van artificiële intelligentie (AI) en algoritmen. Dat is een van de belangrijkste lessen van de documentaire.

Neem LaTonya Myers uit Philadelphia. Sinds zij in 2011 werd veroordeeld voor drugs- en wapenbezit, heeft ze haar leven gebeterd en een uitstekende reputatie in haar gemeenschap opgebouwd. Toch moet ze zich vier jaar na vrijlating nog iedere week melden bij de reclassering. Een algoritme heeft bepaald dat ze een ‘hoogrisicogeval’ is.

Wat blijkt? Dit algoritme overschat de kans dat zwarte misdadigers opnieuw in de fout gaan (en ónderschat die kans bij hun witte evenknieën). In de docu vertelt een gefrustreerde Myers dat haar reclasseringsambtenaar niet in staat was het oordeel van de AI te overstemmen.

Ook in Nederland

‘Only in America’, zou je kunnen denken. Maar ook in Nederland gebruiken reclasseringsambtenaren een algoritme dat recidivegevaar voorspelt. Het heet OxRec, en het scant onder meer de woonbuurt van de verdachte: hoeveel mensen zijn gescheiden in de wijk, hoeveel zitten er in de bijstand?

“Is het wel gerechtvaardigd om dat soort groepsinformatie toe te passen op individuele gevallen?”, vraagt Gijs van Dijck, die aan Maastricht University onderzoek doet naar big data in recht. Hoewel OxRec niet expliciet naar afkomst kijkt, kan huidskleur indirect toch meewegen. In sommige ‘arme’ postcodegebieden wonen bijvoorbeeld relatief veel niet-witte mensen.

Volgens de reclassering zijn de zorgen overdreven. De buurtscore weegt maar licht mee, en in Nederland is het algoritme bedoeld om het oordeel van professionals te ondersteunen, niet om het te vervangen. Maar dat neemt Van Dijcks bezorgdheid niet weg: OxRec zou ambtenaren op het verkeerde been kunnen zetten.

“Het probleem kan al zitten in de initiële data die je het algoritme voert”, vertelt Van Dijck. Als de computer ziet dat zwarte mensen vaker worden opgepakt en veroordeeld, vraagt die zich niet automatisch af of dat mede door racisme komt. Dus kunnen oude vooroordelen onbedoeld worden overgenomen.

Verderop in Coded Bias zien we een berucht voorbeeld van een algoritme dat zich voedde met vooroordelen. Namelijk de AI-chatbot Tay, die Microsoft vijf jaar geleden lanceerde met een eigen Twitter-account. Tay begon met aardige tweets zoals ‘mensen zijn supercool’. Maar gedurende de dag leerde ze van gesprekken met echte mensen op het sociale medium. Binnen 24 uur postte ze berichten als ‘Hitler had gelijk, ik haat de joden’ en ‘Ik heb een fucking hekel aan feministen en ze moeten allemaal sterven en branden in de hel’.

Seksisme in software kan ook subtieler. “Sommige algoritmen zie je nooit, terwijl ze wel besluiten over je nemen”, zegt Joy Buolamwini, de studente wier gezicht niet werd herkend. Als voorbeeld noemt ze Apple Card, een virtuele creditcard voor de iPhone.

Dat die betaalkaart discrimineerde, verraste ook Steve Wozniak, nota bene mede-oprichter van Apple. Hij twitterde in 2019 dat de Apple Card hem een tien keer zo hoog kredietlimiet toekende als zijn vrouw. Het stel was in gemeenschap van goederen getrouwd en deelde een bankrekening. Het enige verschil was gender.

Waar het bij Apple misging? Dat is moeilijk te zeggen. “Vooringenomenheid heeft veel bronnen, en complexe algoritmen zijn moeilijk te doorgronden”, zegt Bram Klievink, hoogleraar digitalisering aan de universiteit Leiden.

Maar Klievink focust niet op bedrijven als Apple, maar op publiek beleid. “Het is zeker onrechtvaardig als iemand onterecht geen krediet krijgt, maar dat is nog van een heel andere orde dan besluiten van de overheid. Die moeten uitgelegd kunnen worden, en getoetst door de rechter.”

Zo gebruikte de Nederlandse overheid tot vorig jaar een systeem dat fraude moest opsporen, genaamd ­SyRI. Totdat de rechtbank oordeelde dat de algoritmen te ondoorzichtig waren en de privacy-inbreuk voor burgers te groot was. SyRI schond mensenrechten en moest worden opgedoekt.

SyRI maakte de tongen los, maar de toeslagenaffaire maakte voor veel mensen pas echt duidelijk hoe vernietigend discriminerende software kan uitpakken. Een algoritme van de Belastingdienst gebruikte ‘dubbele nationaliteit’ als een criterium bij het zoeken naar risicogevallen.

“Wat doet dat met de rol van ambtenaren”, vraagt hoogleraar Klievink, “als zij niet meer zelfstandig zoeken naar mogelijke fraude, maar kijken naar een lijstje dat het algoritme uitspuugt? Als je iemand onderzoekt omdat de software het zegt, kan zelfs een een missend kommaatje waar je anders niet over zou vallen een aanwijzing lijken dat het algoritme op het goede spoor zit.”

De staat kán burgers in een nog beklemmender greep houden. In ­Coded Bias zien we dat delen van China inmiddels doen denken aan een aflevering van de dystopische sciencefictionserie Black Mirror.

Een sociaal kredietsysteem dat ieders gedrag en uitspraken monitort en beoordeelt

“Vandaag werd in de trein omgeroepen dat mensen met een slechte score niet meer met de trein of het vliegtuig zullen mogen reizen”, zegt een jonge vrouw in de Chinese stad Hangzhou. De Communistische Partij experimenteert namelijk met een sociaal kredietsysteem dat ieders gedrag en uitspraken monitort en beoordeelt.

“Op allerlei plaatsen wordt mijn gezicht gescand”, vertelt ze. “Bij het winkelen, of als ik mijn appartementencomplex of een treinstation inga. Dat maakt dat je je goed wilt gedragen.”

De jonge vrouw noemt het systeem ‘heel handig’. “Als ik bevriend raak met iemand met een hoge krediet­score, kan ik diegene meteen vertrouwen, zonder op mijn eigen zintuigen te hoeven bouwen.”

Direct daarna toont de documentaire hoe een zwarte scholier in Londen wordt aangehouden door politie. Een straatcamera matchte zijn gezicht met dat van een verdachte in een database (iets wat ook in Nederland gebeurt). Vier agenten in burger fouilleren hem grondig en nemen zijn vingerafdrukken. Na een kwartier concluderen ze dat hij niet de man is die ze zoeken.

Ook in het Westen worden mensen voortdurend bespied, zegt de documentaire. China is er alleen transparanter over.

Wilt u deze film zien? Klik hier voor meer informatie en kaartverkoop.

Movies that Matter is een filmfestival over mensenrechten. Het vindt plaats in Den Haag, van 16 tot en met 25 april 2021. Ga voor recensies en interviews met regisseurs naar trouw.nl/moviesthatmatter.

Lees ook:

‘Overheidsinstanties spelen balletje-balletje met burgers’

Aleid Wolfsen, voorzitter van de Autoriteit Persoonsgegevens, vreest dat het Inlichtingenbureau zijn zaakjes niet op orde heeft. ‘Je kunt niet in het wilde weg burgers controleren.’

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden