null

Big data

Een algoritme is niet neutraal, ook een overheidsalgoritme niet

Beeld Idris van Heffen

Dat de overheid volop gebruikmaakt van algoritmes is bekend. Maar deugen de data wel die daarvoor worden gebruikt?

De wijk Groenewoud in Tilburg staat er wat betreft leefbaarheid niet goed op. Volgens de zogeheten Leefbaaro­meter van het ministerie van binnenlandse zaken scoort de buurt in het zuiden van de Brabantse stad een ‘zwak’. Vooral met de veiligheid is het er niet goed gesteld, maar het zijn ook de bewoners die de leefbaarheid volgens de barometer naar beneden trekken.

Liever luisteren? Onze collega’s van Blendle spraken dit artikel voor u in.

Die Leefbaarometer is een algoritme dat buurten in heel Nederland een score toewijst. Niet gewoon voor de lol, zodat iedereen kan zien hoe zijn eigen buurt op de kaart staat. Gemeenten gebruiken de computerberekening bijvoorbeeld om voor het ministerie te onderbouwen waarom ze in bepaalde buurten mensen voor woningen mogen weigeren die geen werk hebben, of die een strafblad hebben. Ook Tilburg doet op verschillende plekken in Groenewoud, zwaaiend met onder meer de ‘zwak’ van de Leefbaaro­meter in de hand, een beroep op die zogeheten Wet bijzondere maatregelen grootstedelijke problematiek, beter bekend als de Rotterdamwet.

Daarmee is de Leefbarometer een van de vele algoritmes die de overheid de afgelopen jaren omarmde en waar burgers de gevolgen van merken. Wie niet aan de criteria voldoet, kan geen huis krijgen in Groenewoud en op andere plekken waar de Rotterdamwet wordt ingezet. Gemeenten gebruiken algoritmes om te bepalen wie er extra streng wordt benaderd omdat hij in het ­risicoprofiel van een fraudeur past. En de politie bepaalt met computerberekeningen op welke wijk ze vanavond extra de aandacht zullen vestigen.

Er zijn een hoop kanttekeningen te plaatsen

Maar deugen die algoritmes wel? Er zijn volgens Gerwin van Schie, die aan de Universiteit van Utrecht onderzoek doet naar algoritmes bij de overheid, een hoop kanttekeningen te plaatsen. Zo is het volgens hem hoog tijd dat er meer aandacht komt voor de data die voor de berekeningen worden gebruikt en de vraag wat daar het gevolg van is. “Daar wordt op dit moment bij de overheid nog heel naïef mee omgegaan. Er is te weinig besef dat algoritmes een vertekend beeld van de werkelijkheid laten zien en dat het de ongelijkheid kan vergroten in de samenleving.”

Vooral bij het gebruik van gegevens over etniciteit wordt duidelijk waar de pijnpunten liggen. Neem weer diezelfde Leefbaaro­meter. Volgens het ministerie worden de scores voor een wijk bepaald op basis van honderd ‘voornamelijk objectieve indicatoren’, zoals het type woningen in de wijk, de voorzieningen en het aantal misdrijven. Die graadmeters zijn bepaald nadat uit ‘uitvoerig statistisch onderzoek’ is gebleken dat ze een goede inschatting geven of een buurt als leefbaar wordt ervaren, staat op de site van de Leefbaarometer.

‘Achtergronden hebben ­een negatieve invloed op de uitkomst van het algoritme’

Van Schie wijst op de indicator ‘bewoners’. Een buurt krijgt mede een score toebedeeld voor leefbaarheid op basis van de mensen die er wonen en waar die vandaan komen. Uit Suriname, Marokko of Turkije, bijvoorbeeld. “Die achtergronden hebben ­allemaal een negatieve invloed op de uitkomst van het algoritme. Autochtoon staat er niet tussen, blijkbaar is dat een factor die voor de score niet uitmaakt.”

In de Leefbaarometer wordt iemands land van herkomst dus ingezet om een waardeoordeel te geven aan de leefomgeving. Van Schie vindt dat om verschillende redenen kwalijk. Het werkt stigmatiserend en discriminerend. Maar ook problematisch is dat de Leefbaarometer volgens hem teveel een meting van de werkelijkheid lijkt, terwijl dat het niet is. Het is een voorspelling van hoe leefbaar een bepaalde plek is. “De Leefbaarometer is onder meer gebaseerd op onderzoeken onder bewoners naar de ervaren leefbaarheid in verschillende wijken. Dat is vervolgens verklaard met data. Zo is teruggerekend welke factoren invloed hebben en dat is geëxtrapoleerd naar alle wijken.”

Eigenlijk moet je ervan uitgaan dat ieder algoritme zo zijn beperkingen kent, zegt Christian Verhagen van Verdonck, Klooster & Associates. Hij adviseert verschillende overheden bij de inzet van computerberekeningen. “Het is goed om te beseffen dat er altijd keuzes worden gemaakt in datasets en dat deze invloed hebben op de uitkomst van algoritmes. Kijk naar de politie die met allerlei data aan de slag gaat om te bepalen waar ze extra gaan surveilleren. In de systemen staan geregistreerde misdrijven, dat betekent niet dat die de werkelijkheid weergeven.”

Nog een voorbeeld, opnieuw over etniciteit. Sommige algoritmes van de overheid maken gebruik van data van het Centraal Bureau voor de Statistiek (CBS). Dat gebeurt bijvoorbeeld bij het project Zicht op ondermijning, wat tot doel heeft patronen rond zaken als drugsproblematiek of misbruik van vastgoed voor gemeenten inzichtelijk te maken. Voor elke gemeente wordt bijvoorbeeld voorspeld hoe groot het risico is dat jongeren er in de drugscriminaliteit belanden. Verschillende factoren spelen daarbij een rol, waaronder opleiding en migratieachtergrond van bewoners.

null Beeld

De data van het CBS hebben algauw het stempel ‘neutraal’

Het CBS is bij het project betrokken en levert een belangrijk deel van de data. De data van het statistiekbureau hebben algauw het stempel ‘neutraal’, terwijl ook die organisatie keuzes moet maken in de categorisering van gegevens. Dat wordt vooral duidelijk bij de indeling van mensen in westerse- en niet-westerse migratieachtergrond. Bij westers worden bijvoorbeeld mensen uit Japan en Indonesië meegeteld, terwijl Turken als enige Europeanen niet in deze categorie vallen.

Van Schie: “Als je gaat nadenken waarom die indeling zo is, dan merk je al dat het niet neutraal is. Zou Indonesië als westers land worden gezien omdat het een Nederlandse kolonie is geweest? Suriname wordt dan wel weer gezien als niet-westers. Zou het te maken hebben met wat we cultureel westers noemen? Dan zou het weer onlogisch zijn om Japan bij het westen in te delen.”

Zelf verklaart het CBS de indeling zo: ‘Op grond van hun sociaal-economische en so­ciaal-culturele positie worden personen met een migratieachtergrond uit Indonesië en Japan tot de westerse migratieachtergrond gerekend. Het gaat vooral om mensen die in het voormalig Nederlands-Indië zijn geboren en werknemers van Japanse bedrijven met hun gezin.’

Christian Verhagen ziet niet zozeer een probleem in deze categorisering. “Je kunt het ermee eens zijn of niet, maar het CBS geeft dat heel transparant weer.” De vraag is of iedereen zich bewust is van die indeling. “Er bestaat over het algemeen een te sterk vertrouwen in wat de computer ons vertelt. Daarom is het belangrijk om te werken aan een gezond kritisch vermogen als het aankomt op de inzet algoritmes. Geef ambtenaren die met uitkomsten aan de slag gaan een soort bijsluiter, zorg dat ze weten welke keuzes er in de data zijn gemaakt en wat dat voor gevolgen heeft.”

Transparantie is ook voor burgers relevant

En niet alleen voor ambtenaren moet dat duidelijk zijn. Transparantie over welke gegevens er gebruikt worden in algoritmes van de overheid en welke beperkingen of risico’s daarin zitten, is ook voor burgers relevant, zegt Verhagen. Een vergelijkbare oproep deed de Nationaal Ombudsman eerder deze maand: overheid wees opener en communiceer duidelijker over de inzet van computerberekeningen.

Er bestaan hier en daar al wat initiatieven. Zo heeft de gemeente Amsterdam een database opgezet waarin burgers niet alleen kunnen zien welke algoritmes er in de stad worden gebruikt, maar ook uitleg vinden over de overwegingen om bepaalde data wel of niet te gebruiken. Het tegengaan van discriminatie krijgt daarin speciale aandacht. Zo wordt bij het algoritme om illegaal vakantieverhuur op te sporen, informatie over nationaliteit, burgerlijke staat en geboorteland niet meegenomen. De gemeente wil naar eigen zeggen zo voorkomen dat er een vertekend beeld of vooroordeel ontstaat over specifieke groepen.

Overigens is de database op dit moment nog verre van compleet. Er staan nu nog maar vijf algoritmes in. De gemeente zegt tot doel te hebben uiteindelijk zo compleet mogelijk te worden. Volgens Verhagen kan zo’n openbare database het gesprek aanjagen over de wenselijkheid van algoritmes en het gebruik van bepaalde gegevens. Er bestaan volgens hem terechte zorgen, al waarschuwt hij ook voor een te negatief beeld. “Laten we algoritmes niet helemaal in het verdomhoekje zetten. Er bestaan hele waardevolle, goede voorbeelden. ABN Amro ontwikkelde bijvoorbeeld samen met de Universiteit van Amsterdam een algoritme dat patronen herkent die op mensenhandel kunnen duiden. Dat is een maatschappelijk zeer relevante toepassing.” Ook kunnen algoritmes de vooringenomenheid bij organisaties volgens hem juist blootleggen. Beslissingen werden misschien eerst op basis van het onderbuikgevoel van medewerkers genomen, terwijl de computer duidelijk kan maken dat dat niet terecht is.

‘Als je afkomst gaat gebruiken als voorspeller, dan heb je het 98 van de 100 keer mis’

Ook Van Schie schiet niet alle overheids­algoritmes af, al vindt hij dat we wel een debat moeten voeren over de vraag of we bepaalde data– zoals over etniciteit – überhaupt moeten gebruiken. “Er kunnen correlaties zijn die samenhangen met afkomst, dat zal ik niet ontkennen. De vraag is of je die correlaties moet omzetten in stereo­typeringen die tegen mensen worden gebruikt. Kijk naar de populatie in de gevangenis. Van de totale Nederlandse populatie zit 0,4 procent in de gevangenis, van alle Marokkanen is dat 2 procent. Dan kun je twee dingen zeggen: er zitten dus vijf keer zoveel Marokkanen in de cel, dus kan dat een indicator zijn om te bepalen wie er grotere kans heeft het verkeerde pad op te gaan. Of je ziet het zo: 99,6 procent van de bevolking zit niet in de gevangenis en 98 procent van de Marokkaanse-Nederlanders niet. Als je afkomst toch gaat gebruiken als voorspeller, dan heb je het dus nog altijd 98 van de 100 keer mis. Is het aantal keren dat je het goed hebt het waard om de rest systematisch weg te zetten?”

Bovendien roept het volgens hem vragen op over causaliteit. “Dat Marokkaanse Nederlanders vaker voor een verkeerd pad kiezen in hun leven wordt nu vaak behandeld als een ‘bewijs’ voor het feit dat jongeren met deze migratieachtergrond inherent crimineel zouden zijn. Je kunt je echter ook afvragen of dit een reflectie is van een samenleving die hen geen andere opties biedt. Er zijn de afgelopen jaren genoeg berichten geweest over uitzendbureaus die meewerken aan discriminerende verzoeken van klanten en over hoe lastig het is om een stageplek te vinden voor jongeren met een migratieachtergrond.”

Van Schie staat zeker niet alleen in zijn kritiek. Al jaren wordt er gewaarschuwd voor discriminerende algoritmes. Inmiddels klinkt de roep om te stoppen met het meewegen van zoiets als etniciteit en geboorteland luider. Langzaamaan lijkt alle kritiek effect te hebben. Zo zegt het ministerie van binnenlandse zaken bezig te zijn met een nieuwe versie van de Leefbaarometer waarin etniciteit geen rol meer speelt. Datzelfde geldt voor het project ‘Zicht op ondermijning’ en de voorspellingen over jonge aanwas in de drugscriminaliteit. Ook dat algoritme, waarin migratieachtergrond nu nog een factor is, wordt momenteel aangepast.

Lees ook:

Een eerlijk algoritme? Dat is niet zo makkelijk te maken, maar het kán wel

Kan een algoritme eerlijk zijn? Rik Helwegen, net afgestudeerd in kunstmatige intelligentie, ontwikkelde een methode die gevoelige data buiten beschouwing laat.

Rekenkamer: te weinig aandacht voor discriminatie bij gebruik algoritmes door overheid

Discriminatie en profilering liggen op de loer bij het gebruik van algoritmes door de landelijke overheid. De burger moet daarnaast meer inzicht krijgen in het gebruik ervan, vindt de Algemene Rekenkamer.

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden