Etnisch profileren

Algoritmes gebruikt door reclassering zorgen voor etnisch profileren

Beeld EPA

Juridisch onderzoeker Gijs van Dijck maakt zich zorgen over een algoritme dat de reclassering gebruikt. Er is kans op ethisch profileren, zegt hij. 

Reclassering, stop voorlopig met het algoritme dat inschat hoe groot de kans is dat een verdachte opnieuw de fout in gaat. Die oproep doet Gijs van Dijck, juridisch onderzoeker aan de Universiteit Maastricht. Volgens hem is er een risico op etnisch profileren.

Van Dijck hield het systeem met de naam OxRec tegen het licht voor een artikel dat vrijdag in het Nederlands Juristenblad verschijnt. Het algoritme, ontwikkeld door de Universiteit van Oxford, wordt sinds vorig jaar in Nederland standaard gebruikt door reclasseringsmedewerkers als een van de instrumenten om in te schatten hoe groot de kans op recidive is.

Volgens juridisch onderzoeker Van Dijck gebruikt het algoritme verschillende gegevens over een verdachte om vervolgens, op basis van historische data over recidive, te voorspellen hoe groot het herhalingsgevaar is. Factoren die worden meegewogen zijn bijvoorbeeld leeftijd, opleidingsniveau, inkomen en alcohol- en drugsgebruik. Daarnaast wordt ook informatie gebruikt over de postcode waar iemand woont, de criminaliteitscijfers in die buurt en het percentage bijstandsuitkeringen. Met name over die laatste groep gegevens maakt Van Dijck zich zorgen.

Postcodes verhullen informatie

“Het kan best zijn dat uit historische data blijkt dat mensen uit een bepaalde buurt vaker crimineel gedrag vertonen. Maar iemands postcode zegt op zichzelf niets. Postcodes verhullen bepaalde informatie. Ze kunnen bijvoorbeeld iets zeggen over iemands etnische achtergrond, omdat er wijken zijn waar veel mensen met een bepaalde achtergrond wonen.” 

Dat betekent dat ook als iemands afkomst niet expliciet wordt meegewogen, het algoritme indirect toch discriminerend kan werken, waarschuwt Van Dijck. Hij wijst op eerder onderzoek naar een algoritme dat de beste kandidaat voor vacatures uitkoos. “Uit principe werd het geslacht weggehaald. Toch bleek het algoritme de kandidaten op basis van de opgegeven hobby’s op het cv wel degelijk te kunnen indelen in mannen en vrouwen.”

Foutmarges in berekeningen

Van Dijck benadrukt dat zijn onderzoek niet met zekerheid vaststelt dat OxRec daadwerkelijk etnisch profileert. “Maar het punt is dat we ook niet zeker weten dat het niet zo is. Dat roept de vraag op of je zo’n tool wel moet gebruiken in de praktijk. Er is wat mij betreft eerst meer onderzoek nodig naar de werking van dit soort algoritmes, voordat je het op individuen toepast.”

Datzelfde geldt voor de foutmarges van de berekeningen, zegt Van Dijck. Hij komt op basis van eerder onderzoek naar OxRec tot de conclusie dat het algoritme er nogal eens naast zit. Omdat een onterecht predicaat ‘hoog risico’ veel gevolgen kan hebben voor een verdachte – de rechter kan het recidiverisico meenemen in het vonnis – moet je zeer voorzichtig zijn met de uitkomst, vindt hij. Al is volgens hem niet bekend of een mens dat voorspellen beter doet. 

De reclassering herkent zich niet in de conclusies van Van Dijck. Bij OxRec is volgens de organisatie geen sprake van etnisch profileren, omdat het geen informatie meeweegt over etniciteit, nationaliteit of huidskleur. Of gebruikte gegevens over de buurt, zoals de postcode, al dan niet indirect leiden tot etnisch profileren, is volgens de reclassering ‘een discussie die in de wetenschap gevoerd wordt, nog zonder eenduidig antwoord’.

Dat OxRec ondertussen al wel in de praktijk wordt gebruikt, vindt de reclassering verantwoord. Het gewicht dat aan de gegevens over de buurt wordt gegeven is volgens de organisatie laag in de mix van vele andere factoren die worden meegewogen. Bovendien gaat een reclasseringsmedewerker nooit blind af op de uitkomst van het algoritme, maar is het instrument een aanvulling op ander uitgebreid onderzoek naar een verdachte en diens omgeving. Over de foutmarges zegt de reclassering dat zij het risicotaxatie-instrument ‘voldoende betrouwbaar en wetenschappelijk onderbouwd’ vinden. 

Lees ook 

Een eerlijk algoritme? Dat is niet zo makkelijk te maken, maar het kán wel

Kan een algoritme eerlijk zijn? Rik Helwegen, net afgestudeerd in kunstmatige intelligentie, ontwikkelde een methode die gevoelige data buiten beschouwing laat.

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden