Rekenkamer: te weinig aandacht voor discriminatie bij gebruik algoritmes door overheid

Bij het gebruik van voorspellende algoritmes doen landelijke overheidsinstanties te weinig om vooroordelen te voorkomen. Daardoor is er een reëel risico op discriminatie en profilering bij beslissingen over bijvoorbeeld uitkeringen of toeslagen. Daarnaast schiet de controle op het gebruik van algoritmes tekort en moeten burgers meer inzicht krijgen in het gebruik ervan.

Dat concludeert de Algemene Rekenkamer in een rapport over het gebruik van algoritmes bij de centrale overheid. Uitvoeringsinstanties zoals de Belastingdienst, de Sociale Verzekeringsbank en het UWV, maar bijvoorbeeld ook opsporingsdiensten laten de computer in steeds grotere mate bepalen bij toekenning van toeslagen en fraudebestrijding. Daarmee neemt ook de bezorgdheid toe, omdat vaak maar moeilijk te achterhalen is hoe algoritmes precies werken en welke invloed ze hebben op besluiten.

Betere toetsing

Deze structuur achter computerbeslissingen wordt volgens de onderzoekers vooraf en tijdens het gebruik vaak nauwelijks getoetst. Zo gebruikt de Belastingdienst algoritmes bij toeslagen zonder dat vooraf en tijdens het gebruik kritisch is gekeken naar de gevolgen voor burgers. “Zeker bij zoveel impact op de burger, verdient dit een heel kritische blik en dat is niet gebeurd”, zegt Hanny Kemna, collegelid van de Rekenkamer. Ze benadrukt dat dit bij meer overheidsinstanties speelt en pleit daarom voor betere toetsing.

De Algemene Rekenkamer inventariseerde het gebruik van 86 algoritmes bij onder meer ministeries en uitvoeringsinstanties, die door deze zelf zijn aangedragen. Daarbij is vooral gekeken naar risico’s en gevolgen van het gebruik in het algemeen. Daarnaast zijn drie algoritmes (de rekenkamer wil niet zeggen welke) onder de loep genomen met een nieuw toetsingskader dat is ontwikkeld door de Algemene Rekenkamer.

Uit de beoordeling van drie casussen is gebleken dat er te weinig maatregelen worden genomen tegen vooringenomenheid en discriminatie. De onderzoekers waarschuwen voor grote risico’s voor burgers. “Wanneer bepaalde bevolkingsgroepen afwijkend zijn behandeld in het verleden neemt het algoritme deze discriminatie over”, schetsen de onderzoekers. Of dit ook gebeurt bij specifieke uitvoeringsorganisaties zoals de Belastingdienst is in dit onderzoek niet onderzocht.

“Dat hier onvoldoende oog voor is, is verontrustend”, vindt Frederik Zuiderveen Borgesius, hoogleraar ICT en privaatrecht. “Het is belangrijk om goed te kijken naar de ethische aspecten. Als er te weinig wordt nagedacht over de discriminatierisico’s, kan het helemaal mislopen. Bijvoorbeeld wanneer een algoritme er onbedoeld op wordt getraind om mensen met een migratieachtergrond eruit te pikken op basis van trends uit het verleden.”

‘Geen volledig beeld’

De Rekenkamer concludeert verder dat computergestuurde modellen vooral een hulpmiddel zijn van ambtenaren, en beslissingen niet volledig zelf nemen. Ook stelden onderzoekers vast dat automatische besluitvorming enkel plaatsvindt bij algoritmes die eenvoudige administratieve handelingen uitvoeren, zonder enige gevolgen voor de burger.

Marlies van Eck, adviseur en docent vakgroep Belastingrecht Radboud Universiteit, is uiterst kritisch over het rapport. “Ik viel echt van mijn stoel”, zegt ze. “We weten dat bij uitvoeringsinstanties als CJIB, de belastingdienst en Duo 90 procent is geautomatiseerd. Dat kan niet zonder algoritmes. Het feit dat de onderzoekers blind hebben gevaren op wat die overheden aandroegen, zegt al genoeg. Dan krijg je geen volledig beeld.”

De onderzoekers komen met verschillende aanbevelingen voor overheden. Een daarvan is dat de burger meer inzicht moet krijgen in de wijze waarop algoritmes werken. Het moet duidelijker worden waar de burger terechtkan voor bezwaar tegen de uitkomsten en het gebruik van data.

Lees ook:

Een eerlijk algoritme? Dat is niet zo makkelijk te maken, maar het kán wel

Kan een algoritme eerlijk zijn? Rik Helwegen, net afgestudeerd in kunstmatige intelligentie, ontwikkelde een methode die gevoelige data buiten beschouwing laat.