Rekenkamer waarschuwt voor mogelijke ‘vooringenomenheid’ bij politie-algoritmes

De Algemene Rekenkamer kraakt het Criminaliteit Anticipatie Systeem (Cas) waarmee de politie sinds 2014 voorspelt in welke gebieden een hoog risico op incidenten is.

Door gebrekkige controle en inzicht in het systeem sluit de Rekenkamer niet uit dat er in de gebruikte data onwenselijke ‘vooringenomenheid’ over groepen of specifieke personen is geslopen.

Voldoet niet aan basisvereisten

Rekenkamer-lid Ewout Irrgang noemt het ‘zorgelijk’ dat het lerende algoritme van de politie aan geen enkel basisvereiste van zorgvuldigheid voldoet. Het algoritme kent ‘hoge’ risico’s. Toch heeft de politie hier nog niets aan gedaan. Zo is de sturing en controle, de privacy, het IT-beheer en het risico op bias (vooringenomenheid) niet op orde. De Rekenkamer zegt dit donderdag in het rapport Algoritmes Getoetst.

Het Cas wordt gebruikt om te bepalen waar ze meer of minder politie moeten inzetten. Irrgang: “Dat doen ze op basis van historische gegevens, dus waar veel verdachten wonen. Of waar veel delicten zijn gepleegd. En met CBS-gegevens waar veel gezinnen met lage inkomens wonen. Zo maken ze een plaatje waar de kans groot is dat er een woninginbraak plaatsvindt en waar extra surveillance nodig is.”

Politie oneens met conclusies

De politie schrijft in reactie het niet nodig te vinden dit algoritme buiten werking te stellen. Ze is het niet eens met alle conclusies. De politie hoeft niet aan de privacywetgeving te voldoen, omdat ze aan de Wet politiegegevens voldoet, stelt ze. De politie is ook niet bang voor vooringenomenheid in het algoritme omdat er altijd nog een ‘menselijke toets’ plaatsvindt. In 2019 zette de Dienst Toeslagen het fraudesignaleringsssyteem uit, nadat er vooringenomenheid in de data werd geconstateerd.

Het algoritmesysteem dat de politie gebruikt, is al eerder bekritiseerd. Amnesty International constateerde vorig jaar dat de politie in het systeem aan bepaalde Oost-Europese kentekens een hoger risico toedichtte, wat etnisch profileren in de hand werkt. Maar toenmalig minister Ferd Grapperhaus stelde dat er niets mis mee was en dat mensenrechten, zoals privacy, goed werden beschermd.

Feitelijke discriminatie niet aangetroffen

Die conclusie haalt de Rekenkamer met haar rapport onderuit. Zowel in het model zelf, als in de gebruikte data is vooringenomenheid en dus het risico op etnisch profileren niet uit te sluiten. Irrgang: “Feitelijke discriminatie hebben we niet aangetroffen. Maar als je historische data van de politie gebruikt, bestaat het risico dat er al vooringenomenheid in de historische data zit. Die data wordt gereproduceerd en kan uiteindelijk zelfs worden versterkt in een lerend algoritme. Daar moet dus steeds op worden gecontroleerd.” Irrgang vindt de reactie van de politie vreemd. “De politie erkent deze conclusie ook, maar de controle gebeurt niet. Er is hooguit een plan aangekondigd om ernaar te gaan kijken.”

Van de negen algoritmes die zijn onderzocht bij uitvoeringsorganisaties, zijn er slechts drie die voldoen aan álle zorgvuldigheidseisen. Dat zijn het CBR, het CJIB en het Inlichtingenbureau van gemeenten. Bij de andere zes zijn grote risico’s in de algoritmes aangetroffen, zoals bij de diensten Migratie en Informatiegegevens waar de ministeries van justitie en veiligheid en binnenlandse zaken verantwoordelijk voor zijn. Irrgang wil dat de vakministers de gebreken alsnog aanpakken.

Bij de politie werd in het algoritme zelfs data over ‘nationaliteit’ van burgers aangetroffen. Irrgang: “Dat mag niet. We hebben wel geconstateerd dat die informatie niet werd gebruikt, maar wij zeggen: verzamel die informatie dan ook niet. De politie heeft ‘nationaliteit’ nu uit het systeem verwijderd.”

Gevoelig onderwerp in publieke debat

De Rekenkamer heeft vooral controles uitgevoerd bij overheidsorganisaties waar burgers veel mee te maken krijgen. En er is speciaal gekeken naar vooringenomenheid, omdat het een gevoelig onderwerp is in het publieke debat.

Irrgang: “Burgers hebben het gevoel dat algoritmes een black box zijn. Dat zijn ze niet. Algoritmes zijn hard nodig om de overheid goed en efficiënt te laten werken. Onze taak is ervoor te zorgen dat burgers ook vertrouwen kunnen hebben in algoritmes.“

Vorig jaar is met andere organisaties een toetsingskader opgesteld. “Als je algoritmes uitbesteed, maar je weet niet wat er gebeurt, dan wordt het systeem vanzelf een black box. Maak dus goede afspraken. Je moet zeker weten dat zorgvuldig met de gegevens van burgers wordt omgegaan, of dat er geen vooringenomenheid speelt.”

Vooringenomenheid verkleinen

Vooringenomenheid kan niet voor 100 procent worden uitgesloten, zegt Irrgang. “Maar je kunt het wel aanzienlijk verkleinen door er permanent op te controleren. We geven als voorbeeld samenwoonfraude. Als je dat onderzoekt, gaat het indirect vaker over vrouwen. Je moet dus de uitkomsten vergelijken. Zijn die voor mannen en vrouwen gelijk?”

Irrgang denkt dat met algoritmes een bias veel beter is te voorkomen. “Je kunt bij een politieagent op straat ook niet uitsluiten dat hij vooringenomen is. Maar het valt niet te onderzoeken wat er in zijn hoofd gebeurt. Dat kan wel met algoritmes. Je kunt alles controleren, waardoor het veel transparanter wordt, als het goed wordt ingezet. Daarom stelt het ons ook niet gerust, dat de politie een aantal conclusies niet erkent. Maar de feiten zijn voor ons evident.”

Lees ook:

Voor derde jaar heeft Rijk de financiën niet op orde,

Rekenkamer waarschuwt voor nieuwe miljardenfondsen