Eerlijk, objectief en efficiënt: zo zou automatisering moeten werken. Was het maar zo, zegt hoogleraar techniekfilosofie Sabine Roeser. Ze denkt dat de toeslagenaffaire het topje van de ijsberg is.
In de toeslagenaffaire gaat veel aandacht uit naar twee kanten van de zaak: de slachtoffers die gemangeld zijn door regels en de uitvoerders die stug vasthielden aan de handhaving daarvan. De techniek zelf komt minder in beeld. En dat, zegt Sabine Roeser, is een gemis. De waarden die daarin verpakt zitten, verdienen juist alle aandacht, zegt de Delftse hoogleraar ethiek van de techniek.
“In mijn werk onderscheid ik de technocratische en de populistische valkuil. In het eerste geval draait alles om cijfers die als objectief worden beschouwd. In het tweede alleen om wat het publiek al dan niet wil.”
Dat objectieve is op het eerste gezicht zo gek niet, zou je zeggen. Je creëert een computerprogramma, voert daar de juiste gegevens in en er komt een objectieve weging uit voort. “Was het maar waar!”, reageert Roeser. “Er zitten biases (vooroordelen, red.) in, die het geautomatiseerde systeem juist versterkt. Wat statistisch gezien waarschijnlijk is, hoeft zich niet te herhalen in de toekomst en zegt weinig over individuen. Bovendien houd je het systeem in stand, terwijl je juist zaken zou moeten veranderen. Belangrijke morele vraagstukken zoals rechtvaardigheid worden niet meegenomen.”
Objectief imago van techniek
Dat het systeem achter de toeslagenaffaire zo lang heeft kunnen draaien, hangt samen met het objectieve imago van techniek. Daardoor is vergeten, zegt Roeser, dat je menselijke controle nodig hebt. “Als je lik-op-stukbeleid uitbesteedt aan een geautomatiseerd systeem, krijg je problemen. Dat je dataverwerking delegeert aan AI (kunstmatige intelligentie) is prima, als er maar een toetsing door een mens is, die kan kijken: klópt dit nog wel? Die had kunnen zien dat hier racistische factoren in zaten. Is je achternaam van buitenlandse herkomst, heb je een dubbele nationaliteit en doe je een beroep op kindertoeslag, dan ben je al verdacht. Deze techniek was niet objectief.”
Bij de introductie van nieuwe technieken, ziet Roeser dan ook vaak een herhaling van zetten. “Alle technologieën hebben ethische dimensies, maar daar is vaak geen oog voor. Neem alleen al de zeshonderd verkeersdoden per jaar door het gebruik van auto’s, dat is ethisch problematisch. Van nieuwe technologie denken voorstanders vaak dat die schoon is, geen slachtoffers maakt. Over de morele aspecten ervan wordt doorgaans niet meteen nagedacht. Bij AI breekt dat besef nu breder door: hé, er zit een ethische dimensie aan.”
Is die naïeve, positieve houding jegens techniek niet kenmerkend voor techniekspecialisten, zoals aan de Technische Universiteit Delft? Roeser: “Toen ik daar twintig jaar geleden begon, had de TU een kleine filosofievakgroep. Mensen zeiden vaak: wat heeft ethiek nou met techniek te maken? Dat hoef je nu aan niemand meer uit te leggen. Maar die technocratische benadering is nog altijd hardnekkig. De specialisten hebben het uitgerekend, hoor je dan, de kans dat het fout gaat is tien tot de min-zoveelste macht. Dan laten wij in ons onderwijs en onderzoek zien dat er ook morele overwegingen een rol horen te spelen.”
Populistische valkuil
Een rode draad in Roesers onderzoek is het belang van emoties. En dan niet om die te demonteren en uit te leggen dat ze heus niet gegrond zijn. Roeser wil emoties niet uit- maar inschakelen. “Gevoelens verzieken een redelijke afweging van belangen niet – dat is wat technocraten denken – maar kunnen er een belangrijk uitgangspunt bij vormen.” Dat inzicht is volgens haar óók een uitweg uit de populistische valkuil. “Emoties zijn geen irrationele onderbuikgevoelens, maar wijzen vaak op belangrijke morele aspecten. Bij doorvragen komen de onderliggende waarden aan het licht. Die moet je benutten bij het nemen van beslissingen.”
Bij de techniek die in de toeslagenaffaire een rol speelt, is verzuimd naar die ingebouwde waarden te kijken, stelt Roeser. En het is de enige techniek niet die daar mank aan gaat. Dus dient er bij ambtenaren iets te verbeteren aan het besef dat technische systemen ethisch geladen zijn. De vraag is hoe je die erin krijgt, bij zowel ingenieurs als beleidsmakers, maar daaraan wordt gewerkt, zegt Roeser. “Er lopen bij de Nederlandse technische universiteiten tientallen filosofen rond, in Delft zo’n 25 docenten, hoofddocenten en hoogleraren en evenveel promovendi en postdocs. Dat werpt zijn vruchten af. De EU heeft net nieuwe regels aangenomen voor het gebruik van AI. Die zijn mede door Delftse filosofen ontwikkeld.”
Dat stemt Roeser optimistisch. Ze ziet een belangrijke rol weggelegd voor de wijsbegeerte bij het nadenken over goed en kwaad. Dat kun je niet overlaten aan de empirische wetenschap. De normatieve vragen beantwoord je niet met een opiniepeiling of een berekening. “In een neoliberale context wordt de vraag naar het juiste handelen vaak door een kosten-batenanalyse beantwoord. Voor een extra ingewikkeld probleem gebruiken ze een AI-systeem. De moraalfilosofie is er om erop te wijzen dat zo’n systeem niet waardeneutraal is. Bij de toeslagenaffaire was héél efficiënt een probleem opgelost, maar duizenden mensen is onrecht aangedaan.”
Het klinkt cynisch, maar is dat niet de prijs voor techniek? De auto kost honderden doden per jaar. Het toeslagensysteem mangelt zijn duizenden gedupeerden. Roeser: “Dat is inderdaad erg cynisch. In Zweden accepteren ze dat aantal verkeersdoden niet meer. Dat hoeft dus helemaal niet. Laten we de ambities wat aanscherpen.”
Wat is een mensenleven waard?
Hoe dat in de praktijk werkt, legt Roeser aan beginnende studenten zo uit: “Ik laat ze een kosten-batenanalyse maken, met twee verzekeringstabellen. Daarin staat wat een mensenleven waard is. De uitkomsten waar de studenten mee komen, verschillen steeds, afhankelijk van het bedrag waarmee ze gewerkt hebben. Het idee is vaak dat je gewoon zo mag rekenen ‘want die verzekeringsmaatschappijen zullen dat wel weten’. Met deze opdracht help ik de studenten in te zien dat dat problematisch is, zowel methodologisch als moreel.”
“We hebben allemaal de intuïtie dat je een mens niet in cijfers kunt vangen, maar we zijn er zo aan gewend dat het normaal is gaan lijken.”
Beleidsmakers die AI-systemen gebruiken zouden hier kritisch naar moeten kijken, betoogt Roeser. “Ze besteden keuzes uit aan AI. De machine draait en de uitkomsten worden vaak geaccepteerd omdat een dergelijk systeem kwantitatief te werk gaat. Dat wekt de indruk eerlijk en objectief te zijn.”
“Volgens de modelleurs van informatiesystemen is het garbage in, garbage out: rommel erin, rommel eruit. Als je er slechte data in stopt, dan is de uitkomst troep. Ik zeg: moral garbage in, moral garbage out. De veronderstelling dat je een mensenleven kunt vatten in data, is simplistisch. Dan krijg je morele problemen met de uitkomst. Soms is kwantificatie onvermijdelijk, maar we moeten ons altijd blijven realiseren dat er moreel geladen veronderstellingen in zitten, die je voortdurend moet blijven evalueren. De keuzes die je maakt bij het inrichten van AI horen deel uit te maken van een overkoepelende deliberatie over welke maatschappij je wilt.”
Ethici erbij betrekken
Bij het creëren van technologie zouden van meet af aan ethici betrokken moeten worden, zegt Roeser. “De Nederlandse techniekfilosofen werken mee aan verantwoorde innovaties, zoals in de energietransitie en de robotica.” Er zijn ook slechte voorbeelden, dan fungeert een ethicus als window dressing. “Bij Google vlogen sommigen eruit toen ze te kritisch werden.”
Zonder zorgen is Roeser dus niet en er kunnen nog heel wat lijken uit de kast vallen. Want er moeten veel meer systemen draaien die zogenaamd neutraal en objectief en efficiënt functioneren. “Bij de overheid hebben we het gezien. Bij geautomatiseerde recruitment systemen zijn er ook genoeg voorbeelden van biases.”
Waar denkt Roeser dat het volgende probleem opdoemt? “Mag ik die vraag omkeren? Wordt AI wel eens ingezet zonder dat dit gevaar dreigt?”
Is de toeslagenaffaire dan het topje van de ijsberg? Ja, beaamt Roeser. “Het komt vaak voor. Laten we dus kritisch naar deze systemen kijken. Die moeten ons ondersteunen en geen eigen leven gaan leiden. Dat vraagt om een waardebewust ontwerp, met een helder omschreven rol voor menselijke toetsing.”
Lees ook:
Bedrijven, denk goed na over ethiek bij je dataverwerking. De gevaren zijn groot
Bedrijven en ICT-leveranciers gaan nog niet altijd ethisch om met hun data. Het is tijd dat dit verandert, zegt hoogleraar Sjaak Brinkkemper.
