Opinie

Niet de wetenschap valt door de mand, maar de wetenschappers

Beeld ANP

Wetenschappers zorgen er zelf voor dat hun onderzoek rammelt. Het 'statistisch bewijs' deugt vaak niet, constateert Ronald Meester, hoogleraar wiskunde aan de VU.

Trouw opent de krant met het nieuws dat 'de wetenschap opnieuw door de mand valt'. Dit keer blijken studies in de sociale wetenschappen te rammelen. De vraag wordt opgeworpen wat er aan de hand is, want dergelijke conclusies werden eerder ook met betrekking tot andere wetenschapsgebieden getrokken.

Er wordt vooral gewezen op het feit dat er niet genoeg fondsen zijn voor replicatie (herhalen van eerder onderzoek). Hoewel dat zeker een aspect is dat met het probleem is verbonden, legt Trouw de vinger niet op de zere plek. Het zit veel dieper. Wetenschap zelf is niet de boosdoener, maar eerder de manier waarop resultaten door wetenschappers worden geïnterpreteerd, vooral daar waar statistiek een rol speelt. De sociale wetenschappen zijn sterk afhankelijk van statistische interpretatie van onderzoeksresultaten.

Hoe is het mogelijk?

Al in 2005 legde John Ioannidis in een veel geciteerd essay uit waarom de meeste statistisch ondersteunde onderzoeksresultaten onjuist zijn. Ja, u leest het goed, de meeste. Ioannidis legde verder uit dat dit feit binnen het huidige statistische denkkader onontkoombaar is. Het is dus niet verwonderlijk dat replicatie andere resultaten geeft, het is gewoon te verwachten.

Maar hoe is dat mogelijk, hoor ik u denken. Kunnen we resultaten van wetenschappelijk onderzoek dan helemaal niet meer vertrouwen? En waarom doen die wetenschappers daar dan niets aan? Als er iets mis is met de toepassing van de statistiek, dan kan dat probleem toch opgelost worden?

Wat de eerste vraag betreft is het inderdaad zo dat wetenschappelijke resultaten gebaseerd op statistische overwegingen vaak niet te vertrouwen zijn. Het is namelijk helemaal niet zo eenvoudig om precies te begrijpen wanneer verzamelde gegevens bewijs voor een bepaalde hypothese vormen. Maar de meeste wetenschappers volgen gewoon de gebruikelijke methode, zonder zich verder iets af te vragen.

De problemen zijn talloos. Zo kun je bijvoorbeeld aan de hand van verkregen data een hypothese opstellen, die bij toetsing door diezelfde data natuurlijk bevestigd wordt. Deze vorm van fraude is nauwelijks op te sporen, behalve door het experiment te herhalen, hetgeen zelden gebeurt. Een tweede probleem kan ik aan de hand van een analogie uitleggen. Stel ik win de Staatsloterij, en mijn buurman, gedreven door enige jaloezie, wil eens kijken of dat eerlijk gegaan is. Hij redeneert: stel Ronald Meester heeft niet gefraudeerd. Dan is de kans op de data (Ronald Meester heeft gewonnen) extreem klein. Immers, voor iedereen is de kans op een winnend lot erg klein. Mijn buurman concludeert dat die kans zo klein is dat hij niet meer in mijn eerlijkheid gelooft.

Absurd? Ja. Maar dit is hoe statistiek meestal wordt toegepast. Dus is het niet verwonderlijk dat dit tot grote problemen leidt. Mensen zijn op basis van dit soort argumenten veroordeeld voor misdrijven die ze niet hebben begaan.

De oplossing, om de andere twee vragen te beantwoorden, is gelegen in het heroverwegen van wat statistisch bewijs is. Inmiddels is wel duidelijk dat bewijs voor een bepaalde hypothese alleen maar betekenis heeft als je het afzet tegen een andere hypothese. De vraag moet niet zijn: 'Geven de data aanleiding om een bepaalde hypothese te verwerpen?' Maar: 'Zijn er andere hypotheses die de data beter verklaren?'

Het zal nog wel enige tijd duren voordat dit gemeengoed is, want ingesleten patronen zijn zeer moeilijk te veranderen. Maar het moet, en het zal ook gaan gebeuren, en ik werk er hard aan om deze boodschap zowel bij het publiek als bij de wetenschappers geaccepteerd te krijgen.

Lees ook:

De tijd dat wetenschappers per definitie op hun woord worden geloofd, is voorbij

Stressonderzoeker Marian Joëls (61), decaan van het Universitair Medisch Centrum Groningen: ‘Ik hoor te vaak van onderzoekers dat hun verhaal te ingewikkeld is om in een paar zinnen uit te leggen. Met zo’n houding schiet het niet op.

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden