Uw profiel is aangemaakt

U heeft een e-mail ontvangen met een activatielink. Vergeet niet binnen 24 uur uw profiel te activeren. Veel leesplezier!

Opnieuw valt de wetenschap door de mand

Home

Willem Schoonen

© Nature (wikimedia)

Eerst was er crisis in de psychologie, toen in de economie, en nu blijken studies te rammelen in de gehele sociale wetenschap. Wat gaat er mis? 

Een groep van onderzoekers herhaalde 21 sociaal-wetenschappelijke studies uit de toptijdschriften Nature en Science, maar dat leverde in acht gevallen niet dezelfde resultaten op als in het oorspronkelijke onderzoek. De ‘replicatiecrisis’ in de wetenschap breidt zich daarmee uit.

Lees verder na de advertentie

Drie jaar geleden begon die crisis toen wetenschappers honderd psychologische studies gingen herhalen: bijna twee derde daarvan sneuvelde, omdat herhaling niet de eerder geclaimde resultaten opleverde. Slechts 36 procent van de psychologische experimenten had bij herhaling hetzelfde resultaat.

Met onderzoeksdata en een krachtige computer kun je vele kanten op - ook dubieuze, maar mooi ogende

Een jaar later werd een herhaling op touw gezet van achttien economische experimenten. In zeven gevallen, bijna 40 procent, was de uitkomst anders. En nu dus de sociale wetenschappen: van de 21 experimenten sneuvelen er acht. In de resterende dertien herhalingen is de oorspronkelijke bevinding inderdaad terug te zien, maar vaak wel wat zwakker dan eerder werd beweerd.

Ironisch

Dit betekent niet dat er op grote schaal wordt gefraudeerd, maar wel dat resultaten van experimenten vaak rooskleuriger worden voorgesteld dan ze zijn. Dat dit nu is aangetoond met publicaties uit Nature en Science is ironie, want dat zijn gerenommeerde tijdschriften die zich laten voorstaan op de goede controle van aangeboden artikelen door deskundigen, de peer review.

Nature en Science zijn ook tijdschriften met een voorliefde voor sexy onderwerpen en spectaculaire onderzoeksresultaten. Daar ligt een deel van de verklaring: op wetenschappers rust een flinke druk om te publiceren. Met een artikel over een zoektocht zonder resultaat hoef je bij Nature of Science niet aan te komen. Met onderzoeksdata en een krachtige computer kun je vele kanten op - ook dubieuze, maar mooi ogende.

Het herhalen van oud onderzoek is moeilijk, zeker in de sociale wetenschappen

Daarbij komt nog dat in het wetenschappelijke bedrijf het herhalen van andermans onderzoek niet bepaald op prijs wordt gesteld. Voor replicatiestudies krijg je moeilijk middelen; de financiers van onderzoek steken hun geld liever in nieuw onderzoek. De crisis die begon in de psychologie en nu uitdijt naar andere takken van wetenschap heeft weliswaar de ogen geopend voor het belang van replicatie, maar fondsen ervoor komen maar mondjesmaat los.

Sociale wetenschappen

Het herhalen van oud onderzoek is bovendien moeilijk, zeker in de sociale wetenschappen. Water kookt vandaag bij 100 graden, net als gisteren, maar dergelijke zekerheden bestaan in de sociale wetenschappen nauwelijks. Als iemand tien jaar geleden experimenten heeft gedaan om te zien voor welke doelen mensen geld lenen en voor welke niet - onderwerp van een van de gewraakte studies - is dat nu nauwelijks te repliceren; de economie is in de afgelopen jaren veranderd en daarmee ook het leengedrag.

Dat bij herhaling sommige studies sneuvelen, is eigen aan de wetenschap. Die blijft mensenwerk. Deze herhalingsoefening in de sociale wetenschappen wordt vandaag gepubliceerd in vakblad Nature Human Behaviour. En er zit ook goed nieuws in, want de onderzoekers hebben niet alleen 21 experimenten herhaald, maar ook vooraf aan deskundigen (peers, die artikelen beoordelen) gevraagd welke studies volgens hen overeind zouden blijven en welke niet. En hun voorspellingen bleken behoorlijk overeen te komen met de uitkomsten.

De intuïtie is er dus wel in de sociale wetenschappen. Nu zouden de onderzoekers heel graag objectieve criteria vinden, die voorspellen of een bevinding in de sociale wetenschappen overeind zal blijven of niet. Die zijn er waarschijnlijk wel, maar om ze te vinden moet er nog veel replicatieonderzoek worden gedaan.

Lees ook:

Psychologisch onderzoek valt vaak niet te repliceren

Als psychologen onderzoeken van andere psychologen overdoen, blijkt de uitkomst in meer dan de helft van de gevallen anders. In het wetenschappelijk tijdschrift Science publiceerden 270 wetenschappers hun resultaten naar de repliceerbaarheid van 100 onderzoeken.

Deel dit artikel

Met onderzoeksdata en een krachtige computer kun je vele kanten op - ook dubieuze, maar mooi ogende

Het herhalen van oud onderzoek is moeilijk, zeker in de sociale wetenschappen