Psychologisch onderzoek valt vaak niet te repliceren

Beeld ANP

Als psychologen onderzoeken van andere psychologen overdoen, blijkt de uitkomst in meer dan de helft van de gevallen anders. In het wetenschappelijk tijdschrift Science publiceerden 270 wetenschappers hun resultaten naar de repliceerbaarheid van 100 onderzoeken.

Repliceren betekent dat onderzoekers op een andere plek dan waar het eerdere onderzoek plaatsvond, onder dezelfde omstandigheden, het onderzoek herhalen.

Dat percentage is veel te groot, vindt Kai Jonas, een van de onderzoekers van de universiteit van Amsterdam, die aan het grootschalige onderzoek meedeed. "We zouden een veel hogere repliceerbaarheid moeten verwachten", zegt Jonas. "En dat is mogelijk als onderzoeksvoorstellen duidelijk op schrift worden gesteld zodat de methode voor iedereen inzichtelijk is. Op die manier kun je makkelijker checken hoe onderzoek is gedaan, en wordt ook voorkomen dat onderzoeken achteraf cosmetisch mooi worden gemaakt."

Het onderzoek

De 270 onderzoekers pikten uit de belangrijkste wetenschappelijke psychologische tijdschriften van het jaar 2008 willekeurig 100 onderzoeken, en verdeelden ze onderling. Jonas geeft een voorbeeld hoe het repliceren van een van de onderzoeken in zijn werk ging. Aan de Stanford Universiteit in de Verenigde Staten werd het 'sociale referentie effect' onderzocht waarbij toeschouwers naar een donkere jongen kijken als een blanke jongeman een licht racistische opmerking maakt in het bijzijn van die donkere jongen.

In Nederland aan de Universiteit van Amsterdam herhaalde Jonas exact dat onderzoek, maar de uitkomsten bleken anders. "Het onderzoek was dus eerst niet te repliceren", zegt Jonas. Dat komt volgens hem niet omdat het onderzoek niet goed gedaan was, maar omdat de context verschilde. "De studenten in de Verenigde Staten zaten in een competitieve omgeving, dat was niet het geval bij de Nederlandse studenten. Herhaalden we het onderzoek binnen een vergelijkbare omgeving, dan kwamen de uitkomsten wel overeen."

Context is van belang

Volgens Jonas kun je naar aanleiding van de uitslag dus niet zomaar zeggen dat meer dan de helft van de psychologische onderzoeken niet klopt. "Maar we moeten dus veel voorzichtiger en nauwkeuriger kijken naar de randvoorwaarden van zulk onderzoek."

Daarnaast vindt hij dat de wetenschappers veel meer moeten repliceren om geloofwaardiger te zijn. Jonas: "We hebben het moeilijk gehad binnen het psychologisch onderzoek na de fraudethema's met wetenschappers als Diederik Stapel. Nooit eerder hebben nu zoveel psychologen de handen ineen geslagen, en zo'n grootschalig onderzoek in Science gepubliceerd. Dat helpt ons vak."

Transparantie

De onderzoeken die niet te repliceren waren, worden opnieuw onderzocht binne n de juiste context. Jonas verwacht dat de niet repliceerbare percentages dan dalen. Om de percentages sowieso lager te krijgen, heeft de Universiteit van Amsterdam een tijdschrift opgezet waarin onderzoekers hun onderzoeksvoorstellen kunnen publiceren zodat vooraf al beter in kaart is gebracht wat de wetenschapper wil onderzoeken, en wat hij of zij verwacht.

Met zo'n duidelijke transparantie denkt Jonas dat het veel duidelijker wordt wat een goed onderzoek is dat te repliceren valt. "Dit is de manier hoe we het in de toekomst kunnen doen. Met het grootschalige onderzoek hebben wij een eerste belangrijke stap gezet in de verbetering van de repliceerbaarheid."

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden