Oorlog in het laboratorium

Wat nou objectieve waarheidsvinding? De wetenschap zucht onder ambitie en ijdeltuiterij, zeggen critici. Controle door vakgenoten kan ondeugdelijk onderzoek lang niet altijd tegenhouden.

Hoe wek je een dode zalm tot leven? Doodsimpel. Stop 'm in de MRI. Noem het een academisch geintje, maar de ondertoon is bloedserieus. Neurowetenschapper Craig Bennett en psycholoog Abigail Baird waren bezig een hersenonderzoek op te zetten volgens een vrij gebruikelijk stramien. Proefpersonen moesten kijken naar allerlei foto's terwijl hun hersenactiviteit werd gemeten, een manier om de architectuur van het brein in kaart te brengen. Voorafgaand aan die proeven testten de wetenschappers de MRI-apparatuur met een complete supermarktzalm. Morsdood, maar afgaand op de testuitslagen zou je dat niet zeggen. Bliep bliep!

Het is het voor wetenschappers bekende fenomeen van de vals-positieve uitslagen: je denkt iets te zien wat er niet is. Omdat de testapparatuur te gevoelig is afgesteld, of omdat de gebruikte statistische methoden niet kloppen. De zogenaamde hersenactiviteit van die dode zalm is de ruis die je later van je testuitslagen van proefpersonen moet aftrekken, wil je iets kunnen concluderen over het menselijk brein. Nogal wiedes, lijkt het. Maar tussen de 25 en de 40 procent van de MRI-hersenstudies werd destijds - in 2009 - nog niet op de juiste manier gecorrigeerd, schreven wetenschappelijke klokkeluiders Bennett en Baird, die internationaal furore maakten met hun zalmavontuur.

Oude koek? Niet volgens het legertje kritische geesten dat de afgelopen weken uithaalde naar de wetenschap. The Economist gaf in oktober de aftrap onder het kopje 'How science goes wrong', een thema dat in de eerste alinea's meteen stevig werd neergezet.

Vuistregel onder investeerders in biotech: de helft van het gepubliceerde wetenschappelijke onderzoek levert bij herhaling heel andere resultaten op. Onderzoekers van biotechbedrijf Amgen wisten slechts zes van 53 belangrijke kankerstudies te reproduceren. Farmareus Bayer slaagde daarin bij een kwart van 67 invloedrijke publicaties.

Het is, werd de lezers ingepeperd, een misvatting te denken dat wetenschappers alleen maar onderzoeken naar buiten brengen die door andere wetenschappers moeiteloos worden herhaald, met dezelfde uitkomst. Adieu objectieve waarheidsvinding.

Opstandige wetenschappers
Kort daarop trad een heuse Nederlandse actiegroep van vijf academici naar buiten, met als publicitair boegbeeld bestuurder Frank Miedema van het Universitair Medisch Centrum Utrecht. Science in Transition, zo heet de club van opstandige wetenschappers, wordt heel serieus genomen.

Vorige maand kregen ze twee volle dagen de tijd om zich te presenteren tijdens een conferentie van de Koninklijke Academie van Wetenschappen. KNAW-voorzitter Hans Clevers omarmt het initiatief, vanuit de gedachte dat de samenleving meer vertrouwen heeft in wetenschappers die een eerlijk beeld van zichzelf uitdragen.

Die open opstelling van Clevers mag best dapper worden genoemd, want de kritiek is niet mals. Die kritiek klinkt uit verschillende hoeken, maar komt inhoudelijk op hetzelfde neer. Een kleine bloemlezing uit The Economist en uit het manifest van Science in Transition: wetenschappers publiceren aan de lopende band onderzoeken die niet kloppen, omdat ze te weinig kaas hebben gegeten van statistiek. Of omdat ze graag snel willen scoren - woorden als ambitie en ijdeltuiterij vallen. De concurrentie is moordend. Niks onbaatzuchtige waarheidvinders, wetenschap is oorlog.

Wie mocht denken dat de wetenschappelijke tijdschriften het kaf wel van het koren scheiden: ook dat is een misverstand. Zelfs de meest gerenommeerde bladen zijn tegenwoordig vooral geïnteresseerd in het publiceren van spraakmakend onderzoek met spectaculaire uitkomsten (nieuwe wonderpil!). Dat is goed voor hun eigen status, want juist die onderzoeken gaan rondzingen in de wetenschappelijke wereld én in de publieksmedia. Al die andere studies (die pil doet eigenlijk niet zoveel) verdwijnen in de vergetelheid terwijl ze minstens zo relevant zijn.

Wetenschappers zijn dan ook totaal niet geïnteresseerd in het herhalen van wetenschappelijk onderzoek om te kijken of de uitkomsten reproduceerbaar zijn: daar worden ze geen hoogleraar mee. Wetenschappelijke dwalingen blijven daardoor ongecorrigeerd. En de financiering bevat foute prikkels. Slechte promotie-onderzoeken worden goedgekeurd, want anders loopt de universiteit 90.000 euro mis. Bent u daar nog?

Ton van Raan, hoogleraar wetenschapsontwikkeling aan de Universiteit Leiden, bevindt zich in het hart van de discussie over wetenschappelijke kwaliteit in Nederland. Hij is sinds de jaren tachtig bezig geweest met het opzetten van meetsystemen hiervoor. "Het college van bestuur van de Leidse universiteit wilde destijds af van de financiering van faculteiten louter op basis van studentenaantallen. Die groeiden explosief, vooral bij geestes- en sociale wetenschappen."

Citeerscores
Van Raan en zijn mede-onderzoekers gingen daarom gedetailleerd kijken naar citeerscores: de mate waarin wetenschappelijke publicaties van de Leidse onderzoekers internationaal worden opgepikt door andere wetenschappers, als bouwstenen voor verder onderzoek, en om hun eigen bevindingen te onderstrepen.

Juist dat publiceren, citeren en geciteerd worden is volgens critici een doel op zich geworden: hoe meer, hoe beter, om carrière te maken en onderzoeksgeld binnen te halen. Wetenschappers zouden zelfs strategische afspraken met elkaar maken, om elkaars werk aan te halen.

"Je kunt dergelijke cijfers altijd manipuleren", nuanceert Van Raan. "Maar ik heb niet gezien dat dit op grote schaal gebeurt." Wat hij wel vervelend vindt: het gemak waarmee universiteiten soms voor de aanstelling van een nieuwe hoogleraar even de bibliotheek in duiken om te kijken naar de citeerscores van de kandidaten.

Het is helemaal niet makkelijk de juiste conclusies te trekken, weet Van Raan. Zo wordt fundamenteel onderzoek steevast meer geciteerd dan medisch praktijkonderzoek. Daar moet je dus rekening mee houden.

Maar dat het systeem van publiceren en citeren dolgedraaid is, zul je Van Raan niet horen zeggen. De wetenschap als geheel, dat is een ander verhaal: sinds hij zelf in de jaren zeventig promoveerde, is de wetenschap in omvang vertienvoudigd, verzucht Van Raan. "En de computerkracht is tot 100.000 maal groter geworden. Iedereen springt er op met te weinig kennis. Het is zwemmen in een oceaan van data, waarin onderzoekers van alles denken te zien. Maar soms zien ze fata morgana's."

Toe aan nog een wetenschappelijk grapje? Deze is ook leuk: Harvard-bioloog John Bohannon stuurde recent een wetenschappelijk artikel naar meer dan 300 wetenschappelijke bladen over het effect van een stofje afkomstig uit korstmos op tumorcellen. Van a tot z verzonnen, tot en met de naam van de onderzoeker en de universiteit, en barstensvol flaters in studieopzet en interpretatie van de resultaten.

Bohannon stuurde zijn stuk op aan bladen die claimen dat artikelen eerst grondig worden beoordeeld door andere wetenschappers, de zogeheten peer review.

Die toetsing stelde weinig voor, concludeert Bohannon. Zijn verzonnen stuk kwam bij meer dan de helft van de bladen door de ballotage. Misschien een beetje ter geruststelling, prestigieuze bladen als Nature en Science zaten er niet bij. Bohannon richtte zijn pijlen bewust op de lagere wetenschappelijke regionen, de tijdschriften die wel vaker onder vuur liggen omdat ze de wetenschappelijke lat lager leggen. Maar toch: peer reviewers - zo heten de experts die artikelen voor publicatie beoordelen - zijn vaker in dergelijke hinderlagen gelopen.

Ton van Raan is zo'n peer. Hij kan zich wel voorstellen dat de wetenschappelijke beoordelaars in dergelijke hinderlagen lopen. "Ik krijg vijftig of zestig artikelen per jaar ter beoordeling. Dat doe ik zo zorgvuldig mogelijk. Maar je kunt niet overal induiken, laat staan alle berekeningen nog een keer dunnetjes overdoen. En als peer ben je al helemaal niet berekend op wetenschappers die met de data rommelen. Het systeem is gebaseerd op vertrouwen." Hij en zijn collega-peers halen niettemin best vaak nog fouten uit artikelen die ze moeten beoordelen, zegt hij.

Van Raan vraagt zich af hoe erg het nu eigenlijk is als een ondeugdelijk artikel in een wetenschappelijk tijdschrift terechtkomt. "Bij natuurwetenschappelijke en medische publicaties duurt het even voor het door andere wetenschappers wordt geciteerd bij hun eigen onderzoek. Bij natuurwetenschappelijke en medische publicaties ligt de piek rond het derde jaar.

Het is dus allemaal wat contemplatiever dan hatsklapsboem, we weten het. En ik zou weleens willen weten hoe het verder gaat met slechte onderzoeken. Het zou me niet verbazen als die al snel niet meer worden geciteerd, en als het ware uitdoven. Het zelfreinigend vermogen van de wetenschap is nu ook weer niet nul."

Her en der zijn er lichtpuntjes, signaleert The Economist. Medicijnfabrikant GlaxoSmithKline beloofde eerder dit jaar al zijn onderzoeksuitkomsten voortaan naar buiten te brengen, zodat iedereen die dat wil het nog eens rustig na kan rekenen. Plos One, uitgerekend zo'n tijdschrift dat de reputatie heeft niet al te kieskeurig te zijn, is een van de initiatiefnemers van een programma om wetenschappelijke onderzoeken, te beginnen met vijftig belangrijke kankerstudies, nog eens rustig na te vlooien.

En het prominente wetenschapsblad Nature publiceerde dit voorjaar een checklist voor wetenschappers die artikelen insturen, om zeker te weten dat alle technische en statistische informatie erin staat die nodig is om een onderzoek te reproduceren. Wat, nuanceert The Economist terecht, nog niet betekent dat geldschieters voortaan wél geïnteresseerd zijn in het financieren van dergelijk herhaalonderzoek.

Kwaliteit
Ook Karl Dittrich, voorzitter van de Vereniging van Samenwerkende Universiteiten, mengde zich vorige week in de discussie. De universiteiten moeten volgens hem af van hun te grote focus op productie, zei hij in NRC Handelsblad: "Niks menselijks is wetenschappers vreemd. Als je wordt afgerekend op productie, dan ga je je daarnaar richten."

Kwaliteit moet vooropstaan, zegt Dittrich, en hij meldde dat dit geregeld gaat worden in de nieuwe normen voor onderzoeksvisitaties waaraan alle universiteiten zich periodiek dienen te onderwerpen.

Liever minder maar beter, vindt ook Van Raan. Goed werk wordt trouwens beloond omdat het uiteindelijk meer geciteerd wordt, weet hij. "De Australische overheid zette op een gegeven moment een premie op publiceren, om de wetenschap productiever te maken. Het publiceren nam fors toe, maar de impact van de publicaties stortte juist in."

Maar, waarschuwt hij: "We moeten ook niet terug naar de jaren zeventig, toen er hele faculteiten waren waar niks uitkwam. Bij sociale wetenschappen liepen allerlei lieden rond met mooie verhalen. Dan zei ik: presteer zelf ook eens iets. De publicatiedruk leidt tot een zekere pervertering, dat is waar. Maar destijds hadden we ook een 'transition' nodig."

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden