De wetenschap zit op 't foute pad

De meeste onderzoeksresultaten deugen niet, concludeerde wetenschapper John annidis negen jaar geleden al. Sindsdien is er niet veel veranderd. Maar de Amerikaan blijft optimistisch. 'Ik heb goede hoop dat we vooruitgang boeken.'

Verkeert de wetenschap in een crisis? Welnee, de wetenschap doet het geweldig. Het is het mooiste dat de mens is overkomen. Akkoord, er zijn nu wat groeiproblemen. Die stellen ons voor uitdagingen, maar die bieden ook kansen. Daar moeten we ons op richten."

Het is John Ioannidis ten voeten uit. De geboren Amerikaan met Griekse wortels heeft een optimistische kijk op het leven. Zijn glazen zijn altijd halfvol. Een innemende man, die spreekt met een zachte stem en een glimlach om zijn mond. Zo nu en dan afgewisseld met een lachsalvo. "Het is waar, 85 procent van het medisch onderzoek wereldwijd is verspilde moeite. Allemaal uitkomsten die bij nader inzien niet waar blijken te zijn. Maar misschien kunnen we die 15 procent goede studies opkrikken naar 16 of 17 procent. Dat is niet niks. Er gaat nu jaarlijks een kleine 250 miljard dollar om in dit onderzoek, resulterend in een paar miljoen artikelen. Eén procent verbetering betekent toch dat we jaarlijks een paar miljard meer goed besteden en zo'n 40.000 artikelen erbij krijgen die correct zijn."

Negen jaar geleden publiceerde Ioannidis een geruchtmakend artikel in het internettijdschrift 'Plos Medicine': 'Waarom de meeste onderzoeksresultaten niet waar zijn'. Het was een mathematisch model waarin hij voorspelde hoe waarschijnlijk het was dat medische claims terecht waren. Er waren immers allerlei factoren die onderzoekers het bos in konden sturen. Slechte opzet van de studie, kleine groep proefpersonen, statistische fouten, maar ook de drang om een theorie te bevestigen of de druk om met duidelijke uitkomsten te komen. Het artikel werd eind april voor de miljoenste keer aangeklikt. Ioannidis was deze week in Nederland op uitnodiging van de universiteiten van Amsterdam en Tilburg om de openingslezing te verzorgen op een congres over wetenschappelijke integriteit.

"De uitkomsten van het model zijn getoetst aan wat we wisten over de replicatiewaarde van onderzoek. Wat de kans is dat een tweede onderzoek naar hetzelfde effect, met nieuwe proefpersonen, hetzelfde resultaat geeft. Nou, bij de bulk van het biomedisch onderzoek was die kans niet groot. Minder dan één procent."

Dat gold niet alleen voor duistere studietjes. Ook het toponderzoek kon vaak niet door de beugel. In datzelfde jaar, 2005, hield Ioannidis in het artsenblad JAMA de 49 meest geciteerde klinische studies uit de voorbije dertien jaar tegen het licht. Daarvan deugde een derde niet. "Dat was toch de crème de la crème. Sindsdien is er wel wat verbeterd maar niet veel. Deze week had ik een artikel in de JAMA waarin mijn groep een aantal onderzoeken die voldeden aan de hoogste standaard nog eens overdeed. Met dezelfde data als het origineel, maar met een andere analyse. Bij 35 procent kwamen er andere resultaten uit."

Het is een boodschap waarmee je je niet populair maakt, maar dat valt mee, bezweert Ioannidis. Hij krijgt vaak uitnodigingen om lezingen te geven, veel vaker dan hij er gehoor aan kan geven. "Ik zeg ook nooit dat een specifiek artikel niet deugt. Dan gaat die onderzoeker alleen maar in de verdediging. Ik heb het altijd over duizenden of miljoenen artikelen waarvan de beweringen niet standhouden. Dat geeft discussie, ook trouwens over dat deel van mijn eigen onderzoek dat niet klopt."

Ooit was hij zelf een van die onderzoekers die de fout in gingen. De wiskunde was zijn grote liefde maar hij volgde de carrière van zijn ouders en ging geneeskunde studeren. Begin jaren negentig leek hij zijn stek te hebben gevonden bij de genetische epidemiologie. "Mijn terrein daarbinnen was de osteoporose, de botontkalking, en ik was op zoek naar genen waarmee ik kon verklaren waardoor de ene persoon vaker botbreuken heeft dan de ander. Net als ieder ander in dit veld had ik een idee waar ik zo'n gen moest zoeken. Ik verzamelde een honderdtal proefpersonen en een controlegroep, deed mijn test, liet er de statistiek op los en als daar een significant resultaat uitkwam, had ik mijn gen te pakken."

In 1994 publiceerde het vakblad Science een onderzoek waaruit één gen naar voren kwam dat verantwoordelijk zou zijn voor driekwart van de botbreuken. Interessant, dacht hij, maar hij wilde het effect ook met eigen ogen zien. In zijn eigen onderzoeksgroep was het effect echter niet terug te vinden. Trouwens, de meeste claims rond botbreukgenen kon hij niet of nauwelijks reproduceren. "Daar maakte ik me zorgen over. Ik riep collega's op om al die studies met osteoporose-genen te herhalen. Met zijn tweeduizenden waren we, en van de meeste beweringen bleef niets over."

Het werk trok de aandacht, het consortium van Ioannidis groeide aan, de technieken werden secuurder en de lat van de statistiek kwam hoger te liggen. "Toen vonden we wel een effect dat standhield. Dat door dertig of veertig teams werd gevonden. Alleen: het was niet meer één gen dat 75 procent verklaarde. We hadden nu een cluster van zo'n honderd genen die samen goed waren voor 5 à 7 procent van het botbreukrisico. Dat klinkt minder spannend dan dat ene gen uit Science, maar dit is wel een hard effect. Dit is gewoon waar."

Het deed hem beseffen dat het niet goed zat met de bewijsvoering in zijn vakgebied. In al het klinische onderzoek vermoedelijk. Het was ook de tijd waarin het begrip evidence based medicine werd gemunt, en een van zijn leermeesters, Tom Chalmers, had technieken ontwikkeld, meta-analyses, waarmee je onderzoeken bij elkaar kon vegen en kon toetsen. "Onderzoek doen is ook moeilijk. Iedereen doet zijn best, maar maakt fouten of wordt onbewust een bepaalde kant op gestuurd. Kunnen we die fouten niet in kaart brengen, dacht ik. In de wetenschap meten we van alles, waarom meten we de wetenschap zelf niet? Daar kunnen we van leren. Kan ik die fouten blootleggen en kan ik meten hoe groot hun invloed is op het resultaat?"

De kern van uw boodschap lijkt dat we onderzoeksresultaten niet voor zoete koek moeten aannemen, maar dat we moeten wachten totdat ze door andere studies worden bevestigd. Waarom doen we dat niet?

"Dat ligt niet in de aard van de wetenschapper. Die wil iets nieuws doen, een volgende stap zetten. Herhaling gold als ik-ook-onderzoek. Bovendien is er geen geld voor en bladen willen het ook niet publiceren. Maar het besef groeit dat het moet, willen we van dit foute pad af raken."

Moet al het onderzoek over? Ook de goede studies, de dubbelblinde onderzoeken met grote groepen?

"Dat is soms lastig. Moet je weer 20.000 proefpersonen tien jaar lang aan een studie onderwerpen? Wil je daar wel op wachten? En is het ethisch verantwoord om daarvoor mensen een bewezen middel te ontzeggen? Maar dat soort grote studies vormen een uitzondering. Bedenk dat de meeste medische therapieën niet op degelijk onderzoek zijn gebaseerd. En dan nog. Ooit kregen patiënten die een hartinfarct hadden gehad een beetje magnesium. Uit een twaalftal studies - klein, maar goed van opzet - was gebleken dat de sterfte in de eerste periode na het infarct daardoor met 50 procent afnam. Toch was er twijfel. Er volgde een grotere trial en het effect werd minder: 25 procent minder sterfte. Nog steeds was de twijfel niet weg, en er volgde een nog grotere studie. Wat blijkt: magnesium heeft geen heilzaam effect, het lijkt zelfs schadelijk."

Toch is dat gek. Waarom blijkt zo'n averechts effect niet in het dagelijks gebruik?

"Omdat het heel moeilijk is zoiets in de reële wereld te ontdekken. Dan spelen altijd vele factoren door elkaar. Misschien krijgen alleen de patiënten die er het slechtst aan toe zijn het nieuwe, bewezen middel. En dan lijkt het achteraf dus weer niet zo effectief. Of andersom: artsen geven het maar niet aan de allerzieksten en lijkt het wel te werken."

"Als we middelen of therapieën niet in een goede onderzoeksomgeving testen, worden we voortdurend misleid. Dan lijken vitamines levens te redden, moeten vrouwen in de overgang hormonen krijgen, slikken we aspirine voor een lage bloeddruk of lijkt een vetarm dieet heel gezond. Waarom dachten we dat? Omdat het juist gezonde mensen waren die vitamines of hormonen slikten. De middelen hielpen dus niet, ze bleken achteraf eerder kwaad te kunnen."

undefined

Griekse wortels

Een half jaar geleden richtte hij aan de Stanford universiteit in Californië het instituut Metrics op, met de bedoeling zijn werk, het onderzoek van onderzoek, te verbeteren. "En het ook herkenbaar te maken. Er zijn inmiddels veel wetenschappers op dit terrein actief maar ze zitten overal verspreid en zijn niet zo zichtbaar als bijvoorbeeld fysici of medici. Uiteindelijk willen we de wetenschap verbeteren en dat begint ermee dat we in kaart brengen wie daar belang bij hebben. De wetenschappers zelf natuurlijk, de tijdschriften, de geldgevers, maar ook het publiek. Dat kan vragen naar betere wetenschap. Mensen willen niet meer worden doodgegooid met krantenberichtjes zus en zo, die elkaar maar tegenspreken. Het is een ambitieus project, er is veel enthousiasme voor en ik heb goede hoop dat we vooruitgang boeken."

John Ioannidis werd op 21 augustus 1965 in New York geboren. Hij groeide op in Athene, waar hij ook zijn medische opleiding genoot. Hij studeerde verder in de VS, onder andere aan Harvard. Tegenwoordig is hij hoogleraar aan de Stanford universiteit in Californië.

undefined

Kritische studies

Ioannidis is bekend van zijn artikel in 'Plos Medicine': 'Why most published research findings are false' (2005).

Enkele andere studies:

In hetzelfde jaar hield hij 49 van de meest geciteerde klinische studies uit de jaren 1990-2003 tegen het licht. Bij 45 studies was er een positief resultaat. Zes studies waren niet volgens de gouden standaard, het zogeheten dubbelblinde, gerandomiseerde onderzoek; bij vijf daarvan waren de resultaten niet reproduceerbaar. Van de 39 studies die wel volgens die gouden standaard waren uitgevoerd, deugden er negen niet.

Vorig jaar viste hij vijftig ingrediënten uit een standaard kookboek. Veertig daarvan waren ooit in verband gebracht met een verhoogd of verlaagd kankerrisico. Bij nader inzien bleef daar maar weinig van over: bij dertien ingrediënten was er een - doorgaans zwak - effect.

In 2003 bekeek hij honderd artikelen uit vooraanstaande tijdschriften waarin werd beweerd dat deze studie bij nader onderzoek tot een therapie zou kunnen leiden. Bij 27 studies was er zo'n vervolg. Vijf daarvan brachten het tot een vergunning voor klinisch gebruik, maar slechts één toepassing wordt ook regelmatig gebruikt in de kliniek.

undefined

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden