Er was wél reden studie met probiotica af te breken

De gebeurtenissen rond het onderzoek met probiotica hebben de afgelopen week nogal wat stof doen opwaaien. Bij een klinische studie in het Academisch Ziekenhuis Utrecht bleek dat van de patiënten die probiotica toegediend hadden gekregen, er 24 waren overleden, terwijl in een controlegroep het aantal sterfgevallen tot 9 beperkt was gebleven.

Halverwege het experiment kwam naar voren dat het verschil tussen testgroep en controlegroep zich al aftekende. Getallen hierover zijn niet publiekelijk bekend gemaakt, kennelijk omdat anders een wetenschappelijke publicatie in een ’gerenommeerd’ tijdschrift in gevaar zou komen. Wat we echter wel te horen kregen, was dat de verschillen halverwege het experiment nog toevallig (in vaktermen ’niet significant’) zouden kunnen zijn, en dat er dus geen reden was om de rest van het experiment af te blazen. Maar die reden was er wel.

Uit diverse persberichten weten we dat halverwege het verschil in het nadeel was van de testgroep. Het medicijn werkte dus eigenlijk de verkeerde kant op, maar kennelijk nog wel binnen de fluctuaties die binnen het toeval mogelijk zijn.

Om het experiment succesvol te laten zijn, was het dus nodig dat in de tweede helft van het experiment deze tendens geheel omgebogen zou worden in het voordeel van het medicijn, en wel op een zodanig sterke manier dat het voordeel zelfs significant zou zijn. Dit is, in alle redelijkheid, werkelijk teveel gevraagd. Dat is wellicht intuïtief al duidelijk, maar we geven toch een rekenvoorbeeld om onze intuïtie te staven.

Laten we er even vanuit gaan dat de trend halverwege vergelijkbaar was met de uiteindelijke uitkomst. Laten we dus zeggen dat halverwege de rit 4 patiënten uit de controlegroep waren overleden, en 12 patiënten uit de testgroep. Inderdaad, dat was niet significant. Echter, zou deze trend zich hebben voortgezet, dan zou een verschil van 8 versus 24 doden wel significant zijn, maar nog steeds in de ’verkeerde’ richting. Om de uitkomst zo om te buigen dat het verschil significant zou worden in het vóórdeel van de testgroep, zou het verschil in de tweede helft van het experiment werkelijk enorm hebben moeten zijn.

Zelfs als we ervan uitgaan dat geen enkele patiënt uit de testgroep zou komen te overlijden gedurende de tweede helft van het experiment, dan zouden er nog 21 extra sterfgevallen in de controlegroep ’nodig’ zijn om het verschil significant te maken in het voordeel van de testgroep. De kans hierop zal buitengewoon klein zijn. Ook als de resultaten halverwege bijvoorbeeld 6 tegen 9 waren, is deze redenering geldig.

Dat halverwege het experiment het verschil tussen de groepen niet significant was, had dus helemaal geen argument mogen zijn om het experiment voort te zetten. Op dat moment was namelijk al duidelijk dat behoudens zeer extreme gebeurtenissen, het toedienen van de probiotica geen significant voordeel meer zou kunnen opleveren aan het eind van het experiment.

Onbegrip van de wereld van kansen en statistiek in een monitoring groep heeft hier dus wel zeer ernstige gevolgen gehad.

Wrang is ook dat de ambitie om zelfs onder deze omstandigheden nog steeds te publiceren, hier volledige opening van zaken tegenwerkt. Het publiek en de nabestaanden hebben er recht op te weten wie verantwoordelijk was voor de gemaakte keuzes, en welk cijfermateriaal daaraan ten grondslag lag.

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden