Opiniepeilers

Amerika schatte het aantal gevaccineerden veel te hoog in, en dat kwam door een klassieke fout

null Beeld REUTERS
Beeld REUTERS

Onderzoeksbureaus maken graag gebruik van big data. Maar als de kwaliteit van de data niet goed is, biedt de grote hoeveelheid slechts schijnzekerheid.

Joep Engels

Ze zaten er goed naast. Twee Amerikaanse onderzoeksbureaus peilden dit voorjaar de vaccinatiebereidheid onder de bevolking. Beide schatten dat ruim twee derde van de Amerikanen zijn eerste prik had opgehaald. Dat strookte niet met de cijfers waar het CDC, de Amerikaanse evenknie van het RIVM, later mee kwam. Het CDC had geturfd hoeveel vaccins waren uitgedeeld en kwam niet verder dan een vaccinatiegraad van 53 procent.

De schattingen leken zo betrouwbaar. Het ene bureau, Delphi-Facebook, had een paar keer gepeild en kreeg telkens 250.000 antwoorden binnen. Het andere, een agentschap van de overheid: 75.000 per week. En dat bijna een half jaar lang. Beide hadden ze miljoenen reacties in hun peilbak.

Veel blijkt niet altijd beter

Dat zegt dus niet alles, schrijven statistici van Harvard en Oxford in het vakblad Nature. Dit is een typisch geval van wat zij de Big Data Paradox noemen. Het is tegenwoordig heel gemakkelijk om met grote databestanden te werken. Je plukt ze uit een digitaal archief, of je schrijft, zoals in een van deze gevallen, gebruikers van Facebook aan. Maar veel is niet altijd beter, betogen de onderzoekers. Als de groep niet representatief is, als er bijvoorbeeld relatief veel ouderen in zitten of witte mannen, dan vergroot de grote dataset de onevenredigheid juist uit. Terwijl de peilers zelf denken dat ze met hun grote groep een hoge mate van nauwkeurigheid hebben. En dat is in dit geval zelfs gevaarlijk. De overheid zou op basis van zo’n peiling kunnen denken dat ze de coronamaatregelen kan versoepelen.

Het is een aloud probleem. In 1936 vroeg het tijdschrift The Literary Digest zijn lezers naar hun voorkeur bij de aanstaande presidentsverkiezingen. Volgens die peiling – waar dik twee miljoen lezers op reageerden – zou de Republikein Alfred Landon ruimschoots winnen. Maar het was Franklin D. Roosevelt die met grote overmacht won. De lezers waren niet alleen voornamelijk Republikeins gezind, het bleken vooral de mensen met een hekel aan Roosevelt die het formulier hadden opgestuurd. Ook in 2016 zaten de peilingen ernaast; toen waren het de latere Trump-kiezers die niet reageerden of zeiden dat ze het nog niet wisten.

Vijf procent van de bevolking

Zoiets is ook bij de vaccinatiepeilingen gebeurd. De mensen op Facebook zijn wit en hoger opgeleid. Het zijn juist de zwarte, laagopgeleide Amerikanen die bij de vaccinaties verstek laten gaan. Daar is niet voor gecorrigeerd. De auteurs in Nature hebben dat wel gedaan, achteraf. En dan blijkt zo’n peiling onder een kwart miljoen Amerikanen net zoveel waarde te hebben als een representatieve steekproef onder tien mensen.

Een derde onderzoeksbureau, Axios-Ipsos, ondervroeg slechts duizend mensen per week, maar stak wel veel energie in het representatief maken van de groep. Die peiling kwam wel overeen met de tellingen van het CDC. Dat is voor goede statistici geen verrassing. Een paar jaar geleden werd de beroepsgroep in de VS gevraagd of men liever een representatieve steekproef zag onder vijf procent van de bevolking, of eentje onder tachtig procent waarbij die representativiteit niet duidelijk was. Iedereen koos voor het eerste. Zelfs een respons van negentig procent trok hen niet over de streep.

Lees ook:

Uitkomst verkiezingen ‘verwoestend’ voor opiniepeilers

En wéér zaten ze ernaast, sommigen nog meer dan in 2016. Nee, de presidentsverkiezingen van 2020 zijn niet goed voor het aanzien van de opiniepeilers, die vooraf een ruime zege van Joe Biden in het verschiet zagen.

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2022 DPG Media B.V. - alle rechten voorbehouden