PKN op verkeerde pad met onderzoek

De uitkomsten van de enquête die de PKN onder haar leden gaat houden zullen onbruikbaar zijn, voorspelt Joop van Holsteyn.

De krant opende er groot mee, paginavullend, dus is het belangrijk nieuws: 'PKN vraagt twee miljoen leden hoe het verder moet'. Via een 'unieke enquête' gaat de Protestantse Kerk in Nederland op zoek naar opvattingen en wensen van gelovigen (Trouw, 17 februari).

De claim dat het een uniek onderzoek betreft, waag ik niet te betwijfelen. Als de PKN zoiets niet eerder gedaan heeft, is deze eerste keer uniek. Simpel zat. Maar of dat onderzoek bruikbare informatie gaat opleveren over meningen en voorkeuren van PKN-leden, dat is nog maar de vraag. Of eigenlijk geen vraag: de informatie zal in hoge mate onbruikbaar zijn om een juist, geldig beeld van alle PKN'ers te krijgen.

Voor de PKN mag het onderzoek uniek zijn, maar dat houdt niet in dat de gekozen methode van onderzoek dat is. Wat de PKN doet, past in een lange traditie van grootschalig opinieonderzoek. Des te opmerkelijker is het, dat de PKN bij de opzet of uitbesteding van het onderzoek kennelijk geen rekening heeft gehouden met spelregels voor verantwoord onderzoek.

Het is vanwege dit schenden van enkele eenvoudige methodologische regels, dat de resultaten onbruikbaar zullen zijn. Zoals de weg naar de hel geplaveid schijnt te zijn met goede voornemens, zo leiden hier goede bedoelingen via een onjuiste onderzoeksopzet naar onbruikbare gegevens.

undefined

Voor wie?

Wat is er zoal mis? Veel. Om bij het begin te beginnen: het is onduidelijk op welke groep mensen het onderzoek betrekking heeft. Voor wie is het onderzoek bedoeld? Het zou erg voor de hand liggen dat de PKN uitsluitend interesse heeft in meningen van eigen gemeenteleden. Het onderzoek staat echter open voor eenieder die de op internet beschikbare vragenlijst weet te vinden.

Iedereen kan meedoen, zelfs iemand als ondergetekende die alleen al vanwege zijn voorletters J.J.M. enigszins verdacht zou moeten zijn in protestantse kringen. "De toekomst van onze kerk gaat iedereen aan", aldus ds. Arjan Plaisier, scriba van de generale synode. Dat in potentie letterlijk iedereen zich er dan ook inhoudelijk mee bemoeit, zal hij vast niet bedoeld hebben.

undefined

Manipulatie

Sterker nog, iedereen kan dat zo vaak doen als hij of zij wil, want herhaald invullen, en daarmee manipulatie door specifieke groepen, van de vragenlijst is mogelijk. Als je tenminste internet hebt. Zie ik het goed, dan is de vragenlijst namelijk weliswaar via internet beschikbaar maar niet op een andere wijze.

Nu is de internetdekking in Nederland hoog, maar het zou me niet verbazen dat de dekking juist onder wat de doelgroep had moeten zijn, verre van volledig is. Denk aan ouderen, die onder de gemeenteleden van de PKN toch in aanzienlijke aantallen aanwezig zullen zijn. En het is bepaald denkbaar dat diegenen zonder internet andere opvattingen en houdingen hebben dan zij die zich wel op dit medium bewegen. Zeker ook over het huidige en toekomstige functioneren van de PKN.

Het unieke PKN-onderzoek wekt extra bevreemding omdat de sterke suggestie is dat een groot aantal deelnemers garant staat voor goed onderzoek. Alle twee miljoen leden van PKN kunnen meepraten!, zo wordt gesteld, daarmee de indruk wekkend dat het dan oké is.

Het idee dat meer deelnemers beter is voor de resultaten, is hardnekkig. Maar onjuist, zoals theoretisch gronden kan worden bewezen en de geschiedenis van het opinieonderzoek heeft laten zien. De klassieke verwijzing is die naar de peiling die uitwees dat Landon president van Amerika zou worden, niet Roosevelt.

Aan de peiling deden ruim twee miljoen mensen deel, een verbluffend aantal. De peiling zat er echter gruwelijk naast. Dat was in 1936, maar de les van die kapitale misser is blijkbaar nog niet tot iedereen doorgedrongen.

Niet de omvang van de groep mensen die meedoet aan onderzoek is van cruciaal belang, maar de specifieke selectie van deelnemers. De PKN had dan ook helemaal geen grootschalig onderzoek onder miljoenen mensen hoeven opzetten om een beeld van publieke opinie onder PKN-leden te krijgen. Een nette aselecte steekproef uit het totale bestand van gemeenteleden van rond de 2000 personen zou volstaan. Dat zou, als andere aspecten zoals de vraagstelling eveneens in orde zouden zijn, een keurig beeld van wensen van PKN'ers hebben opgeleverd. En dan zou de immer zo gewilde kwalificatie 'representatief' verdiend geweest kunnen zijn.

undefined

Niet uniek

Voor de PKN is het onderzoek uniek. Helaas is het niet uniek als het gaat om een allicht goedbedoelde maar in opzet en uitvoering tot mislukken gedoemde poging de interne publieke opinie vast te stellen. De uitkomsten worden, zo is de bedoeling, behandeld op de synode van eind april en vormen daar 'een belangrijke bron van informatie' voor bespreking. Maar kan er dan ook gelijk een workshop 'hoe doe ik opinieonderzoek' worden ingeroosterd? Met het oog op een tweede PKN-onderzoek, dat dan niet meer uniek zal zijn, maar veel beter bruikbaar.

undefined

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden