DE CONFRONTATIE

“Er wordt niet goed gemeten in de sociale wetenschappen”, vindt emeritus-hoogleraar empirische sociologie prof. dr. J.E. Ellemers (67) van de Rijksuniversiteit Groningen.

Hij doelt op de grootschalige steekproefonderzoeken waarbij vragenlijsten worden verspreid onder een vooraf geselecteerde, grote groep mensen. “Veel van die grote enquêtes zijn dubieus”, zegt Ellemers, tot voor kort bestuurslid van de Stichting interuniversitair instituut voor sociaal-wetenschappelijk onderzoek (Siswo). Niet voor niets spreken de uitkomsten elkaar regelmatig tegen.

“Het Sociaal en cultureel planbureau kwam in 1995 met gegevens over de ontkerkelijking in Nederland. Daaruit bleek dat 61 procent van de Nederlandse bevolking niet bij een kerk was aangesloten. Nog geen jaar later berekende het Centraal bureau voor de statistiek dat 40 procent van de bevolking onkerkelijk is. Een discrepantie van 20 procent!”

En dan heeft hij het nog niet eens over de flater die het CBS sloeg toen afgelopen zomer in het nieuws kwam dat het onderzoeksbureau het opleidingsniveau van een half miljoen mensen verkeerd inschat.

Zo zijn er meer voorbeelden. “Het verontrustende vind ik dat sociologen al jaren erkennen dat hun gegevens niet helemaal kloppen en vervolgens overgaan tot de orde van de dag.”

Prof. dr. H.B.G. Ganzeboom (44) van de Utrechtse universiteit, tevens voorzitter van de Nederlandse sociologische vereniging, zweert daarentegen bij grootschalig onderzoek en maakt veel gebruik van de enorme databestanden van zowel het Centraal bureau voor de statistiek als het Sociaal en cultureel planbureau.

Ganzeboom is op zoek naar trends in de samenleving, zoals de 'sociale mobiliteit', waarbij het draait om verschillen in opleiding en beroep tussen ouders en kinderen. Hij stelt: “In alle metingen zitten fouten. Je kan wel zeggen: deze gegevens kloppen niet, dus ik kan er eigenlijk weinig mee doen...”

“Precies”, onderbreekt Ellemers.

Ganzeboom: “Daar denk ik dus anders over. Ik gebruik gegevens, ook al is duidelijk dat er allerlei fouten in zitten. Als we pas met gegevens aan de slag mogen op het moment dat we zeker weten dat ze voor 100 procent kloppen, dan kan ik wel naar huis gaan.”

Dat onderzoeksresultaten van sociaal-wetenschappelijk onderzoek nogal eens afwijken van de realiteit komt bijvoorbeeld doordat mensen in een enquête iets beweren, maar in werkelijkheid wat anders doen. Maar de grootste boosdoener van dit moment is de massale non-respons. Meer dan 50 procent stuurt de vragenlijst niet terug of weigert de enquêteur te woord te staan.

Tot in de jaren zeventig was dat wel anders. Ellemers herinnert zich de volkstellingen nog goed, waarbij iedereen bij wet verplicht was eens in de tien jaar vragen te beantwoorden over opleidingsniveau, beroep of het aantal kinderen. Tegenwoordig halen veel mensen hun neus op voor een enquête, wat de waarde van de uitkomst behoorlijk kan doen dalen.

De emeritus vindt dat sociologen zich niet mogen neerleggen bij de magere respons. “Als een student van mij terugkwam met een matige respons, zei ik: voet tussen de deur, net zo lang zeuren en zaniken tot je die mensen wel te pakken hebt. En als je ze niet aan de deur kunt spreken, bel je ze op.”

Negentig procent respons, zoals dat in de jaren vijftig gebruikelijk was - met minder moeten we geen genoegen nemen, vindt Ellemers. Maar zijn jonge vakgenoot schudt het hoofd. “Ik denk dat dat een illusie is.”

“Zo kan het toch ook niet?”, reageert Ellemers fel. “In andere wetenschappen zouden onderzoekers dat niet accepteren. Als een natuurkundige op een gegeven moment een resultaat uit een experiment krijgt en een collega doet precies hetzelfde, maar met een ander resultaat, dan wordt er nauwkeurig nagegaan wat er precies niet deugt, of het bijvoorbeeld ligt aan het meetinstrument. Maar als in ons geval het ene gezaghebbende bureau met 60 procent onkerkelijkheid komt en een ander vlak daarna met 40 procent, dan steekt de socioloog de kop in het zand en gaat hij verder met de volgende enquête.”

Het minste wat sociologen kunnen doen, vindt de emeritus, is in artikelen aangeven welke fouten mogelijk in het onderzoek zijn geslopen en wat dat betekent voor het resultaat. “Nergens kom ik bij een verhaal over sociale mobiliteit, zelfs niet in een voetnoot, tegen dat de schrijver waarschuwt dat de gegevens met een zeker wantrouwen bekeken moeten worden.”

Logisch, vindt Ganzeboom. “Je gaat toch niet tegen de lezers zeggen: hier heb ik een artikel en je moet eigenlijk niet geloven wat er staat. Dat is gewoon het ontkrachten van je eigen stuk.”

In zijn achterhoofd houdt hij wel degelijk rekening met mogelijke effecten van non-respons, verdedigt de jonge hoogleraar zich. Op basis van het gezond verstand is het goed mogelijk aan te geven in welke richting de resultaten van het onderzoek waarschijnlijk vertekend zijn.

“Als ik een hypothese op zou stellen over sociale mobiliteit en non-respons, zou ik zeggen: het zullen de sociaal mobielen zijn die zijn ondervertegenwoordigd in de steekproef. Hun adres zal moeilijk te achterhalen zijn, omdat ze verder van hun ouderlijk milieu zijn verwijderd. Vroeger hadden we meer respons dan nu, dus zou het zo kunnen zijn dat we nu te weinig sociaal mobielen in de steekproef hebben. Maar mijn resultaat laat juist zien dat we tegenwoordig veel meer sociaal mobielen aantreffen. Is mijn onderzoekresultaat dan terug te voeren op het non-responsprobleem? Ik denk het niet.”

De emeritus is allerminst overtuigd. “Je kunt evengoed veronderstellen dat de zeer mobielen én de zeer weinig mobielen alle twee ondervertegenwoordigd zijn. Dan houd je een middencategorie over, waarbij je niet weet wat het effect is op je resultaten. Als je niet zeker weet waar de fout zit, is achteraf corrigeren ondoenlijk.”

Het wordt tijd dat er aan de metingen zelf wordt gesleuteld, vindt hij. “Ik denk dat sociologen wel wat inventiever mogen zijn, meer moeten nadenken over alternatieven.” Te snel grijpen ze naar de enquête, een weinig arbeidsintensieve methode van onderzoek. “We moeten zo goed mogelijk meten en als je niet via enquêtes kunt achterhalen wat je wilt weten, moet je andere bronnen aanboren.”

Maar zijn jonge collega peinst niet over alternatieven. “Dé meting bestaat niet. De variatie die je op dit moment ziet in onderzoeksresultaten ontstaat juist doordat al die onderzoekers denken dat zij dé meting uitvoeren.”

Dan ziet hij meer in het op elkaar leggen van de resultaten van verschillende metingen, om te zoeken naar een gemiddelde. “Vertrouw niet op de resultaten van één enquête, maar stapel ze op. Dat is bij uitstek wat ik doe.”

“Het punt is”, zegt de emeritus, “dat die gegevens allemaal fouten bevatten en het wordt vervelend als al die fouten dezelfde kant op wijzen.” Hij zucht. Wat is er nou eigenlijk mis met methoden van onderzoek als observatie of archiefonderzoek, vraagt hij zich hardop af.

Het antwoord geeft hij ook. “Dat is veel te veel werk en kost te veel. Maar dan zeg ik: waar staat geschreven dat wetenschap makkelijk moet zijn?”