Ombudsman

Is school echt saaier geworden? ‘Uit onderzoek blijkt...’

Het blijkt uit onderzoek: scholieren vinden lessen saaier, meldt Trouw. Dat nieuws vormt het startpunt voor een discussie ‘hoe dat nou toch komt’. Maar het bewijsmateriaal blijkt minder overtuigend.

De kwestie

“Scholieren vinden hun lessen steeds minder interessant”, meldt de krant op maandag 2 december. Dat is gebaseerd op ‘onderzoek’ van Qompas, een platform voor studie- en loopbaankeuze. Dat bureau vroeg 170.000 havisten en vwo’ers een aantal jaar achter elkaar hoe interessant ze de verschillende schoolvakken vinden. Bij het stuk staat een grafiek die spreekt over een ‘schaal van 0 tot 100’. De gemiddelde waardering is in acht jaar gedaald van 12 naar 9,5. Verderop in het stuk staat dat het gemiddelde schoolcijfer is gedaald van een 6,9 naar een 6,8 en tekent de redactie een paar verklaringen op voor de ingezakte interesse van leerlingen uit de mond van de directeur van Qompas. Leerlingen krijgen volgens hem te weinig uitdaging, het onderwijs is nog vrij traditioneel en scholieren zijn afgeleid door hun smartphone.

De standpunten

Als het onderzoek in verschillende media aandacht krijgt, laat socioloog en onderwijsonderzoeker Thijs Bol van de Universiteit van Amsterdam op Twitter weten: ‘70 procent van de berichtgeving gaat over dingen die niet zijn onderzocht’. Aan de telefoon is hij iets milder over Trouw. Zo constateert hij dat de krant de moeite heeft genomen om deze resultaten af te zetten tegen ander onderzoek. Toch blijft hij kritiek houden. “Journalisten denken nogal eens: als er veel mensen zijn ondervraagd, dan zit het wel goed. Maar kijk niet alleen naar het getal. In wetenschappelijk onderzoek wordt een groep bij elkaar gezocht die zo veel mogelijk representatief is voor alle scholieren in Nederland. Bij de cijfers in de krant ging het om leerlingen van scholen die klant waren van het bureau. Het is daarom maar de vraag of deze groep representatief is. Ik zou op basis van dit onderzoek niet durven stellen dat scholieren hun vakken saaier zijn gaan vinden.”

De daling in het rapportcijfer van 0,1 procent noemt Bol ‘wel behoorlijk klein, of dat betekenisvol is, moet je je afvragen’. De meeste kritiek heeft hij op de verklaringen voor de ‘gestegen saaiheid’. “Die heeft het bureau niet onderzocht, maar men doet er wel uitspraken over. Die lang niet altijd kloppen met wat wij in onderzoek zien.” Bel daarom ook een wetenschapper die niet bij het onderzoek betrokken is, zegt de socioloog. Er is nog een kleine nuance bij de boodschap in dit artikel: anders dan de bijgaande grafiek lijkt te suggereren is de score ‘0’ niet het dieptepunt van de schaal, dat is ‘min 100’. Het oordeel van scholieren zit daarom nog steeds aan de positieve kant.

De onderwijsredacteur die het bericht maakte heeft met het bureau gecorrespondeerd over de betekenis van de cijfers. Haar leek een verschuiving van 12 naar 9,5 inderdaad aan de kleine kant. “Maar er is een heel grote groep scholieren ondervraagd.” Ze beaamt dat het zin gehad zou hebben te kijken naar de representativiteit van de groep en om een andere onderzoeker te bellen. “Maar ik sta zeker nog achter het bericht omdat het veel ander onderzoek bevestigt, zoals dat van internationale organisatie Oeso en de onderwijsinspectie. De lage motivatie van scholieren is in Nederland echt een belangrijk thema.” De redacteur krijgt overigens vaker onderzoek aangeboden, en maakt er regelmatig geen gebruik van ook al lijken de resultaten interessant: bijvoorbeeld wanneer maar weinig mensen zijn ondervraagd.

Oordeel

Het is goed mogelijk dat scholieren lessen saaier zijn gaan vinden en dat deze cijfers een extra bewijs daarvoor zijn. Maar het is niet zeker. De redacteur keek terecht naar de grootte van de steekproef, maar bedenk dat dit niet alles zegt over de kwaliteit van de uitkomsten. De conclusie had met iets meer voorbehoud gepresenteerd mogen worden. Een formulering als ‘uit onderzoek blijkt’ kan bijvoorbeeld vervangen door ‘een peiling suggereert’. In dit geval onderving de redacteur dit bezwaar voor een deel door onderzoek aan te halen van andere instituten. Een andere onderzoeker bellen had hier geen kwaad gekund.

Over de cartografie: een complete grafiek, met de hele schaal, verdient de voorkeur. Als dat te veel ruimte kost: meld dit dan in de toelichting. De lezer heeft recht op een zo compleet mogelijk beeld.

Smartphone funest?

Universitair onderzoeker Thijs Bol zet vraagtekens bij de verklaring in het Trouwartikel dat scholieren almaar op hun ‘smartphone’ zitten en daarom de lessen minder interessant vinden. “Dat is niet onderzocht in dit geval. Het zou kunnen hoor, maar we weten het niet. En het blijkt overigens ook niet uit ander onderzoek.” Bol wijst erop dat het vooral de jongens zijn die in dit onderzoek de lessen ‘saaier’ zijn gaan vinden. “Gebruiken zij dan veel meer dan meisjes hun smartphone? Dat lijkt mij niet.”

De onderwijsredacteur die het bericht maakte zegt veel geluiden uit het onderwijs te horen over de invloed van de smartphone. Deze verklaring leek haar aannemelijk genoeg om te melden in het artikel. “Het zou trouwens goed kunnen dat het verschil tussen jongens en meisjes is ontstaan doordat het onderwijs de laatste jaren nog minder is ingesteld op jongens. Dat hoor je vaker, ook van onderzoekers.” Vanuit de wereld van middelbare scholen ontving de redacteur vooral instemmende reacties op het artikel. “Ook uiteraard van mensen die zeggen: ‘wij hebben een programma waarmee we de lessen juist veel interessanter maken.”

Een daling van de waardering van lessen van 12 naar 9,5 procent, dat klinkt als een heel precieze meting. Maar juist die ogenschijnlijke precisie moet met enig wantrouwen worden bekeken, zeggen methodologen vaak. Onderzoeken hebben altijd een onzekerheidsmarge. Dat stellige getal van 12, dat kan bijvoorbeeld ook 11 zijn. Net als die 9,5 een 11 kan zijn. En in dat geval is er helemaal niets veranderd. Andersom kan de daling, nu ‘exact’ becijferd op 2,5, ook bijvoorbeeld twee keer zo groot zijn. De vraag is dan of het onderzoek vermeldt hoe groot deze onzekerheidsmarge is.

Artikel en onderzoek gaan overigens enkel over havisten en vwo-leerlingen. Wat vmbo’ers, de grootste groep van de scholieren, van de lessen vinden en of dat is verschoven, is niet bekend. Dat is jammer maar het is nu eenmaal een beperking van het onderzoek en daar draait de krant in het artikel niet omheen.

Trouw Ombudsman Edwin Kreulen bespreekt elke week de werkwijze van de redactie. Heeft u zelf een vraag of kwestie? Mail naar ombudsman@trouw.nl.

Lees ook:

Een boek lezen? Pure tijdverspilling, vinden Nederlandse jongeren

De leesvaardigheid van Nederlandse jongeren daalt hard in vergelijking met andere landen. De Stichting Lezen en Schrijven vindt dit alarmerend en onderwijsministers roepen op tot een leesoffensief. Is dat genoeg?

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden