Lekker scoren!

De wetenschap is niet zo rot als het bankensysteem, zegt onderzoeker Paul Wouters. Maar van het systeem gaan wel degelijk perverse prikkels uit.

En weer kwam de wetenschap deze week negatief in het nieuws. Ditmaal met onthullingen over veelpublicist Peter Nijkamp, hoogleraar regionale economie aan de Vrije Universiteit in Amsterdam. Volgens NRC Handelsblad bouwde deze topwetenschapper zijn gigantische wetenschappelijke oeuvre op door kwistig uit eigen werk te citeren. Dat is een makkelijke manier om veel te publiceren in de wetenschappelijke tijdschriften. En veel publiceren, daar gaat het om in de wetenschap, in combinatie met het zogeheten citeren: het gebruik van jouw publicaties, met bronvermelding, door andere onderzoekers. Goede citeerscores zijn een bikkelharde voorwaarde om vooruit te komen in de wetenschap, en om subsidies in de wacht te slepen. Die molen van publiceren en citeren, zeggen critici, is dolgedraaid. Zie zo'n Nijkamp, Spinozapremie-laureaat nog wel, die alleen maar meer, meer, meer publicaties op zijn naam wilde.

Heeft Nijkamp het echt zo bont gemaakt?
Dat hangt ervan af naar welke telling je kijkt, zegt Paul Wouters. Hij is directeur van het CWTS, een onderzoeksinstituut van de Universiteit Leiden, dat wetenschappelijke publicatiedata verzamelt en daarmee allerlei 'rankings' produceert. In Google Scholar vond Wouters 126 'hits' voor Nijkamp in 2011, een duizelingwekkende score: meer dan één per drie dagen. Maar dat systeem is volgens Wouters flink vervuild met dubbeltellingen, ongepubliceerd werk, voordrachten, et cetera. Hij hecht meer waarde aan het Web of Science en daarin scoort Nijkamp 'slechts' 268 publicaties tussen 1990 en 2011. Daarmee is Nijkamp in zijn vakgebied nog steeds de onbetwiste kampioen.

De ophef gaat niet alleen over de hoge productiviteit van Nijkamp. Hij zou zich ook schuldig hebben gemaakt aan zelfplagiaat. Maar waarom zou je je eigen ideeën en ontdekkingen niet gewoon nog een keertje kunnen opschrijven, voor een ander publiek? In de praktijk is er een groot grijs gebied, beaamt Paul Wouters. "Vakbladen hebben verschillende stijlen, zodat het ene aspect van het onderzoek beter tot zijn recht komt in het ene blad en het andere beter in een ander tijdschrift. Bovendien leest niemand alle bladen; dus als je veel mensen wil bereiken - met verschillende achtergrondkennis en interesses - moet je in meerdere bladen publiceren. Maar het is natuurlijk niet goed te praten om een idee maximaal uit te melken, alleen om je publicatielijst langer te maken. In mijn vakgebied moet het wel bij hooguit drie à vier artikelen rond één ontdekking of idee blijven. Het is de verantwoordelijkheid van de wetenschapper om de grens van wat nog toelaatbaar is te respecteren."

Is wat Nijkamp deed nou echt zo erg?
"Hij heeft geen schadelijke bijwerkingen van medicijnen verzwegen, er zijn geen proeven op kinderen in Afrika gedaan. De schade is in die zin nul", bevestigt Huub Dijstelbloem. Hij is wetenschapsfilosoof, verbonden aan de Wetenschappelijke Raad voor het Regeringsbeleid, en een van de oprichters van Science in Transition. Dit is een groep wetenschappers die de afgelopen maanden furore maakten met hun felle kritiek op het functioneren van de wetenschap. Dijstelbloem: "Wat hier op het spel staat, is het reputatiemechanisme in de wetenschap. Wetenschappers bouwen een reputatie en erkenning op door hun wetenschappelijke werk te publiceren in vaktijdschriften, waarna die artikelen hopelijk door collega-onderzoekers worden geciteerd in hun eigen wetenschappelijke werk. Het basismateriaal voor die wetenschappelijke artikelen hoort te bestaan uit originele, eigen bevindingen. Door te knippen en te plakken smokkel je, en doe je jezelf origineler voor dan je bent."

Wie heeft last van pronken met gerecycled werk?
Wie niet, is het antwoord. Publicatie- en citeerscores zeggen een stuk minder als de databases vervuild raken met dubbeltellingen - want daar komen identieke publicaties in verschillende tijdschriften toch op neer. Paul Wouters' CWTS heeft altijd gewaarschuwd voor een overdreven waardering van die scores, zegt hij. "We moeten van de wetenschap geen planeconomie maken waar het alleen nog maar om aantallen gaat. Maar in de praktijk spelen publicatie- en citatiescores een grote rol, soms ongemerkt. Ook bij subsidies van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) is mijn indruk dat als de publicatielijst kort is, wetenschappers minder kans maken. Indexen zijn nu eenmaal handzaam. Ze bieden houvast voor beoordelaars die zelf in een vakgebied niet altijd helemaal thuis zijn."

Daar wil NWO-voorzitter Jos Engelen toch even ingrijpen. In de beoordelingen van de NWO is de lengte van de publicatielijst geen graadmeter, benadrukt hij. "Wij kijken naar de kwaliteit van de publicaties. Was het onderzoek baanbrekend, of slechts een klein stapje vooruit? De eerste publicatie over grafeen bijvoorbeeld heeft een lawine aan artikelen gegenereerd. En de fysici die hebben gewerkt aan het Higgs-boson hebben lange tijd nauwelijks kunnen produceren. Wij hebben ze die lange aanloop gegund."

Maar volgens Paul Wouters gaan van het wetenschapssysteem wel degelijk perverse prikkels uit. "De prestatie-criteria hebben een grote invloed op het gedrag van onderzoekers. Het is zoals Karel van het Reve ooit schreef: als je een tractorfabriek afrekent op kilo's, maken ze zware tractoren. Als je ze afrekent op aantallen, maken ze vele kleintjes."

Als er zoveel afhangt van de hoeveelheid wetenschappelijke artikelen, zegt ook Huub Dijstelbloem, moet je niet raar staan te kijken als wetenschappers hun publicatielijst proberen op te schroeven. "Dat leidt bijvoorbeeld tot veel kortlopend onderzoek. Subsidies worden vaak voor ongeveer vijf jaar gegeven. In die tijd moet je voldoende publiceren om klaar te zijn voor de volgende geldronde. Onderzoek wordt in stukjes geknipt, die afzonderlijk aan wetenschappelijke bladen worden aangeboden. En het co-auteurschap heeft een enorme vlucht genomen." Dat laatste is eigenlijk van een verpletterende logica. Een fictief rekenvoorbeeld: als twee auteurs allebei een eigen artikel publiceren, krijgen ze allebei één punt. Schrijven ze beide artikelen samen, dan krijgen ze allebei twee keer 0,75 punt, dus in totaal anderhalve punt.

Waarom zou iemand met de statuur van Nijkamp zich druk maken over publicatiescores?
Dat vraagt Huub Dijstelbloem zich ook af. "Naar persoonlijke motieven kan ik alleen maar gissen", zegt hij. "IJdelheid kan een rol spelen. Ik vind het tekenend dat dit in de kring wetenschappers om Nijkamp heen kennelijk normaal werd bevonden. Waarom moet zijn naam steeds bij die artikelen als hij één alinea heeft toegevoegd? Waarom laat hij de eer niet aan junior-onderzoekers die het echt nodig hebben om te publiceren?"

Onwaarschijnlijke hoeveelheden publicaties en zelfplagiaat blijven gemakkelijk onbestraft, zegt Dijstelbloem. Rode lampjes gaan niet snel knipperen, eerder groene: bravo! "Je moet bedenken: veel van al die publicaties worden eigenlijk niet of nauwelijks gelezen. Dan is het niet zo gek dat het niemand opvalt dat veel van die artikelen een herhaling van zetten zijn. Het is eigenlijk een kwestie van te veel bomen, waardoor niemand het bos nog ziet. Mijn suggestie zou zijn: vergeet al die goeddeels irrelevante artikelen in irrelevante bladen. Kijk als opleider of als subsidieverlener naar die twee of drie publicaties die er echt toe doen. Op die manier gaat de prikkel eruit om vooral maar te blijven publiceren."

Aha: minder maar beter.
Zo gaat het precies bij onderzoeksfinancier NWO, stelt Jos Engelen. "We vragen onderzoekers om hun vijf beste artikelen voor te leggen. Dat is voor de beoordelaars te behappen." Volgens hem zit het probleem veel meer bij de 'hijgerige' wetenschappelijke bladen, die vooral azen op sexy onderwerpen. "Bladen als Nature, Cell en Science hebben een heel sterke positie verworven. Als je weet dat bij die bladen slechts één procent van de ingestuurde artikelen wordt geplaatst, terwijl iedereen zo zijn best doet om erin te komen, dan zit er iets niet goed. Daar gaat veel energie verloren."

Het wetenschappelijke tijdschrift was een geweldige uitvinding, zegt Paul Wouters. "Kennis werd zo publiek toegankelijk. Maar publiceren moet geen doel op zich worden. Het is een middel. Uitgevers hebben belang bij het voortbestaan van tijdschriften. Er is dus een prikkel om artikelen te plaatsen, ook zonder inhoudelijke rechtvaardiging." Dat moet anders, vindt Wouters, al weet hij nog niet precies hoe. "We moeten in elk geval toe naar minder artikelen. Met name in experimentele wetenschappen worden wetenschappers nu gedwongen een artikel te schrijven, terwijl ze net zo goed een algemene database zouden kunnen uploaden met nieuwe resultaten. En laten we om te beginnen al die Chinese neptijdschriften eruit gooien."

Het wetenschappelijke systeem hoeft niet overboord, zegt Wouters. "De wetenschap is echt niet zo rot als het bankensysteem. Er is wel een aantal perverse mechanismen ontstaan. We moeten wetenschappers niet alleen op aantallen publicaties maar ook op kwalitatieve criteria afrekenen. Maar de wetenschap is hoe dan ook een geweldige uitvinding die we moeten behouden."

Hoe scoor je hoog in de indexen?
Een artikel telt pas echt mee als het wordt gelezen. Preciezer: als anderen vermelden dat ze gebruik hebben gemaakt van de wetenschap uit dat artikel. Als ze het citeren.

Citatiescores spelen een grote rol in de geldstromen. Hoe meer citaties, hoe beter, maar er zijn vele manieren om te tellen. Reken je alle bladen mee? Levert een citatie ín het gezaghebbende Nature meer op dan een citatie úit Nature?

Een veelgebruikte methode is de Hirsch-index. Die geeft aan of een wetenschapper veel artikelen heeft geschreven die vaak zijn geciteerd - en dus niet rust op de lauweren van één knaller die jaar in jaar uit door velen wordt aangehaald.

De Hirsch-index is niet perfect, zegt Paul Wouters van het CWTS in Leiden. "Hij is wiskundig niet consistent. Als je met een collega publiceert, heeft dat consequenties voor je ranking." Het CWTS werkt met andere indicatoren om de wetenschappelijke kwaliteit te meten. Bijvoorbeeld: met hoeveel artikelen staat iemand in de toptien van meest geciteerde artikelen in zijn vakgebied? Maar ook: met hoeveel collega's werkt hij samen?

Een kwantitatieve index werkt strategisch publiceren in de hand. Wie hoog wil scoren, doet er goed aan zichtbaar te zijn op internet. Wouters: "Plaats een preprint van je artikel. Dat vergroot de kans op een citatie." Ook handig: kies een modieus of nieuw vakgebied. Of publiceer op een terrein waar veel collega's actief zijn.

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden