SCIENTOMETRIE

Het meten van wetenschap zal de komende jaren worden gestandaardiseerd. Tijdens hun internationale congres in Chicago hebben de scientometristen, de opmeters van de wetenschap, half juni besloten hun gegevensbestanden, technieken en normen op elkaar af te stemmen.

PAUL WOUTERS

Aan deze chaos willen de producenten van de indicatoren nu een eind maken. “Zelfs als van een en dezelfde databank gebruik wordt gemaakt, kunnen de resultaten uiteenlopen”, aldus de wiskundige Wolfgang Glünzel van de Information science and scientometrics unit van de Hongaarse academie van wetenschappen.

Glünzel gaf twee jaar geleden in Berlijn het startschot voor de huidige discussie, met een scherpe kritiek op de stand van zaken in de scientometrie. Het gebrek aan heldere gegevens en het grote aantal verschillende indicatoren leidt er toe, dat de beoordeling van de kwaliteit van een wetenschappelijk instituut sterk afhangt van wie voor die evaluatie is ingehuurd. Ook kan de waardering van de prestaties van landen flink variëren van de ene scientometrische studie tot de andere.

Scientometristen beperken zich niet tot het meten van de produktiviteit van wetenschappers en andere onderzoekers, zoals die tot uitdrukking komt in de aantallen wetenschappelijke publikaties en uitvindingen. Een van hun belangrijkste technieken is de citatie-analyse. Daarbij wordt gekeken naar het aantal malen dat een wetenschappelijk artikel door andere publikaties wordt aangehaald. De veronderstelling is dan, dat dit iets zegt over de invloed of het nut van dat artikel.

Er is slechts één databank ter wereld waar die citatiegegevens systematisch worden verwerkt. Het bedrijf Institute for scientific information (ISI) in Philadelphia verwerkt de gegevens uit een groot aantal tijdschriften uit uiteenlopende vakgebieden en publiceert elk kwartaal een citatie-index voor de exacte wetenschappen (de befaamde Science citation index), evenals indexen voor de sociale wetenschappen en de geesteswetenschappen. Vrijwel alle citatie-analyses zijn op die gegevensbank gebaseerd.

Dat is gemakkelijk, maar tegelijkertijd een bron van hoofdpijn voor veel scientometristen. Hoogleraar scientometrie aan de Rijksuniversiteit Leiden Ton van Raan, in Chicago door het blad Scientometrics onderscheiden met de 'Derek de Solla Price prijs', kan daarvan meepraten. “In dat bestand zitten hinderlijke slordigheden. De universiteit van Leiden staat bijvoorbeeld als twee verschillende Leidse universiteiten geregistreerd, als State University of Leiden en als Leiden University als ik het goed heb. En dat kan natuurlijk niet.”

Het grote probleem is dat de SCI en vergelijkbare gegevensbestanden niet gemaakt zijn om er wetenschap mee te evalueren. Ze hebben in de eerste plaats een bibliotheekfunctie. Van Raan: “Dan is zo'n fout niet zo erg. Degene die het systeem gebruikt, ziet het meteen. Voor onze analyses moeten de gegevens echter volautomatisch worden verwerkt. Het zijn er te veel om handmatig te doen. Dat stelt buitengewoon hoge eisen aan de zorgvuldigheid.”

Op congressen van scientometristen wordt deze kritiek met de regelmaat van de klok naar voren gebracht. Het was zozeer een vast ritueel geworden dat niemand zich er echt iets van leek aan te trekken. Totdat Glünzel de alarmklok luidde. Direct na het Berlijnse congres in 1993 werd een speciaal nummer van het tijdschrift Scientometrics uitgebracht waarin zijn bijdrage centraal stond. Tal van collega's reageerden. Toch leek het ook nu weer een storm in een glas water te worden. Veel gevolg leek Glünzels interventie niet te krijgen.

Een van de oorzaken daarvan was dat de Hongaarse scientometrist zich in Berlijn nogal scherp tegen contractonderzoek keerde. De scientometrie zou zich alleen maar ten doel moeten stellen om de wetenschap zo goed mogelijk in kaart te brengen en te begrijpen. Al dat beleidsonderzoek vond hij eigenlijk maar zozo.

De meeste scientometristen zijn echter in sterke mate afhankelijk van opdrachten van ministeries en bedrijven. De behoefte van beleidsmakers om meer te weten over wetenschap stond zelfs aan de wieg van het vakgebied. Glünzel leek in hun ogen dan ook te pleiten voor een steriel ideaal.

De impasse werd doorbroken door een Britse interventie. Sylvan Katz van de Science policy research unit aan de universiteit van Sussex nam contact op met de Hongaarse en de Leidse groep. Katz: “Wil ons werk serieus worden genomen door andere wetenschappers dan moeten we onze methodologie rigoreus verbeteren.” Daarmee ontstond intensiever contact tussen de drie Europese centra die veel energie hebben besteed aan het 'opschonen' en verwerken van de Science citation index tot nieuwe gegevensbestanden.

Glünzel wijzigde daarop zijn standpunt over beleidsonderzoek (“Contractonderzoek is nu eenmaal een van de belangrijkste manieren om geld binnen te krijgen”) en organiseerde samen met Katz en Henk Moed, senior-onderzoeker van het Leidse centrum, de speciale workshop over standaardisatie in Chicago.

Tot ergernis van de organisatoren waren de vertegenwoordigers van 'de grote zondaar', het ISI, afwezig. Wel pleitte de uitvinder van de Science citation index, Eugene Garfield, ervoor de correcties van de Britten en andere groepen weer op te nemen in de SCI.

“En wat staat daar tegenover?”, luidde de reactie uit de zaal. ISI-bestanden kosten namelijk vele tienduizenden dollars per stuk. Van Raan: “In feite zijn wij de SCI al vanaf 1980 aan het verbouwen en bewerken. Daardoor is dat een veel waardevoller bestand geworden.”

Inmiddels hebben de Europeanen zich verenigd in een consortium dat een Europees 'observatorium van de wetenschap' moet gaan vormen. Gezamenlijk denken de Europeanen sterker te staan in de onderhandelingen met het ISI.

Ook als die succesvol worden afgerond, is de scientometrie nog niet uit de problemen. Elke 'meter van de wetenschap' gebruikt namelijk nog steeds zijn eigen methodiek. Vaak is bovendien niet helder waarin de verschillen zitten. De Leidse groep weet niet precies wat de Hongaren in hun indicatoren hebben gestopt en omgekeerd. Het zit hem vaak in ogenschijnlijk onbelangrijke details. Moeten letters to the editor, ingezonden stukken waarin op eerdere artikelen wordt ingegaan, nu wel of niet meetellen als publicatie?

Ook het turven van citaties is niet zo recht toe recht aan als het lijkt. Het maakt groot verschil of ze over twee of over vijf jaar worden gemiddeld. Van Raan: “Kijk maar naar Science Watch, een publikatie van het ISI die regelmatig in de pers wordt aangehaald. Daarvan is nog steeds niet duidelijk hoe de lijst van wetenschappelijke topscores tot stand komt.”

Deze methodologische rimboe ondergraaft regelmatig de aanspraak van de scientometrie, een methode te zijn om de wetenschap op een objectieve manier te meten. De scientometristen willen daarom meer duidelijkheid scheppen.

Ze streven niet naar één standaard. Glünzel: “Standaardisatie van ons veld betekent niet dat we allemaal precies hetzelfde moeten doen. Maar we moeten onze methoden wel openbaar documenteren.” De Leidse groep zal binnenkort een ruim veertig pagina's tellend document publiceren in Scientometrics, waarin de door hen gevolgde methodiek gedetailleerd uit de doeken wordt gedaan.

Bij een hogere kwaliteit van het onderzoek horen ook hogere eisen aan scientometrische publikaties. Over hun lijfblad Scientometrics, gezamenlijk uitgegeven door de Hongaarse academie van wetenschappen en Elsevier, zijn de toonaangevende scientometristen bepaald niet te spreken.

De Leidenaren wijzen erop dat de grote beschikbaarheid van de Science citation index op CD-ROM, louter bedoeld voor bibliotheekwerk, de laatste jaren heeft geleid tot een hausse aan analyses van die gegevens. Henk Moed: “Je hebt dus Jan en alleman die daar druk mee bezig zijn, op zichzelf zeer goed en ook nuttig voor het vakgebied. Maar dat is toch wat anders dan ons werk.” En Katz: “Het ontbreekt in feite aan een strenge selectie. We hebben referenten nodig die zwakke artikelen daadwerkelijk verwerpen.”

De meters van de wetenschap hopen daardoor geloofwaardigheid te winnen en meer erkenning voor hun vakgebied te verwerven. Rest de vraag waarmee ze bestookt zullen blijven worden: wat zeggen die citaties nu eigenlijk?

Meer over

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2022 DPG Media B.V. - alle rechten voorbehouden