Publicatiedrang en citatiestress

De invloed van prestatie-indicatoren op wetenschapsbeoefening
Klinische praktijk
Joeri K. Tijdink
Sarah de Rijcke
Christiaan H. Vinkers
Yvo M. Smulders
Paul Wouters
Citeer dit artikel als: Ned Tijdschr Geneeskd. 2014;158:A7147
Abstract
Download PDF

Samenvatting

  • De Journal Impact Factor (JIF) en Hirsch(H)-index zijn 2 veel gebruikte prestatie-indicatoren die worden gebruikt voor evaluatie van wetenschap.

  • De JIF is een tijdschriftmaat die inzicht geeft in het aantal citaties dat een tijdschrift heeft gehaald in de afgelopen 2 jaar.

  • De H-index is een eenvoudige maat om citatiescores van artikelen van individuele wetenschappers te meten.

  • De prestatie-indicatoren kunnen prima gebruikt worden om onderzoek te evalueren en zijn een indicator van wetenschappelijke output. Ze moeten niet worden gebruikt als maat om wetenschappelijke kwaliteit te meten.

  • Wetenschappelijke kwaliteit is niet alleen afhankelijk van citaties, maar staat ook voor methodologische grondigheid, originaliteit, validiteit, wetenschappelijke en maatschappelijke relevantie en dient ook daarop geëvalueerd te worden.

  • Er is weinig bekend over de invloed die de prestatie-indicatoren hebben op de wetenschap en haar beoefenaars, maar er zijn aanwijzingen dat het een negatieve invloed heeft op de wetenschapsbeoefening en de wetenschappelijke kwaliteit.

’I wish you all a nice, productive, and citable 2013.’ Aldus besloot de hoofdredacteur van het Netherlands Heart Journal zijn nieuwjaarsgroet in het decembernummer van 2012. Dit redactioneel commentaar bevatte 25 referenties naar artikelen in het Netherlands Heart Journal uit de periode 2010- 2012.1 In deze nieuwjaarsgroet werden auteurs opgeroepen om het Netherlands Heart Journal in andere tijdschriften die geïndexeerd zijn in het ‘Web of science’ te citeren en om onder andere reviews in te sturen. De publicatie verhoogt daarmee de ‘Journal impact factor’ (JIF) van het tijdschrift, een maat voor de gemiddelde citatiescore in de voorafgaande 2 jaar.

Naast al dan niet internationale hoofdredacties van wetenschappelijke tijdschriften die pogen de impact van hun tijdschriften te vergroten, proberen ook individuele wetenschappers hun artikelen geciteerd te krijgen.2,3 De indicator die sinds 2005 veel wordt gebruikt om individuele onderzoekers te evalueren is de Hirsch(H)-index. De opmars van de JIF en de H-index is een gevolg van de evaluatiecultuur van wetenschap. Publicaties en citaties van deze publicaties hebben grote invloed op het toekennen van promoties, subsidies en interne budgettering binnen de kenniscentra.4-6 De evaluatiecultuur wordt versterkt door concurrentie tussen publicerende wetenschappers. Wie meer publiceert en meer wordt geciteerd, heeft een voorsprong op collega’s voor subsidies en benoemingen.7-9 Onderzoeksfinanciers zijn ertoe overgegaan regelmatig naar de H-index en naar de JIF te vragen bij subsidieaanvragen.10

In november 2013 verscheen de veelbesproken ‘position paper’ van Science in transition (www.scienceintransition.nl/wp-content/uploads/2013/10/Sience-in-Transition-Position-paper-versie-2.pdf), waarin prof.dr. F. Miedema, decaan van het Universitair Medisch Centrum Utrecht, en consorten opriepen tot meer maatschappelijke relevantie van wetenschappelijk onderzoek. In deze paper werd aangegeven dat evaluatie en sturing van onderzoek nu ‘vooral is gebaseerd op “bean counting”; we tellen en meten publicaties en citaties en kijken bovenal naar zogenaamde impact factors’.

Is de praktijk van nadruk op de JIF en H-index vruchtbaar? Voorop staat dat dit type indicatoren nuttige informatie kan opleveren, mits in het oog wordt gehouden wat zij meten en welke betekenis de maten hebben. In dit artikel plaatsen wij het gebruik van deze citatiematen in de biomedische wereld in perspectief. Hiermee willen we de aandacht vergroten voor mogelijke ongewenste effecten van overmatige aandacht voor de JIF en H-index. Er is nog veel onduidelijk over deze effecten, maar er zijn aanwijzingen dat een gezonde wetenschapsbeoefening erdoor onder druk staat.6,11,12

Als onderzoekers niet beter weten dan dat ze op de H-index moeten scoren en in tijdschriften met een hoge JIF moeten publiceren, kan dat ten koste gaan van de betrouwbaarheid, kwaliteit en originaliteit van wetenschap.13

De Journal impact factor

De JIF werd in 1955 geïntroduceerd door Eugene Garfield en wordt sinds 1975 gepubliceerd in de Journal Citation Reports (JCR).14 De JIF wordt berekend door het aantal citaties naar een wetenschappelijk tijdschrift in een bepaald jaar te delen door het totaal aantal artikelen dat in de 2 voorafgaande jaren in dat tijdschrift is verschenen. Zo zijn bijvoorbeeld in The Lancet in 2010 en 2011 in totaal 547 citeerbare artikelen verschenen en werden deze in 2012 21.366 keer geciteerd. De JIF van The Lancet is in 2012 dus 39,1 (21.366/547). De JIF is de belangrijkste maat om de impact van een wetenschappelijke tijdschrift te beoordelen. Bij deze citatiemaat zijn echter een aantal kanttekeningen te maken.

In de bibliometrische literatuur is een groot aantal tekortkomingen van de JIF geconstateerd.15 Zo is de JIF een rekenkundig gemiddelde van een distributie die zeer scheef is verdeeld, wat wil zeggen dat de overgrote meerderheid van de tijdschriften een lage JIF heeft. Een publicatie in dat tijdschrift zegt dus niet direct iets over de kwaliteit en impact van dat artikel; het is een tijdschriftmaat, geen artikelmaat. Tevens corrigeert de JIF niet voor verschillen tussen publicatiegewoontes van vakgebieden. Onderzoeksgebieden met lange referentielijsten en een snelle turn-over van artikelen (zoals onderzoek naar diabetes mellitus) zijn hierdoor in het ‘voordeel’ vergeleken met gebieden waarin minder wordt gepubliceerd en dus geciteerd. De JIF is daarom geen goede maat om tijdschriften in verschillende vakgebieden met elkaar te vergelijken.16

Ten slotte is de JIF kwetsbaar voor opzettelijke beïnvloeding of zelfs malafide manipulatie. Een recent voorbeeld hiervan is een door Nature ontdekt ‘geheim’ netwerk van citatieafspraken tussen enkele biomedische tijdschriften.17 De zorgen over nadelige effecten van de JIF leidden kort geleden zelfs tot een oproep van een groot aantal (top)wetenschappers, onderzoeksfinanciers en tijdschriften om de JIF niet meer te gebruiken bij onderzoeksevaluaties in hun ‘Declaration on research assessment’ (DORA; http://am.ascb.org/dora).

De Hirsch-index

De H-index werd in 2005 geïntroduceerd om de ‘impact en relevantie’ van het totaal aantal publicaties van individuele wetenschappers beter weer te geven.18 De H-index van wetenschapper Y betekent dat deze X artikelen heeft gepubliceerd die elk minstens X keer zijn geciteerd. Het probleem dat grondlegger Jorge Hirsch hiermee probeerde op te lossen is dat het totaal aantal citaties van een individuele onderzoeker sterk kan worden beïnvloed door een toevallige uitschieter. De H-index wordt door zo’n toevalstreffer niet beïnvloed en is in korte tijd razend populair geworden in de biomedische wereld. Zo kent 74% van alle medische hoogleraren in Nederland hun eigen H-index uit het hoofd.19

De H-index kent bezwaren die lijken op die van de JIF. Zo zijn onderzoekers in vakgebieden met een grote ‘citatiedichtheid’ (veel citeerverkeer tussen artikelen, lange referentielijsten en veel auteurs) sterk in het voordeel, evenals oudere onderzoekers ten opzichte van junior-onderzoekers. Ook maakt het voor de berekening van de H-index geen verschil of onderzoekers eerste, achttiende of laatste auteur van artikelen zijn, terwijl de auteursvolgorde in de biomedische wereld wel iets zegt over de betrokkenheid bij het onderzoek.

Er kan van de H-index een perverse werking uitgaan om bij zo veel mogelijk publicaties betrokken te zijn die in potentie veel citaties krijgen. Dit leidt tot een cultuur waarin al dan niet minimale wetenschappelijke inspanningen niet langer ‘pro bono’ worden verricht maar slechts in ruil voor coauteurschappen. Exemplarisch hiervoor was een cardioloog die in 2009 1 artikel per 1,9 werkdag produceerde.20 Al is een oorzakelijk verband tussen aantallen auteurs en de populariteit van de H-index niet bewezen, in het medisch onderzoek is het aantal auteurs per publicatie over de jaren enorm toegenomen (bron: www.nlm.nih.gov/bsd/authors1.html).

Explosie van wetenschappelijke productie

Het aantal wetenschappelijke tijdschriften steeg van 5000 in 1997 tot ruim 8000 in 2010 (bron: ISI Web of Knowledge) en het aantal wetenschappelijke artikelen verdubbelde de afgelopen 12 jaar (bron: Scopus). In het algemeen wordt aangenomen dat, naast uiteraard kennistoename, toenemende nadruk op kwantitatieve parameters van publicatieoutput en citatie-impact deze ontwikkeling in de hand werken.20

De invloed van publicatiedruk of publicatiedrang op de kwaliteit van wetenschap is voor zover wij weten niet systematisch onderzocht. Wel is gebleken dat publicatiedruk van invloed lijkt te zijn op publicatiebias (preferentiële publicatie van ‘positieve’ resultaten): in een omgeving waar veel wordt gepubliceerd worden relatief meer positieve uitkomsten gevonden, tot zelfs in > 90% van alle publicaties, dan in omgevingen waar men minder produceert.11

Zelf deden wij (JT en YS) onderzoek onder alle medische hoogleraren in Nederland, waaruit bleek dat de helft vindt dat publicatiedruk excessief is geworden en bijna 40% twijfelt aan de validiteit van onderzoeksresultaten als gevolg van publicatiedruk.19 Tevens suggereerden de uitkomsten dat de ervaren publicatiedruk en de hoogte van de H-index verband hielden met burn-outverschijnselen.6,19,21 Van burn-out is bekend dat het leidt tot verminderde kwaliteit van patiëntenzorg en lagere productiviteit.22

Indicatoren en kwaliteit

Eerder memoreerden wij al dat zowel de JIF als de H-index kwetsbaar zijn voor manipulatie, bijvoorbeeld door zelfcitaties van zowel tijdschriften als auteurs. Los van deze praktijken is een reflectie op de intrinsieke waarde van deze citatie-indicatoren op zijn plaats. Zowel de JIF als de H-index zijn geboren uit de behoefte de kwaliteit van wetenschappelijk onderzoek te kwantificeren. Voorop staat dat dit type indicatoren nuttige informatie kan opleveren, mits in het oog wordt gehouden dat zij geen directe weerspiegeling zijn van de wetenschappelijke kwaliteit van het tijdschrift of van de individuele onderzoeker.23-25

Invloed is een aspect van wetenschappelijke kwaliteit, maar valt daar niet mee samen. Bovendien valt wetenschappelijke impact niet altijd samen met citatie-impact. Wie het meest zichtbaar is in het citatieverkeer hoeft met andere woorden nog niet de meeste wetenschappelijke impact te hebben of de beste onderzoeker te zijn.26 De indirecte relatie tussen kwaliteit en aantallen citaties is niet eenvoudig. Wetenschappelijke kwaliteit staat voor methodologische grondigheid, originaliteit, empirische validiteit, wetenschappelijke relevantie enzovoort. Een publicatie waarin onderzoekers verslag doen van uitmuntend of origineel werk dat vervolgens weinig invloed heeft, ontvangt niet veel citaties. Andersom geldt hetzelfde: een door de aansprekende of controversiële boodschap aantrekkelijke maar kwalitatief minder hoogstaande publicatie kan toch veel worden geciteerd. Citatie-indicatoren geven dus slechts gedeeltelijk kwaliteit weer.

Andere functies van deze indicatoren zijn het geven van veld- en publicatietype-specifieke citatie-informatie, alsmede ‘wetenschapscartografie’ (het schematisch in kaart brengen van publicaties en citaties binnen vakgebieden). Zoals eerder gememoreerd bestaan er grote verschillen in citatiegewoontes binnenvakgebieden. Voor de medische wetenschappen geldt bijvoorbeeld dat het aantal verwijzingen naar basaal onderzoek significant lager ligt dan het aantal verwijzingen naar klinisch onderzoek.16,20,27 Daarnaast is het type onderzoeksopzet van invloed op het aantal verwijzingen naar een studie. Meta-analyses en reviews ontvangen in de regel meer citaties dan RCT’s, die weer hoger komen dan cohortstudies en casuïstische mededelingen,28 terwijl originaliteit en vernieuwing juist vaker uit publicaties kunnen voortkomen die relatief laag in bovengenoemde ‘citatiehiërarchie’ staan, zoals patiëntenbeschrijvingen.29

Dankzij slimme visualisatietechnieken is het mogelijk wetenschapscartografie te bedrijven. Zo kan snel geanalyseerd worden welke vakgebieden in opkomst zijn en hoe de sociale netwerken van wetenschappers zich ontwikkelen. Dit is onder meer handig om interdisciplinaire ontwikkelingen op te sporen die vanuit het perspectief van traditionele disciplines minder zichtbaar zijn.

Nieuwe methoden ontwikkelen

De beoordelingssystematiek van de biomedische wetenschappen zal door moeten evolueren: van louter kwantitatieve maten naar meer gerichte kwaliteitsbeoordeling op methodologische grondigheid, originaliteit, empirische validiteit, en wetenschappelijke en maatschappelijke relevantie. Zoals in de position paper van Science in transition wordt opgeroepen zal wetenschapsevaluatie nieuwe wegen moeten inslaan. Zo kunnen nanopublicaties (publicaties van relaties tussen wetenschappelijke artikelen gevonden door automatische tekstanalyse), aantal downloads en blogging (internetimpact) meegenomen worden in wetenschapsevaluatie (de zogeheten ‘new metrics’) en zal maatschappelijke impact beter meetbaar moeten zijn. Dat laatste is niet eenvoudig, wat ook geldt voor het scoren van originaliteit en vernieuwingspotentieel van onderzoek. Het onderzoek naar de kwaliteit van deze parameters is heden ten dage volop in ontwikkeling getuige het vernieuwde onderzoeksprogramma van het Centre for Science and Technology Studies (CWTS; www.cwts.nl/pdf/cwts_research_programme_press_release.pdf).

Natuurlijk zullen ook aan nieuwe evaluatiemethoden beperkingen kleven, waardoor andere prikkels hun intrede kunnen doen. Maar door een multidimensionele beoordeling wordt wetenschap wel evenwichtiger geëvalueerd.

Conclusie

De beschreven citatie-indicatoren, de H-index en de Journal impact factor, kunnen prima worden gebruikt als ondersteunende informatie over tijdschriften of wetenschappers, maar hebben beperkingen als unieke maat om een artikel of wetenschapper te beoordelen op kwaliteit. Te veel focus op citatie-indicatoren leidt tot veelschrijverij, publicatiebias, overmatige zelfcitaties, verwaarlozing van ‘low citation impact’-onderzoeksvelden en dito typen publicaties, en veronachtzaming van andere criteria voor kwaliteit van onderzoek.

Het adagium ‘Publish or perish’ (ironisch gebruikt in citatiesoftware www.harzing.com/pop_hindex.htm) geeft de gevoelde noodzaak tot publiceren treffend weer. Een competitieve onderzoeksomgeving door het gebruik van indicatoren heeft ook voordelen: competitie verhoogt de wetenschappelijke productie.30 De keerzijde is evenwel dat het ten koste kan gaan van de wetenschap en haar beoefenaars.

Voor een evenwichtigere evaluatie van wetenschap zijn nieuwe methoden nodig. De beroepsgroep en de kennisinstituten, universiteiten voorop, kunnen hierin verantwoordelijkheid nemen door bereidheid te tonen en mee te werken de systematiek te veranderen, en door zo veel mogelijk perverse prikkels uit hun beloningssysteem te halen. Dit kan door meer bereidheid tot investeren in langetermijnonderzoek en risicodragend onderzoek, focus op de maatschappelijke relevantie van onderzoek en subsidietoekenning op basis van hybride criteria, gewaardeerd door maatschappelijke gebruikers en collega-onderzoekers samen. Wetenschap dreigt anders een bizarre puntenkoers te worden in plaats van een zoektocht naar de waarheid, gedreven door nieuwsgierigheid en fascinatie.

Leerpunten

  • Wetenschappers en wetenschappelijke tijdschriften worden in toenemende mate geëvalueerd met prestatie-indicatoren als de Journal Impact Factor (JIF) en de Hirsch(H)-index, die veel belang hechten aan citaties van artikelen.

  • De JIF en de H-index kunnen prima gebruikt worden om onderzoek te evalueren en zijn een indicator van wetenschappelijke output, maar wetenschappelijke kwaliteit hangt ook samen met methodologische grondigheid, originaliteit, empirische validiteit, originaliteit, en wetenschappelijke en maatschappelijke relevantie.

  • Als we te veel nadruk leggen op deze prestatie-indicatoren kan dat een negatieve invloed hebben op wetenschapsbeoefening en op de wetenschappelijke kwaliteit.

Literatuur

  1. Van der Wall EE. The NHJ 2012 in retrospect: which articles are cited most? Neth Heart J. 2012;20:481-2 Medline. doi:10.1007/s12471-012-0336-0

  2. DeMaria AN, Bax JJ, Feld GK, et al. Highlights of the year in JACC 2012. J Am Coll Cardiol. 2013;61:357-85 Medline. doi:10.1016/j.jacc.2012.12.002

  3. Lüscher TF, Gersh B, Hendricks G, Landmesser U, Ruschitzka F, Wijns W. The best of the European Heart Journal: look back with pride. Eur Heart J. 2012;33:1161-71 Medline. doi:10.1093/eurheartj/ehs098

  4. Bedeian AG, Van Fleet DD, Hyman HH. Scientific achievement and editorial-board membership. Organ Res Methods. 2009;12:238. doi: 10.1177/1094428107309312

  5. Bird SJ. Research ethics, research integrity and the responsible conduct of research. Sci Eng Ethics. 2006;12:412.

  6. Miller AN, Taylor SG, Bedeian AG. Publish or perish: academic life as management faculty live it. Career Dev Int. 2011;16:422-45. doi:10.1108/13620431111167751

  7. Gannon F. The impact of the impact factor. EMBO Rep. 2000;1:293. doi:10.1093/embo-reports/kvd081

  8. Hessels L.K. Science and the struggle for relevance [proefschrift]. Utrecht: Universiteit Utrecht; 2010.

  9. Retzer VJG. Towards objectivity in research evaluation using bibliometric indicators - A protocol for incorporating complexity. Basic Appl Ecol. 2009;10:393-400. doi:10.1016/j.baae.2008.09.001

  10. www.zonmw.nl/nl/programmas/programma-detail/top-subsidies/actueel/?tx_zonmwdata_pi1[mode]=1&tx_zonmwdata_pi1[tt_news]=1967&cHash=f3fce67976bd79a605e48ce2449e1f3c, geraadpleegd op 3 maart 2014.

  11. Fanelli D. Do pressures to publish increase scientists’ bias? An empirical support from US States Data. PLoS ONE. 2010;5:e10271 Medline. doi:10.1371/journal.pone.0010271

  12. Van Dalen HP, Henkens K. Intended and unintended consequences of a publish-or-perish culture: A worldwide survey. J Am Soc Inf Sci Technol. 2012;63:1282-93. doi:10.1002/asi.22636

  13. How science goes wrong. The Economist 19 oktober 2013.

  14. Garfield E. Citation indexes for science; a new dimension in documentation through association of ideas. Science. 1955;122:108-11 Medline. doi:10.1126/science.122.3159.108

  15. Moed H. Citation analysis in research evaluation. Springer; 2005.

  16. Van Eck NJ, Waltman L, van Raan AF, Klautz RJ, Peul WC. Citation analysis may severely underestimate the impact of clinical research as compared to basic research. PLoS ONE. 2013;8:e62395 Medline. doi:10.1371/journal.pone.0062395

  17. Van Noorden R. Brazilian citation scheme outed. Nature. 2013;500:510-1 Medline. doi:10.1038/500510a

  18. Hirsch JE. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci USA. 2005;102:16569-72 Medline. doi:10.1073/pnas.0507655102

  19. Tijdink JK, Vergouwen AC, Smulders YM. Publication Pressure and Burn Out among Dutch Medical Professors: A Nationwide Survey. PLoS ONE. 2013;8:e73381 Medline. doi:10.1371/journal.pone.0073381

  20. Opthof T, Wilde AAM. Bibliometric data in clinical cardiology revisited The case of 37 Dutch professors. Neth Heart J. 2011;19:246-55 Medline. doi:10.1007/s12471-011-0128-y

  21. Tijdink JK, Vergouwen AC, Smulders YM. De gelukkige wetenschapper. Ned Tijdschr Geneeskd. 2012;156:A5715 Medline.

  22. West CP, Tan AD, Habermann TM, Sloan JA, Shanafelt TD. Association of resident fatigue and distress with perceived medical errors. JAMA. 2009;302:1294-300 Medline. doi:10.1001/jama.2009.1389

  23. Calero Medina C, van Leeuwen TN. Seed journal citation network maps: A method based on network theory. JASIST. 2012;63:1226-34. doi:10.1002/asi.22631

  24. Neuhaus C, Daniel HD. A new reference standard for citation analysis in chemistry and related fields based on the sections of Chemical Abstracts. Scientometrics. 2009;78:219-29. doi:10.1007/s11192-007-2007-2

  25. Smolinsky L, Lercher A. Citation rates in mathematics: a study of variation by subdiscipline. Scientometrics. 2012;91:911-24. doi:10.1007/s11192-012-0647-3

  26. Waltman L, van Eck NJ, Wouters P. Counting publications and citations: Is more always better? J Informetrics. 2013;7:635-41. doi:10.1016/j.joi.2013.04.001

  27. Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ. 1997;314:498-502 Medline. doi:10.1136/bmj.314.7079.497

  28. Patsopoulos NA, Analatos AA, Ioannidis JP. Relative citation impact of various study designs in the health sciences. JAMA. 2005;293:2362-6 Medline. doi:10.1001/jama.293.19.2362

  29. Vandenbroucke JP. In defense of case reports and case series. Ann Intern Med. 2001;134:330-4 Medline. doi:10.7326/0003-4819-134-4-200102200-00017

  30. Anderson MS, Ronning EA, De VR, Martinson BC. The perverse effects of competition on scientists’ work and relationships. Sci Eng Ethics. 2007;13:437-61 Medline. doi:10.1007/s11948-007-9042-5

Auteursinformatie

VUmc, afd. Interne Geneeskunde, Amsterdam.

Drs. J.K. Tijdink (tevens: Tergooi, afd. Psychiatrie, Blaricum), psychiater; prof.dr. Y.M. Smulders, internist.

Universiteit van Leiden, Centrum voor Wetenschap en Technologie Studies (CWTS), Leiden.

Dr. S. de Rijcke, universitair docent; prof.dr. P. Wouters, hoogleraar scientometrie.

UMC Utrecht, afd. Psychiatrie, Utrecht.

Dr. C.H. Vinkers, psychiater.

Contact drs. J.K. Tijdink

Verantwoording

Belangenconflict: een formulier met belangenverklaring is beschikbaar bij dit artikel op www.ntvg.nl (zoeken op A7147; klik op ‘Belangenverstrengeling’). Financiële ondersteuning: drs. J. Tijdink ontving subsidie van ZonMw.
Aanvaard op 29 januari 2014

Auteur Belangenverstrengeling
Joeri K. Tijdink ICMJE-formulier
Sarah de Rijcke ICMJE-formulier
Christiaan H. Vinkers ICMJE-formulier
Yvo M. Smulders ICMJE-formulier
Paul Wouters ICMJE-formulier

Reacties