Effecten van artikelen gepubliceerd in het Nederlands Tijdschrift voor Geneeskunde

Inleiding

Zie ook de artikelen op bl. 1962 en 1969.

Van oorspronkelijke artikelen uit bepaalde tijdschriften kan een deel van de invloed in maat en getal worden gemeten met behulp van de ‘Science citation index’ (SCI), een populaire bibliometrische maat voor de zogenaamde impact van artikelen, tijdschriften en auteurs,1-3 waaraan echter nadelen kleven.45 De SCI meet uitsluitend de citatiefrequentie en gaat voorbij aan de vele andere effecten die een artikel kan hebben.6 Wij besloten daarom te onderzoeken welke andere effecten artikelen, gepubliceerd in het Nederlands Tijdschrift voor Geneeskunde (NTvG), teweegbrengen.

methoden

Enquête

De nummers 27-53 van de 138e jaargang (1994) van het NTvG werden bij het onderzoek betrokken; het onderzoek werd verricht in de 2e helft van 1995. De eerste auteurs van alle artikelen uit de rubrieken Klinische lessen (KL), Capita selecta (CS), Voor de praktijk (VP), Oorspronkelijke stukken (OS), Casuïstische mededelingen (CM) en Bijwerkingen van geneesmiddelen (BG) werden benaderd voor een schriftelijke enquête over de volgende mogelijke effecten van hun artikel: (a) persoonlijke reacties gericht aan de auteur, (b) uitnodigingen om een voordracht te houden of een artikel te schrijven, (c) het gebruik van gegevens uit het artikel door anderen, (d) het opzetten van vervolgonderzoek, (e) benadering door de pers, (f) verandering in het aantal verwijzingen van patiënten met relevante aandoeningen en (g) andere effecten. De auteur werd een kleine vergoeding als dank voor deelname in het vooruitzicht gesteld.

De auteurs werden benaderd via het correspondentieadres dat bij de publicatie stond aangegeven. Als dat niet de eerste auteur betrof, werd deze alsnog benaderd om aanvullingen te geven op de antwoorden van de correspondent. Auteurs die meerdere artikelen hadden geschreven, werden voor elk artikel apart benaderd. De uitkomsten werden steeds betrokken op het totale aantal artikelen, ongeacht het aantal bijbehorende auteurs.

Ingezonden brieven

Tot 9 maanden na de publicatie van het laatste artikel werden van eventuele ingezonden brieven aantal en aard bepaald.

Verwerking van de resultaten

Sommige artikelen waren reeds eerder in een ander tijdschrift verschenen, maar werden als reguliere dubbelpublicatie tevens in het NTvG gepubliceerd. Indien de auteurs in de enquête effecten vermeldden die (deels) door deze eerdere publicaties waren veroorzaakt, werden deze niet verwerkt in de analyse. Gebruik van gegevens uit het artikel of verwijzingen ernaar door de auteur zelf werden evenmin in de analyse meegenomen. Wanneer auteurs niet een exact aantal reacties aangaven, maar een spreidingsgebied, werd het gemiddelde van de uiterste waarden daarvan genomen.

resultaten

Het onderzoek omvatte 197 artikelen: 27 KL, 41 CS, 10 VP, 84 OS, 25 CM en 10 BG, geschreven door 185 verschillende eerste auteurs. Van in totaal 155 verschillende auteurs werden 167 enquêteformulieren ingevuld geretourneerd; een totale respons van 85, die varieerde van 70 in de rubriek BG tot 93 in de rubriek CS. Op 2 OS had de auteur geen reacties waargenomen door verblijf in het buitenland (deze 2 artikelen werden buiten beschouwing gelaten); er resteerden 165 artikelen (84 van het totaal van 197) van 153 verschillende auteurs (tabel 1). Hiervan waren 9 artikelen (OS; 5,5) reeds eerder in een Engelstalig tijdschrift gepubliceerd en 1 artikel (VP; 0,6) was reeds eerder in een Nederlandstalig specialistisch tijdschrift verschenen. Op 3 artikelen (alle OS) hadden de auteurs geen reacties gehad.

Persoonlijke reacties

Van 160 van de 165 artikelen (97) vermeldden de auteurs persoonlijk te zijn benaderd naar aanleiding van hun publicatie. Onder de 5 artikelen waarbij dit niet het geval was, bevond zich 1 CM waarvan de patiëntgeschiedenis ten tijde van de publicatie al bekend was door voorafgaande krantenberichten.

Op de 165 artikelen volgden in totaal 2923 reacties: gemiddeld 17,7 per artikel, waaronder 2,0 schriftelijke en 15,7 mondelinge (zie tabel 1). Het grootste aantal schriftelijke reacties per artikel werd gescoord in de rubriek VP: 8,2 per artikel, en het grootste aantal mondelinge bij de CS: 19,7 per artikel. Reacties waren vooral afkomstig van collegae uit de eigen werkkring (134 artikelen; 81) en van collegae daarbuiten, werkzaam binnen hetzelfde specialisme of vakgebied (124 artikelen; 75).

Op 90 artikelen (55) werd uitsluitend mondeling gereageerd, voornamelijk door collegae werkzaam binnen hetzelfde of een voor het artikel relevant ander vakgebied, zowel uit de eigen werkkring als van daarbuiten. Op 69 artikelen (42) werd zowel mondeling als schriftelijk gereageerd, waarbij de schriftelijke reacties vooral afkomstig waren van collegae uit hetzelfde vakgebied buiten de eigen werkkring. Op 1 artikel (0,6) werd uitsluitend schriftelijk gereageerd. Op 84 artikelen (51) volgden uitsluitend reacties van bekenden, op 1 (0,6) uitsluitend van onbekenden en op 75 (45) uit beide groepen.

De door de auteurs omschreven aard van de reacties vertoonde een grote variatie (tabel 2). Positieve reacties (waarbij het artikel goed, leuk of interessant werd gevonden of waarbij men instemde met de inhoud) waren veruit in de meerderheid: op 119 artikelen (72) werd positief gereageerd. Zoals tabel 2 laat zien, waren de reacties nogal divers. Zo werd bij 2 artikelen meerdere malen aan de auteur gemeld dat de medische lezer naar aanleiding van het artikel de desbetreffende diagnose bij zichzelf gesteld had. Een negatief effect was het ontslag van de auteur door de werkgever op wiens afdeling het onderzoek verricht was, nadat de resultaten die ten nadele van de afdeling uitpakten, waren gepubliceerd.

Uitnodigingen om een voordracht te houden of een artikel te schrijven naar aanleiding van de publicatie

Van 66 artikelen (40) werd de eerste auteur uitgenodigd een voordracht te houden. Voor de afzonderlijke rubrieken kwamen de percentages hiermee overeen, behalve voor de rubriek BG, waar slechts op 1 artikel (14) een uitnodiging voor een voordracht volgde. Deze voordrachten werden met name gehouden op specialistenverenigingsdagen, plaatselijke specialistenbijeenkomsten en nascholingscursussen voor huisartsen en specialisten. Naar aanleiding van 27 artikelen (16) werd de auteur uitgenodigd een artikel in een ander tijdschrift te schrijven. Bij de rubriek VP lag dit percentage beduidend hoger dan in de andere rubrieken (4 artikelen; 44). De uitnodigingen waren met name afkomstig van redacteuren van gespecialiseerde medische en paramedische tijdschriften.

Gebruik van gegevens uit het artikel door anderen

Van 62 artikelen (38), waaronder 6 VP (67), meldde de auteur dat gegevens waren gebruikt door anderen tijdens voordrachten, congressen en colleges en in studiemateriaal, referaten en artikelen. Voordrachten en studiemateriaal scoorden daarbij het hoogst (respectievelijk 24 artikelen (15) waaronder 15 OS (22) en 28 artikelen (17) waaronder 5 KL (22) en 2 VP (22)).

(Vervolg)onderzoek mede naar aanleiding van de publicatie

Bij 54 artikelen (33) was de publicatie mede aanleiding tot het opzetten van (vervolg)onderzoek. Dit kwam met name voor bij OS (33 artikelen; 49) en CS (12 artikelen; 32). Meestal betrof het een vervolgonderzoek van dezelfde patiëntenpopulatie of een uitbreiding van het onderzoek, over het algemeen mede uitgevoerd door de auteur.

Benadering door de pers

Naar aanleiding van 23 artikelen (14) werd de auteur benaderd door de pers. Het betrof in ongeveer de helft van de gevallen de landelijke kranten en in kleinere percentages achtereenvolgens landelijke televisieprogramma's, regionale en landelijke radio en het Algemeen Nederlands Persbureau (ANP); 1 maal ging het om een journalist uit het buitenland. De rubriek BG scoorde hierbij met 3 artikelen (43) het hoogst. Van 4 artikelen vermeldde de auteur dat er buiten zijn of haar medeweten om een persbericht tot stand was gekomen en van 6 artikelen liet de auteur weten dat hij of zij direct door de pers benaderd was naar aanleiding van de publicatie in het NTvG; bij 5 artikelen had de auteur zelf contact gezocht met de pers. De auteur van een VP over door de bliksem getroffen patiënten had in de periode voorafgaand aan de publicatie reeds overleg gepleegd met zowel het NTvG als een landelijke krant. Gezamenlijk werd besloten gelijktijdig een publicatie en een krantenbericht over dit onderwerp te laten verschijnen. De auteur ontving hierna enorm veel reacties, waarbij patiënten en hun familieleden voornamelijk reageerden naar aanleiding van het krantenbericht en collegae naar aanleiding van de publicatie in het NTvG. Deze combinatie van publicatie en krantenbericht leidde tot een grote stroom van nieuwe ‘bliksempatiënten’ naar zijn kliniek. Bij de overige artikelen die hadden geleid tot contacten met de pers kon de auteur niet duidelijk aangeven hoe deze totstandgekomen waren, verliep het contact via het hoofd van de afdeling of instelling of vond benadering door de pers plaats naar aanleiding van een zonder de auteur totstandgekomen ANP-bericht.

Invloed van het artikel op het aantal relevante patiëntverwijzingen

Van 36 (22) van de artikelen vermeldde de auteur van mening te zijn dat de publicatie van invloed was geweest op het aantal relevante patiëntverwijzingen naar de eigen kliniek. Vooral de VP en de KL scoorden hierbij hoog (respectievelijk 4 (44) en 7 (30) artikelen). Voorzover dit in getallen was aan te geven, meldde men het frequentst een verdubbeling van de verwijzingen en minder frequent toenamen variërend van 25 tot 400. In minder dan een kwart van de gevallen bestond de invloed uit eerdere consultaties door andere specialisten en ‘second opinions’. De auteur van een CS over de behandeling van distale arteriële vaatafwijkingen vermeldde dat het aantal onnodige verwijzingen was afgenomen.

Andere effecten

Van 48 artikelen (29) vermeldde de auteur een overig effect van de publicatie. Deze effecten waren zeer verschillend van aard (tabel 3). Een auteur van een CM vermeldde dat zijn publicatie over de door een zeehondenbeet veroorzaakte spekvinger mede had gezorgd voor de totstandkoming van een strak bijtwondenprotocol voor de medewerkers in de zeehondencrèche te Pieterburen, dat tevens werd overgenomen door het ziekenhuis in Harderwijk in verband met de opvang van patiënten met in het dolfinarium veroorzaakte bijtwonden. Verder had dit er volgens de auteur toe geleid dat sindsdien geen gevorderd stadium van spekvinger meer was gesignaleerd. Bij een andere CM schreef de auteur dat zijn publicatie medeoorzaak was van een onderzoek door de Algemene Inspectiedienst van het ministerie van Landbouw en Visserij naar de inofficiële handel in gestorven wild in een bepaalde regio. De auteur van een KL over anogenitale klachten en wel of geen seksueel misbruik bij kinderen vermeldde dat zijn artikel 2 maal werd gebruikt bij een juridische procedure over vermoedens van seksueel misbruik. De auteur van een KL over parvovirus B19 als veroorzaker van artritis schreef dat hij een duidelijke toename van het aantal aanvragen betreffende parvovirusdiagnostiek constateerde.

Ingezonden brieven

Op 40 (20) van de 197 in het onderzoek betrokken artikelen werd gereageerd in de vorm van in totaal 50 eerste ingezonden brieven (10 maal 2 per artikel) en 1 vervolgbrief aan het Tijdschrift. Er was geen noemenswaardig verschil in percentage tussen de artikelen waarbij wel (33 van de 167 artikelen, 20) en niet (7 van de 30 artikelen, 23) een enquêteformulier was geretourneerd. De meeste brieven werden geschreven naar aanleiding van een KL (9 KL; 33). Brieven waarin enige kanttekeningen en/of aanvullende opmerkingen werden gemaakt waren veruit in de meerderheid; van zulke brieven was sprake bij 28 artikelen (14).

beschouwing

Bij 97 van de in het NTvG gepubliceerde artikelen werden de auteurs persoonlijk benaderd naar aanleiding van hun publicatie; gemiddeld hadden zij per artikel 2,0 schriftelijke en 15,7 mondelinge reacties ontvangen. Het onderzoek betrof 165/197 artikelen (84), een percentage dat groot genoeg is voor een representatieve afspiegeling van het totale aantal artikelen uit de 2e helft van de 138e jaargang.

Het percentage ingezonden brieven naar aanleiding van artikelen van non-respondenten kwam overeen met het percentage brieven betreffende artikelen van respondenten, waaruit blijkt dat de respondenten niet bij uitstek de auteurs met veel reacties waren. Inherent aan de onderzoeksmethode van het enquêteren van auteurs is het subjectieve karakter van de verkregen resultaten. Wij hebben geprobeerd dit te minimaliseren door de auteurs zo nauwkeurig mogelijk naar effecten te vragen, hen deze te laten omschrijven en hen zo mogelijk relevant materiaal mee te laten sturen (resultaten niet weergegeven).

Het bereik van de artikelen ging tot ver buiten de eigen werkkring, gezien onder meer reagerende farmaceuten, patiënten en ‘personen uit de politiek’. Vooral de rubriek VP leverde veel schriftelijke reacties op, waaruit het belang van deze rubriek blijkt voor uitwisseling van gedachten en gegevens over klinische onderwerpen.

Van de artikelen leidde 40 tot een uitnodiging voor het houden van een voordracht en 16 tot een uitnodiging voor het schrijven van een artikel; bij 38 werden gegevens uit het artikel gebruikt door anderen (vooral de VP scoorden hoog op het laatstgenoemde punt). Bijna 50 van de OS en ruim 30 van de CS leidde tot het opzetten van (vervolg)onderzoek naar aanleiding van de publicatie. Bij bijna 15 van de artikelen werd de auteur benaderd door de pers. Dit was bij 43 van de BG-bijdragen het geval, een teken van het belang dat de lekenpers hecht aan bijwerkingen van geneesmiddelen.

Veel artikelen leidden tot meer verwijzingen van patiënten naar de kliniek van de desbetreffende auteurs. In de rubrieken VP en KL was dit percentage respectievelijk 44 en 30. Eén van de artikelen had geleid tot selectievere verwijzingen.

Ingezonden brieven werden met name geschreven naar aanleiding van KL; op eenderde van de artikelen uit deze rubriek volgde een ingezonden brief. Hieruit blijkt de belangrijke rol die deze rubriek speelt ten aanzien van discussie binnen de lezerspopulatie van het Tijdschrift.

Het zou prachtig zijn als men het belang van een wetenschappelijke publicatie in een objectief cijfer zou kunnen uitdrukken, want dat maakt het eenvoudig om publicaties onderling te vergelijken. De SCI geeft zo'n cijfer. In het enthousiasme daarover vergeet men veelal de vraag te stellen of de SCI wel iets relevants meet. Eigenlijk meet de SCI namelijk niet meer dan het citatiegedrag van de wetenschappelijke gemeenschap: leidt een artikel tot citaties ervan in andere artikelen? Dat citatiegedrag zegt weinig over de invloed van een artikel op klinisch handelen, onderzoek of onderwijs, want dat leidt niet tot nieuwe citaties. Dat soort relevante effecten laat zich helaas minder makkelijk in een cijfer vastleggen. De resultaten van ons onderzoek van publicaties in het NTvG laten zien dat die relevante effecten op de klinische praktijk en op onderzoek en onderwijs wel degelijk bestaan.

conclusie

Artikelen in het NTvG brengen vele reacties teweeg in de medische gemeenschap in Nederland. Ze beïnvloeden de klinische praktijk en het klinisch-wetenschappelijk onderzoek en onderwijs op een relevante manier; ze bereiken ook vaak de lekenpers. Vrijwel alle artikelen hadden een of meer van deze effecten.