De betekenis van ingezonden brieven in het Nederlands Tijdschrift voor Geneeskunde, 1997/'98
Open

Onderzoek
18-03-2001
S. Mahesh, M. Kabos, H.C. Walvoort en A.J.P.M. Overbeke

Doel.

Beoordelen of in ingezonden brieven in het Nederlands Tijdschrift voor Geneeskunde (NTvG) belangrijke wetenschappelijke kritiek op gepubliceerde artikelen wordt geformuleerd.

Opzet.

Descriptief, retrospectief bibliometrisch onderzoek.

Methode.

De in de periode 5 juli 1997-27 juni 1998 in het NTvG gepubliceerde brieven (n = 196) werden beoordeeld op 10 kenmerken en ingedeeld in 3 categorieën ten opzichte van het gepubliceerde artikel: ‘mee eens’, ‘niet mee eens’ (kritiek op methode of resultaten of interpretatie, of ongemotiveerde kritiek) en ‘politieke reactie’. Vervolgens werd gekeken aan welk soort gepubliceerd artikel de brief refereerde en hoeveel brieven er op hetzelfde artikel betrekking hadden. Afzonderlijk beschouwd werden 22 ingezonden brieven uit de periode oktober-december 1998 die betrekking hadden op artikelen waarvan de originele ‘peer review’-rapporten nog aanwezig waren.

Resultaten.

In 115 (58,7) ingezonden brieven waren de schrijvers het eens met de auteurs. Bijna 40 (77) van de 196 brieven was te beschouwen als wetenschappelijke discussie over het betreffende onderwerp. De meeste reacties betroffen oorspronkelijke stukken en klinische lessen (25 en 19,4). In 8/196 (4,1) van de ingezonden brieven werden fouten in artikelen gesignaleerd; 6 van deze reacties leidden tot het publiceren van een verbetering (op 3 artikelen). Er werd geen kritiek gegeven die tot afwijzen van het betreffende artikel zou hebben geleid als deze vóór publicatie bekend was geweest. Uit de brieven over artikelen waarvan de peer-reviewrapporten nog beschikbaar waren, kwam geen kritiek naar voren die de peer-reviewers hadden gemist.

Conclusie.

Van de ingezonden brieven in het NTvG betrof 4,1 wetenschappelijke kritiek die tot wijziging van het artikel geleid zou kunnen hebben als deze in de fase vóór aanvaarding bekend zou zijn geweest.

Inleiding

De voornaamste functie van een wetenschappelijk tijdschrift is de resultaten van wetenschappelijk onderzoek te verspreiden en de mogelijkheid te bieden deze te bediscussiëren. Een medisch tijdschrift als het Nederlands Tijdschrift voor Geneeskunde (NTvG) moet daarom een correspondentierubriek hebben die openstaat voor vragen over en commentaar of kritiek op gepubliceerde artikelen.1 Auteurs moeten hierop in dezelfde rubriek kunnen reageren.

Vóór publicatie heeft al discussie over het artikel plaatsgevonden in het zogenaamde ‘peer review’-proces, de standaardtoetsingsmethode voor de selectie en de beoordeling van aangeboden manuscripten.2 De onderzoeksbevindingen worden pas voor publicatie aanvaard wanneer ze daarbij gunstig zijn beoordeeld.3 4 Peer review is afgelopen met de aanvaarding en publicatie van het artikel. Tekortkomingen kunnen na publicatie alleen nog aan het licht komen in ingezonden brieven of in een volgend artikel.

In 1904 introduceerde de toenmalige hoofdredacteur Burger van het NTvG de gewoonte om in elke redactievergadering de ingezonden brieven te behandelen die sedert de vorige vergadering in het Tijdschrift waren verschenen.5 Bij ons rees de vraag: uit wat voor reacties bestaat de rubriek? Een tweede vraag was: wijst gegronde kritiek in ingezonden brieven op omissies of zelfs essentiële fouten in het beoordelingsproces voor publicatie? Aan de reacties zou men kunnen aflezen of de peer review goed gefunctioneerd heeft. Ze vertegenwoordigen als het ware een post-peer-reviewproces. De brieven zelf worden altijd geplaatst als ze ter zake zijn, maar worden niet onderworpen aan peer review; wel ondergaan ze (tekstuele) redactionele bewerking.

Om de betekenis van ingezonden brieven in het NTvG vast te stellen, onderzochten wij retrospectief alle brieven van een jaar.

methode

De gepubliceerde ingezonden brieven in het NTvG met een verschijningsdatum in de periode 5 juli 1997-27 juni 1998 waren onderwerp van het onderzoek. Onafhankelijk van elkaar beoordeelden 3 van de auteurs (S.M., H.C.W. en A.J.P.M.O.) aan de hand van een lijst met in totaal 10 beoordelingselementen alle 196 brieven en vervolgens deelden zij die in 3 hoofdcategorieën in ten opzichte van het gepubliceerde artikel: ‘mee eens’, ‘niet mee eens’ en ‘politieke reactie’ (tabel 1). De categorie ‘mee eens’ werd onderverdeeld in ‘enkele opmerkingen’, ‘nadere verklaring van de resultaten’ en ‘aanvullende suggesties en vragen’. De categorie ‘niet mee eens’ werd onderverdeeld in ‘kritiek op de methode’, ‘wijzen op andere resultaten’, ‘geven van een andere interpretatie van de resultaten, schrijven dat niet genoeg onderzoek werd gedaan en dat daarom een verkeerde conclusie werd getrokken’ en ‘geen expliciete motivatie’. Deze indeling van de categorie ‘niet mee eens’ werd geacht de zwaarte van de kritiek te weerspiegelen: kritiek op de gebruikte methode kan op een tekortkoming in de onderzoeksopzet wijzen; het wijzen op andere resultaten en het geven van een andere interpretatie zijn minder wezenlijke vormen van kritiek op het onderzoek.

Om te toetsen in hoeverre de beoordelaars de brieven in dezelfde categorieën hadden ingedeeld, vergeleken wij de resultaten onderling. Bij verschil van mening werd de brief in onderling overleg opnieuw ingedeeld. Achteraf werd de indeling gecontroleerd door de tweede auteur (M.K.). Tevens werd gekeken aan welke rubriek de brief refereerde (zie tabel 1) en of er meerdere brieven waren die op hetzelfde artikel betrekking hadden.

Wanneer in ingezonden brieven essentiële inhoudelijke fouten in gepubliceerde stukken worden geconstateerd, is het te verwachten dat deze kritiek leidt tot een zogenaamde verbetering. Daarom gingen wij ook na of de brieven tot het afdrukken van een verbetering hadden geleid. Ook onderzochten wij hoe vaak de auteurs op een ingezonden brief reageerden.

Brieven met beschikbare peer-reviewrapporten.

Afzonderlijk werden brieven bekeken uit de periode 1 oktober-31 december 1998. Over deze periode waren de peer-reviewrapporten bij de originele artikelen waarop de briefschrijvers reageerden nog beschikbaar (bij het NTvG wordt alle correspondentie 13 weken na publicatie van het artikel vernietigd). Daardoor konden wij 22 brieven vergelijken met de originele kritiek van de referenten en nagaan of er in de brieven iets essentieels vermeld werd wat in het peer-reviewproces over het hoofd gezien was.

resultaten

In tabel 1 zijn de reacties in categorieën ingedeeld. Van veel brieven (tussen de beoordelaars variërend van 20 tot 40) lag de categorie niet meteen voor de hand, bijvoorbeeld omdat per brief meerdere elementen werden genoemd. In onderling overleg kozen de beoordelaars voor het belangrijkste element en daarmee voor de categorie. De grootste groep bestond uit reacties die ingedeeld waren in de categorie ‘mee eens’ (115; 58,7): 56 (28,6) met aanvullende suggesties, 50 (25,5) met enkele opmerkingen en 9 (4,6) met een nadere verklaring. In de categorie ‘niet mee eens’ vielen 77 brieven (39,3): 4 (2) met kritiek op de methode, 36 (18,4) met andere resultaten, eveneens 36 (18,4) met een andere interpretatie en 1 (0,5) zonder motivering. Tenslotte waren er 4 ‘politieke reacties’ (2).

Ter verduidelijking wordt in tabel 2 een aantal beknopte beschrijvingen gegeven van brieven uit enkele categorieën ‘niet mee eens’.

Aantal reacties per rubriek en per artikel.

De meeste reacties golden een oorspronkelijk stuk (49; 25) of een klinische les (38; 19,4) (zie tabel 1). Een overzicht van het aantal reacties per artikel is te vinden in tabel 3.

Antwoorden van auteurs.

Van de 196 brieven waren er 30 (15,3) niet voorzien van een reactie van de oorspronkelijke auteurs; in 7 gevallen ging het om brieven die vielen in de categorie ‘niet mee eens’ (/77; 9,1).

Gepubliceerde verbeteringen.

Bij 6 van de 196 brieven (3,1) werd naar aanleiding van een ingezonden brief een verbetering op een artikel geplaatst. In 2 brieven ging het om de naam van een plant (sleutel- dan wel teunisbloem). Eén brief betrof de verwisseling van maag en long in een figuurbijschrift; deze fout was ontstaan tijdens de redactionele bewerking, buiten referenten om. Tenslotte wezen schrijvers van 3 brieven op een fout opschrift in een tabel over delier bij geriatrische patiënten.

Twee brieven wezen op een fout in referenties: de ene betrof een artikel over preventieve geneeskunde waarin een bewering over prenatale echografie ondersteund werd met een referentie over ijzersuppletie (1997:2470); de andere betrof een meningsverschil over het percentage recidieven na plastisch-chirurgische behandeling van lichen sclerosus dat genoemd zou worden in een als referentie opgegeven leerboek (1997:1583). Geen van beide brieven leidde tot een verbetering.

Brieven met beschikbare peer-reviewrapporten.

In dit vergelijkend onderzoek kwam geen kritiek naar voren die door de peer-reviewers gemist was.

beschouwing

In totaal bleken in bijna 60 van de 196 ingezonden brieven in de onderzochte periode de briefschrijvers het eens te zijn met het stuk waarop zij reageerden. In de meeste van de bijna 40 brieven waarvan de schrijvers het niet eens waren met het originele artikel ging het om kritiek op de gevonden resultaten (36; 18,4) en op de interpretatie ervan (36; 18,4); geen zaken die de redactie of haar referenten in de beoordelingsfase recht hadden moeten zetten, maar zaken die behoren tot de normale gang van het wetenschappelijk debat (zie tabel 2).

Deze bevindingen betekenen overigens niet dat de categorie ‘mee eens’ wetenschappelijk of klinisch niet van belang zou zijn; in deze brieven kunnen waardevolle aanvullingen (bijvoorbeeld suggesties voor verder onderzoek) gegeven worden of nuttige klinische suggesties gedaan worden (bijvoorbeeld voor een betere behandeling). Bovendien kan een lichte nuancering of een benadering uit een andere invalshoek (of een ander specialisme) verhelderend werken. Ook brieven uit de categorie ‘politieke reactie’ waren soms opmerkelijk: zo moesten de auteurs van een casuïstische mededeling over hidradenitis suppurativa toegeven dat een door hen beschreven behandeling niet door henzelf werd verricht (in het artikel suggereerden zij dat wel; in een onderschrift wijst de hoofdredactie auteurs op hun verantwoordelijkheid in dezen).6

Post-peer-reviewproces.

In enkele brieven (8/196; 4,1) kwam kritiek op de artikelen naar voren die, was ze vóór aanvaarding bekend geweest, bij de beoordeling voor publicatie zou zijn meegewogen of die zou hebben geleid tot een vraag aan de auteurs om correctie van hun manuscript. Het ging om foute onderschriften bij figuren, onjuiste opschriften bij tabellen en verkeerd aangehaalde gegevens uit literatuurreferenties. Mede naar aanleiding van de fouten in radiologische figuurbijschriften wordt nu aan auteurs expliciet gevraagd de figuren met onderschriften aan een radioloog voor te leggen.7 Er werd in de brieven geen kritiek gegeven die tot afwijzing van het artikel zou hebben geleid als deze vóór aanvaarding bekend was geweest.

Onderwerpen van ingezonden brieven.

Uit lezersonderzoek is bekend dat ‘Klinische lessen’ de best gelezen rubriek van het Tijdschrift vormen.8 Oorspronkelijke stukken trekken de aandacht doordat er nieuwe bevindingen uit wetenschappelijke onderzoeken in worden gerapporteerd. Uit onze resultaten blijkt dat de schrijvers van ingezonden brieven vooral op bijdragen in deze twee rubrieken reageerden.

Uit het grote aantal reacties op de combinatie over chronische-vermoeidheidsyndroom, die zich vooral richtten op de klinische les, kunnen wij concluderen dat een onderwerp waarover de medische meningsvorming nog niet definitief is, veel discussie uitlokt. Hieruit blijkt duidelijk de wetenschappelijke waarde van de rubriek ‘Ingezonden’. Ook de opmerkingen over het onderzoek naar het vóórkomen van kanker rond Schiphol (2 in de onderzochte periode) en de discussie over richtlijnen voor de behandeling van thuis opgelopen pneumonie (zie tabel 3) illustreren dit. Overigens kunnen ingezonden brieven die aan het begin en aan het einde van de bestudeerde periode gepubliceerd werden, deel uitmaken van meerdere reacties die buiten deze periode vielen; daarnaar verrichtten wij geen verder onderzoek.

Bij een globale inventarisatie van de jaargangen 1986-1999 van het NTvG werd het hiervoor geschetste beeld bevestigd. Zo bleken verschillen in inzicht over antibioticabeleid en over toepassing van nieuwe diagnostische of therapeutische technieken (is het EEG diagnostisch van minder belang geworden door de beschikbaarheid van MRI en CT?) te leiden tot veel brieven. Ook controversiële onderwerpen (alternatieve geneeswijzen) zijn goed voor veel brieven, evenals medisch-ethische vragen (mag een aidstest worden afgenomen zonder toestemming van de patiënt?). De meeste reacties (namelijk 16) kregen de auteurs van een klinische les over abstinerend chirurgisch beleid bij een pasgeborene met Down-syndroom en darmatresie (1988:1913-7). Hieruit blijkt dat de rubriek niet alleen van belang is voor de wetenschappelijke meningsvorming, maar ook in bredere zin als discussieplatform fungeert voor klinische geneeskunde.

Antwoord van de auteurs.

Het staat de auteurs van artikelen vrij om al dan niet in te gaan op kritiek. Een klein aantal auteurs van bekritiseerde artikelen (de categorie ‘niet mee eens’) reageerde niet op de kritiek (7/77; 9,1). Vanuit het oogpunt van wetenschappelijke discussie is dit spijtig, daar de in de brief aangevoerde bezwaren dan niet weerlegd of onderschreven worden. De redactie van het NTvG komt alleen in actie wanneer er in de ingezonden brief aperte onjuistheden gesignaleerd worden die om een zogenoemde verbetering vragen.

Bij veel medische tijdschriften bestaat thans de mogelijkheid via elektronische post te reageren op artikelen (ook bij het NTvG is dit mogelijk). Bij het Medical Journal of Australia heeft men getracht na de afronding van de peer-reviewfase, maar voor de publicatie nog een commentaarmogelijkheid te bieden, door geselecteerde manuscripten mét peer-reviewrapporten te publiceren op het internet.9 Geïnteresseerden konden dan per e-mail reageren. Dit onderzoek had vooral ten doel het peer-reviewproces transparanter en inzichtelijker te maken. Uit de 52 ontvangen reacties (van 42 lezers), met betrekking tot 28 van de 56 op internet gepubliceerde artikelen, bleek dat slechts in een beperkt aantal gevallen de referenten iets over het hoofd gezien hadden: in 7 van de 56 artikelen (12,5) brachten de auteurs een ondergeschikte wijziging aan op grond van het ontvangen commentaar. Dat is dus iets meer dan de 4,1 (potentiële) wijzigingen (8/196) die wij tegenkwamen.

conclusie

In bijna 60 van de ingezonden brieven uit het onderzochte jaar waren de briefschrijvers het eens met de auteurs van de originele artikelen. De bijna 40 brieven waarvan de schrijvers het niet eens waren met de auteurs, viel onder de noemer van wetenschappelijke discussie; een gering aantal (4,1) hiervan betrof inhoudelijke kritiek op de originele artikelen, hetgeen werd weerspiegeld in een zeer gering aantal geplaatste verbeteringen. Deze kleine groep zou men als ‘post-peer-review’ kunnen aanmerken; de betreffende opmerkingen zouden in een eerdere fase tot herziening van het artikel geleid kunnen hebben.

Literatuur

  1. International committee of medical journal editors.Uniform requirements for manuscripts submitted to biomedical journals. AnnIntern Med 1997;126:36-47.

  2. Jong BCH de, Overbeke AJPM. Peer review: iséénoog koning? NedTijdschr Geneeskd 1993;137:17-21.

  3. Hanzlick R. Peer review of expert testimony. J Med AssocGa 1990;79:319-22.

  4. Gold JA, Zaremski MJ, Lev ER, Shefrin DH. Daubert vMerrell Dow. The Supreme Court tackles scientific evidence in the courtroom.JAMA 1993;270:2964-7.

  5. Delprat CC. De geschiedenis van de eerste 50 jaren van hetNederlandsch Tijdschrift voor Geneeskunde (1857-1907). Haarlem: Bohn;1932.

  6. De Hoofdredactie. Hidradenitis suppurativaingezonden. NedTijdschr Geneeskd 1997;141:2364.

  7. Auteurs blijven verantwoordelijk, ook voor radiologischeafbeeldingen bij hun artikel. NedTijdschr Geneeskd 1999;143:500-1.

  8. Lagerwij EW. De lezers van het Nederlands Tijdschrift voorGeneeskunde. Ned Tijdschr Geneeskd1993;137:402-4.

  9. Bingham CM, Higgins G, Coleman R, Weyden MB van der. TheMedical Journal of Australia Internet peer-review study. Lancet1998;352:441-5.