Fouten in literatuurverwijzingen in het Nederlands Tijdschrift voor Geneeskunde

Onderzoek
SJ.O. Hobma
A.J.P.M. Overbeke
Citeer dit artikel als: Ned Tijdschr Geneeskd. 1992;136:637-41
Abstract
Download PDF

Samenvatting

Bij het citeren uit de literatuur in wetenschappelijke artikelen wordt een aanzienlijk aantal fouten gemaakt, zowel wat de verwijzing als wat de inhoud betreft. Er werd een onderzoek verricht naar de kwaliteit van de literatuurverwijzingen in het Nederlands Tijdschrift voor Geneeskunde. Hiertoe werden aselect 100 verwijzingen uit ter publikatie aangeboden artikelen gecontroleerd met behulp van Index Medicus. Daarnaast werden de verwijzing en inhoud van 100 referenties bij gepubliceerde oorspronkelijke stukken (50 uit stukken met een literatuurlijst van 12 of minder, en 50 uit stukken met een lijst van 25 of meer artikelen) gecontroleerd aan de hand van het originele artikel.

Bij de aangeboden artikelen zaten in 70 van de verwijzingen één of meer fouten. Van de gepubliceerde verwijzingen was 31 niet geheel correct. Bij 5 werd het opzoeken van het artikel hierdoor bemoeilijkt. Bij 1 op de 3 artikelen was sprake van inhoudelijk onjuist citeren: 5 maal werd een kleine fout gevonden, 16 maal een enigszins misleidende fout en 12 maal werd de informatie niet gevonden of bleek deze wezenlijk te verschillen van die in het geciteerde artikel. Er was geen duidelijk verschil in aantal fouten bij de verschillende lengtes van de literatuurlijst. Bij 8 artikelen werd de originele bron niet geciteerd.

Het aantal fouten dat bij literatuurverwijzingen gemaakt wordt, zowel in de verwijzing als inhoudelijk, is groot; auteurs wordt daarom aangeraden zorgvuldiger te citeren. Met name het gebruik van meerdere verwijzingen na een zin met een reeks stellingen is een bron van fouten.

Inleiding

Inleiding

Literatuurverwijzingen zijn een wezenlijk onderdeel van wetenschappelijke artikelen. Ze geven een verantwoording voor de uitgangspunten van het onderzoek en bieden de lezer de mogelijkheid om een vergelijking te maken tussen de nieuwe gegevens en de eerdere resultaten van anderen. Ook is de literatuurlijst een hulpmiddel om snel meer literatuur over een onderwerp op te zoeken. Van een auteur mag dus verwacht worden dat hij nauwkeurig verwijst naar en citeert uit de literatuur. In de praktijk en uit gericht onderzoek naar de kwaliteit van referenties blijkt dat hierbij toch fouten gemaakt worden.

Een literatuurverwijzing moet aan 2 eisen voldoen: de referentie moet opgezocht kunnen worden en de inhoud moet juist zijn. Verder in dit artikel zullen wij deze aspecten als volgt onderscheiden: de ‘verwijzing’ is het deel uit de literatuurlijst dat het mogelijk maakt het geciteerde artikel op te zoeken, het ‘citaat’ is het deel uit de tekst waarin inhoudelijke informatie uit het aangehaalde artikel is gebruikt.

In de literatuur vonden wij 3 publikaties over onderzoeken waarin bij in totaal 12 tijdschriften beide aspecten van de literatuurreferentie waren onderzocht.1-3 Het aantal fouten verschilde sterk per tijdschrift. In één geval bleek meer dan de helft van de gecontroleerde verwijzingen een fout te bevatten.1 Bij een ander tijdschrift was bijna 1 op de 5 verwijzingen niet of moeilijk op te sporen.2 Ook de citaten bevatten een wisselend aantal inhoudelijke onjuistheden. Deze varieerden van een enkele kleine fout,2 tot ernstig misleidende fouten (34 van de citaten).1

Naar aanleiding van deze gegevens verrichtten wij een onderzoek naar de kwaliteit van de literatuurverwijzingen in dit tijdschrift. Doel was een indruk te krijgen van de nauwkeurigheid van de verwijzingen in de aangeboden en in de gepubliceerde artikelen. Tevens onderzochten wij de citaten en probeerden factoren te vinden die de kwaliteit hiervan konden beïnvloeden, zoals de lengte van de literatuurlijst.

Materiaal en methoden

Ter publikatie aangeboden artikelen

Uit artikelen aangeboden in een periode van 4 weken werden aselect 100 verwijzingen naar tijdschriften genomen. De juistheid van deze verwijzingen in het manuscript van de auteur werd gecontroleerd met behulp van Index Medicus. De zogeheten Vancouver-regels werden hierbij als uitgangspunt genomen. Deze worden wekelijks in verkorte vorm weergegeven in de omslag van het tijdschrift en een uitvoerige toelichting hierop is bij de redactie verkrijgbaar.4

Gepubliceerde artikelen

Van oorspronkelijke stukken van de jaargang 135 (1991) van het Nederlands Tijdschrift voor Geneeskunde werden 100 literatuurreferenties gecontroleerd. Om een indruk te krijgen van de invloed van de lengte van de literatuurlijst op de kwaliteit van de citaten werden deze ingedeeld in 2 groepen van 50 referenties. De eerste groep bestond uit 14 oorspronkelijke stukken met 12 of minder literatuurverwijzingen (groep met korte literatuurlijst). De andere groep bestond uit 10 oorspronkelijke stukken met 25 of meer literatuurverwijzingen (groep met lange literatuurlijst). Van al deze artikelen werden aselect niet meer dan 5 verwijzingen naar een tijdschrift genomen. (Om praktische redenen werden alleen verwijzingen naar tijdschriften gecontroleerd; boeken, monografieën, proefschriften en dergelijke zijn vaak moeilijk in handen te krijgen.)

Van iedere referentie werd het originele artikel gezocht. Vervolgens werd eerst de verwijzing gecontroleerd op juistheid en volledigheid wat betreft auteursnamen, titel, tijdschrift, jaargang, volumenummer en paginanummers. De resultaten werden ingedeeld volgens eerder in de literatuur gebruikte categorieën: ‘volledig correct’; ‘kleine fout’ (een fout in bijvoorbeeld de auteursnamen of typografische foutjes waardoor het opzoeken van een artikel niet wordt belemmerd); ‘grove fout’ (een fout of combinatie van fouten in de naam van de eerste auteur, de jaargang, het volumenummer of de paginanummering waardoor het opzoeken van het artikel wordt belemmerd of zelfs onmogelijk gemaakt).2 Bij de onjuiste verwijzingen werd gecontroleerd of deze te voorkomen waren geweest in het redactieproces met behulp van Index Medicus en het eigen register van het tijdschrift.

Vervolgens werd het citaat gecontroleerd. Ook de citaten werden ingedeeld volgens een eerder beschreven methode, namelijk met behulp van de volgende categorieën: ‘volledig correct’; ‘kleine fout’ (een fout waardoor de inhoud van de oorspronkelijke bron niet wordt aangetast); ‘enigszins misleidend’ (de inhoud van de bron wordt niet wezenlijk aangetast); ‘ernstig misleidend’ (de inhoud van de oorspronkelijke bron wordt wezenlijk aangetast of de gebruikte informatie is niet in de bron terug te vinden).2 Als een artikel meermalen foutief werd aangehaald, werd de ernstigste fout geteld. Als er bij een reeks van stellingen meerdere artikelen werden geciteerd en een deel van het beweerde niet in het onderzochte artikel werd genoemd, rekenden wij dit niet als fout, ervan uitgaand dat het betreffende deel waarschijnlijk uit een van de andere artikelen afkomstig was; wanneer in een dergelijk combinatiecitaat een deel inhoudelijk niet in overeenstemming was met het gecontroleerde artikel, werd dit als fout beschouwd. Ook werd gekeken of de gebruikte informatie oorspronkelijk afkomstig was uit het betreffende artikel dan wel een citaat was van een citaat.

Resultaten

Ter publikatie aangeboden artikelen

De fouten in de verwijzingen in deze artikelen zijn weergegeven in tabel 1. In totaal bevatten 70 van de 100 gecontroleerde verwijzingen een fout. Bij 8 verwijzingen maakten deze fouten het opzoeken van het betreffende artikel moeilijk (6 maal) of onmogelijk (2 maal), vaak door een combinatie van onjuistheden. Om een artikel te kunnen opzoeken zijn naast de naam van het tijdschrift in ieder geval jaartal, volume- en paginanummer nodig. In de gecontroleerde verwijzingen in nog niet gepubliceerde stukken zaten in deze laatste onderdelen 23 fouten. Als men zelf verder literatuur over een onderwerp wil zoeken in een ‘on-line’- of CD-ROM-systeem is het handig over auteursnamen te beschikken. Ook hierin worden veel fouten gemaakt, 41 in de 100 door ons gecontroleerde verwijzingen in manuscripten van auteurs.

Gepubliceerde artikelen

De resultaten van de controle van de verwijzingen in gepubliceerde artikelen zijn eveneens weergegeven in tabel 1. In totaal bevatten 31 verwijzingen een fout. De meest voorkomende onjuistheden in de verwijzingen waren kleine fouten in de titel, zoals: ‘speech perception threshold’ in plaats van ‘speech reception threshold’, ‘steamen-heated’ in plaats van ‘steam-treated’, ‘features of’ in plaats van ‘features in’ en onjuistheden in de interpunctie. In 26 verwijzingen werd een dergelijke kleine fout gevonden. In 5 verwijzingen zaten één of meer grove fouten die het verkrijgen van het artikel bemoeilijkten (4 maal) of onmogelijk maakten (1 maal). Dit laatste artikel kon niet worden opgespoord omdat de verwijzing niet voorzien was van juiste tijdschriftnaam, jaartal en paginanummering. Deze hoorden bij een ander artikel, dat eveneens in de literatuurlijst was opgenomen. Bij een ander artikel waren zowel de naam van de eerste auteur als het jaartal en volumenummer niet correct. Het betrof een casuïstische mededeling die in combinatie met een artikel uit British Medical Journal werd geciteerd. In dit artikel wordt deze mededeling ook aangehaald, met dezelfde fout in jaartal en volumenummer.

Van de 31 foute referenties waren 11 in het redactieproces niet te voorkomen geweest, omdat ze niet of fout in Index Medicus waren opgenomen.

De resultaten van het onderzoek naar de inhoudelijke juistheid van de citaten zijn weergegeven in tabel 2. Ter illustratie geven wij een aantal voorbeelden van diverse soorten fouten.

Kleine fouten in de inhoud waren onder andere:

– ‘Sedert 1987 is een in Göteborg ontwikkeld nieuw type beengeleider, (...) ter beschikking gekomen, (...).’ In het oorspronkelijke stuk staat dat deze beengeleider sinds 1977 wordt gebruikt.

-‘In de huisartsen-peilstations (...) werd (...) in 20 van de praktijken geen enkele hulpvraag over HIV en (of) AIDS geregistreerd. Gemiddeld waren er in de overige praktijken 3,5 consulten over HIV en (of) AIDS per jaar.’ Dit gemiddelde van 3,5 is van alle peilstations en niet van de resterende 80.

Voorbeelden van enigszins misleidende citaten zijn:

– ‘Het wordt steeds duidelijker dat de air-fluidised bedden de genezing van decubitus versnellen, zodat in bepaalde stadia van decubitus het niet toepassen van een dergelijk bed bijna niet meer te rechtvaardigen is.’ Het geciteerde artikel beschrijft een onderzoek naar het effect van dit soort bedden op het eiwitmetabolisme bij patiënten na een operatie en in de discussie wordt decubitus slechts zijdelings genoemd als een gebruikelijke indicatie voor toepassing van dit soort bedden. Een versnelde genezing wordt niet gemeld.

– ‘Er zijn aanwijzingen dat het aantal ongewild kinderloze vrouwen (...) aanzienlijk is toegenomen. Volgens het CBS was er geen toename in Nederland over de periode 1982-1988.’ Het geciteerde artikel gaat over het al dan niet gebruiken van bepaalde vormen van anticonceptie, en noemt een percentage van onvruchtbare vrouwen van wie een meerderheid wel één of meer kinderen heeft.

Voorbeelden van ernstig misleidende fouten zijn:

– ‘Anderen vonden eveneens dat (...) de vrije insulinespiegels, (...).’ In het geciteerde artikel zijn echter geen vrije insulinespiegels maar C-peptide-waarden gemeten.

– ‘Besmetting van runderen door een boer met urogenitale tuberculose die de gewoonte had om in de stal te urineren, is ook beschreven.’ Wellicht elders, maar niet in het aangehaalde artikel.

In een aantal van de geciteerde artikelen was niets van het citaat terug te vinden. Bij 4 van deze artikelen hadden wij sterk de indruk dat de oorzaak hiervan in een foute nummering van de artikelen in de tekst en (of) de literatuurlijst gezocht moest worden.

In totaal werd bij 8 citaten niet naar de originele bron, maar naar een citaat verwezen. De originele bron was 5 maal wel in de literatuurlijst opgenomen. Het originele artikel werd 3 maal elders in de tekst geciteerd, maar vanwege andere informatie; 2 maal werd zowel naar de originele tekst als naar het citaat verwezen.

Beschouwing

Zoals eerder gezegd moet een literatuurreferentie aan 2 eisen voldoen: ze moet inhoudelijkjuist zijn en het artikel moet zonder al te veel moeite kunnen worden opgezocht. Wat betreft het laatste blijkt dat een klein deel van de verwijzingen (5 ) naar tijdschriften in artikelen gepubliceerd in het Nederlands Tijdschrift voor Geneeskunde moeilijk vindbaar is. Dit percentage is vergelijkbaar met dat bij de grote Engelstalige algemene medische bladen (tabel 3) en onderscheidt zich gunstig van dat van een aantal gespecialiseerde tijdschriften.1-35-7 Toch is het aantal fouten nog te groot: eigenlijk zou iedere referentie vrij moeten zijn van fouten. Het aandeel van de referent en het redactieproces in de correctie van de literatuurlijsten is aanzienlijk, gezien het verschil in fouten in verwijzingen tussen de aangeboden artikelen (70) en de gepubliceerde oorspronkelijke stukken (31). Ook andere tijdschriften kennen het probleem van een dergelijk groot percentage fouten in de aangeboden artikelen.8

Hoe moeilijk het kan zijn een goede verwijzing te verzorgen met vreemde buitenlandse namen blijkt uit de volgende anekdote.9 Een in het Tsjechisch gepubliceerd artikel uit 1887 van de Praagse auteur J.Hlava kreeg, toen het voor de eerste maal door een buitenlander werd geciteerd, een deel van de titel (‘O úplavici’, hetgeen ‘over dysenterie’ betekent) als auteursnaam in de verwijzing. De schrijver van het artikel waarin deze verwijzing voorkwam, beweerde zelfs een briefwisseling met deze O.Uplavici over het onderwerp te hebben gevoerd. In 1910 werd het blijkbaar tijd voor promotie en een Amerikaanse bibliothecaris kende hem de doctorstitel toe. Pas in 1938 kon dr.O.Uplavici op 51-jarige leeftijd in de literatuur worden begraven, na talrijke malen geciteerd te zijn.9

Moeilijker te onderzoeken en in wetenschappelijk opzicht veel ernstiger is een inhoudelijk onjuist citaat. Bij de door ons gecontroleerde referenties in de oorspronkelijke stukken werd 1 op de 3 artikelen minstens 1 maal niet volledig juist geciteerd, en een aanzienlijk deel van deze onjuiste citaten was zelfs ernstig misleidend. In tabel 4 wordt een vergelijking met gegevens uit de literatuur gemaakt. Een veel voorkomende fout is dat de informatie niet in het aangehaalde artikel is terug te vinden. Slordigheid bij de nummering van de literatuurlijst was bij 4 van de 13 artikelen waarschijnlijk de oorzaak, in de overige gevallen was het citaat door de auteurs onvoldoende aan de originele bron gecontroleerd.

In de literatuur wordt in 1 onderzoek een, overigens niet geheel eenduidig, verband gevonden tussen de lengte van de literatuurlijst en het aantal citeerfouten.3 Wij konden dit verband niet duidelijk bevestigen. Bij vergelijking van de groepen met een verschillende literatuurlijstlengte valt op dat in de groep met korte literatuurlijst meer ernstig misleidende fouten werden gevonden. Dit is waarschijnlijk voor een deel het gevolg van slordige nummering van de geciteerde artikelen door 1 auteur. Wanneer deze fouten niet worden meegerekend is het aantal fouten in deze categorie vergelijkbaar voor beide lengtegroepen.

Het aantal enigszins misleidende citaten is in de groep met meer dan 25 verwijzingen duidelijk groter. Een oorzaak hiervan is mogelijk dat bij deze artikelen vaak meerdere stellingen in één zin vergezeld gaan van een aantal verwijzingen, waarbij niet meer duidelijk is welke informatie nu uit welke referentie komt. Een aantal malenwaren de resultaten van de aangehaalde onderzoeken tegenstrijdig. Het is aan te bevelen dergelijke citaten te splitsen, omdat de onderdelen dan voor de lezer beter te controleren en op te zoeken zijn.

Fouten kunnen in volgende artikelen gehandhaafd blijven doordat auteurs citaten van elkaar overnemen zonder het oorspronkelijke artikel zelf te lezen. Uit wetenschappelijk oogpunt is een dergelijke wijze van citeren verwerpelijk; de originele bron moet altijd worden gelezen. In de literatuur zijn ketens van foute verwijzingen bekend die sterk suggereren dat auteurs citaten gewoon van elkaar hebben overgenomen.9-11 Wij vonden ook een dergelijk voorbeeld: een verwijzing die uit British Medical Journal leek overgenomen, waarin een extra fout geïntroduceerd werd. Bij de controle van de citaten vonden wij 8 die niet uit de oorspronkelijke bron geciteerd waren, maar via een ‘tussenartikel’. Dit aantal is vergelijkbaar met het aantal dat bij andere algemene medische tijdschriften werd gevonden.2 Opvallend was dat 5 maal het originele artikel wel in de literatuurlijst was opgenomen. Dit artikel werd 3 maal elders in de tekst gebruikt. In 2 gevallen werd zowel het originele artikel als het citaat aangehaald. Dezelfde informatie werd dan dus 2 keer geciteerd. Gezien het aantal inhoudelijke fouten dat in de citaten wordt gemaakt, is het overnemen van literatuurreferenties van anderen een slechte methode van verwijzen.

Hoewel literatuurreferenties van essentieel belang zijn voor een wetenschappelijk artikel, blijkt uit ons onderzoek dat het aantal fouten in verwijzingen en citaten groot is. De auteur van een artikel kan zijn literatuurverwijzingen goed controleren en verbeteren. De redactie wordt echter geconfronteerd met slordig gestelde literatuurlijsten en het is zeer tijdrovend om deze bij het klaarmaken van artikelen voor publikatie op juistheid te controleren. Niettemin wordt hier door de meeste tijdschriften veel aandacht aan besteed; de redactie van New England Journal of Medicine heeft bijvoorbeeld 2 medewerkers met als dagtaak iedere verwijzing aan de oorspronkelijke bron te controleren. Bepaalde fouten die door ons werden gevonden, zijn bij de controle met Index Medicus die bij ons tijdschrift gebeurt, niet te voorkomen.

Inhoudelijke beoordeling van ieder citaat door redactie en referenten is niet altijd mogelijk. Bij de samenstelling van de literatuurlijst moet de meeste aandacht worden besteed aan de kwaliteit van de referenties en de relevantie van de genoemde artikelen. Een lange literatuurlijst is geen bewijs van eruditie of ijver. Bovendien moeten er zo mogelijk zowel referenties die de eigen resultaten ondersteunen als referenties die deze tegenspreken in verwerkt worden. Duidelijke voorbeelden van selectief, suggestief en onjuist citeren in een grote serie artikelen zijn te vinden in de literatuur over fenylpropanolamine.12

Uiteindelijk is de schrijver van een artikel degene die de verantwoordelijkheid heeft voor de literatuurverwijzing, net als voor de rest van zijn artikel. Auteurs dienen dan ook voordat zij hun kopij inzenden zorgvuldig de literatuurreferenties te controleren. De controlelijst die bij dit artikel is gevoegd kan hierbij misschien van dienst zijn (tabel 5). Deze controle betekent een extra investering in een stuk dat vaak al veel tijd en moeite heeft gekost, maar het komt de wetenschappelijke waarde van artikel en auteur ten goede.

De auteurs danken prof.dr.Chr.L.Rümke voor zijn adviezen bij de onderzoeksopzet en dr.H.C.Walvoort voor zijn kritische opmerkingen bij het manuscript.

Literatuur

  1. Evans JT, Nadjari HI, Burchell SA. Quotational andreference accuracy in surgical journals. A continuing peer review problem.JAMA 1990; 263: 1353-4.

  2. Lacey G de, Record C, Wade J. How accurate are quotationsand references in medical journals? Br Med J 1985; 291: 884-6.

  3. Eichorn P, Yankauer A. Do authors check their references?A survey of accuracy of references in three public health journals. Am JPublic Health 1987; 77: 1011-2.

  4. Anonymus. Literatuurverwijzingen. In: Uniformevoorschriften voor inzenders van manuscripten naar biomedische tijdschriften.Amsterdam: Nederlands Tijdschrift voor Geneeskunde, 1991: 10-3.

  5. Putterman C, Lossos IS. Author, verify your references!Or, the accuracy of references in Israeli medical journals. Isr J Med Sci1991; 27: 109-12.

  6. Lichter PR. Checking citations Ophthalmology 1989; 96:1131-2.

  7. Poyer RK. Inaccurate references in significant journals ofscience. Bull Med Libr Assoc 1979; 67: 396-8.

  8. Key JD, Roland CG. Reference accuracy in articles accentedfor publication in the Archives of Physical Medicine and Rehabilitation. ArchPhys Med Rehabil 1977; 58: 136-7.

  9. Dobell C. Dr O.Uplavici (1887-1938). Parasitology 1938;30: 239-41.

  10. Moed HF, Vriens M. Possible inaccuracies occurring incitation analysis. Journal of Information Science 1989; 15: 95-107.

  11. Broadus RN. An investigation of the validity ofbibliographic citations. Journal of the American Society for InformationScience 1983; 34: 132-5.

  12. Puder KS, Morgan JP. Persuading by citation: an analysisof the references of fifty-three published reports ofphenylpropanolamine's clinical toxicity. Clin Pharmacol Ther 1987; 42:1-9.

Auteursinformatie

Nederlands Tijdschrift voor Geneeskunde, Postbus 75971, 1070 AZ Amsterdam.

Sj.O.Hobma, arts-stagiair; dr.A.J.P.M.Overbeke, hoofdredacteur-secretaris.

Contact Sj.O.Hobma

Reacties