Toename van het aantal Nederlandse systematische reviews in de periode 1991-2000

Inleiding

De systematische review (SR) is in korte tijd uitgegroeid tot een veelvoorkomende onderzoeksmethode in de wetenschappelijke literatuur. Daarnaast worden sinds 1992 SR's gemaakt in internationaal samenwerkingsverband door review-groepen voor de Cochrane Collaboration.1 Ook in dit tijdschrift verschijnen geregeld SR's en werd uitgebreid aandacht geschonken aan de specifieke methoden.2

In een SR worden onderzoeken betreffende een expliciete klinische vraagstelling volgens een systematische methode bij elkaar gebracht. Zo mogelijk worden de resultaten van afzonderlijke onderzoeken statistisch gecombineerd (‘gepoold’). Een SR van meerdere gerandomiseerde klinische trials (RCT's) wordt in de hiërarchie van klinisch bewijs op de hoogste plaats gezet.3

Een SR geeft op het moment van publicatie over een onderwerp valide en reproduceerbaar de stand van zaken weer. In principe zouden andere auteurs na verschijning ervan in hun referenties dan ook gebruik kunnen maken van het SR in plaats van eerder gepubliceerde oorspronkelijke artikelen. Er is ons geen overzicht bekend van op welke schaal SR's geschreven en gelezen worden en in hoeverre de aanbevelingen erin de weg naar de praktijk vinden. Met andere woorden: de draagwijdte of impact van SR's is onbekend. Het doel van ons onderzoek was om meer inzicht te krijgen in de opkomst en de impact van SR's die in Nederland geschreven zijn.

Of en hoe impact te meten is, kan lang bediscussieerd worden. Enig houvast om de wetenschappelijke draagwijdte van een artikel te kunnen kwantificeren is de citatiescore, het aantal malen dat een artikel geciteerd wordt in volgende artikelen in een bepaalde tijd. Deze score wordt bijgehouden in de ‘Science citation index’ van het Amerikaanse Institute of Scientific Information (ISI).

Een andere bruikbare maat voor de draagwijdte is de zogenaamde impactfactor van het tijdschrift van publicatie. Een hoge impactfactor geeft in feite aan dat artikelen uit dat tijdschrift gemiddeld met hoge frequentie geciteerd worden. Plaatsing in een blad met een hoge impactfactor geeft aan dat een artikel door de redacteuren van het betreffende blad belangwekkend gevonden wordt. Citatiescores en impactfactoren zijn veelgebruikte parameters voor bibliometrisch onderzoek naar wetenschappelijke productiviteit.4

De SR lijkt aan populariteit te winnen, maar onbekend is in hoeverre deze een plek binnen de internationale literatuur verovert. Nederlandse artsen en onderzoekers zijn internationaal georiënteerd en leveren een substantiële bijdrage aan de internationale wetenschappelijke productie.5 Daarom leek het ons nuttig te inventariseren hoe vaak er in Nederland SR's geschreven worden en hoe vaak dat een Cochrane-review betreft. Op deze wijze verwachtten wij de internationale opkomst van Nederlandse SR's en het gebruik hiervan in kaart te kunnen krijgen. Ook wilden wij eventuele verschillen tussen Cochrane- en niet-Cochrane-reviews van Nederlandse bodem bepalen. Uit eerder onderzoek bleek dat Cochrane-reviews uit 1995 vaker het aantal opgenomen artikelen en het gebruik van kwaliteitscriteria rapporteerden dan niet-Cochrane-reviews uit hetzelfde jaar.6

methoden

Zoekstrategie

In Medline (via Pubmed) en EMBASE-Excerpta Medica werd systematisch gezocht naar SR's uit de periode 1991-2000 waarvan de eerste auteur in Nederland werkzaam is.7 Dit werd gedaan door op land en op de plaatsnamen van de 8 medische faculteiten te zoeken. Ook werden de Engelse termen voor ‘ziekenhuis’ en ‘universiteit’ toegevoegd aan het zoekfilter. Het geheel werd aangevuld met een lijst van Nederlandse systematische reviews in de Cochrane Library, die beschikbaar werd gesteld door het Dutch Cochrane Centre te Amsterdam. De Cochrane-reviews worden niet in gedrukte vorm verspreid.

Beoordeling en inclusie

Het resultaat van de zoekstrategie was een lijst van 856 artikelen, grotendeels met samenvatting en auteursgegevens. De samenvattingen werden door 2 afzonderlijke beoordelaars (K.P.G. en W.J.J.A. of een van de 2 personen die in de verantwoordingsnoot aan het eind van dit artikel worden genoemd) aan de hand van een protocol doorgewerkt. Van alle eerste auteurs werd nagegaan of zij in een Nederlands instituut werkzaam waren en daarnaast of de inhoud van het artikel medisch was. Ook werd gekeken of de auteurs een systematische zoekactie hadden verricht bij het zoeken van oorspronkelijke stukken, die alle domeinen van de klinische epidemiologie, dus niet alleen therapie (RCT's) betroffen. Als minimumeis voor een systematische zoekactie werd gesteld dat er in tenminste één bibliografische databasezoekmachine (zoals Medline of EMBASE) gezocht was. Bij het lezen van de samenvattingen werd beoordeeld of het daadwerkelijk om een SR ging. Als een samenvatting onvoldoende aanwijzingen gaf, werd het betreffende artikel zelf geraadpleegd en beoordeeld om dit definitief te kunnen in- of excluderen.

Kenmerken

Van de gevonden SR's werd vervolgens naar een aantal kenmerken gekeken: de taal (om praktische redenen werden alleen Engels- en Nederlandstalige publicaties geïncludeerd), het jaartal van publicatie en het ‘domein’ van het SR (therapie, diagnostiek et cetera). Ook het werkadres, dan wel correspondentieadres van de eerste auteur werd genoteerd. De kwaliteit van de gevonden SR's werd niet beoordeeld, omdat dit niet binnen de primaire vraagstelling van ons onderzoek viel.

Op ‘ISI web of science’ (www.isinet.com/isi/products/citation/wos/index.html) werd gekeken naar de impactfactor van het tijdschrift van publicatie (lijst van het jaar 2000) en het aantal malen dat het artikel was geciteerd (peildatum 9 mei 2002). Ook het aantal oorspronkelijke stukken dat in het SR was opgenomen, legden wij vast.

resultaten

Op basis van de 856 samenvattingen werden in totaal 289 artikelen gevonden die voldeden aan de inclusiecriteria. Van deze verschenen er 36 (12) in de Cochrane Library en 253 (88) in gedrukte tijdschriften; 276 (96) van de artikelen waren Engelstalig, 13 (4) Nederlandstalig.

Het aantal SR's nam in de afgelopen 10 jaar exponentieel toe (figuur). Verder bleek uit de inventarisatie van het adres van de eerste auteur dat SR's uit heel Nederland afkomstig waren: alle medische faculteiten leverden SR's. In 34 gevallen (12) was de eerste auteur werkzaam in een algemeen ziekenhuis of niet-universitair onderzoeksinstituut (tabel 1). Veelal waren één of meer van de coauteurs van deze SR's wel aan een medische faculteit of academisch ziekenhuis verbonden of was de vorige werkplek van de eerste auteur aan een universiteit of academisch ziekenhuis.

SR's waren dikwijls gericht op therapeutische interventies, maar konden ook andere aspecten onderzoeken. De SR's uit gedrukte tijdschriften betroffen in 56 van de gevallen een therapeutisch onderwerp, maar ook andere domeinen stonden centraal, zoals diagnostiek of etiologie (tabel 2). De Cochrane-reviews waren alle gericht op een therapeutische interventie, hetgeen voortkomt uit de doelstelling van de organisatie.

Het aantal oorspronkelijke stukken dat opgenomen was in een SR liep uiteen. Gemiddeld werden 26 (mediaan 16) artikelen opgenomen in de uiteindelijke synthese van het bewijs, hetgeen op een narratieve of semi-kwantitatieve manier kon, maar meestal op een formele statistisch-kwantitatieve manier gebeurde (meta-analyse of pooling). Onze rapportage betrof niet het totaal aantal artikelen in de literatuurlijsten, maar alleen de artikelen die voor de feitelijke meta-analyse waren gebruikt. In Cochrane-reviews werden statistisch significant minder artikelen opgenomen dan in niet-Cochrane-reviews (tabel 3).

Gegevens over de impact van Cochrane-reviews waren niet voorhanden, omdat het ISI hier nog geen citatiescores en impactfactoren van bijhoudt. De SR's uit tijdschriften werden gemiddeld 24,9 keer aangehaald (uitersten: 0-345; mediaan: 12,5).

Uit onze gegevens bleek dat SR's verschenen in uiteenlopende tijdschriften. De impactfactor van de tijdschriften varieerde van 0,339 tot 10,893. De gemiddelde impactfactor van het tijdschrift van verschijnen was 3,26 (mediaan: 2,59). Van de SR's verscheen 4 in een tijdschrift met een impactfactor > 10 en 18 in een tijdschrift met een impactfactor > 5.

beschouwing

Uit ons onderzoek bleek dat over de bestudeerde periode de systematische review als publicatievorm in de Nederlandse medische wetenschap exponentieel aan populariteit had gewonnen en haar plaats in de vakliteratuur had verworven. Auteurs waren verspreid over zowel academische als niet-academische ziekenhuizen en naar onze indruk over alle vakgebieden. Dit lijkt een weerspiegeling van de behoefte om steeds meer op gepubliceerde wetenschap gebaseerd (evidence-based) te handelen in de gezondheidszorg.

Het is moeilijk om op basis van dit onderzoek uitspraken te doen over de impact van de SR's, afgemeten aan citatiescores en impactfactoren. In eerste instantie was het de bedoeling om gegevens te verkrijgen uit de oorspronkelijke artikelen die opgenomen waren in de literatuurlijsten van de SR's. Dit leverde echter geen bruikbaar vergelijkingsmateriaal op, omdat de impactgegevens van het ISI hoofdzakelijk gebaseerd zijn op (veelgelezen) bronnen in de Engelstalige literatuur. SR's herbergen echter ook gegevens uit niet-Engelstalige tijdschriften en ongepubliceerde studies, zodat dit potentieel vergelijkingsmateriaal te veel hiaten vertoonde.8 Exclusie van tijdschriften die niet in de ISI-lijst staan, geeft een bias op zowel positieve bevindingen (referentie- en publicatiebias) als taal (zogenaamde ‘toren van Babel’-bias).9 Overigens wordt door sommigen getwijfeld over de invloed van deze laatste vorm van bias bij het maken van SR's.10 Wij zagen echter verder af van bibliografisch onderzoek naar oorspronkelijke stukken.

Met een mediane impactfactor van 2,59 (gemiddeld 3,26) lijken de SR's vooralsnog vergelijkbaar met een gemiddeld tot bovengemiddeld artikel. Over het aantal malen dat een artikel geciteerd werd, is geen vergelijkingsmateriaal voorhanden, hetgeen interpretatie van onze gegevens moeilijk maakt.

In dit onderzoek werd specifiek gekeken naar Nederlandse auteurs. Het was onze aanname dat auteurs uit Nederland representatief zijn voor auteurs die in de internationale literatuur publiceren en niet verschillen van hun collegae uit andere landen. Wel dient opgemerkt te worden dat Nederland, gezien het lage inwonersaantal, een relatief grote bijdrage levert aan de wetenschappelijke literatuur.11 In Current Contents verschijnen wekelijks circa 180 publicaties met Nederlandse inbreng (eigen waarneming). Overigens keken wij uit praktische overwegingen alleen naar de eerste auteur, hetgeen niet inhoudt dat de auteurs op een andere plaats in de auteurslijst geen substantiële bijdrage kunnen leveren.

Het is goed om stil te staan bij de vraag wat nu eigenlijk een SR genoemd mag worden. De definitie die voor dit onderzoek werd gehanteerd, gaat uit van minimaal één systematische zoekactie in de internationale literatuur aan de hand van een zoekmachine. SR's of meta-analysen-in-engere-zin van een aantal artikelen, zonder een onderliggende systematische zoekactie of van alleen eigen werk, hoorden daar niet bij, ook al kunnen de gegevens in dergelijke artikelen op zich interessant zijn. Beoordeling van de methodologische kwaliteit van de opgenomen oorspronkelijke studies was geen vereiste voor inclusie in ons onderzoek. In sommige artikelen werd er geen melding van gemaakt, in andere werd aan de hand van strikte criteria afgesproken waar de oorspronkelijke artikelen aan moesten voldoen en werd vooraf een ‘minimale score’ afgesproken om inclusie te rechtvaardigen. Er is nog onvoldoende consensus met welke criteria kwaliteit beoordeeld moet worden en hoe een kwaliteitsbeoordeling in een statistische pooling verdisconteerd moet worden.12

Uit eerder aangehaald onderzoek bleek dat Cochrane-reviews uit 1995 wat betreft het beschrijven van de in- en exclusiecriteria en de kwaliteitsbeoordeling van de trials beter waren dan niet-Cochrane-reviews.6 De auteurs vonden ook dat er minder trials opgenomen werden in Cochrane-reviews dan in andere SR's. Ons onderzoek over een ruimere tijdspanne, maar een beperkter gebied van productie (namelijk Nederland) bevestigt dit.

Het kleinere aantal artikelen dat opgenomen werd in Cochrane-reviews kan op een aantal manieren worden verklaard. Allereerst gaan Cochrane-reviews uit van een duidelijk geformuleerde klinische vraagstelling (‘focussed clinical question’). In de SR's die in gedrukte tijdschriften verschenen, ontbrak die focus soms. Verder is het mogelijk dat in Cochrane-reviews relatief meer artikelen van mindere kwaliteit (met name niet-gerandomiseerde studies) werden uitgesloten. Cochrane-reviews gaan alleen uit van studies met de hoogste mate van bewijskracht. Volgens de werkwijze van de Cochrane Collaboration wordt er streng gekeken naar de kwaliteit van de artikelen voor meta-analyse. De werkwijze van de Cochrane-reviewgroepen om eerst een ‘peer-reviewed’ protocol vast te stellen, voordat begonnen wordt met de zoekactie, bevestigt dit. Ook zou hier een soort publicatiebias kunnen bestaan: voor opname in de Cochrane Library is omvang geen bepalende waarde. Er verschijnen immers ook SR's in de Cochrane Library waarbij na een uitgebreide zoekactie slechts enkele studies of soms zelfs geen enkel oorspronkelijk stuk kon worden opgenomen. In algemene tijdschriften, waar de nieuwswaarde niet onbelangrijk is, hebben dit soort artikelen met een beperkte doelgroep wellicht minder kans gepubliceerd te worden.

Toch kunnen er ook nog andere redenen zijn voor de verschillen tussen de SR's onderling. SR's zijn op zich ook weer een vorm van empirisch onderzoek, waarbij de methoden, subjectieve keuzen daarin en de interpretatie van de resultaten aan variatie onderhevig zijn. Illustratief is de recente discussie rond bevolkingsonderzoek naar borstkanker. Hierbij spreken SR's elkaar tegen, omdat er verschillende afwegingen zijn gemaakt over de vraag welke artikelen te includeren.13-15

In ons onderzoek was aan de hand van abstracts niet altijd op te maken of het ging om een statistische pooling (meta-analyse), een klassieke review (overzichtsartikel) of een SR in bredere zin. De term ‘meta-analyse’ werd door de oorspronkelijke auteurs soms erg ruim geïnterpreteerd. Zelfs bij het lezen van het volledige artikel waren de exacte methoden vaak nog onduidelijk. Het is daarom belangrijk dat zowel auteurs als redacties van wetenschappelijke tijdschriften gebruikmaken van richtlijnen voor heldere rapportage van SR's. De internationaal overeengekomen regels van de ‘Quality of reporting of meta-analyses’(QUOROM)-conferentie kunnen hiervoor als uitgangspunt dienen.16 Dit zal de kwaliteit en daarmee de betrouwbaarheid en tenslotte de bruikbaarheid van de SR ten goede komen.

Dr.R.J.P.M.Scholten, arts-epidemioloog, en prof.dr.M.Offringa, kinderarts-epidemioloog, beiden verbonden aan het Dutch Cochrane Centre, Academisch Medisch Centrum Amsterdam, stelden gegevens beschikbaar over Nederlandse Cochrane-reviews en waren medebeoordelaars van samenvattingen.

Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld.