De praktijk van systematische reviews. VIII. Zoeken en beoordelen van systematische reviews

Klinische praktijk
W.J.J. Assendelft
R.J.P.M. Scholten
J.L. Hoving
M. Offringa
L.M. Bouter
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2001;145:1625-31
Abstract
Download PDF

Samenvatting

- In een systematische review (SR) wordt de beschikbare informatie uit de oorspronkelijke onderzoeken op een transparante, valide en reproduceerbare wijze gezocht, geselecteerd, geëxtraheerd, beoordeeld en samengevoegd. SR's zijn daardoor een efficiënte en betrouwbare informatiebron voor de clinicus, beleidsmaker en onderzoeker.

- SR's kunnen in diverse bronnen worden geïdentificeerd. De zoekstrategie wordt bepaald door de mate van volledigheid die wordt nagestreefd, de beschikbaarheid van diverse bronnen en de behoefte aan toegevoegd commentaar op de SR door een referent. Voor het zoeken van SR's in Medline bestaat een sensitief zoekfilter.

- In een SR dient te worden uitgegaan van een nauwkeurig geformuleerde klinische vraagstelling, die aan de hand van de gegevens uit de onderzoeken ook daadwerkelijk wordt beantwoord.

- De kwaliteit van SR's kan sterk verschillen en dient zorgvuldig te worden beoordeeld. Bij deze beoordeling dient aandacht te worden besteed aan: vraagstelling, zoekactie, selectie van onderzoeken, kwaliteitsbeoordeling, data-extractie en -presentatie, het (statistisch) combineren van gegevens, statistische en klinische heterogeniteit, resultaten en conclusie. Er zijn meerdere beoordelingslijsten beschikbaar.

- Verschillen in conclusies tussen SR's over hetzelfde onderwerp zijn op systematische manier te analyseren en vaak op te lossen.

Een systematische review (SR) berust op drie pijlers: een expliciete zoekstrategie, een beoordeling van de kwaliteit van de erin opgenomen onderzoeken en een transparante presentatie van de resultaten. In het afgelopen decennium is de aard van een overzichtsartikel ingrijpend gewijzigd. De plaats van verhalende reviews is ingenomen door SR's. De voordelen van een SR zijn evident: het proces is transparant, volledig en reproduceerbaar.1 Naast een kwalitatieve samenvatting kan een kwantitatieve samenvatting (statistische pooling of meta-analyse) onderdeel zijn van een SR. Het kwantitatief combineren van data uit verschillende onderzoeken vergroot de onderzoekspopulatie en zo ook de mogelijkheid om tot een nauwkeurige effectschatting te komen en om op statistische gronden subgroepen die gevoeliger zijn voor de interventie te kunnen identificeren.2 Omdat de SR op valide manier de resultaten uit verschillende onderzoeken samenvat wordt deze, indien het een review van gerandomiseerde klinische trials (RCT's) betreft, in de hiërarchie van klinisch bewijs op de hoogste plaats gezet (http://cebm.jr2.ox.ac.uk/docs/levels.html). SR’s van niet-gerandomiseerde cohort- en van case-controleonderzoeken bevinden zich op een lager niveau van bewijs. Men dient zich echter te realiseren dat voor veel onderwerpen en interventies RCT's simpelweg ontbreken of onmogelijk zijn.3 Daarnaast zijn ook SR's gevoelig voor bias, zelfs als deze op RCT's zijn gebaseerd.4

Het is voor de clinicus, beleidsmaker en onderzoeker belangrijk SR's te kunnen zoeken en de methodologische kwaliteit ervan te kunnen beoordelen. Om reden van overzichtelijkheid bespreken wij hier alleen de SR van RCT's, al zijn veel van de aanbevelingen ook op SR's van niet-RCT's van toepassing.

zoeken van systematische reviews

Er zijn verschillende manieren om naar SR's te zoeken (tabel 1).5-7 De volgende aspecten zijn bij het zoeken van belang: (a) de beschikbaarheid van bronnen; (b) de mate waarin volledigheid van de bron (zoveel mogelijk SR's) wordt nagestreefd; (c) de behoefte aan een begeleidend commentaar op of interpretatie van een SR door een referent.

Een zoekactie in een elektronische database, zoals Medline of Embase, wordt aangeraden indien aan de hand van een klinische vraag zo uitgebreid mogelijk naar SR's moet worden gezocht. Voor het zoeken in een elektronische database is enige ervaring vereist. Voor het identificeren van SR's kan een zoekfilter worden gebruikt (tabel 2).7 Medline is via het internet gratis te raadplegen, voor toegang tot Embase moet altijd individueel of collectief (bijvoorbeeld door de bibliotheek) worden betaald. Het tijdschriftenbestand dat door Embase wordt gedekt, is voor een substantieel deel complementair aan Medline, onder andere doordat Embase meer op farmacotherapie is gericht en ook meer Europees georiënteerd is.8 Afhankelijk van het onderwerp is de mate van overlap in geïdentificeerde onderzoeken 10 tot 75. Een uitgebreide systematische zoekactie behoort derhalve tenminste beide databases te beslaan.9

Ook mag een zoekactie in de Cochrane Database of Systematic Reviews niet ontbreken.1 10 Bij Cochrane-reviews is er een aantal kwaliteitswaarborgen:11 een protocol dat voor het uitvoeren van de eigenlijke review wordt onderworpen aan beoordeling binnen de eigen reviewgroep (Collaborative Review Group), zorg vanuit diverse subgroepen binnen de Cochrane Collaboration om te waarborgen dat de review aan kwaliteitseisen van diverse eindgebruikers voldoet, regelmatige actualisering en een commentaarpagina met opmerkingen of kritiek bij de review zelf. Cochrane-reviews worden momenteel gezien als de beste samenvatting van het beschikbare klinische bewijs (‘best evidence available’). De betere methodologische kwaliteit ten opzichte van niet-Cochrane-reviews is aangetoond.12 Sinds kort zijn Cochrane-reviews ook in Medline geïndexeerd,13 zodat ze ook bij een zoekactie in Medline tevoorschijn komen. Het gratis op internet te gebruiken evidence-based zoekprogramma Sum Search zoekt naar SR's in Medline, maar ook in de Cochrane Database of Systematic Reviews. Sum Search vergt minder zoekervaring dan Medline, maar is minder geschikt voor meer toegespitste zoekvragen.

Indien er behoefte is aan een toelichting op de SR, kan gezocht worden in de Database of Abstracts of Reviews of Effectiveness (DARE), het leerboek Clinical evidence en het tijdschrift Best Evidence.6 In DARE worden reviews die aan strenge criteria voldoen, samengevat en van commentaar voorzien. In Clinical evidence wordt van groot aantal patiëntgeoriënteerde vragen het beschikbare bewijs (vaak in de vorm van SR's) voor de clinicus geordend en besproken.14 In Best Evidence worden recentelijk verschenen hoogwaardige publicaties (waaronder steeds meer SR's) door experts samengevat en van commentaar voorzien.

Tenslotte verschijnen SR's natuurlijk als afzonderlijke publicatie in medische tijdschriften. Inhoudsopgaven van beschikbare tijdschriften zijn echter de minst efficiënte manier om naar SR's te zoeken. Bij een gerichte klinische vraag wordt daarom aangeraden om in een elektronische database, bijvoorbeeld Medline, te zoeken en vervolgens de SR's in de betreffende tijdschriften op te zoeken.

opbouw van een kwalitatief goede systematische review

Voor de beoordeling van de methodologische kwaliteit van een SR is het belangrijk alle relevante stappen te begrijpen. De verschillende onderdelen van een SR zijn al eerder in deze reeks in het Nederlands Tijdschrift voor Geneeskunde beschreven.9 15-17 Deze stappen worden voor de lezer van SR's hier samengevat en van praktische adviezen voorzien.

Vraagstelling

Een SR dient uit te gaan van een expliciete klinische vraagstelling. De noodzakelijke ingrediënten van een dergelijke vraag zijn: de patiëntencategorie, de interventie, de controle-interventie, de uitkomst en eventueel ook de gewenste follow-upduur. Vaak wordt het Engelse acroniem ‘PICO’ gebruikt, dat staat voor: ‘patients, intervention, control, outcome’. Een voorbeeld van een vraagstelling is: wat is bij patiënten met acute, subacute en chronische tenniselleboog (‘patients’) de effectiviteit, uitgedrukt in mate van ervaren herstel (‘outcome’), van corticosteroïdinjecties (‘intervention’) ten opzichte van placebo of afwachtend beleid (‘control’)?18 Bij deze vraag is gekozen voor globaal herstel als uitkomst en bijvoorbeeld niet voor pijn, hoewel deze uitkomst ook in een SR had kunnen worden opgenomen.

Zoekactie

Op basis van de vraagstelling dient op gestructureerde wijze in de internationale literatuur te zijn gezocht. Een minimumvereiste hiervoor is een zoekactie in de elektronische databases Medline en Embase, het Cochrane Controlled Trial-register (waarin meer dan 250.000 referenties van trials) en controle van de referenties van de verzamelde artikelen. Optionele aanvullende zoekacties zijn: het raadplegen van (gespecialiseerde) trialregisters en gedrukte indexen, het aanschrijven van experts en fabrikanten en het handmatig doorzoeken van tijdschriften.9

Selectie

De selectie van de in de SR te includeren artikelen dient bij voorkeur door twee reviewers aan de hand van expliciete in- en exclusiecriteria onafhankelijk van elkaar te zijn geschied.9 In veel reviews wordt de inclusie beperkt tot publicaties in de talen die de reviewers zelf machtig zijn (meestal het Engels). De kwaliteit van niet-Engelstalige RCT's blijkt echter niet van die van Engelstalige te verschillen, maar de uitkomsten wel: uit verschillende onderzoeken is namelijk gebleken dat de uitkomst van een SR kan afhangen van beperkingen in taal (de zogenoemde ‘Tower of Babel bias’).9 SR's met taalrestricties worden derhalve als minder valide beschouwd. Ook het in SR's wel of niet opnemen van ongepubliceerde RCT's kan tot verschil in de uitkomst leiden. Uit onderzoek blijkt namelijk dat in het publicatieproces selectie kan optreden, die leidt tot zogenoemde publicatiebias. De interpretatie van gegevens van ongepubliceerde onderzoeken is niet eenvoudig, met name door het ontbreken van peer review als kwaliteitscontrole. Vooralsnog lijkt de aantrekkelijkste oplossing om wel naar ongepubliceerd materiaal te zoeken en vervolgens een sensitiviteitsanalyse met en zonder de ongepubliceerde gegevens uit te voeren (zie verder). Indien de uitkomsten van deze twee analysen aanzienlijk verschillen, is voorzichtigheid in de interpretatie van de review geboden.

Kwaliteitsbeoordeling

De validiteit van de aanbevelingen in een SR hangt sterk af van de kwaliteit van de oorspronkelijke RCT's.15 Er is een veelheid aan kwaliteitsbeoordelingslijsten beschikbaar.19 Slechts van een klein aantal interne validiteitsitems is in empirisch onderzoek een vertekenende invloed (‘bias’) aangetoond: blindering van de randomisatie en blindering van patiënten en behandelaars.15 Een in de SR gebruikte kwaliteitsbeoordelingslijst dient dus tenminste deze items te bevatten. Van de overige items, zoals mate van uitval, is overigens nooit overtuigend aangetoond dat ze geen vertekenende invloed hebben. Net als de selectie dient de kwaliteitsbeoordeling in de SR door twee reviewers onafhankelijk van elkaar te zijn uitgevoerd. De resultaten worden vervolgens besproken en er wordt tot consensus gekomen.

Data-extractie en -presentatie

In een SR dienen de gegevens die direct bij de vraagstelling aansluiten op eenduidige wijze te worden gepresenteerd. De gegevens uit de oorspronkelijke RCT's worden in een voor alle RCT's identieke maat uitgedrukt. In een SR wordt dus geen genoegen genomen met de mededeling dat een gevonden verschil in een RCT al dan niet statistisch significant is. Voor dichotome uitkomstmaten (bijvoorbeeld wel/niet genezen) wordt de samenhang uitgedrukt in de oddsratio (OR), het relatieve risico (RR) of het risicoverschil (RV) met het bijbehorende 95-betrouwbaarheidsinterval (95-BI), voor continue variabelen (bijvoorbeeld opnameduur in dagen) in een al dan niet gestandaardiseerde verschilscore met 95-BI. Ook de data-extractie dient bij voorkeur door twee reviewers onafhankelijk van elkaar te geschieden.

Combineren van resultaten

In de meta-analyse of de statistische pooling worden de gegevens die voor een systematische review zijn vergaard statistisch samengevoegd om te komen tot een schatting van het in deze onderzoeken bestudeerde effect, in combinatie met de analyse van de invloed van verschillen tussen de onderzoeken op deze schatting.16 Voor het combineren van effectschattingen (‘pooling’) zijn diverse statistische technieken beschikbaar.

Met statistische pooling wordt dus een schatting van het effect van een interventie verkregen die gebaseerd is op het grootst mogelijke aantal patiënten, waardoor een maximale precisie verkregen wordt (smalle betrouwbaarheidsintervallen), zodat ook kleine effecten gedetecteerd kunnen worden. Figuur 1 is een voorbeeld van een meta-analyse naar de effectiviteit van calciumantagonisten versus placebo bij subarachnoïdale bloeding, met ongunstige afloop (invaliditeit of overlijden) na 6 maanden als uitkomst.20

Pooling is het meest in het oog springende, maar tegelijkertijd ook een veelvuldig verkeerd begrepen en misbruikt onderdeel van de systematische review. Net als bij de analyse van data binnen een RCT zullen statistische softwarepakketten braaf hun werk doen indien de gegevens per onderzoek worden ingevoerd. Voorwaarde voor pooling is echter dat de onderzoeken zowel klinisch als statistisch voldoende gelijk (homogeen) zijn om bij elkaar gevoegd te mogen worden.17 De inschatting van statistische homogeniteit kan gebeuren met formele statistische toetsing of op het gevoel.17 De beoordeling van klinische homogeniteit, waarbij de vraag is of de patiënten, interventies en uitkomstmaten voldoende overeenkomen om te mogen worden samengevoegd, is bij uitstek een zaak voor de clinicus. Voor het beoordelen van de klinische relevantie van de patiëntenpopulatie, interventies en effectmaten zijn helaas nog geen goede beoordelingslijsten beschikbaar.

Heterogeniteit

Indien de resultaten van de verschillende onderzoeken (sterk) uiteenlopen, spreekt men van heterogeniteit.17 Heterogeniteit kan berusten op een ongelukkige keuze van het type associatiemaat (de heterogeniteit bestaat bijvoorbeeld wel wanneer de resultaten worden uitgedrukt in het RV, maar niet wanneer uitgedrukt in het RR), verschillen in methodologische kwaliteit tussen onderzoeken of daadwerkelijke verschillen in effectiviteit tussen onderzoeken. Een visuele inspectie van de mate van overlap van de betrouwbaarheidsintervallen van de effectschattingen in de afzonderlijke onderzoeken is de beste manier om heterogeniteit tussen onderzoeken te onderzoeken. Door toepassing van het zogenoemde ‘random effects’-model voor pooling kan heterogeniteit tussen onderzoeken verdisconteerd worden (figuur 2). 2 17 Het random-effectsmodel levert bij heterogeniteit bredere betrouwbaarheidsintervallen op en is derhalve conservatiever (levert minder snel significante resultaten) dan het ‘fixed-effects’-model.

Wanneer er heterogeniteit bestaat tussen onderzoeken in een SR, is verdere analyse van mogelijke bronnen daarvan (subgroepanalyse) geïndiceerd. Dergelijke subgroepanalysen dienen te worden gebaseerd op een aan de SR voorafgaand analyseplan, om ‘visexpedities’ naar homogene groepen van patiënten of onderzoeken en het daarmee samenhangende risico op fout-positieve bevindingen te voorkomen.21

Sensitiviteitsanalysen

Na de berekening van een totaaleffect wordt soms nagegaan hoe gevoelig de uitkomst is voor veranderingen in de insluitcriteria voor de meta-analyse of wordt nagegaan of er verschil is tussen RCT's van hoge en van lage kwaliteit.21 Dit is echter geen ‘verplicht’ onderdeel van een SR. Als de waarde van de gepoolde schatting hierdoor sterk verandert, dan dient het resultaat met grote voorzichtigheid geïnterpreteerd te worden.

beoordelingslijst voor systematische reviews

Het aantal SR's in de internationale literatuur stijgt exponentieel. Echter, de uitkomsten van een SR zijn pas valide en toepasbaar in de praktijk indien de vraagstelling voldoende aansluit bij de vraagstelling in de klinische praktijk, de methoden aansluiten bij de vraagstelling, en als de methodologische kwaliteit van de SR voldoende is. Er bestaat een veelheid aan beoordelingslijsten voor systematische reviews, die soms alle en soms enkele van de voornoemde aspecten van validiteit en toepasbaarheid bevatten. Shea et al. identificeerden 23 lijsten.22 De mate van overlap in items is groot. Slechts van een lijst23 is de validiteit en reproduceerbaarheid onderzocht.23-25 Onlangs zijn er in de vorm van het QUOROM-statement (van ‘quality of reports of meta-analyses’) richtlijnen voor systematische reviews vastgesteld en door de meeste toonaangevende tijdschriften onderschreven.26 (Anders dan in Europa en binnen de Cochrane Collaboration, waar de term ‘meta-analyse’ gereserveerd is voor de statistische pooling binnen een systematische review, wordt deze aanduiding in de VS vaak als een synoniem voor systematische review gebruikt.) Deze richtlijnen zijn echter vrij omvangrijk en voor de gemiddelde lezer nauwelijks bruikbaar. Derhalve vatten wij de belangrijkste punten samen in tabel 3.23 26 27

tegenstrijdige reviews

Steeds vaker zal de clinicus of de onderzoeker meerdere reviews over hetzelfde onderwerp vinden. De conclusies van verschillende reviews over (schijnbaar) hetzelfde onderwerp zijn soms echter niet eenduidig. De oorzaak van discordantie kan met een algoritme worden geanalyseerd (figuur 3).28 In de regel lukt het aan de hand van dit algoritme om één of meer eenduidige SR's te selecteren en tot een beslissing te komen.

Het is bij discordante SR's over hetzelfde onderwerp allereerst belangrijk te kijken welke SR een vraagstelling heeft die het dichtst bij de klinische vraag (acroniem ‘PICO’) staat. Indien dezelfde RCT's in de verschillende SR's zijn geïncludeerd, kan men zich richten op de methodologisch beste SR. Indien er geen verschil in kwaliteit is, zal de lezer een nauwkeurige analyse moeten maken van hoe de resultaten zijn geëxtraheerd (bijvoorbeeld: door 2 reviewers onafhankelijk van elkaar), hoe met heterogeniteit is omgegaan en of de uitkomsten op de juiste manier zijn gepoold. Indien niet dezelfde RCT's zijn geïncludeerd, moet men allereerst kijken of bij dezelfde vraagstelling wel dezelfde selectiecriteria voor onderzoeken zijn gehanteerd. Indien dit niet het geval is, zal het wel of niet opnemen van ongepubliceerde onderzoeken het verschil kunnen verklaren. Daarnaast kunnen de SR's onderling verschillen in een eventuele beperking op grond van taal of methodologische kwaliteit van de RCT's. Indien er wat betreft al deze criteria geen verschil bestaat, kunnen de verschillen in conclusie mogelijk verklaard worden door de verschillen in de praktische uitvoering van het zoeken en het selecteren: vooral de uitvoering hiervan door twee personen, onafhankelijk van elkaar, is belangrijk om het optreden van menselijke fouten te beperken.

conclusie

Steeds meer wordt het klinische handelen gebaseerd op valide, patiëntgebonden onderzoek. De SR verschaft op een transparante en reproduceerbare manier snel inzicht in een grote hoeveelheid informatie. SR's dienen vaak als basis voor richtlijnen, standaarden of protocollen.29 Indien dergelijke richtsnoeren ontbreken, is de SR een efficiënte en valide manier om inzicht te krijgen in de stand van zaken voor een bepaald onderwerp.

Het is bij een klinische vraagstelling van belang om SR's te selecteren die bij de vraagstelling aansluiten en van een zo hoog mogelijke methodologische kwaliteit zijn. Hiervoor bestaan duidelijke criteria. Gewapend met deze praktische informatie zal de gebruiker snel de voordelen van SR's ontdekken.

Literatuur
  1. Offringa M, Craen AJM de. De praktijk van systematischereviews. I. Inleiding. Ned TijdschrGeneeskd 1999;143:653-6.

  2. Lau J, Ioannidis JPA, Schmid CH. Quantitative synthesis insystematic reviews. Ann Intern Med 1997;127:820-6.

  3. Black N. Why we need observational studies to evaluate theeffectiveness of health care. BMJ 1996;312:1215-8.

  4. Ioannidis JPA, Cappelleri JC, Lau J. Issues in comparisonsbetween meta-analyses and large trials. JAMA 1998;279:1089-93.

  5. Sheldon TA, Glanville J. Searching for reliable researchevidence need not be difficult letter. BMJ1999;319:1435.

  6. Glanville J, Haines M, Auston I. Finding information onclinical effectiveness. BMJ 1998;317:200-3.

  7. Hunt DL, McKibbon KA. Locating and appraising systematicreviews. Ann Intern Med 1997;126:532-8.

  8. Greenhalgh T. How to read a paper. The Medline database.BMJ 1997;315:180-3.

  9. Assendelft WJJ, Tulder MW van, Scholten RJPM, Bouter LM.De praktijk van systematische reviews. II. Zoeken en selecteren vanliteratuur. Ned Tijdschr Geneeskd1999;143:656-61.

  10. Cochrane database of systematic reviews. In: The CochraneLibrary. Oxford: Update Software; 1999.

  11. Assendelft WJJ, Zaat JOM, Meijman FJ. Een Cochranerubriek in Huisarts en Wetenschap - relevante systematische reviews voor dehuisarts. Huisarts Wet 2000;43:29-31.

  12. Jadad AR, Cook DJ, Jones A, Klassen TP, Tugwell P, MoherM, et al. Methodology and reports of systematic reviews and meta-analyses: acomparison of Cochrane reviews with articles published in paper-basedjournals. JAMA 1998;280:278-80.

  13. Clarke M, Oxman A. Cochrane reviews will be in Medlineletter. BMJ 1999;319:1435.

  14. Barton S, editor. Clinical evidence. 4th ed. Londen: BMJ;2000.

  15. Assendelft WJJ, Scholten RJPM, Eijk JThM van, Bouter LM.De praktijk van systematische reviews. III. Methodologische beoordeling vanonderzoeken. Ned Tijdschr Geneeskd1999;143:714-9.

  16. Scholten RJPM, Kostense PJ, Assendelft WJJ, Bouter LM. Depraktijk van systematische reviews. IV. Het combineren van de resultaten vanafzonderlijke onderzoeken. NedTijdschr Geneeskd 1999; 143:786-91.

  17. Scholten RJPM, Assendelft WJJ, Kostense PJ, Bouter LM. Depraktijk van systematische reviews. V. Heterogeniteit tussen onderzoeken ensubgroepanalysen. Ned TijdschrGeneeskd 1999; 143:843-8.

  18. Assendelft WJJ, Hay EM, Adshead R, Bouter LM.Corticosteroid injections for lateral epicondylitis: a systematic overview.Br J Gen Pract 1996;46:209-16.

  19. Moher D, Jadad AR, Tugwell P. Assessing the quality ofrandomized controlled trials. Current issues and future directions. Int JTechnol Assess Health Care 1996;12:195-208.

  20. Feigin VL, Rinkel GJE, Algra A, Vermeulen M, Gijn J van.Calcium antagonists for aneurysmal subarachnoid haemorrhage (CochraneReview). In: The Cochrane Library. Issue 4. Oxford: Update Software;1999.

  21. Mulrow CD, Oxman AD. Cochrane Collaboration handbookupdated September 1997. In: The Cochrane Library. Oxford: UpdateSoftware; 1999.

  22. Shea B, Dubé C, Moher D. Assessing the quality ofreports of systematic reviews: the QUOROM statement compared to other tools.In: Egger M, Davey Smith G, Altman DG, editors. Systematic reviews in healthcare. Meta-analysis in context. London: BMJ Books; 2001. p. 122-39.

  23. Oxman AD, Guyatt GH. Guidelines for reading literaturereviews. CMAJ 1988;138:697-703.

  24. Oxman AD, Guyatt GH. Validation of an index of thequality of review articles. J Clin Epidemiol 1991;44:1271-8.

  25. Oxman AD, Guyatt GH, Singer J, Goldsmith CH, HutchisonBG, Milner RA, et al. Agreement among reviewers of review articles. J ClinEpidemiol 1991;44:91-8.

  26. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, StroupDF. Improving the quality of reports of meta-analyses of randomisedcontrolled trials: the QUOROM statement. Quality of reporting ofmeta-analyses. Lancet 1999;354:1896-900.

  27. Assendelft WJJ, Koes BW, Knipschild PG, Bouter LM. Therelationship between methodological quality and conclusions in reviews ofspinal manipulation. JAMA 1995;274:1942-8.

  28. Jadad AR, Cook DJ, Browman GP. A guide to interpretingdiscordant systematic reviews. CMAJ 1997;156:1411-6.

  29. Cook DJ, Greengold NL, Ellrodt AG, Weingarten SR. Therelation between systematic reviews and practice guidelines. Ann Intern Med1997;127:210-6.

Auteursinformatie

Academisch Medisch Centrum/Universiteit van Amsterdam, Dutch Cochrane Centre, Postbus 22.660, 1100 DD Amsterdam.

Vrije Universiteit, Instituut voor Extramuraal Geneeskundig Onderzoek, Amsterdam.

Dr.J.L.Hoving en prof.dr.L.M.Bouter, epidemiologen.

Contact Dr.W.J.J.Assendelft, huisarts-epidemioloog (w.j.assendelft@amc.uva.nl)

Gerelateerde artikelen

Reacties