De praktijk van systematische reviews. V. Heterogeniteit tussen onderzoeken en subgroepanalysen

Klinische praktijk
R.J.P.M. Scholten
W.J.J. Assendelft
P.J. Kostense
L.M. Bouter
Citeer dit artikel als
Ned Tijdschr Geneeskd. 1999;143:843-8
Abstract
Download PDF

Samenvatting

- Een meta-analyse behelst de analyse van de gegevens van vergelijkbare onderzoeken die in het kader van een systematische review zijn vergaard.

- Indien de resultaten van de verschillende onderzoeken (sterk) uiteenlopen, spreekt men van heterogeniteit.

- Heterogeniteit kan berusten op een ongelukkige keuze van het type effectmaat, verschillen in methodologische kwaliteit tussen onderzoeken of werkelijke verschillen tussen onderzoeken.

- Een grondige beschouwing van de verschillen in onderzoekskenmerken in combinatie met een visuele inspectie van de mate van overlap van de betrouwbaarheidsintervallen van de effectschattingen in de afzonderlijke onderzoeken is de beste manier om na te gaan of er heterogeniteit tussen onderzoeken bestaat.

- Door toepassing van het ‘random effects’-model voor ‘pooling’ kan niet-systematische heterogeniteit tussen onderzoeken verdisconteerd worden.

- In geval van het bestaan van heterogeniteit tussen onderzoeken is verdere analyse van mogelijke bronnen daarvan (subgroepanalyse) geïndiceerd.

- Subgroepanalyse dient subgroepen van patiënten uit de afzonderlijke onderzoeken te behelzen en te worden gebaseerd op strikte, bij voorkeur vooraf opgestelde, criteria.

In het vorige artikel uit deze reeks over systematische reviews1-3 is uitvoerig stilgestaan bij het combineren van de resultaten van de afzonderlijke onderzoeken tot één samenvattende schatting van het effect van een interventie of blootstellingsfactor (‘pooling’).3 De in dat artikel gepresenteerde methode van pooling is alleen valide als de in de afzonderlijke onderzoeken gevonden effecten als ongeveer gelijk beschouwd kunnen worden, ofwel homogeen zijn. Lopen deze effecten (sterk) uiteen, dan spreekt men van heterogeniteit. Zou men in geval van het bestaan van heterogeniteit de resultaten van de afzonderlijke onderzoeken toch aan de hand van de eerder gepresenteerde methode combineren, dan heeft de samenvattende schatting van het effect geen direct interpreteerbare betekenis.

In dit 5e artikel uit deze reeks gaan wij dieper in op heterogeniteit tussen onderzoeken. De eerste paragrafen betreffen een beschouwing over de mogelijke oorzaken van heterogeniteit en methoden voor het vaststellen ervan. Vervolgens worden suggesties gegeven voor het omgaan met heterogeniteit. Wij presenteren daartoe het zogenoemde ‘random effects’-model (een variant van het in het vorige artikel behandelde algemene statistische model), waarmee men eventueel aanwezige heterogeniteit tussen onderzoeken kan verdisconteren. Ook zullen wij ingaan op het uitvoeren van subgroepanalysen.

oorzaken van heterogeniteit

Heterogeniteit kan berusten op een ongelukkige keuze van het type effectmaat, verschillen in methodologische kwaliteit tussen onderzoeken of werkelijke verschillen tussen onderzoeken (klinische heterogeniteit).

Type effectmaat

Er kunnen 2 typen biologische effecten onderscheiden worden: additieve en multiplicatieve. Figuur a geeft een voorbeeld van een additief biologisch effect. Naarmate men ouder wordt, neemt de kans op het krijgen van ziekte A toe en rokers hebben een verhoogd risico op het verkrijgen van de ziekte (de lijn voor rokers ligt hoger). Het verschil tussen rokers en niet-rokers is echter constant, ongeacht de leeftijd (de lijnen lopen evenwijdig). Het risicoverschil is derhalve in deze situatie de juiste effectmaat om het verband tussen de kans op ziekte A bij rokers en bij niet-rokers weer te geven. In dit voorbeeld neemt het relatieve risico af bij toenemende leeftijd (de verhouding van de kans op ziekte A bij rokers en bij niet-rokers wordt steeds kleiner) en het relatieve risico is derhalve ‘heterogeen’. Figuur b geeft een voorbeeld van een multiplicatief biologisch effect. In deze situatie is de verhouding van de kans op de ziekte bij rokers en bij niet-rokers constant, ongeacht de leeftijd, en hier is het relatieve risico de effectmaat die de situatie juist weergeeft. Zou men een risicoverschil berekenen en dus een effectmaat op een additieve schaal gebruikt hebben, dan zouden ‘heterogene’ risicoverschillen gevonden worden (de verschillen nemen toe bij toenemende leeftijd; de lijnen lopen niet evenwijdig). Homogeniteit op een multiplicatieve schaal impliceert derhalve heterogeniteit op een additieve schaal en vice versa.4 Stelt men in geval van pooling van een effectmaat van de ene schaal heterogeniteit vast, dan kan overgaan naar een effectmaat van een andere schaal mogelijk een oplossing bieden.

Methodologische kwaliteit

Een andere potentiële bron van heterogeniteit is de invloed van onderzoeken van slechte methodologische kwaliteit. In een voorgaand artikel uit deze reeks werd beschreven dat een gebrekkige methodologische kwaliteit kan samengaan met systematisch afwijkende resultaten.2 5 Uitsluiting van methodologisch slechtere onderzoeken kan de heterogeniteit wellicht opheffen.

Klinische heterogeniteit

Werkelijke verschillen tussen onderzoeken wat betreft de opzet, onderzoekspopulatie, interventie (aard, dosis, duur) of blootstelling(smeting), uitkomstmaten en/of follow-upduur vormen doorgaans de belangrijkste bron van heterogeniteit. Deze vorm van heterogeniteit wordt door Thompson ‘klinische heterogeniteit’ genoemd.6 Het moge duidelijk zijn dat in een meta-analyse bijna altijd wel sprake is van op zijn minst enige verschillen tussen de afzonderlijke onderzoeken. Stel, dat ‘leeftijd’ de relatie tussen de bestudeerde determinant en de uitkomst beïnvloedt (leeftijd is dan een effectmodificator van de bestudeerde relatie). Als een deel van de gevonden onderzoeken voornamelijk ouderen betrof, een ander deel voornamelijk jongeren en de overige onderzoeken alle leeftijdscategorieën, dan zullen heterogene resultaten verkregen worden. Selecteert men van alle onderzoeken telkens patiënten van een bepaalde leeftijdscategorie en combineert men de resultaten van deze homogene subgroepen, dan zullen de verschillen tussen onderzoeken verdwijnen. Bovendien kan in een dergelijke subgroepanalyse een nadere analyse van het leeftijdeffect uitgevoerd worden. Subgroepanalysen zijn derhalve een belangrijk onderdeel van een meta-analyse.

vaststellen van heterogeniteit

Heterogeniteit van de resultaten tussen onderzoeken kan statistisch onderzocht worden door middel van de Q-toets.3 De p-waarde van de Q-toets geeft aan hoe toevallig de gevonden verschillen in resultaten tussen de onderzoeken zijn als deze in werkelijkheid als gelijk beschouwd moeten worden (ofwel ‘onder de nulhypothese van homogeniteit’). De nulhypothese van homogeniteit wordt al dan niet verworpen op grond van de grootte van de toetsingsgrootheid Q. Het is echter riskant om louter op deze toets voor homogeniteit te varen. Een bekend probleem van deze toets is namelijk het gebrek aan onderscheidingsvermogen. 78 Heeft men een groot aantal onderzoeken tot zijn beschikking en/of zijn de patiëntenaantallen in de afzonderlijke onderzoeken relatief klein, dan heeft de Q-toets weinig onderscheidingsvermogen en is er een grote kans op een type-II-fout: het ten onrechte niet verwerpen van de nulhypothese, ofwel een grote kans om ten onrechte te concluderen dat er sprake is van homogeniteit. Een pragmatische oplossing voor dit probleem is het ruimer stellen van de grens voor het verwerpen van de nulhypothese door bijvoorbeeld de kritieke p-waarde op 0,10 te stellen in plaats van op 0,05, maar ook dan kan de kans op een type-II-fout aanzienlijk zijn. Heeft men daarentegen een relatief klein aantal onderzoeken tot zijn beschikking of zijn de patiëntenaantallen in de afzonderlijke onderzoeken aanzienlijk, dan kunnen subtiele verschillen tussen de resultaten al leiden tot het verwerpen van de nulhypothese en zouden triviale verschillen al als heterogeniteit geduid kunnen worden. In dat geval kan men de uitslag van de toets voor homogeniteit beter negeren. Vanwege de gevoeligheid van de Q-toets voor de hier geschetste omstandigheden is deze dan ook van beperkte waarde voor het vaststellen van heterogeniteit tussen onderzoeken. Bovendien is de Q-toets een indicator voor de aanwezigheid van statistische heterogeniteit, terwijl in het kader van een meta-analyse het bestaan van klinische heterogeniteit veel meer belang heeft.

De beste methode voor het vaststellen van (klinische) heterogeniteit is het gebruik van gezond verstand.6 Men dient zich op basis van eerder onderzoek of klinische ervaring af te vragen of de te combineren onderzoeken voldoende vergelijkbaar zijn (geen al te grote verschillen vertonen) wat betreft de patiënten, de centrale determinant (interventie, blootstelling) en de uitkomsten. Concludeert men dat de onderzoeken onvoldoende vergelijkbaar zijn, dan verdient het aanbeveling pooling van alle onderzoeken achterwege te laten en alleen de resultaten van vergelijkbare subgroepen te combineren (zie ook verder).

Als men na nauwkeurige beschouwing van de kenmerken van de te combineren onderzoeken tot de conclusie is gekomen dat deze voldoende vergelijkbaar lijken, dan kunnen andere, buiten beschouwing gebleven onderzoekskenmerken nog steeds tot heterogene resultaten leiden. Visuele inspectie van de afzonderlijke puntschatters van de effectmaten en hun betrouwbaarheidsintervallen kan dan een goede indruk geven van de overeenkomsten of verschillen van de onderzoeksresultaten. Men beoordeelt heterogeniteit dan ‘op het oog’. Als de betrouwbaarheidsintervallen van de afzonderlijke onderzoeken elkaar in aanzienlijke mate overlappen, zijn er niet of nauwelijks aanwijzingen voor heterogeniteit.9

Een weloverwogen vergelijking van de onderzoekskenmerken in combinatie met een visuele inspectie van de mate van overlap van de betrouwbaarheidsintervallen van de afzonderlijke onderzoeken is derhalve de beste manier om na te gaan of er heterogeniteit tussen onderzoeken bestaat.

hoe om te gaan met heterogeniteit?

Heterogeniteit kan op meerdere manieren gehanteerd worden.10 De beste oplossing kan soms zijn te besluiten om de resultaten eenvoudigweg niet te combineren. Negeert men het bestaan van heterogeniteit en zou men ondanks het bestaan van substantiële verschillen tussen onderzoeken de resultaten ervan toch via het in het vorige artikel gepresenteerde ‘fixed effects’-model combineren, dan staat dat volgens sceptische onderzoekers gelijk aan ‘het vergelijken van appels met peren’. De pooling leidt dan tot een schatting van een grootste gemene deler die echter in de dagelijkse praktijk geen betekenis heeft. Beter is het om in geval van heterogeniteit een statistische methode van pooling toe te passen die de bestaande heterogeniteit kan verdisconteren (het zogenoemde ‘random effects’-model) of de heterogeniteit verder te exploreren door subgroepanalysen uit te voeren.

Het ‘random effects’-model

Het uitgangspunt bij het in het vorige artikel beschreven algemene statistische model is dat er één vaste onderliggende waarde is voor het werkelijke effect en dat de verschillen in uitkomsten tussen de onderzoeken op toeval berusten (fixed-effectsmodel). De beschikbare onderzoeken vormen de basis voor het maken van de beste schatting van de waarde van dit ene werkelijke effect. Een andere invalshoek wordt geboden door het door DerSimonian en Laird geïntroduceerde ‘random effects’-model.11 Hierbij wordt ervan uitgegaan dat verschillen tussen onderzoeken in de praktijk onontkoombaar en in die zin reëel zijn: ieder onderzoek schat zijn eigen werkelijke effect. De beschikbare onderzoeken worden beschouwd als een steekproef uit een oneindige reeks van mogelijke onderzoeken met oneindig veel verschillende waarden voor het werkelijke effect. Bij toepassing van het random-effectsmodel wordt aan de hand van de beschikbare ‘steekproef’ van onderzoeken een schatting gemaakt van de kansverdeling van al deze verschillende werkelijke effecten (en dus niet van één vaste waarde). Deze kansverdeling wordt doorgaans normaal verondersteld en wordt dan gekarakteriseerd door een gemiddelde en variantie. Naast toevalsvariatie binnen de afzonderlijke onderzoeken (aangeduid door si)2 wordt de variatie tussen onderzoeken (?2) in de formules van de wegingsfactoren verdisconteerd (tabel 1). De berekeningen geschieden vervolgens op dezelfde wijze als die voor het fixed-effectsmodel (zie tabel 1), echter met andere wegingsfactoren. Indien werkelijk sprake is van heterogeniteit tussen onderzoeken, leidt het random-effectsmodel doorgaans tot een andere schatting van het effect, een breder betrouwbaarheidsinterval en een lagere waarde voor de toetsingsgrootheid U'. Ook is de interpretatie van de resultaten die verkregen zijn aan de hand van het random-effectsmodel anders dan die van het fixed-effectsmodel. De met het random-effectsmodel verkregen schatting van het gemiddelde effect vertegenwoordigt het gemiddelde van een hele ‘populatie’ van mogelijke effecten onder verschillende omstandigheden, terwijl de met het fixed-effectsmodel verkregen waarde de beste schatting is van het enige ‘ware’ effect (onder de aanname dat dit bestaat).

In tabel 2 staat de uitwerking van het combineren van risicoverschillen van de in het vorige artikel beschouwde fictieve meta-analyse volgens het random-effectsmodel.3 Het fixed-effectsmodel leverde een risicoverschil van -0,06 met een 95-betrouwbaarheidsinterval van -0,09 tot -0,03 en een waarde voor de toetsingsgrootheid U van 15,49 (p

Analyse van het relatieve risico en de oddsratio met behulp van het random-effectsmodel levert in dit voorbeeld dezelfde resultaten als die met het fixed-effectsmodel. De waarden van de toetsingsgrootheid voor homogeniteit (Q) waren respectievelijk 1,15 en 1,29. In beide gevallen is dat lager dan 2 (= het aantal onderzoeken, in ons voorbeeld 3, minus 1). De variatie tussen onderzoeken (?2) wordt dan op 0 gesteld (zie tabel 1) en de gewichten w' van het random-effectsmodel worden daardoor gelijk aan de gewichten w van het fixed-effectsmodel.

Een hinderlijke eigenschap van het random-effectsmodel is dat kleine onderzoeken bij de berekening van het gecombineerde effect bijna evenveel gewicht kunnen krijgen als grote.12 De waarde van ?2 is immers voor alle onderzoeken gelijk (zie tabel 1) en indien ?2 groot is ten opzichte van si2, zullen de gewichten (wi') relatief weinig verschillen. Dit betekent dat kleine onderzoeken de pooling ten onrechte kunnen gaan domineren. Het random-effectsmodel is derhalve geenszins een panacee.

Exploreren van heterogeniteit

Als de resultaten van de verschillende onderzoeken heterogeen zijn, kan dit ons op het spoor zetten van mogelijke oorzaken daarvan. Potentiële bronnen van heterogeniteit kunnen onderzocht worden door middel van subgroepanalysen en dit is wellicht de beste oplossing voor het omgaan met (klinische) heterogeniteit. Subgroepanalysen dienen bij voorkeur subgroepen van patiënten uit de afzonderlijke onderzoeken te behelzen en niet een vergelijking van afzonderlijke onderzoeken met en zonder bepaalde kenmerken (subgroepanalyse tussen onderzoeken).10 13 In het laatste geval kunnen andere belangrijke onderzoekskenmerken de resultaten beïnvloeden, waardoor vertekende resultaten verkregen kunnen worden.

subgroepanalysen

Subgroepanalysen zijn in het bijzonder aangewezen bij (klinische) heterogeniteit, maar ook in geval van homogene resultaten verschaffen subgroepanalysen verder inzicht in het effect van verschillende andere factoren op de bestudeerde relatie.

Subgroepanalysen dienen niet lukraak uitgevoerd te worden, maar bij voorkeur aan de hand van vooraf geformuleerde (biologisch) plausibele hypothesen.1013-15 Zo kan het om inhoudelijke redenen zinvol zijn te onderzoeken of het effect van een bepaalde behandeling anders is bij mannen, ouderen of patiënten met een ernstiger ziektebeeld. Bij het uitvoeren van subgroepanalysen dient men het aantal ervan te beperken. Hoe meer subgroepanalysen men uitvoert, des te groter is immers de kans op een fout-positief resultaat (type-I-fout: het ten onrechte verwerpen van een juiste nulhypothese ofwel ten onrechte concluderen dat een behandeling in een bepaalde subgroep effectief is). Dergelijke fout-positieve resultaten kunnen leiden tot onjuiste aanbevelingen ten aanzien van bijvoorbeeld de indicatiestelling van een bepaalde behandeling. 16

Subgroepanalysen op grond van achteraf geformuleerde, door de bevindingen gestuurde, hypothesen dienen achterwege te blijven of duidelijk als tentatief (‘hypothesegenererend’) te worden geduid, omdat ook in deze situatie weer een aanmerkelijke kans is op fout-positieve resultaten. 1017 Voor een uitvoerige behandeling van de richtlijnen voor het op een juiste wijze uitvoeren en interpreteren van subgroepanalysen wordt naar anderen verwezen. 13-15

Een praktisch probleem bij het doen van subgroepanalysen is dat de benodigde gegevens vaak niet in de publicaties voorhanden zijn. Men zal dan pogingen in het werk moeten stellen om de ontbrekende gegevens alsnog van de oorspronkelijke auteurs te krijgen. Een recente ontwikkeling is het uitvoeren van meta-analysen aan de hand van (een selectie uit) de oorspronkelijke gegevensbestanden van de afzonderlijke onderzoeken.18 Dergelijke meta-analysen, die veel tact en geduld vergen en uiterst arbeidsintensief zijn, zijn uiteraard bij uitstek geschikt voor het uitvoeren van gerichte subgroepanalysen in het kader van een meta-analyse.

beschouwing

Onderzoek van (bronnen van) heterogeniteit is wellicht het belangrijkste onderdeel van meta-analyse. Zoals eerder opgemerkt, is er in een meta-analyse altijd wel enige heterogeniteit. Dit geldt in het bijzonder voor meta-analyse van niet-experimentele onderzoeken (cohort- en patiënt-controleonderzoek). De methodologie van meta-analyse van niet-experimenteel onderzoek staat echter in menig opzicht nog in de kinderschoenen en is momenteel sterk in ontwikkeling.19-23 In experimenteel onderzoek (‘randomized clinical trials’) is de interne validiteit van de onderzoeken in principe gewaarborgd door de randomisatie. De variatie tussen niet-experimentele onderzoeken kan echter aanzienlijk zijn, bijvoorbeeld in de manier waarop en de mate waarin in de analyse gecorrigeerd is voor potentieel verstorende variabelen (‘confounders’). Bovendien bestaan doorgaans, evenals bij experimenteel onderzoek, grote verschillen tussen de onderzoeken ten aanzien van de onderzoekspopulatie, de wijze waarop blootstelling en uitkomsten gemeten zijn, en de follow-upduur. In sommige gevallen is het mogelijk verschillen tussen onderzoeken te elimineren door correcties uit te voeren op de gepresenteerde resultaten. 22 Voor een uitvoerige beschrijving van meta-analyse van niet-experimentele onderzoeken verwijzen wij naar andere literatuur. 22-26

Met meta-analyse heeft men een krachtig instrument in handen om alle tot dan toe beschikbare evidentie op een precieze en overzichtelijke wijze samen te vatten. Men dient zich er echter te allen tijde van te vergewissen dat de patiënten, de centrale determinant (interventie, blootstelling) en de uitkomsten in de te combineren onderzoeken voldoende vergelijkbaar zijn. Mocht dit niet het geval zijn en is er derhalve sprake van heterogeniteit, dan ligt het voor de hand juist gebruik te maken van die heterogeniteit door aparte analysen uit te voeren om klinisch relevante subgroepen te identificeren. Dit geldt uiteraard ook in geval van homogene onderzoeksresultaten. Door subgroepanalysen kan men nagaan of bepaalde categorieën patiënten wellicht meer baat hebben bij de onderzochte interventie of groter risico lopen bij blootstelling aan een bepaalde factor. De in opkomst zijnde methode van meta-analyse die gebaseerd is op individuele patiëntgegevens biedt in dit kader veel perspectieven. 18 De kans op slagen van een dergelijke benadering zal afhangen van de, bij voorkeur vooraf uitgesproken, bereidheid van onderzoekers hun gegevens hiervoor beschikbaar te stellen.

Een zorgvuldig en weloverwogen toegepaste meta-analyse vat de beschikbare kennis op een controleerbare en reproduceerbare wijze samen en maakt deze op een efficiënte wijze toegankelijk. Meta-analyse kan daardoor een belangrijke bijdrage leveren aan de individuele patiëntenzorg en kan dienen als beleidsondersteuning.

Literatuur
  1. Assendelft WJJ, Tulder MW van, Scholten RJPM, Bouter LM.De praktijk van systematische reviews. II. Zoeken en selecteren vanliteratuur. Ned Tijdschr Geneeskd 1999;143:656-61.

  2. Assendelft WJJ, Scholten RJPM, Eijk JThM van, Bouter LM.De praktijk van systematische reviews. III. Methodologische beoordeling vanonderzoeken. Ned Tijdschr Geneeskd 1999;143:714-9.

  3. Scholten RJPM, Kostense PJ, Assendelft WJJ, Bouter LM. Depraktijk van systematische reviews. IV. Het combineren van de resultaten vanafzonderlijke onderzoeken. Ned Tijdschr Geneeskd 1999; 143:786-91.

  4. Greenland S, Rothman KJ. Introduction to stratifiedanalysis. In: Rothman KJ, Greenland S. Modern epidemiology. Philadelphia:Lippincott-Raven; 1998. p. 253-79.

  5. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empiricalevidence of bias. Dimensions of methodological quality associated withestimates of treatment effects in controlled trials. JAMA1995;273:408-12.

  6. Thompson SG. Why sources of heterogeneity in meta-analysisshould be investigated. BMJ 1994;309:1351-5.

  7. Whitehead A, Whitehead J. A general parametric approach tothe meta-analysis of randomized clinical trials. Stat Med1991;10:1665-77.

  8. Fleiss JL. The statistical basis of meta-analysis. StatMethods Med Res 1993;2:121-45.

  9. Walker AM, Martin-Moreno JM, Artalejo FR. Odd man out: agraphical approach to meta-analysis. Am J Public Health1988;78:961-6.

  10. Lau J, Ioannidis JPA, Schmid CH. Quantitative synthesisin systematic reviews. Ann Intern Med 1997;127:820-6.

  11. DerSimonian R, Laird NM. Meta-analysis in clinicaltrials. Control Clin Trials 1986;7:177-88.

  12. Berlin JA, Laird NM, Sacks HS, Chalmers TC. A comparisonof statistical methods for combining event rates from clinical trials. StatMed 1989;8:141-51.

  13. Mulrow CD, Oxman AD, editors. The Cochrane Collaborationhandbook. Version 3.0.2 compiled September 1997 . The CochraneCollaboration. The Cochrane Library database on CDROM. Oxford:Update Software updated quarterly.

  14. Yusuf S, Wittes J, Probstfield J, Tyroler HA. Analysisand interpretation of treatment effects in subgroups of patients inrandomized clinical trials. JAMA 1991;266:93-8.

  15. Oxman AD, Guyatt GH. A consumer's guide to subgroupanalyses. Ann Intern Med 1992;116:78-84.

  16. Antiplatelet Trialists’ Collaboration. Secondaryprevention of vascular disease by prolonged antiplatelet treatment. Br Med J1988;296:320-31.

  17. Peto R. Statistical aspects of cancer trials. In: HalnanKE, editor. Treatment of cancer. Londen: Chapman and Hall; 1982.

  18. Stewart LA, Clarke MJ. Practical methodology ofmeta-analyses (overviews) using updated individual patient data. CochraneWorking Group. Stat Med 1995;14:2057-79.

  19. Shapiro S. Meta-analysis/Shmeta-analysis. Am J Epidemiol1994; 140:771-8.

  20. Greenland S. Can meta-analysis be salvaged? Am JEpidemiol 1994;140:783-7.

  21. Feinstein AR. Meta-analysis: statistical alchemy for the21st century. J Clin Epidemiol 1995;48:71-9.

  22. Greenland S. Meta-analysis. In: Rothman KJ, Greenland S.Modern epidemiology. Philadelphia: Lippincott-Raven; 1998. p.643-73.

  23. Egger M, Schneider M, Davey Smith G. Spurious precision?Meta-analysis of observational studies. BMJ 1998;316:140-4.

  24. Eddy DM, Hasselblad V, Shachter R. Meta-analysis by theconfidence profile method. The statistical synthesis of evidence. Boston:Academic Press; 1992.

  25. Blair A, Burg J, Foran J, Gibb H, Greenland S, Morris R,et al. Guidelines for application of meta-analysis in environmentalepidemiology. ISLI Risk Science Institute. Regul Toxicol Pharmacol1995;22:189-97.

  26. Hollander AEM de, Preller EA, Heisterkamp SH.Meta-analyse van observationeel onderzoek. Rapportnummer 263610002.Bilthoven: Rijksinstituut voor Volksgezondheid en Milieu;1996.

Auteursinformatie

Vrije Universiteit, Faculteit der Geneeskunde, Instituut voor Extramuraal Geneeskundig Onderzoek, Van der Boechorststraat 7, 1081 BT Amsterdam.

Dr.R.J.P.M.Scholten, arts-epidemioloog; dr.W.J.J.Assendelft, huisarts-epidemioloog (thans: Academisch Medisch Centrum, Dutch Cochrane Centre, Amsterdam); dr.P.J.Kostense, epidemioloog-statisticus (tevens afd. Klinische Epidemiologie & Biostatistiek); prof.dr.L.M.Bouter, epidemioloog.

Contact dr.R.J.P.M.Scholten (emgo@med.vu.nl)

Gerelateerde artikelen

Reacties