De praktijk van systematische reviews. IX. Plaatsbepaling in behandelbeslissingen in richtlijnen

Klinische praktijk
W.J.J. Assendelft
M.W. van Tulder
J.J.E. van Everdingen
M. Offringa
L.M. Bouter
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2002;146:1527-31
Abstract
Download PDF

Samenvatting

- In een systematische review (SR) wordt omtrent een klinische vraagstelling het klinische bewijs uit verschillende studies systematisch en zo volledig mogelijk verzameld, op de mogelijkheid voor vertekening (bias) beoordeeld en op reproduceerbare wijze samengevoegd.

- De resultaten van een SR kunnen worden gebruikt in de individuele patiëntenzorg of bij het opstellen van een behandelrichtlijn.

- Een vast systeem volgens hetwelk het beschikbare bewijs naar validiteit van het gebezigde studietype wordt geordend (bewijsniveau of ‘levels of evidence’) wordt overal in de wereld toegepast door (nationale) organisaties voor richtlijnontwikkeling, ook in Nederland.

- Bij het nemen van een behandelbeslissing moet rekening gehouden worden met de verschillende factoren die de kracht van het bewijs bepalen: het studietype, de consistentie van de resultaten (indien meerdere studies beschikbaar zijn), de kwaliteit van de afzonderlijke studies, de grootte van het effect, de precisie waarmee een effect is vastgesteld, en de klinische relevantie van de gebruikte uitkomstmaten. Binnen een SR kan dit problemen opleveren omdat er soms onvoldoende studies met dezelfde uitkomsten zijn.

- Ook blijkt in de praktijk de inschatting van de mate van bewijskracht van een bepaalde SR ten opzichte van een andere review of primaire studies problemen op te leveren. Er kunnen over hetzelfde onderwerp tegenstrijdige reviews zijn, er kunnen verschillen bestaan tussen reviews en megatrials of er kan maar 1 gerandomiseerde trial beschikbaar zijn. Deze problemen kunnen vaak opgelost worden met een systematische analyse. Dit vereist in de regel zowel methodologische als vakinhoudelijke kennis.

In een systematische review (SR) wordt voor het beantwoorden van een klinische vraag het klinische bewijs uit verschillende studies systematisch en zo volledig mogelijk verzameld; vervolgens wordt dit beoordeeld op de mogelijkheid van vertekening (bias) en op reproduceerbare wijze samengevoegd.1 De resultaten van een systematische review worden gebruikt in de individuele patiëntenzorg of bij het opstellen van een behandelrichtlijn (figuur 1).

Bij het nemen van een behandelbeslissing moet rekening gehouden worden met de verschillende factoren die de kracht van het bewijs bepalen: het studietype, de consistentie van de resultaten (indien meerdere studies beschikbaar zijn), de kwaliteit van de afzonderlijke studies, de grootte van het effect, de precisie waarmee een effect is vastgesteld en de klinische relevantie van de gebruikte uitkomstmaten.2-4

In dit artikel zullen wij bespreken welke rol deze factoren spelen in de behandelbeslissing. Problemen bij het toepassen ervan binnen een SR worden toegelicht. Daarbij gaan wij ook in op SR's waarin vanwege ontbrekende gegevens of een te grote heterogeniteit niet statistisch kan worden gepoold. Tenslotte gaan wij in op de praktische problemen die optreden bij gebruik van bewijs uit SR's in een behandelbeslissing. De andere aspecten van een behandelbeslissing (bijwerkingen, kosten, voorkeuren van arts en patiënt, beschikbaarheid en juridische randvoorwaarden) staan elders beschreven.3-5 Om reden van overzichtelijkheid beperken wij ons tot SR's van gerandomiseerde effectstudies (gerandomiseerde klinische trials; RCT's). Veel aspecten zijn echter ook van toepassing op SR's van observationele studies.6 7

Een SR dient uit te gaan van een expliciete klinische vraag. De noodzakelijke ingrediënten van een dergelijke vraag zijn: de patiëntencategorie, de interventie, de controle-interventie, de uitkomst en eventueel ook de gewenste follow-upduur. Het heeft pas zin om naar de validiteit, de uitkomsten en de toepasbaarheid van die uitkomsten van een SR te kijken als deze voldoende aansluit op de klinische vraag.

dimensies van bewijs

Studietype

Het is voor de richtlijnontwikkelaar en de behandelend arts nuttig om snel inzicht te hebben in de mate van bewijskracht van het aan de behandelbeslissing ten grondslag liggende onderzoek. Een vast systeem volgens welke het beschikbare bewijs naar validiteit van het gebezigde studietype wordt geordend (niveaus van bewijs of ‘levels of evidence’) werd het eerst toegepast in Canada in 1979.8 Momenteel wordt een dergelijk systeem overal in de wereld toegepast door (nationale) organisaties voor richtlijnontwikkeling, ook in Nederland. Het in de tabel gepresenteerde systeem van de Scottish Intercollegiate Guidelines Network (SIGN) (www.sign.ac.uk) verschilt op details van het huidige systeem van het Kwaliteitsinstituut voor de Gezondheidszorg CBO.9

Dergelijke bewijsniveausystemen bestaan voor effectiviteitsonderzoek, maar ook voor bijvoorbeeld diagnostiek. Het maken van richtlijnen volgens een bewijsniveausysteem zoals gepresenteerd in de tabel is het eenvoudigst als er voldoende, informatief en hoogwaardig onderzoek beschikbaar is dat onderling niet in tegenspraak is. De praktijk is echter vaak weerbarstig.

Kwaliteit van de studies

Indien een SR de basis van een aanbeveling vormt, hangt de zeggingskracht allereerst samen met de kwaliteit van de SR zelf. Een eerder artikel in deze reeks geeft hiervoor duidelijke richtlijnen.10 Belangrijke onderdelen van de kwaliteit van een SR zijn de volledigheid van de zoekactie, de beoordeling van de validiteit van de primaire studies en een inzichtelijke presentatie van de uitkomsten.10 Hiernaast dient ook een indruk van de validiteit van de in de SR opgenomen studies te worden gevormd.11 Een SR gebaseerd op valide primaire studies heeft vanzelfsprekend meer zeggingskracht dan een SR gebaseerd op primaire studies van dubieuze validiteit. Het beoordelen van kwaliteit is echter niet eenvoudig: er zijn veel kwaliteitsbeoordelingslijsten beschikbaar, die ook nog eens sterke onderlinge verschillen in scores kunnen geven.12 Van een aantal validiteitsitems staat echter vast dat het niet correct uitvoeren kan leiden tot vertekening van de uitkomst van de studie: blindering van de randomisatie en blindering van patiënten en behandelaars.11 Deze items kunnen dus in een onderlinge rangschikking van studies worden gebruikt.

Indien een goede SR ontbreekt, moet de behandelbeslissing worden gebaseerd op primaire studies die eveneens op kwaliteit moeten worden beoordeeld.

Grootte, precisie en klinische relevantie van het effect

Bij een SR met statistische pooling betreft dit de gepoolde effectmaat. De resultaten van effectstudies kunnen op twee manieren worden weergegeven. Dichotome variabelen (genezen-ziek blijven; overleven-overlijden) worden meestal uitgedrukt in een oddsratio (OR), een relatief risico (RR) of een risicoverschil (RV). Continue variabelen worden uitgedrukt in een verschilscore, meestal het verschil tussen de gemiddelden van de groepen. Bij de uitkomsten wordt een 95-betrouwbaarheidsinterval (95-BI) gerapporteerd. Een (gepoold) resultaat is statistisch significant indien het 95-BI bij een OR of RR de ‘neutrale waarde’ 1 uitsluit (dan is er geen verschil tussen de interventie- en de controlegroep) of indien, bij een RV of een continue uitkomst (verschilscore), het 95-BI de ‘neutrale waarde’ 0 (geen verschil) uitsluit.10

Een statistisch significant verschil betekent echter niet dat dit effect in de praktijk ook de moeite waard is. Het effect kan klein zijn en de inschatting van de klinische relevantie van de omvang van het verschil wordt dan ook mede bepaald door de afweging tegen de kosten en de bijwerkingen.13 14 In figuur 2 wordt de relatie tussen grootte, precisie en klinische relevantie van het effect weergegeven.15 Uit deze figuur 2 wordt duidelijk dat een grote studie bijvoorbeeld statistisch significante resultaten kan hebben, maar dat de uitkomst in de praktijk niet relevant hoeft te zijn. Andersom kan het ook zo zijn dat het gevonden verschil weliswaar klinisch relevant is, maar dat de studie niet groot genoeg is (niet genoeg onderscheidingsvermogen (‘power’) heeft) om dit verschil ook statistisch significant te laten zijn.

Relevantie van de uitkomstmaat

Vaak zijn er verschillende uitkomstmaten beschikbaar. Idealiter dient een richtlijn gebaseerd te zijn op evident relevante klinische uitkomsten (zoals overleving, fractuurincidentie en wondheling) of op subjectieve patiëntgeoriënteerde uitkomstmaten (zoals dagelijks functioneren of kwaliteit van leven).16 Te vaak gebeurt het dat in een onderzoek slechts gebruik wordt gemaakt van surrogaatuitkomstmaten. Het is een probleem wanneer de in de SR opgenomen RCT's in meerderheid slechts surrogaatuitkomsten (serumcholesterolconcentratie, botmineraaldichtheid) en niet de ‘harde’ klinische uitkomst (myocardinfarct, femurfractuur) rapporteren. Vaak gebeurt dit omdat de studieomvang te gering of de studieduur te kort is om klinische uitkomstmaten te kunnen rapporteren. Ook kan het zijn dat men zich in een studie tot een surrogaatuitkomst heeft beperkt omdat in andere (interventie)studies de relatie tussen de surrogaatuitkomst en de relevantere klinische uitkomst reeds is aangetoond. De waarde van een surrogaatuitkomst neemt toe indien aan meer van de volgende criteria wordt voldaan: er is een aangetoond sterk en consistent verband met een klinische of patiëntgeoriënteerde uitkomst en de rol van de surrogaatuitkomst is biologisch en pathofysiologisch plausibel.2 17

interpretatie van bewijskracht bij onvoldoende studies met gelijke uitkomsten

Het is een voorwaarde voor statistisch poolen dat de studies klinisch voldoende gelijk (‘homogeen’) zijn.18 Het komt echter vaak voor dat de studies weliswaar klinisch homogeen zijn, maar dat het onmogelijk is om te poolen doordat er statistische heterogeniteit bestaat, de uitkomstmaten onderling te verschillend zijn, of doordat de gerapporteerde gegevens onvoldoende gedetailleerd zijn om in een pooling te worden gebruikt (bijvoorbeeld omdat een standaarddeviatie ontbreekt). Toch is er dan de behoefte om op objectieve en reproduceerbare wijze tot een samenvattende uitspraak te komen over de bewijskracht van de SR. Het simpelweg optellen van positieve studies enerzijds en negatieve anderzijds is dan onvoldoende, omdat dan slechts recht wordt gedaan aan één van de dimensies van bewijskracht, namelijk de statistische significantie. Het is duidelijk beter wanneer naast statistische significantie in een afweging ook de klinische relevantie en consistentie van de studies wordt betrokken. Het toepassen van deze dimensies in een tevoren geconstrueerd algoritme maakt het proces van afwegen transparanter en reproduceerbaarder. De getalsmatige afwegingen in dergelijke algoritmen zijn echter arbitrair en kunnen slechts ter ondersteuning van een beslissing dienen, die verder vooral ook op klinische interpretatie van de resultaten is gebaseerd. Ook de constatering dat de studies te heterogeen zijn om tot een samenvattend oordeel te kunnen komen, behoort tot de mogelijke conclusies.

De invloed van de kwaliteit van de individuele studies kan met een sensitiviteitsanalyse worden geanalyseerd. De synthese wordt gemaakt met allereerst alle studies en vervolgens alleen de studies van voldoende hoge kwaliteit. Indien de laatste analyse een ander resultaat geeft, dan zal dit in de SR moeten worden aangegeven.11

systematische review en behandelbeslissingen

In de praktijk blijkt de inschatting van de mate van bewijskracht van een bepaalde SR ten opzichte van een andere review of primaire studies vaak problemen op te leveren. Deze problemen kunnen echter vaak weer op systematische wijze geanalyseerd en opgelost worden. Dit vereist in de regel zowel methodologische als vakinhoudelijke kennis.

Tegenstrijdige reviews

Het is mogelijk dat er over dezelfde klinische vraagstelling SR's zijn met resultaten die met elkaar in tegenspraak lijken te zijn.19-21 Een dergelijke tegenstrijdigheid kan in de regel met gebruikmaking van een systematische analyse van de verschillen in vraagstelling en uitvoering van de SR's inzichtelijk worden gemaakt.10 22

Tegenstrijdigheid tussen review en megatrial

Soms is er over een onderwerp zowel een SR van kleine studies als een grote RCT (megatrial) beschikbaar, die met elkaar in tegenspraak zijn. Dit is een reëel methodologisch probleem en het zal vaak moeilijk zijn een keuze te maken.23 24 In sommige systemen voor het bepalen van de bewijskracht (bewijsniveau) heeft één enkele megatrial een gelijkwaardige plaats aan de SR (zie de tabel), terwijl in andere systemen de SR een hogere plaats krijgt (http://cebm.jr2.ox.ac.uk).9 De keuze zal deels moeten worden bepaald door de klinische vraagstelling van de richtlijnontwikkelaars: zijn er verschillen in geïncludeerde patiënten, toegepaste interventies en uitkomstmaten, en welke van beide (SR of megatrial) sluit het best aan bij de klinische vraagstelling? Daarnaast zal bij de keuze vanzelfsprekend ook de kwaliteit van beide studietypen een rol moeten spelen. Tenslotte is bij een SR van kleine RCT's met name publicatiebias een probleem: kleinere positieve RCT's hebben een grotere kans om gepubliceerd te worden dan kleinere negatieve studies, hetgeen tot een overschatting van het effect van een interventie in de SR zal leiden. Er bestaan statistische en grafische technieken om de aanwezigheid van publicatiebias te onderzoeken.25

Plaatsbepaling van slechts één megatrial

Soms is er slechts 1 megatrial met klinisch relevante uitkomsten beschikbaar, die door velen in de praktijk reeds als doorslaggevend bewijs wordt beschouwd. Zoals eerder opgemerkt, wordt het wetenschappelijk bewijs van een enkele megatrial in richtlijnen doorgaans op een minder hoog niveau gezet dan een SR van meerdere RCT's (http://cebm.jr2.ox.ac.uk).9 Allereerst omdat een positief resultaat op statistische gronden een fout-positieve uitkomst kan zijn (bij een significantieniveau van 0,05 is 1 op de 20 studies fout-positief). Daarnaast is een effect dat in meerdere RCT's onder verschillende omstandigheden (landen, soorten gezondheidszorgsystemen, echelons) is vastgesteld, beter generaliseerbaar dan resultaten uit slechts 1 megatrial.

Ontbreken van RCT's

Een RCT, en derhalve ook een SR van RCT's, over de effectiviteit van een bepaalde interventie is soms niet wenselijk, mogelijk of nog niet beschikbaar.26 In dat geval zal men genoegen moeten nemen met (een SR van) observationele studies. Hierbij zal men zich moeten realiseren dat observationele studies gevoeliger zijn voor systematische vertekening (bias).6 27 In veel gevallen geven observationele studies echter dezelfde uitkomsten als RCT's; het is dus onjuist om in afwezigheid van RCT's de resultaten van observationele studies volledig te negeren.28-30

beschouwing

Steeds vaker wordt in een behandelrichtlijn de bewijskracht van het onderliggende onderzoek in de presentatie meegenomen. Vanwege de grondigheid, de volledigheid en de transparantie is een SR een goede basis voor een richtlijn, en krijgt derhalve het hoogste bewijsniveau. Indien geen SR's voorhanden zijn, dan kan gebruikgemaakt worden van resultaten van (gerandomiseerde) effectstudies, en wanneer die ontbreken, van observationele studies. De bewijskracht neemt echter met ieder niveau af, en de sterkte van de aanbeveling zal met een lager niveau van bewijskracht zelf ook minder zijn. De referenties van de individuele studies die aan de richtlijn hebben bijgedragen, moeten voor de gebruiker toegankelijk zijn (www.agreecollaboration.org). Om reden van overzichtelijkheid gebeurt dit steeds vaker in een apart begeleidend document.

Er zijn echter meer factoren dan alleen het wetenschappelijk bewijs die een behandeladvies bepalen. Het bewijsniveau gebaseerd op het studietype is belangrijk, maar het vormt zeker niet de enige component van een behandeladvies. Daarnaast vergt het interpreteren van onvolkomen of tegenstrijdig bewijs een grondig inzicht in de klinische epidemiologie en in het betreffende onderwerp. Het zonder methodologische en vakinhoudelijke achtergrond direct vertalen van de resultaten van een SR naar een behandeladvies leidt dan ook gemakkelijk tot verkeerde conclusies. Het wetenschappelijk bewijs dient echter wel als basis voor aanbevelingen en een expliciete, geordende weergave is derhalve een noodzakelijke voorwaarde voor een behandelrichtlijn. Richtlijnontwikkelaars dienen bij belangrijke of controversiële onderwerpen te overwegen of het gewenst is om een SR te (laten) ontwikkelen van het bewijsmateriaal uit beschikbare afzonderlijke studies.31 32 Tenslotte dient men zich te realiseren dat klinisch bewijs of een richtlijn onvoldoende is om de dagelijkse praktijk te veranderen.33 34 Aan implementatie zal dus aparte aandacht moeten worden gegeven.34

Het systeem in Nederland, waarbij beroepsgroepen – ondersteund door de overheid – zelf richtlijnen maken, sluit hier goed bij aan. Omdat de inschatting en de afweging van dimensies van bewijskracht in de praktijk vaak problemen opleveren, is de beschikbaarheid van methodologische expertise in richtlijncommissies van groot belang. De ontwikkeling van ideeën over dimensies van bewijskracht is nog lang niet ten einde. Toch is het voor de eindgebruiker prettig indien hij bij richtlijnen telkens hetzelfde systeem van kwaliteitsbeoordeling van studies en dezelfde bewijsniveaus tegenkomt. Dit zal de richtlijnen inzichtelijker maken en de acceptatie en het gebruiksgemak ervan verhogen.

Literatuur
  1. Offringa M, Craen AJM de. De praktijk van systematischereviews. I. Inleiding. Ned TijdschrGeneeskd 1999;143:653-6.

  2. O'Connell D, Glasziou P, Hill S. How to use theevidence: assessment and application of scientific evidence. Canberra:National Health and Medical Research Council; 2000.

  3. Guyatt GH, Sinclair J, Cook DJ, Glasziou P. Users’guides to the medical literature. XVI. How to use a treatment recommendation.Evidence-Based Medicine Working Group and the Cochrane Applicability MethodsWorking Group. JAMA 1999;281:1836-43.

  4. Sheldon TA, Guyatt GH, Haines A. Getting research findingsinto practice. When to act on the evidence. BMJ 1998;317:139-42.

  5. Haynes B, Haines A. Barriers and bridges to evidence basedclinical practice. BMJ 1998;317:273-6.

  6. Windt DAWM van der, Zeegers MPA, Kemper HCG, AssendelftWJJ, Scholten RJPM. De praktijk van systematische reviews. VI. Zoeken,selecteren en methodologisch beoordelen van etiologisch onderzoek.Ned Tijdschr Geneeskd2000;144:1210-4.

  7. Zeegers MP, Heisterkamp SH, Kostense PJ, Windt DAWM vander, Scholten RJPM. De praktijk van systematische reviews. VII. Hetcombineren van de resultaten van observationele onderzoeken. Ned TijdschrGeneesk 2000;144:1393-7.

  8. The periodic health examination. Canadian Task Force onthe Periodic Health Examination. Can Med Assoc J 1979;121:1193-254.

  9. Everdingen JJE van. Van consensus naar CBO-richtlijn.Ned Tijdschr Geneeskd1999;143:2086-9.

  10. Assendelft WJJ, Scholten RJPM, Hoving J, Offringa M,Bouter LM. De praktijk van systematische reviews. VIII. Zoeken en beoordelenvan systematische reviews. NedTijdschr Geneeskd 2001;145:1625-31.

  11. Assendelft WJJ, Scholten RJPM, Eijk JTM van, Bouter LM.De praktijk van systematische reviews. III. Methodologische beoordeling vanonderzoeken. Ned Tijdschr Geneeskd1999;143:714-9.

  12. Juni P, Witschi A, Bloch R, Egger M. The hazards ofscoring the quality of clinical trials for meta-analysis. JAMA1999;282:1054-60.

  13. Guyatt GH, Sackett DL, Sinclair JC, Hayward F, Cook DJ,Cook RJ. Users' guides to the medical literature. IX. A method forgrading health care recommendations. Evidence-Based Medicine Working Group.JAMA 1995;274:1800-4.

  14. Glasziou PP, Irwig LM. An evidence based approach toindividualising treatment. BMJ 1995;311:1356-9.

  15. Berry G. Statistical significance and confidenceintervals. Med J Aust 1986;144:618-9.

  16. Schuling J, Toenders WGM. Evidence based medicine:betekenis voor de farmacotherapie. Geneesmiddelen Bull1999;33:71-7.

  17. Bucher HC, Guyatt GH, Cook DJ, Holbrook A, McAlister FA.Users’ guides to the medical literature. XIX. Applying clinical trialresults. A. How to use an article measuring the effect of an intervention onsurrogate end points. Evidence-Based Medicine Working Group. JAMA1999;282:771-8.

  18. Scholten RJPM, Kostense PJ, Assendelft WJJ, Bouter LM. Depraktijk van systematische reviews. V. Heterogeniteit tussen onderzoeken ensubgroepanalysen. Ned TijdschrGeneeskd 1999;143:843-7.

  19. Koes BW, Scholten RJ, Mens JM, Bouter LM. Efficacy ofepidural steroid injections for low-back pain and sciatica: a systematicreview of randomized clinical trials. Pain 1995;63:279-88.

  20. Watts RW, Silagy CA. A meta-analysis on the efficacy ofepidural corticosteroids in the treatment of sciatica. Anaesth Intensive Care1995;23:564-9.

  21. Hopayian K, Mugford M. Conflicting conclusions from twosystematic reviews of epidural steroid injections for sciatica: whichevidence should general practitioners heed? Br J Gen Pract1999;49:57-61.

  22. Jadad AR, Cook DJ, Browman GP. A guide to interpretingdiscordant systematic reviews. Can Med Assoc J 1997;156:1411-6.

  23. Ioannidis JPA, Cappelleri JC, Lau J. Issues incomparisons between meta-analyses and large trials. JAMA1998;279:1089-93.

  24. Egger M, Smith GD. Misleading meta-analysis. BMJ1995;310:752-4.

  25. Egger M, Smith GD, Schneider M, Minder C. Bias inmeta-analysis detected by a simple, graphical test. BMJ1997;315:629-34.

  26. Black N. Why we need observational studies to evaluatethe effectiveness of health care. BMJ 1996;312:1215-8.

  27. Kunz F, Oxman AD. The unpredictability paradox: review ofempirical comparisons of randomised and non-randomized clinical trials. BMJ1998;317:1185-90.

  28. Concato J, Shah N, Horwitz RI. Randomized, controlledtrials, observational studies, and the hierarchy of research designs. N EnglJ Med 2000;342:1887-9.

  29. Benson K, Hartz AJ. A comparison of observational studiesand randomized, controlled trials. N Engl J Med 2000;342:1878-86.

  30. Zielhuis GA. Dwalingen in de methodologie. XX.Randomisatie als middel tegen verstoring door indicatie. Ned Tijdschr Geneesk2000;144:1528-31.

  31. Assendelft WJJ, Zaat JOM, Bouter LM. Systematischereviews als basis voor de NHG-standaard Epicondylitis abstract.Ned TijdschrGeneeskd 1997;141:911.

  32. Cook DJ, Greengold NL, Ellrodt AG, Weingarten SR. Therelation between systematic reviews and practice guidelines. Ann Intern Med1997;127:210-6.

  33. Assendelft WJJ, Everdingen JJE van. Richtlijnen. In:Offringa M, Assendelft WJJ, Scholten RJPM. Inleiding in evidence-basedmedicine; klinisch handelen gebaseerd op bewijsmateriaal. Houten: BohnStafleu Van Loghum; 2000.

  34. Feder G, Eccles M, Grol R, Griffiths C, Grimshaw J.Clinical guidelines. Using clinical guidelines. BMJ1999;318:728-30.

Auteursinformatie

Academisch Medisch Centrum/Universiteit van Amsterdam, Amsterdam.

Emma Kinderziekenhuis, afd. Kindergeneeskunde: prof.dr.M.Offringa, kinderarts-epidemioloog (tevens: Dutch Cochrane Centre).

Vrije Universiteit, Instituut voor Extramuraal Geneeskundig Onderzoek, Amsterdam.

Dr.M.W.van Tulder en prof.dr.L.M.Bouter, epidemiologen.

Kwaliteitsinstituut voor de Gezondheidszorg CBO, Utrecht.

Dr.J.J.E.van Everdingen, adjunct-directeur medisch-specialistische kwaliteit.

Contact Dutch Cochrane Centre en Divisie Public Health, Afd. Huisartsgeneeskunde: dr.W.J.J.Assendelft, huisarts-epidemioloog (p.assendelft@nhg-nl.org)

Gerelateerde artikelen

Reacties