Beoordeling van de maatschappelijke relevantie van toegepast gezondheidsonderzoek: het belang van publiceren in nationale vaktijdschriften als ruwe indicator

Perspectief
L.M. Bouter
J.A. Knottnerus
Citeer dit artikel als: Ned Tijdschr Geneeskd. 2000;144:1178-83
Abstract
Download PDF

Samenvatting

Het oordeel over de output van gezondheidsonderzoek heeft belangrijke consequenties voor afdelingen, instituten en de carrière van afzonderlijke personen. Beoordeling door collega-onderzoekers (‘peer review’) van de wetenschappelijke kwaliteit staat centraal in deze evaluatie, waarbij steeds meer een bibliometrische analyse de basis vormt. Bij die analyse worden citaties geteld in tijdschriften die zijn geïndexeerd in de (Social) Science Citation Index. Hoewel de methode nog verre van perfect is, lijkt er enige consensus te zijn over hoe men wetenschappelijke kwaliteit kan beoordelen; dit in tegenstelling tot de beoordeling van maatschappelijke relevantie van het gezondheidsonderzoek. Er is namelijk geen overeenstemming over het belang en de dimensies van de relevantie, noch over de methoden van beoordeling. Er is behoefte aan beoordeling van de maatschappelijke impact van toegepast gezondheidsonderzoek, naast de weging van de wetenschappelijke kwaliteit ervan. Een ruwe eerste schatting van het maatschappelijk belang van gezondheidsonderzoek kan worden afgemeten aan het aantal publicaties in nationale vaktijdschriften.

Het evalueren van gezondheidsonderzoek is in toenemende mate van belang voor de prognose van afdelingen en instituten, alsmede voor de carrière van individuele onderzoekers. De Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) heeft in dit verband een belangrijke trend gezet doordat zij in de afgelopen 12 jaar driemaal de onderzoeksresultaten heeft geëvalueerd van de 8 medische faculteiten van ons land.1 Tevens is de KNAW verantwoordelijk voor de (her)erkenning van de onderzoekscholen waarin veel van het gezondheidsonderzoek en de opleidingen van onderzoekers inmiddels zijn ondergebracht.

Peer review

Beide evaluaties berusten op het systeem van ‘peer review’ (beoordeling door collega-onderzoekers), enigszins analoog aan de wijze waarop tijdschriftartikelen en onderzoeksvoorstellen worden beoordeeld.2 Met betrekking tot peer-reviewprocedures wordt evenwel een alarmerend gebrek aan reproduceerbaarheid in de literatuur gerapporteerd.3 4 Terwijl onderzoeksvoorstellen en manuscripten van artikelen na afwijzing elders opnieuw kunnen worden ingediend in de hoop op een gunstiger oordeel, is zo'n herkansing doorgaans niet mogelijk wanneer onderzoeksresultaten als geheel worden geëvalueerd door instanties als de KNAW. Daarom verdienen de validiteit en de reproduceerbaarheid van dergelijke evaluaties zorgvuldige aandacht.5

Bibliometrische analyse van de onderzoeksoutput

Tot dusver is de evaluatie van onderzoeksresultaten vrijwel uitsluitend gericht op een beoordeling van de wetenschappelijke kwaliteit. Daarbij is, naast een beoordeling van de inhoud en de actualiteit van het werk, bibliometrische analyse van de impact van uit het onderzoek resulterende publicaties in internationale wetenschappelijke tijdschriften gedurende de laatste jaren een steeds grotere rol gaan spelen.5-7 Er is echter ook felle kritiek op deze benadering, bijvoorbeeld door degenen die stellen dat voor een bibliometrische analyse geldt: ‘. . .appropriate only for those who can count but not read’ . . . alleen bruikbaar voor personen die wel kunnen tellen, maar niet kunnen lezen.8 Veel van dergelijke analyses worden uitgevoerd door het Centre for Science and Technology Studies uit Leiden en de analyses zijn gebaseerd op het tellen van publicaties en citaties die vóórkomen in de Science Citation Index (SCI) en de Social Science Citation Index (SSCI) die worden geproduceerd door het Amerikaanse Institute of Scientific Information (ISI). Zo'n bibliometrische analyse geeft een plezierig kwantitatief en objectief accent aan een evaluatie van onderzoeksresultaten op basis van peer review. Helaas zijn er ook een aantal serieuze tekortkomingen en worden publicaties in niet-geïndexeerde tijdschriften, zoals het Nederlands Tijdschrift voor Geneeskunde (NTvG), volledig genegeerd.5 9 10

zijn niet-geïndexeerde tijdschriften van belang voor de evaluatie van wetenschappelijke kwaliteit van onderzoeksresultaten?

Lang niet alle voor de gezondheidszorg relevante tijdschriften zijn geïndexeerd in de internationale SCI of SSCI. Het percentage van de wetenschappelijke tijdschriften dat niet geïndexeerd is, zal naar verwachting het grootste zijn voor toegepast gezondheidsonderzoek (in vergelijking tot strategisch en fundamenteel gezondheidsonderzoek). Met toegepast gezondheidsonderzoek wordt patiëntgebonden onderzoek bedoeld dat zich richt op klinisch relevante, in standaarden en richtlijnen te vervatten, gezondheidsuitkomsten, alsmede onderzoek naar de structuur en de organisatie van de gezondheidszorg. De maatschappelijke toepasbaarheid binnen afzienbare termijn is in de regel een expliciet onderdeel van de missie van dit onderzoek. Het percentage geindexeerde wetenschappelijke tijdschriften is mogelijk nog lager voor niet-universitaire onderzoeksinstituten en voor disciplines waarin gepeer-reviewde publicaties in boeken een belangrijk communicatiemiddel zijn. De subcommissie gezondheids(zorg)wetenschappen van de KNAW wees er daarom in 1991 op dat men bij de beoordeling van onderzoeksresultaten rekening moest houden met de gebondenheid van onderzoek aan nationale systemen en met de heersende publicatiecultuur.11

Blauwe lijst

De KNAW heeft een en ander getracht te ondervangen door voor gezondheidszorgonderzoek relevante tijdschriften die buiten de (S)SCI vallen op te nemen in de zogeheten ‘Blauwe lijst’ (tabel 1). Er kan echter verschillend worden gedacht over de vraag in hoeverre deze lijst daadwerkelijk een bijdrage levert aan de evaluatie van de wetenschappelijke kwaliteit van onderzoeksresultaten. Ten eerste bevat de Blauwe lijst een heterogene collectie Engels- en Nederlandstalige tijdschriften en één Franstalig tijdschrift, waarvan niet in alle gevallen duidelijk is in hoeverre de kwalificaties ‘gepeer-reviewd’ en ‘wetenschappelijk’ erop van toepassing zijn. Ten tweede kunnen op basis van deze lijst slechts aantallen publicaties worden geteld, aangezien citatiescores en impactfactoren niet beschikbaar zijn voor de betreffende tijdschriften. Ten derde richt de Blauwe lijst zich uitsluitend op gezondheidszorgonderzoek en negeert daarbij andere vormen van toegepast gezondheidsonderzoek (bijvoorbeeld klinisch wetenschappelijk onderzoek) die vermoedelijk niet alleen in geïndexeerde, maar ook in niet-geïndexeerde tijdschriften gepubliceerd worden. Ten vierde mag worden verondersteld dat er voor klinisch onderzoek een sterke samenhang zal zijn tussen de wetenschappelijke kwaliteit van de publicaties in de geïndexeerde en in de niet-geïndexeerde wetenschappelijke tijdschriften. Zo is bijvoorbeeld aangetoond dat de wetenschappelijke kwaliteit van een gerandomiseerde klinische trial (RCT) in Engelstalige tijdschriften vergelijkbaar is met die van een RCT van dezelfde auteurs in anderstalige bladen, hoewel statistisch significante resultaten veel vaker voorkomen in de Engelstalige artikelen.12-14

Nationaal georiënteerde vakgebieden

Disciplines die zich concentreren op wetenschappelijke vraagstellingen met een sterk nationaal accent, bijvoorbeeld gezondheidsrecht en beleidswetenschap, zijn in belangrijke mate aangewezen op nationale wetenschappelijke tijdschriften die niet in (S)SCI worden geïndexeerd. In dergelijke gevallen is het van belang nationale gepeer-reviewde tijdschriften, zoals opgenomen in de Blauwe lijst, te betrekken bij de beoordeling van de wetenschappelijke kwaliteit van dat onderzoek. Met uitzondering van deze sterk nationaal georiënteerde vakgebieden ontstaat de indruk dat een bibliometrische analyse in de context van een gepeer-reviewde evaluatie van de wetenschappelijke kwaliteit van toegepast gezondheidsonderzoek - gegeven de thans geldende beperkte mogelijkheden - zich vooralsnog zonder grote bezwaren zou kunnen beperken tot (S)SCI-publicaties. Daarbij dient, zoals reeds gebruikelijk, rekening te worden gehouden met het specifieke publicatieprofiel van een vakgebied. Dit doet uiteraard geen afbreuk aan de wenselijkheid om in de toekomst, ongeacht de taal van publicatie, alle gepeer-reviewde wetenschappelijke tijdschriften op te nemen in de (S)SCI. En bovenal mag niet worden vergeten dat een bibliometrische analyse slechts één van de pijlers is waarop een adequate beoordeling van de wetenschappelijke kwaliteit door ‘peers’ dient te berusten.

hoe kan maatschappelijke relevantie van onderzoeksresultaten worden geëvalueerd?

Veel fundamenteler is de vraag of de evaluatie zich zou moeten beperken tot wetenschappelijke kwaliteit. Immers, maatschappelijke relevantie is een ander belangrijk doel van gezondheidsonderzoek.5 Hoewel de toekomstige maatschappelijke relevantie van fundamenteel en strategisch onderzoek lastig valt in te schatten en in elk geval pas vele jaren later zichtbaar zal worden, is maatschappelijke relevantie veelal een expliciet doel op de korte termijn voor toegepast gezondheidsonderzoek. Het is daarbij verstandig om een onderscheid te maken tussen potentiële toekomstige (ex ante) en in concreto gerealiseerde (ex post) maatschappelijke impact.

De toekomstige maatschappelijke relevantie van toegepast gezondheidsonderzoek kan worden afgelezen aan indicatoren voor de betreffende ziektelast, de mate van onzekerheid met betrekking tot de vraagstelling van het onderzoek (‘weten wij de antwoorden eigenlijk al?’), de potentiële gezondheidswinst en de monetaire opbrengst, alsmede de waarschijnlijkheid dat de onderzoeksresultaten ook daadwerkelijk de gewenste impact zullen hebben.15 Deze anticiperende benadering van maatschappelijke relevantie is in het bijzonder van belang voor subsidieverlenende instanties. Op het terrein van het beoordelen van de doelmatigheid van specifieke interventies en van de organisatie van de zorg zijn hiermee in ons land enige ervaringen opgedaan.16 Aangaande de evaluatie van onderzoeksresultaten is het perspectief van de in concreto gerealiseerde maatschappelijke impact vermoedelijk belangrijker. Daarbij gaat het om de gewenste impact op gezondheidsparameters, op de gezondheidszorg en op het gezondheidsbeleid.

Indicatoren van maatschappelijke relevantie

Een dergelijke evaluatie van maatschappelijke relevantie van onderzoeksresultaten is een nog grotendeels onontgonnen gebied. De causale attributie zal vermoedelijk altijd erg lastig blijven, en bovendien is er een groot gebrek aan bruikbare informatie. In tabel 2 worden enkele mogelijke indicatoren opgesomd. Voor veel indicatoren geldt dat er nog geen informatie over beschikbaar is en dat deze vermoedelijk ook moeilijk of slechts tegen hoge kosten is te verkrijgen. Ook is het nog te vroeg voor een gefundeerd oordeel over het relatieve belang van de verschillende indicatoren en bestaat geen zekerheid over de mate waarin ze een werkelijke impact op de volksgezondheid representeren. De indicatoren uit de tabel hebben weliswaar een goede ‘face validity’ (ze lijken op het oog te zullen meten wat men wil meten), maar van lidmaatschappen van commissies en onderwijsactiviteiten kan ook beargumenteerd worden dat de wetenschappers hierdoor worden afgeleid van het doen van maatschappelijk relevant onderzoek. Op dit punt is overigens een parallel zichtbaar met de indicatoren van aanzien (‘indicators of esteem’) die vaak worden meegenomen in de beoordeling van wetenschappelijke kwaliteit, zoals lidmaatschappen van wetenschappelijk-bestuurlijke gremia en redacteurschappen van prestigieuze tijdschriften. Hoewel een inzicht in de in de tabel opgesomde onderwijsactiviteiten, auteurschappen en lidmaatschappen kan worden verschaft door de betreffende onderzoekers, zal het verre van eenvoudig zijn om een citatieanalyse of, en dat is veel beter, een inhoudsanalyse te maken van de opgesomde documenten. Het zal ook lastig zijn te bepalen welke documenten in beschouwing dienen te worden genomen. In eerste instantie gaan de gedachten uit naar de richtlijnen en protocollen van bijvoorbeeld het Nederlands Huisartsen Genootschap (NHG) en het Kwaliteitsinstituut voor de Gezondheidszorg CBO, alsmede naar de rapporten en beleidsnotities van bijvoorbeeld de Gezondheidsraad, de Raad voor Gezondheidsonderzoek, het College voor Zorgverzekeringen en het Ministerie van Volksgezondheid, Welzijn en Sport.

Onlangs is gepubliceerd over een analyse van de literatuurbronnen die waren gebruikt als basis van ‘evidence-based’ behandelrichtlijnen in het Verenigd Koninkrijk.17 De richtlijnen bleken voornamelijk gebaseerd te zijn op nationaal toegepast gezondheidsonderzoek, waarbij de gemiddelde publicatie waarnaar werd verwezen 8 jaar oud was. Mogelijk zouden ook uitingen van onderzoeksresultaten op cd-rom, het internet, de radio of de televisie en in de schrijvende pers in de beoordeling van de maatschappelijke relevantie van resultaten van toegepast gezondheidsonderzoek moeten worden betrokken.

Maatschappelijke toepasbaarheid

Het analyseren van documenten is enerzijds uiteraard slechts een indirecte manier om naar maatschappelijke relevantie te kijken. Het gaat immers om de daadwerkelijke impact op gezondheidsparameters, gezondheidszorg en gezondheidsbeleid. Maar anderzijds kan worden gesteld dat de toepasbaarheid het centrale criterium in de beoordeling van de maatschappelijke relevantie van onderzoeksresultaten zou moeten zijn. De daadwerkelijke toepassing is immers meer een zaak van professionals werkzaam in de gezondheidszorg, ambtenaren en politici. De in tabel 2 opgesomde indicatoren van maatschappelijke relevantie hebben met name betrekking op Nederlandstalige documenten, hoewel het ook relevant zou kunnen zijn om Europese en andere internationale activiteiten in de overwegingen te betrekken.

is het publiceren in nederlandstalige tijdschriften een geschikte indicator van maatschappelijke relevantie?

Nederlandse onderzoekers kunnen hun onderzoeksresultaten presenteren aan een internationaal forum, maar ook kiezen voor publicatie in hun eigen taal.18 Uiteraard moeten onderzoekers uit andere landen, met uitzondering van de Engelstalige, een vergelijkbare keuze maken. Publicatie in al dan niet gepeer-reviewde Nederlandse tijdschriften lijkt een belangrijke rol te vervullen in de communicatie van de resultaten van toegepast gezondheidsonderzoek van Nederlandse onderzoekers naar de werkers in de Nederlandse gezondheidszorg.19 Dientengevolge spelen tijdschriften zoals het NTvG, Huisarts en Wetenschap, Tijdschrift voor Gezondheidswetenschappen, Medisch Contact en Hartbulletin vermoedelijk een centrale rol in de maatschappelijke impact van de onderzoeksresultaten van Nederlandse onderzoekers. Slechts naar schatting 10 van de Nederlandse artsen leest regelmatig internationale medisch-wetenschappelijke tijdschriften, hetgeen suggereert dat Nederlandstalige publicatie cruciaal is om met onderzoeksresultaten de dagelijkse praktijk en de kwaliteit van de gezondheidszorg te beïnvloeden.19 Vorig jaar werden in het NTvG 3 artikelen gepubliceerd die aantonen dat publicaties in dat blad een aantal indicatoren van maatschappelijke relevantie beïnvloeden.20-22

Hoewel er dus overtuigende voorbeelden zijn van Nederlandstalige publicaties van onderzoeksresultaten met een maatschappelijke impact, moet wel worden onderkend dat het in toenemende mate gaat om herpublicatie van artikelen in geïndexeerde tijdschriften. Auteurs van artikelen in Nederlandstalige tijdschriften ontvangen doorgaans veel reacties van hun collega's en krijgen soms aandacht in de lekenpers.20-22 Onder ambtenaren en politici lijkt een analoge tendens te bestaan om zich primair te richten op Nederlandstalige tijdschriften. Kennelijk is dit de meest directe weg waarlangs onderzoeksresultaten in het gezondheidsbeleid worden geïncorporeerd.

Derhalve kan voorzichtig worden gesteld dat de mate van publiceren in Nederlandstalige tijdschriften een ruwe indicatie geeft van de maatschappelijke relevantie van de onderzoeksresultaten van een afdeling, instituut of individuele onderzoeker, althans, voor zover het om toegepast gezondheidsonderzoek gaat. Hoewel de Blauwe lijst van de KNAW (zie tabel 1) dus van beperkt belang lijkt voor de evaluatie van wetenschappelijke kwaliteit, lijken de erin opgenomen nationale tijdschriften wel degelijk van belang voor de evaluatie van maatschappelijke relevantie. Echter, de mate van publiceren in nationale tijdschriften (Blauwe lijst) is een gebrekkige indicator van de maatschappelijke relevantie van het eraan ten grondslag liggende onderzoek. De rechtvaardiging van deze indicator is mede gelegen in het vooralsnog ontbreken van informatie over andere indicatoren.

Uiteraard moet worden benadrukt dat maatschappelijk relevante publicaties van Nederlandse auteurs langs de weg van vooraanstaande internationale wetenschappelijke tijdschriften ook uitstekend hun professionele toepassing kunnen vinden, dan wel aandacht van de media kunnen krijgen, en aldus een maatschappelijke impact hebben. Wel is het de vraag of een maatschappelijk relevante publicatie in een minder vooraanstaand internationaal tijdschrift de weg naar de Nederlandse gezondheidszorg zal vinden.

wetenschappelijke én maatschappelijke relevantie

Zelfs al zouden de wetenschappelijke kwaliteit en de maatschappelijke relevantie van toegepast gezondheidsonderzoek onderling sterk correleren, dan nog is om verschillende redenen expliciete aandacht voor maatschappelijke relevantie van groot belang. Ten eerste is de beschikbaarheid van goede indicatoren cruciaal voor zelfevaluatie en de sturing van het onderzoeksbeleid in afdelingen, instituten en onderzoekscholen die de maatschappelijke relevantie hoog in het vaandel hebben staan. Ten tweede is dergelijke informatie noodzakelijk als men verantwoording wil afleggen over de gemaakte voortgang bij de realisatie van zo'n missie of ter adstruering van claims voor middelen voor toegepast gezondheidsonderzoek met maatschappelijke argumenten. En ten derde kunnen concrete indicatoren van de maatschappelijke relevantie helpen om het gedrag van onderzoekers te sturen. Zonder expliciete aandacht voor en waardering van maatschappelijke relevantie zal men immers weinig geneigd zijn om deze dimensie aandacht te geven.

Wanneer deze argumenten worden gevoegd bij het voorgaande, ontstaat er een krachtig pleidooi om bij de beoordeling van onderzoeksresultaten naast een internationale oriëntatie tevens aandacht in te ruimen voor nationale publicaties. Uiteraard zijn er ook andere goede redenen om te kiezen voor een Nederlandstalig tijdschrift, zoals voor publicatie van onderzoeksresultaten die plaats- en tijdgebonden zijn, of voor methodologisch-didactische bijdragen gericht op Nederlandse werkers in de gezondheidszorg. Voorbeelden van de laatste categorie zijn de reeksen in het NTvG over systematisch literatuuronderzoek en over ‘Dwalingen in de methodologie’.23-27

Een gebalanceerde evaluatie van onderzoeksresultaten is van groot belang, met name omdat de consequenties ingrijpend kunnen zijn. Voor toegepast gezondheidsonderzoek betekent dit dat zowel de wetenschappelijke kwaliteit als de maatschappelijke relevantie aandacht verdient. Het huidige systeem van beoordeling van wetenschappelijke kwaliteit is nog verre van volmaakt, maar er is inmiddels een redelijke mate van consensus over de te volgen methode en er is een aantal informatieve indicatoren beschikbaar.

Wat betreft de evaluatie van de maatschappelijke relevantie moet het werk nog vrijwel geheel beginnen en is er nog een lange weg te gaan alvorens bruikbare indicatoren in voldoende mate beschikbaar zullen zijn. Het is daarom goed dat de Commissie Geneeskunde van de KNAW een subcommissie in het leven heeft geroepen die over dit onderwerp naar verwachting in het najaar van 2000 zal rapporteren.

conclusie

Publicaties in nationale tijdschriften lijken een belangrijke rol te spelen in de overdracht van onderzoeksresultaten naar de dagelijkse praktijk en het gezondheidsbeleid. Daarom geeft de mate waarin in nationale tijdschriften wordt gepubliceerd een eerste ruwe indicatie van de maatschappelijke relevantie van het betreffende onderzoeksprogramma. Deze overweging mag worden opgevat als een pleidooi voor het regelmatig publiceren van maatschappelijk relevant onderzoek in Nederlandse vaktijdschriften.

Literatuur

  1. Royal Netherlands Academy of Arts and Sciences,Association of Universities in the Netherlands. Discipline report on(bio)medical and health sciences in the Netherlands 1998. Amsterdam: KNAW& VSNU; 1999.

  2. Godlee F, Jefferson T, editors. Peer review in healthsciences. Londen: BMJ Books; 1999.

  3. Hodgson C. How reliable is peer review? An examination ofoperating grant proposals simultaneously submitted to two similar peer reviewsystems. J Clin Epidemiol 1997;50:1189-95.

  4. Wessely S. Peer review of grant applications: what do weknow? Lancet 1998;352:301-5.

  5. Bouter L. Meten is weten? Tijdschrift voorGezondheidswetenschappen 1998;76:354-5.

  6. Raan AJF van. Advanced bibliometric methods asquantitative core of peer review based evaluation and foresight exercises.Scientometrics 1996;36:397-420.

  7. Moed HF, Bruin RE de, Leeuwen ThN van. New bibliometrictools for the assessment of national research performance: databasedescription, overview of indicators and first applications. Scientometrics1995;33:381-422.

  8. Saper CB. What's in a citation impact factor? Ajournal by any other measure. J Comp Neurol 1999;411:1-2.

  9. Schoonbaert D, Roelants G. Citation analysis for measuringthe value of scientific publications: quality assessment tool or comedy oferrors? Trop Med Int Health 1996;1:739-52.

  10. Wouters P. The citation culture proefschrift.Amsterdam: Universiteit van Amsterdam; 1999.

  11. Leenen HJJ, Grinten TED van der, Knottnerus JA, LambertsH, Maas PJ van der, Roscam Abbing EW, et al. Rapport SubcommissieGezondheids(zorg)wetenschappen. Amsterdam: Koninklijke Nederlandse Akademievan Wetenschappen; 1991.

  12. Moher D, Fortin P, Jadad AR, Jüni P, Klassen T, LeLorier J, et al. Completeness of reporting of trials published in languagesother than English: implications for conduct and reporting of systematicreviews. Lancet 1996;347:363-6.

  13. Egger M, Zellweger-Zahner T, Schneider M, Junker C,Lengeler C, Antes G. Language bias in randomised controlled trials publishedin English and German. Lancet 1997;350:326-9.

  14. Gregoire G, Derderian F, Le Lorier J. Selecting thelanguage of the publications included in a meta-analysis: is there a Tower ofBabel bias? J Clin Epidemiol 1995;48:159-63.

  15. Oortwijn WJ, Vondeling H, Bouter L. The use of societalcriteria in priority setting for health technology assessment in theNetherlands. Initial experiences and future challenges. Int J Technol AssessHealth Care 1998;14:226-36.

  16. Oortwijn WJ, Banta D, Vondeling H, Bouter L.Identification and priority setting for health technology assessment in theNetherlands: actors and activities. Health Policy 1999;47:241-53.

  17. Grant J, Cottrell R, Cluzeau F, Fawcett G. Evaluating‘payback’ on biomedical research from papers cited in clinicalguidelines: applied bibliometric study. BMJ 2000;320:1107-11.

  18. Vandenbroucke JP. On not being born a native speaker ofEnglish. BMJ 1989;298:1461-2.

  19. Visser HKA. Het belang van publiceren in Nederlandsewetenschappelijke tijdschriften met een extern beoordelingssysteem.Ned Tijdschr Geneeskd1998;142:798-801.

  20. Maldegem BT van, Walvoort HC, Overbeke AJPM. Effecten vanartikelen gepubliceerd in het Nederlands Tijdschrift voor Geneeskunde.Ned Tijdschr Geneeskd1999;143:1957-62.

  21. Maldegem BT van, Walvoort HC, Wolterbeek R. Invloed vanenkele klinische lessen in het Nederlands Tijdschrift voor Geneeskunde op hetklinisch handelen. Ned TijdschrGeneeskd 1999;143:1962-5.

  22. Maldegem BT van, Overbeke AJPM. Berichten in Nederlandsenationale kranten naar aanleiding van artikelen uit medisch-wetenschappelijketijdschriften. Ned Tijdschr Geneeskd1999;143:1962-72.

  23. Assendelft WJJ, Tulder MW van, Scholten RJPM, Bouter LM.De praktijk van systematische reviews. II. Zoeken en selecteren vanliteratuur. Ned Tijdschr Geneeskd1999;143:656-61.

  24. Assendelft WJJ, Scholten RJPM, Eijk JThM van, Bouter LM.De praktijk van systematische reviews. III. Methodologische beoordeling vanonderzoeken. Ned Tijdschr Geneeskd1999;143:714-9.

  25. Scholten RJPM, Kostense PJ, Assendelft WJJ, Bouter LM. Depraktijk van systematische reviews. IV. Het combineren van de resultaten vanafzonderlijke onderzoeken. NedTijdschr Geneeskd 1999; 143:786-91.

  26. Scholten RJPM, Assendelft WJJ, Kostense PJ, Bouter LM. Depraktijk van systematische reviews. V. Heterogeniteit tussen onderzoeken ensubgroepanalysen. Ned TijdschrGeneeskd 1999;143:843-8.

  27. Rosendaal FR, Bouter LM. Dwalingen in de methodologie. I.Inleiding. Ned Tijdschr Geneeskd1998;142:1554-5.

Auteursinformatie

Vrije Universiteit, Faculteit der Geneeskunde, Instituut voor Extramuraal Geneeskundig Onderzoek, Van der Boechorststraat 7, 1081 BT Amsterdam.

Prof.dr.L.M.Bouter, epidemioloog.

Netherlands School of Primary Care Research, Maastricht.

Prof.dr.J.A.Knottnerus, huisarts.

Contact prof.dr.L.M.Bouter

Reacties