Onderzoeksartikelen lezen

Klinische praktijk
Yolanda van der Graaf
Joost Zaat
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2015;159:A9004
Abstract
Download PDF

Samenvatting

  • Op de hoogte blijven van de nieuwste ontwikkelingen is niet gemakkelijk, maar het lezen van artikelen over onderzoek is dat ook niet.
  • Er zijn te veel medische tijdschriften met daarin ook nog eens veel informatie die voor de klinische praktijk irrelevant is.
  • U moet uit dat woud aan artikelen beoordelen welke belangrijk zijn voor uw klinische praktijk en welke niet. De meeste artikelen vallen natuurlijk in de laatste categorie, want er zijn niet wekelijks spectaculaire bevindingen met grote consequenties voor de medische praktijk.
  • Het belangrijkste in een onderzoeksartikel is de vraagstelling. Als u hierbij begint, kunt u al veel wetenschappelijke literatuur terzijde leggen.
  • De methodologiesectie is essentieel, omdat u door deze te lezen veel tijd kunt besparen.
  • In dit artikel nemen we u stap voor stap mee bij het lezen van onderzoeksartikelen. De artikelen in onze Methodologie-serie dienen hierbij als achtergrond. In een infographic zijn deze stappen nog eens summier samengevat.
  • Deze artikelen zijn gebundeld in een tablet-app:  >> download de bundel

Op de hoogte blijven van de nieuwste ontwikkelingen is niet gemakkelijk, maar het lezen van artikelen over onderzoek is dat ook niet. Er zijn te veel medische tijdschriften om bij te kunnen houden, met daarin ook nog eens veel informatie die voor de klinische praktijk irrelevant is.1 Daar moet de wetenschap een oplossing voor zoeken, maar intussen zit u wel met die overvloed en de vraag wat u wel en niet moet lezen. Hoe u efficiënt zoekt naar medische informatie is onder meer te vinden op de website van het NTvG.

Om het kaf van het koren te scheiden is een gedegen opleiding tot wetenschappelijk onderzoeker niet nodig

Maar dan, hoe beoordeelt u of een onderzoeksartikel relevant is en de kwaliteit ervan goed genoeg is? Ook patiënten komen artikelen tegen en willen weten of de inhoud voor hen van betekenis is.2 Om het kaf van het koren te scheiden hebt u helemaal geen gedegen opleiding tot wetenschappelijk onderzoeker nodig.

In dit artikel schetsen we waar u vooral op moet letten bij het lezen van wetenschappelijke literatuur. Veel lezers hebben een hekel aan de methodologieblokjes in onderzoeksartikelen. Zet u over uw weerzin heen, want als u die blokjes wel leest, hoeft u de rest vaak niet meer te lezen en dat spaart tijd.

We nemen u stap voor stap mee. Bij elke stap leert u te beoordelen of een onderzoeksartikel deugt of belangrijk genoeg is om verder te lezen. Vaak is dat niet het geval en kunt u het artikel terzijde leggen. De artikelen in onze Methodologie-serie dienen hierbij als achtergrond. Die serie pretendeert niet compleet te zijn, maar geeft wel goed inzicht in een groot aantal problemen bij het doen van onderzoek vanuit het perspectief van de lezer. De artikelen uit de serie zijn gebundeld in een tablet-app, die beschikbaar is via onze website.

Vraagstelling

Als de vraagstelling ontbreekt, stop dan maar met lezen

Zoek eerst naar een heldere vraagstelling. Of het nu om een klinische trial of een observationeel onderzoek gaat, er moet een vraagstelling aan het einde van de inleiding staan. Als die ontbreekt, stop dan maar met lezen. Wees argwanend als onderzoekers iets ‘in kaart willen brengen’, want dan gaat het vaak om ‘knoopjes tellen’. Soms is dat nuttig om een probleem te definiëren, maar voor uw dagelijkse beleid hebt u er niet veel aan.

Een vraagstelling eindigt altijd met een vraagteken en bestaat uit één of meerdere determinanten, een uitkomstmaat en een domein (figuur 1), bijvoorbeeld: Wat is het effect van griepvaccinatie op de sterfte bij patiënten met een afweerstoornis? Hierin is ‘griepvaccinatie’ de determinant, ‘sterfte’ de uitkomstmaat en zijn ‘patiënten met een afweerstoornis’ de groep mensen waarover de studie iets wil zeggen (domein). Er zijn – grofweg – 3 punten waar het bij de vraagstelling al mis kan gaan: de populatie is een nogal select gezelschap, de determinant is niet goed beschreven of de uitkomstmaat is niet relevant.

Het moet helder zijn om welke patiënten of mensen de studie gaat. De conclusies van gerandomiseerd gecontroleerde trials (RCT’s) zijn over het algemeen wat vaker valide dan die van observationele onderzoeken (RCT). Daar staat wel tegenover dat de studiepopulatie in een RCT een beperkte selectie is. Het is aan u om de resultaten te vertalen naar de patiënten die qua inclusiecriteria niet voor de trial in aanmerking kwamen.

Dat is nog niet zo gemakkelijk als u denkt. Ouderen vormen in de meeste specialismen een belangrijke groep, maar zijn in trials vaak niet of te weinig vertegenwoordigd. En zelfs als die ouderen wel in trials zitten, kan er nog een probleem zijn. Zo toonde een Nederlandse onderzoeksgroep aan dat de vrouwen van 75 jaar en ouder met borstkanker die in trials geïncludeerd werden, gemiddeld jonger waren, minder comorbiditeit hadden en kleinere tumoren hadden dan vrouwen boven de 75 jaar die in de kankerregistratie waren opgenomen.3

https://vimeo.com/ntvg/onderzoeksvraag




Over het algemeen hebben klinisch relevante uitkomstmaten die ook echt iets voor de patiënt betekenen de voorkeur, dus geen laboratoriumwaarden of diameters van vaten. Bekijk of de onderzoekers alle klinisch relevante uitkomstmaten hebben gekozen. Voor jonge vrouwen met borstkanker is sterfte aan die ziekte de belangrijkste uitkomstmaat, maar bij ouderen is het uitsluitend bestuderen van 1 ziekte te simpel en is ziektespecifieke sterfte vaak niet de beste uitkomstmaat.

Niet altijd is het mogelijk om harde uitkomstmaten te meten. Dan is het aan u om te beoordelen of titerstijgingen en het optreden van griep goede uitkomsten zijn om een nationaal vaccinatieprogramma op te tuigen. In veel onderzoek bepaalt de haalbaarheid ook de keuze van de uitkomstmaat. Een intermediaire uitkomstmaat vraagt een veel kleinere studiepopulatie dan een RCT met harde uitkomstmaten die voor de patiënt belangrijk zijn (intermediaire uitkomstmaten).

Aard en onderzoeksdesign

Aard van het onderzoek

Na de beoordeling van de vraagstelling let u op de aard én de opzet van het onderzoek. In klinisch onderzoek onderscheiden we etiologisch, diagnostisch, therapeutisch en prognostisch onderzoek. De vraagstelling en de aard bepalen hoe de opzet van een studie moet zijn. Etiologische vragen leiden tot een andere opzet dan diagnostische of prognostische vragen.

Voor elk type onderzoek is wel een checklist te vinden op internet, bijvoorbeeld bij het EQUATOR Network (www.equator-network.org). Eigenlijk zijn die lijstjes voor auteurs en redacties bedoeld, maar ook voor u als lezer vormen ze een belangrijk hulpmiddel om na te gaan of een onderzoek deugt.

Onderzoeksdesign

Past de onderzoeksopzet (‘design’) van de studie bij de onderzoeksvraag? Welke groepen worden vergeleken en is er voldoende contrast tussen die groepen? Dat is een vraag die u ook zonder al te veel kennis van methodologie kunt beantwoorden. Met een conventionele dubbelblinde vergelijkende studie hebt u het gemakkelijk.

U komt echter steeds vaker ‘nieuwere’ designs tegen met vaak fraaie namen. Als onderzoekers aantonen dat de nieuwe behandeling even werkzaam is als de conventionele maar minder bijwerkingen heeft, moet u op andere aspecten letten dan bij de klassieke RCT (‘non-inferiority’-studies). Het randomiseren van complexe interventies op individueel niveau is vaak onmogelijk, bijvoorbeeld wel of geen telemonitoring op de IC. Dan is het ‘stepped wedge’-design, waarbij een interventie op groepsniveau getrapt wordt ingevoerd, een mooi alternatief (stepped-wedgedesign).

Soms wil men niet één maar meerdere nieuwe behandelingen vergelijken met de oude. Dan is een meerarmige trial een oplossing. Trials zijn duur en daarom zoeken onderzoekers naar valide efficiëntere designs. De ‘cohort multiple randomized controlled trial’ kan een oplossing zijn (cohort multiple randomized controlled trial). Als het effect van de behandeling tijdelijk is, biedt de cross-overstudie een alternatief (cross-overstudie). Hierbij is de patiënt zijn of haar eigen controlepersoon en krijgt hij of zij alle behandelingen.

Uitkomstmaten moeten voor de patiënt relevant zijn, dus geen laboratoriumwaarden

Bij het vaststellen of factoren tot ziekte leiden is een trial vaak onethisch en biedt slim observeren en vergelijken een uitweg. Soms wil men weten waarom de patiënt op een bepaald moment ziek werd, om zo achter triggers voor die ziekte te komen (patiënt-cross-overstudie). De klassieke designs om de relatie tussen een determinant en het optreden van ziekte vast te stellen zijn het follow-up- en patiënt-controleonderzoek. Wat de onderzoeker dan in een artikel hoort te rapporteren, is te vinden op de website van Strengthening the Reporting of Observational studies in Epidemiology (STROBE, www.strobe-statement.org). Bij patiënten met een zeldzame ziekte of bijwerkingen van medicatie is patiënt-controleonderzoek vaak de enige mogelijkheid (patiënt-controleonderzoek). De achilleshiel van dit type onderzoek is de selectie van de controlepersonen. U moet als lezer dan beoordelen of de controles een betrouwbaar beeld geven van de expositie of determinant.

Veel onderzoekers van observationele studies gaan te ver in hun claim dat er een causaal verband is. Als er in observationeel onderzoek een relatie is tussen een bepaalde factor, bijvoorbeeld vitamine D, en sterfte, betekent dat nog niet dat extra suppletie van vitamine D de sterfte reduceert. Als u zich dit realiseert, valt de bodem uit vele aanbevelingen (causaal redeneren).

In een enkel geval kan Mendeliaanse randomisatie een oplossing bieden (Mendeliaanse randomisatie). In genoombrede associatiestudies onderzoekt men verbanden tussen genetische variaties en ziekten. Deze studies vragen specifieke kennis. Wat wel en niet uit dit soort studies geconcludeerd kan worden, kunt u elders op onze website en op de tablet-app bekijken (genoombrede associatiestudies).

Bias en analyse

Bias

Is er een relevante onderzoeksvraag én een goed design? Dan is de volgende vraag: klopt het onderzoek of is er sprake van bias? Bias betekent dat de relatie tussen een behandeling of risicofactor en de klinische uitkomst systematisch vertekend is. Het artikel over de 3 vormen van bias – dit zijn selectiebias, informatiebias en confounding – helpt u bij het identificeren daarvan (3 vormen van bias). Voor confounding kunt u corrigeren, mits deze gemeten is en er in de analyse adequaat mee is omgegaan (confounding) (figuur 2). Zo niet, dan kan dat een reden zijn het artikel in de prullenbak te gooien.

https://vimeo.com/ntvg/confounding


Ook bij een vergelijking van de kwaliteit van ziekenhuizen is confounding een van de grootste struikelblokken (prestatie-indicatoren voor ziekenhuizen). Effecten van geneesmiddelen zijn lastig te schatten uit observationeel onderzoek, omdat er altijd redenen zijn waarom dokters aan bepaalde patiënten juist die pillen voorschrijven. Met een ‘propensity score’ schat men de kans op een bepaalde behandeling en gebruikt men deze score vervolgens om te corrigeren voor confounding en om de relatie tussen therapie en uitkomst goed te schatten (propensity-scores). In RCT’s is confounding geen issue meer, omdat de verstorende variabelen mooi verdeeld zijn over de therapiearmen en alleen de therapie verschilt.

Het schatten (imputeren) van missende waarden is geen truc maar noodzaak

In diagnostisch onderzoek speelt vooral informatiebias een rol, omdat vaak niet bij iedereen de referentietest gedaan wordt. Dit kan leiden tot aanzienlijke vertekening, waardoor de waarde van de test moeilijk te interpreteren is (referentiestandaarden). In diagnostisch en prognostisch onderzoek speelt confounding geen rol. Het gaat hier om het schatten van absolute kansen met een combinatie van factoren waarbij causaliteit helemaal geen rol hoeft te spelen (predictieregels).

Missende waarden

Veel onderzoekers laten de waarnemingen waarvan gegevens ontbreken buiten hun analyses (figuur 3). Vrijwel altijd leidt dat tot vertekende resultaten. Het schatten (imputeren) van die missende waarden in onderzoek is geen truc maar eerder noodzaak. Het zegt iets over de kwaliteit van een studie, omdat optimaal gebruik wordt gemaakt van de verzamelde gegevens (ontbrekende gegevens).

https://vimeo.com/ntvg/missendewaarden

Analyse

Als de vraagstelling en het design goed beschreven en relevant zijn, komt u bij het kopje ‘Analyse’ in een onderzoeksartikel. Niet overslaan! Het is uw laatste halte voor de resultaten. De statistische analyse volgt direct uit de vraagstelling en het onderzoeksdesign. De eerste tabel beschrijft altijd de onderzoekspopulatie; deze tabel staat vaak onder het kopje ‘Resultaten’. De opmaak van deze tabel is afhankelijk van de aard van het onderzoek. In een RCT staat in de tabel met uitgangswaarden (‘baseline’-variabelen) de verdeling van prognostische factoren over de beide armen van de trial. Op deze manier krijgt de lezer een indruk van de soort patiënten die is ingesloten en daarmee ook over de generaliseerbaarheid van de resultaten van de trial.
In zo’n tabel horen geen p-waarden te staan, want ook als er behoorlijke verschillen zijn, zijn die het gevolg van toeval. In een etiologische studie staan in deze tabel de frequenties van relevante patiëntkenmerken die zijn opgesplitst naar categorieën van de determinant. In diagnostisch en prognostisch onderzoek horen de potentiële predictoren tegen de uitkomst uitgezet te zijn.

Sla het kopje ‘Analyse’ niet over

In de analyseparagraaf moet duidelijk vermeld staan welke effectmaten gebruikt worden om de onderzoeksvraag te beantwoorden. Laat u niet van de wijs brengen door relatieve maten. Deze zeggen iets over de kracht van verbanden en interventies, maar voor patiënten is de afname in absolute kans natuurlijk het belangrijkst. Bedenk echter ook dat de gemiddelde absolute risicoreductie voor de gemiddelde patiënt geldt en dat die anders kan zijn voor het individu (individueel behandeleffect voorspellen).

En wanneer relatieve maten worden gepresenteerd, bekijk of de juiste zijn gebruikt. Oddsratio’s zijn bedoeld voor patiënt-controleonderzoek. Misbruik ervan vindt veelvuldig plaats als onderzoekers willen corrigeren voor confounders. Dit leidt tot overschatting van de effecten, omdat de oddsratio ten onrechte als een risicoratio wordt geïnterpreteerd (weg met oddsratio’s).

Als men a priori al verwacht dat er subgroepen zijn die meer of minder baat hebben bij een behandeling, kijk dan of de onderzoekers naar effectmodificatie hebben gekeken (effectmodificatie en interactie).

Wanneer het onderzoek over een biomarker gaat, dient u te kijken of de bijdrage van die factor in relatie tot andere voorspellende factoren wordt geschat in bijvoorbeeld de toename van de ‘area under the curve’ (AUC) en de netto-reclassificatie-index – of liever nog: het netto-nut – waarbij rekening gehouden wordt met de klinische context (onderscheidend vermogen).

In veel klinisch onderzoek kijken onderzoekers naar 1 bepaalde ziekte, maar dan moeten ze wel rekening houden met sterfte aan andere oorzaken. Dit speelt als de follow-up lang is of als de populatie ouder is (concurrerende risico’s in klinisch onderzoek).

Een specifiek probleem ontstaat als een trial eerder wordt gestopt dan aanvankelijk de bedoeling was. U moet dan oordelen of dat terecht was en of er inderdaad al voldoende bewijs is (tussentijdse analyse).

Resultaten

Als u bij de resultatensectie bent gekomen zonder het artikel weg te hoeven gooien, zit het onderzoek behoorlijk goed in elkaar. Vrijwel altijd is dit een korte paragraaf waarin de tabellen met de resultaten van de analyse gepresenteerd worden. Maar let er op dat u in de resultatensectie de antwoorden op de vraagstelling krijgt in kwantitatieve zin, inclusief een 95%-betrouwbaarheidsinterval (figuur 4). Niet zelden worden er allerlei tabellen gepresenteerd en p-waarden opgevoerd die maar zijdelings met de vraagstelling te maken hebben.

https://vimeo.com/ntvg/betrouwbaarheidsinterval



In een resultatensectie hoort geen interpretatie. Dat is voor de beschouwing.

Beschouwing

De beschouwing begint met een korte samenvatting van de allerbelangrijkste resultaten. Vervolgens benoemen de auteurs de beperkingen van de studie. Wat vonden onderzoekers in vergelijkbare studies? Welk ander wetenschappelijk bewijs is er beschikbaar? Interpretatie van de studieresultaten is een belangrijk onderdeel van de beschouwing. Deze hangt sterk af van de voorafkennis van de onderzoekers en de waarde die daaraan gegeven wordt. Het is ongebruikelijk om te varen op de resultaten van maar 1 studie.

Vrijwel altijd wordt in klinisch onderzoek de zogenaamde frequentistische statistiek gebruikt. Hierbij wordt een strikt onderscheid gemaakt tussen de uitkomsten van het onderzoek en de externe kennis. Tegenover de frequentistische statistiek staat de Bayesiaanse statistiek. Hierin worden de externe kennis en de resultaten van het onderzoek door de onderzoekers samengebracht in een getal (Bayesiaanse statistiek).

Tot slot horen in een beschouwing de implicaties van de studie maar ook de generaliseerbaarheid van de bevindingen aan de orde te komen. Daarvoor is biologische kennis belangrijk en dit is een belangrijke stap waarin de lezer een grote rol speelt. Iets is nu eenmaal niet te onderzoeken bij iedereen en het is aan u om te beoordelen in hoeverre u generalisatie naar anderen aannemelijk vindt.

Aan het einde van een artikel moet u een afweging maken. Het is niet zo dat u een artikel wel of niet gelooft, maar een goed ontwikkeld ‘pluis-niet pluis’-gevoel helpt wel om te differentiëren. Als u een ‘niet pluis’-gevoel hebt, ga dan terug naar de methodesectie en probeer te schetsen hoe het onderzoek er eigenlijk uit had moeten zien. Als dat niet lukt, gooi het artikel dan alsnog weg.

In de infographic zijn de stappen bij het lezen van een onderzoeksartikel nog eens summier samengevat.

Tot slot

Meta-analyse

Veranderingen in de zorg vinden zelden plaats op basis van 1 onderzoek. Veel onderzoeken zijn bovendien uitgevoerd bij een veel te kleine groep deelnemers. Een meta-analyse is dan een aanwinst. Als u op zoek bent naar literatuur, kijk dan altijd naar overzichtsartikelen op de website van het Dutch Cochrane Centre (http://dcc.cochrane.org); dat kan u veel tijd schelen. Maar ook een meta-analyse is afhankelijk van de kwaliteit van de daarin opgenomen onderzoeken (meta-analyse).

Neem niet klakkeloos de conclusies van de auteurs over

Soms wordt een meta-analyse verricht op basis van individuele patiëntengegevens. De onderzoekers hebben dan de gegevens bij de verschillende onderzoekers opgevraagd en kunnen door nieuwe analyses vaak meer vragen beantwoorden, bijvoorbeeld naar effecten in subgroepen (meta-analyse op basis van individuele-patiëntengegevens).

Een groot probleem in de medische wetenschap is selectieve publicatie. De kans op publicatie hangt onder andere af van de uitkomst van de studie maar ook van de sponsor. Hierdoor leveren ook meta-analyses toch maar een beperkt overzicht van de kennis die er echt is (ongepubliceerde onderzoeksresultaten).

Kosteneffectiviteitsanalyse

Onderzoeken naar de kosteneffectiviteit zijn lastig te beoordelen en vragen veel kennis. Of een behandeling als kosteneffectief uit de bus komt hangt sterk af van de aannamen die de onderzoekers doen. Neem hierbij zeker niet klakkeloos de conclusies van de auteurs over (de prijs van een gewonnen levensjaar).

Zelf onderzoek doen

Veel artsen in opleiding maar ook medisch specialisten doen klinisch-wetenschappelijk onderzoek, naast hun gewone werk als dokter. Het ontwerpen en uitvoeren hiervan is een vak apart en moet ook geleerd worden. Hiervoor zijn op veel plaatsen in Nederland cursussen en masterprogramma’s beschikbaar. Een recent artikel in het NTvG geeft een goed overzicht hoe u met beperkte tijd en middelen toch onderzoek kunt doen (herzien recept).

Tablet-app

Het NTvG heeft dit artikel en 30 artikelen uit onze Methodologie-serie gebundeld in een tablet-app, die beschikbaar is via onze website. In deze app staan verwijzingen naar filmpjes op het NTvG Vimeo-kanaal. In ruim 1 minuut worden diverse basale begrippen uit de methodologie, zoals p-waarde, generaliseerbaarheid en bias, op een eenvoudige manier inzichtelijk gemaakt (auteur: dr. Rolf Groenwold, arts-epidemioloog, UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijns Geneeskunde). Ook kunt u bij bepaalde begrippen in de artikelen direct doorklikken naar andere artikelen in de tablet-app.

Literatuur
  1. Ioannidis JP. How to make more published research true. PLoS Med. 2014;11:e1001747. Medline

  2. Van den Bruele T, Vos HMM. Dokter, weet dat uw patiënt googelt. Internet en de medische hulpvraag. Ned Tijdschr Geneeskd. 2014;158:A8093.

  3. Van de Water W, Kiderlen M, Bastiaannet E, Siesling S, Westendorp RG, van de Velde CJ, et al. External validity of a trial comprised of elderly patients with hormone receptor-positive breast cancer. J Natl Cancer Inst. 2014;106:dju051. Medline

Auteursinformatie

Nederlands Tijdschrift voor Geneeskunde, Amsterdam.

Prof.dr. Y. van der Graaf, adjunct-hoofredacteur en klinisch epidemioloog (tevens: Julius Centrum voor Gezondheidswetenschappen en Eerstelijns Geneeskunde, UMC Utrecht); dr. J. Zaat, adjunct-hoofredacteur en huisarts.

Contact prof.dr. Y. van der Graaf (y.vandergraaf@ntvg.nl)

Belangenverstrengeling

Belangenconflict en financiële ondersteuning: geen gemeld.

Auteur Belangenverstrengeling
Yolanda van der Graaf ICMJE-formulier
Joost Zaat ICMJE-formulier
Dit artikel is gepubliceerd in het dossier
Methodologie van onderzoek

Gerelateerde artikelen

Reacties