Vertekening van onderzoeksresultaten en hoe dat te voorkomen

3 vormen van bias

Klinische praktijk
Rolf H.H. Groenwold
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2013;157:A6497
Abstract
Download PDF

Samenvatting

  • Een systematische vertekening van de relatie tussen een behandeling, risicofactor of blootstelling enerzijds en klinische uitkomsten anderzijds wordt aangeduid met de term ‘bias’.

  • Er kunnen 3 vormen van bias worden onderscheiden: informatiebias, selectiebias en confounding.

  • Aan de hand van verschillende voorbeelden worden deze 3 vormen van bias en mogelijke oplossingen besproken.

artikel

In de rubriek Stand van zaken verschijnen regelmatig bijdragen over methoden die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze wat een bepaalde methode behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren.

Klinisch onderzoek richt zich vaak op het kwantificeren van de relatie tussen een behandeling, risicofactor of blootstelling enerzijds en klinische uitkomsten anderzijds. Wanneer een onderzoek is opgezet of wordt geanalyseerd zo danig dat dit leidt tot een systematische vertekening van die relatie, is er sprake van bias. De vertekening is systematisch en berust dus niet op toevallige variatie. Daardoor is deze vertekening niet te verminderen door bijvoorbeeld meer proefpersonen in het onderzoek op te nemen.

Er zijn veel verschillende soorten bias beschreven (figuur 1). Ondanks het gebruik van die verschillende termen, is een onderscheid in 3 soorten bias afdoende om alle vormen van bias binnen een onderzoek te beschrijven: informatiebias, selectiebias en confounding.1 Zo zijn ‘immortal time bias’, ‘recall bias’ en ‘observer bias’ alle 3 vormen van informatiebias, en ‘healthy user bias’, ‘channeling’ en ‘protopathic bias’ zijn synoniemen voor confounding.

Figuur 1

Dit artikel beschrijft wat informatiebias, selectiebias en confounding precies zijn en geeft aan hoe de vertekening zo veel mogelijk is te voorkómen of te corrigeren. Daarbij gaat het om verschillende vormen van bias binnen 1 onderzoek. Het artikel gaat niet in op bias in onderzoek waarin informatie uit verschillende studies wordt gebruikt. De behandeling, risicofactor of blootstelling wordt vaak aangeduid als determinant, een term die wij ook in dit artikel hanteren.

Informatiebias

In een gerandomiseerd onderzoek onder patiënten met spierspanningshoofdpijn werd manuele therapie vergeleken met reguliere zorg door de huisarts.2 Een van de uitkomsten in dit onderzoek was ‘ernst van hoofdpijn’, zoals dat werd gerapporteerd door de deelnemers. Er was geen sprake van blindering: de deelnemers wisten of zij manuele therapie of reguliere zorg kregen. Mogelijk leidde dit tot het geven van ‘wenselijke’ antwoorden, met name in de groep die manuele therapie kreeg. Dit zou er dan vervolgens toe leiden dat de ernst van de hoofdpijn in deze groep onjuist (te laag) werd ingeschat met als gevolg dat het effect van manuele therapie op de ernst van de hoofdpijn te gunstig werd ingeschat. Dit is een voorbeeld van informatiebias.

Informatiebias is een systematische vertekening van de determinant-uitkomstrelatie door het gebruik van onjuiste informatie over de determinant of over de uitkomst (of beide). Het duidelijkste voorbeeld is het verkeerd meten van de determinant of uitkomst. Indien de meetfout van de uitkomst afhangt van de determinant, of de meetfout van de determinant afhangt van de uitkomst, wordt dit doorgaans aangeduid als differentiële misclassificatie. In het bovenstaande voorbeeld is er sprake van differentiële misclassificatie, omdat de meetfout van de uitkomst verschillend is in de 2 behandelingsgroepen.Bij differentiële misclassificatie kan de omvang van de bias aanzienlijk zijn en zowel tot een over- als onderschatting van de relatie tussen determinant en uitkomst leiden.

Neem bijvoorbeeld een onderzoek naar risicofactoren voor aangeboren afwijkingen dat wordt uitgevoerd onder vrouwen die juist zijn bevallen. Het is voor te stellen dat moeders van kinderen met een aangeboren afwijking zich bepaalde determinanten (zoals het gebruik van geneesmiddelen of voedingsgewoonten tijdens de zwangerschap) anders herinneren dan moeders van kinderen zonder die afwijking.1 Wanneer de determinant wordt gemeten met een vragenlijst – en dus afhankelijk is van de herinnering van de moeder – zal een mogelijke meetfout in de determinant waarschijnlijk afhankelijk zijn van de uitkomst.

Wanneer de meetfout van de uitkomst niet afhangt van de determinant, of de meetfout van de determinant niet afhangt van de uitkomst, wordt dit non-differentiële misclassificatie genoemd. Stel dat in het onderzoek naar risicofactoren voor aangeboren afwijkingen de determinant ‘maternale BMI’ (gemeten tijdens de eerste prenatale controle bij de verloskundige) zou zijn. Ongetwijfeld worden er meetfouten gemaakt bij het bepalen van de BMI, maar deze meetfouten zijn niet afhankelijk van de uitkomst: de aangeboren afwijking, die op dat moment nog onbekend is. Er is dan sprake van non-differentiële misclassificatie van de determinant. Non-differentiële misclassificatie leidt in de regel tot een onderschatting van de relatie tussen determinant en uitkomst. Non-differentiële misclassificatie ontstaat namelijk door toevallige meetfouten. Deze zorgen voor ‘ruis op de lijn’, waardoor het waargenomen signaal (de determinant-uitkomstrelatie) minder sterk wordt (een onderschatting). Non-differentiële misclassificatie kan echter ook tot een overschatting van de determinant-uitkomstrelatie leiden.3

Beperken

Het risico op informatiebias kan worden beperkt door tijdens het opzetten van een onderzoek het risico op selectieve meetfouten te minimaliseren, bijvoorbeeld door gestandaardiseerde meetinstrumenten te gebruiken of door de onderzoeker die de uitkomst meet te ‘blinderen’ voor de determinant. Ook kan een zodanige keuze worden gemaakt voor een determinant of uitkomst dat een meetfout onwaarschijnlijk wordt; de uitkomst ‘mortaliteit’ is hier een voorbeeld van. Het is doorgaans niet goed mogelijk tijdens de analyse te corrigeren voor gemaakte meetfouten, als het niet bekend is bij welke deelnemers een meetfout is gemaakt of hoe groot de meetfout is. Men zou kunnen stellen dat eventuele informatiebias onderdeel is geworden van het onderzoek en niet meer kan worden opgeheven. Wanneer de omvang van de meetfout bekend is of kan worden ingeschat op basis van eerder onderzoek, kan deze fout worden meegenomen in sensitiviteitsanalyses (zie onder het kopje ‘Sensitiviteitsanalyse’).

Selectiebias

Stel dat onderzoekers geïnteresseerd zijn in de relatie tussen jicht en familiaire mediterrane koorts, aandoeningen die allebei kunnen worden behandeld met colchicine. En stel dat de onderzoekers voor hun onderzoek slechts gebruikmaken van informatie over colchicinegebruikers. Binnen de groep colchicinegebruikers geldt dat als een patiënt geen jicht heeft, hij of zij dus familiaire mediterrane koorts heeft, of andersom; er moet immers een reden zijn dat de patiënt colchicine gebruikt. Hoewel er in de algemene bevolking geen relatie bestaat tussen jicht en familiaire mediterrane koorts, zal er in de groep van colchicinegebruikers een inverse relatie worden gevonden, aangezien colchicinegebruikers met jicht geen familiaire mediterrane koorts zullen hebben en andersom zullen colchicinegebruikers met familiaire mediterrane koorts geen jicht hebben. Deze (vertekende) relatie is het gevolg van de selectie die heeft plaatsgehad. Door het onderzoek uit te voeren onder colchicinegebruikers, wordt geselecteerd op het effect van zowel de determinant (jicht) als de uitkomst (familiaire mediterrane koorts). Dit selectieproces leidt tot een selectiebias van de relatie tussen determinant en uitkomst.

In een gerandomiseerd onderzoek naar de effecten van het nuttigen van suikerhoudende frisdrank op de BMI werd kinderen gedurende 12 maanden suikerhoudende of suikervrije frisdrank aangeboden.4 Ondanks dat de kinderen niet wisten welke drank zij kregen, zou het zo kunnen zijn dat vooral de kinderen die suikerhoudende frisdrank kregen aangeboden een toename van hun BMI bemerkten. Als juist die kinderen stopten met het onderzoek, zou er voor hen geen eindmeting op 12 maanden beschikbaar zijn, waardoor de gemiddelde BMI in de groep kinderen die suikerhoudende drank kregen te laag werd ingeschat. Een eventuele vertekening die op deze manier ontstaat, wordt ook selectiebias genoemd.

In beide voorbeelden kan een bias ontstaan door het selecteren van deelnemers aan het onderzoek. Deze selectie is een gevolg van zowel de determinant als de uitkomst. Door te selecteren op een gevolg van 2 factoren, wordt de relatie tussen die 2 factoren verstoord.5

Verschil

Wat de 2 bovenstaande voorbeelden onderscheidt, is het moment waarop de selectie plaatsvindt. In het tweede voorbeeld vindt de selectie plaats tijdens het onderzoek (door selectieve uitval van deelnemers). In dat geval zijn de patiënten aanvankelijk wel bekend, maar kunnen ze in standaardanalyses niet worden meegenomen (er is namelijk geen uitkomst gemeten), wat tot een bias kan leiden. In dergelijke gevallen is het mogelijk om een eventuele selectiebias vast te stellen en zelfs om ervoor te corrigeren.5-7

In het eerste voorbeeld vindt de selectie plaats door de opzet van het onderzoek. Omdat er dan slechts informatie beschikbaar is over de colchicinegebruikers (en niet over niet-colchicinegebruikers, die immers niet meededen aan het onderzoek), is het achteraf moeilijk om vast te stellen of er sprake is van een selectie of van selectiebias.

Confounding

In een observationeel, niet-gerandomiseerd onderzoek onder ouderen naar het effect van influenzavaccinatie op het risico op overlijden werden ruim 400.000 gevaccineerde mensen vergeleken met bijna 300.000 niet-gevaccineerde mensen.8 Deze onderzoeksgroepen verschilden niet alleen in vaccinatiestatus; ze verschilden ook in risicofactoren voor overlijden, zoals leeftijd en comorbiditeit. Sterker nog, mogelijk heeft de aanwezigheid van risicofactoren ertoe geleid dat mensen met een verhoogd risico op overlijden het vaccin ontvingen. Juist ouderen en chronisch zieken krijgen immers het advies zich te laten vaccineren. Het waargenomen risico op overlijden is vervolgens groter in de groep met gevaccineerde mensen dan in de groep met niet-gevaccineerde mensen. Dit is echter het gevolg van het verschil tussen de onderzoeksgroepen in deze risicofactoren en niet het effect van de vaccinatie. Deze vorm van bias wordt confounding genoemd.9

Er is sprake van confounding wanneer er een factor bestaat die gerelateerd is aan zowel de determinant als de uitkomst en die het causale verband tussen die 2 verstoort. In theorie is de verstorende variabele (de confounder) zowel een oorzaak van de determinant als een oorzaak van de uitkomst.10 In de praktijk worden ook variabelen die zijn afgeleid van een oorzaak van determinant en uitkomst gezien als confounder. Een voorbeeld hiervan is BMI, die een afgeleide is van de hoeveelheid vetweefsel.

Confounding is een bias die op kan treden in onderzoek naar een causale relatie tussen determinant en uitkomst. In onderzoek naar de effecten van een behandeling kan confounding worden voorkomen door de behandeling door het toeval toe te wijzen aan de deelnemers in een onderzoek: een gerandomiseerde trial. In dat geval zullen de onderzoeksgroepen naar verwachting vergelijkbaar zijn in gemeten en ongemeten risicofactoren voor de uitkomst. In observationeel onderzoek naar risicofactoren voor ziekte of bijwerkingen van een behandeling kan confounding worden gecorrigeerd tijdens de opzet of de analyse van het onderzoek.11

Wat deze methoden gemeen hebben is dat zij de relatie tussen de determinant en de uitkomst schatten binnen subgroepen die vergelijkbaar zijn ten aanzien van de confounder, bijvoorbeeld door afzonderlijk het effect van influenzavaccinatie te schatten binnen de groep mensen met longziekte en de groep mensen zonder longziekte. Correctie voor confounding is slechts mogelijk voor die confounders die gemeten zijn. Met reguliere methoden kan niet worden gecorrigeerd voor ongemeten confounders of confounding door het onnauwkeurig meten van confounders.

Confounding versus selectiebias

Om ervoor te zorgen dat de resultaten van een onderzoek zo min mogelijk worden vertekend, is het van belang confounding te onderscheiden van selectiebias. Confounding kan worden opgelost door te corrigeren voor een oorzaak van determinant en uitkomst. Dit corrigeren kan bijvoorbeeld door een variabele (bijvoorbeeld een patiëntkenmerk, zoals geneesmiddelgebruik) op te nemen in een regressiemodel. Als de variabele een confounder is, zal dit de bias (confounding) verminderen. Maar als de variabele een gevolg is van zowel determinant als uitkomst kan het juist tot selectiebias leiden. Dit staat schematisch weergegeven in figuur 2.

Figuur 2

In de praktijk kan het onderscheid tussen een oorzaak van determinant en uitkomst (confounding) en een gevolg van determinant en uitkomst (selectiebias) doorgaans niet worden gemaakt op basis van de beschikbare gegevens. Een aanknopingspunt kan de chronologische volgorde van gebeurtenissen zijn. Bijvoorbeeld in observationeel onderzoek naar de effecten van statines zullen kenmerken die aanwezig zijn voorafgaand aan het starten van het statinegebruik (bijvoorbeeld familiaire hypercholesterolemie) als mogelijke oorzaak van het geneesmiddelgebruik worden gezien. Andersom is het statinegebruik het gevolg van de aanwezigheid van familiaire hypercholesterolemie, omdat het statinegebruik chronologisch volgt op de familiaire hypercholesterolemie.

Confounding én selectiebias

Een speciale situatie waarin confounding en selectiebias samenkomen is onderzoek van tijdsafhankelijke determinanten (bijvoorbeeld intermitterend gebruik van geneesmiddelen). In dergelijk onderzoek zullen confounders (bijvoorbeeld ziekteactiviteit) doorgaans ook tijdsafhankelijk zijn. Op een willekeurig moment in het onderzoek zal de mate van ziekteactiviteit een belangrijke oorzaak (confounder) zijn voor toekomstige blootstelling aan het geneesmiddel. Maar als het geneesmiddel werkt, zal de mate van ziekteactiviteit tevens worden beïnvloed door blootstelling aan het geneesmiddel in het verleden. De mate van ziekteactiviteit is dan op hetzelfde moment oorzaak én gevolg van de determinant. Het gebruik van reguliere methoden om te corrigeren voor confounding zal dan tot selectiebias leiden;12 er bestaan echter ook alternatieve methoden.13

Sensitiviteitsanalyse

In dit artikel zijn de 3 verschillende vormen van bias besproken die kunnen voorkomen binnen een onderzoek: informatiebias, selectiebias en confounding. In de beschreven voorbeelden zou er sprake kunnen zijn van bias. Het kán, maar het hoeft niet. Het beoordelen van de waarschijnlijkheid van bias richt zich op mogelijke scenario’s. Zou er sprake kunnen zijn van een al dan niet selectieve meetfout van determinant of uitkomst? Zijn er risicofactoren voor de uitkomst (confounders) die niet zijn gemeten? Hoe is de onderzoeksgroep tot stand gekomen? Nog belangrijker dan het maken van een inschatting over het wel of niet aanwezig zijn van bias, is het om de omvang van die bias in te schatten.

Sensitiviteitsanalyses kunnen helpen om inzicht te krijgen in de waarschijnlijkheid en de mogelijke omvang van de bias.14,15 In dergelijke analyses worden aannames gedaan over bijvoorbeeld een ongemeten confounder. In het eerdergenoemde onderzoek naar het effect van influenzavaccinatie was bijvoorbeeld het ‘rookgedrag’ van de deelnemers niet gemeten. Het was wel mogelijk aannames te doen over de mate waarin rookgedrag samenhangt met vaccinatiestatus en in welke mate rookgedrag een risicofactor is voor de uitkomst (overlijden). Met statistische methoden kan vervolgens worden doorgerekend wat de invloed van een dergelijke confounder zou zijn, uiteraard onder de voorwaarde dat de aannames juist zijn. Sensitiviteitsanalyses kunnen richting en inhoud geven aan discussies over bias en zouden daarom altijd onderdeel moeten uitmaken van medisch onderzoek.

Tot slot

Ook voor bias in medisch onderzoek geldt het adagium dat het doorgaans beter (en eenvoudiger) is om te voorkomen, dan te genezen. Het risico op bias is te verlagen door bijvoorbeeld een geschikte onderzoeksopzet te kiezen (bijvoorbeeld een gerandomiseerd onderzoek om confounding te voorkomen), door onderzoekers en deelnemers te blinderen (om selectieve meetfouten tegen te gaan) of een geschikte analyse uit te voeren (waarbij rekening wordt gehouden met selectieve uitval). Het is aan de onderzoekers om in hun artikelen duidelijk te maken in hoeverre bias de resultaten van hun onderzoek kleurt.

Leerpunten

  • Een systematische vertekening van de relatie tussen een behandeling, risicofactor of blootstelling enerzijds en klinische uitkomsten anderzijds wordt aangeduid met de term ‘bias’.

  • Er worden 3 vormen van bias onderscheiden: informatiebias, selectiebias en confounding.

  • Het risico op bias is te verlagen, bijvoorbeeld door een geschikte onderzoeksopzet te kiezen, door onderzoekers en deelnemers te blinderen of door te corrigeren met een geschikte analysemethode.

  • Het is van belang verschillende vormen van bias te onderscheiden, omdat het gebruik van statistische methoden confounding kan opheffen, maar diezelfde methoden ook selectiebias tot gevolg kunnen hebben.

  • Bij het publiceren van onderzoeksresultaten is het belangrijk om aan te geven in hoeverre er sprake kan zijn van bias.

Literatuur
  1. Grobbee DE, Hoes AW. Clinical Epidemiology: principles, methods, and applications for clinical research. 1st ed. Sudbury: Jones and Bartlett; 2008.

  2. Castien RF, van der Windt DA, Grooten A, Dekker J. Effectiveness of manual therapy for chronic tension-type headache: a pragmatic, randomised, clinical trial. Cephalalgia. 2011;31:133-43 Medline. doi:10.1177/0333102410377362

  3. Rothman KJ, Greenland S. Modern Epidemiology. 2nd ed. Philadelphia: Lippincott, Williams & Wilkins; 1998.

  4. De Ruyter JC, Olthof MR, Seidell JC, Katan MB. A trial of sugar-free or sugar-sweetened beverages and body weight in children. N Engl J Med. 2012;367:1397-406 Medline. doi:10.1056/NEJMoa1203034

  5. Hernán MA, Hernández-Díaz S, Robins JM. A structural approach to selection bias. Epidemiology. 2004;15:615-25 Medline. doi:10.1097/01.ede.0000135174.63482.43

  6. Groenwold RH, Donders AR, Roes KC, Harrell FE Jr, Moons KG. Dealing with missing outcome data in randomized trials and observational studies. Am J Epidemiol. 2012;175:210-7 Medline. doi:10.1093/aje/kwr302

  7. Daniel RM, Kenward MG, Cousens SN, De Stavola BL. Using causal diagrams to guide analysis in missing data problems. Stat Methods Med Res. 2012;21:243-56 Medline. doi:10.1177/0962280210394469

  8. Nichol KL, Nordin JD, Nelson DB, Mullooly JP, Hak E. Effectiveness of influenza vaccine in the community-dwelling elderly. N Engl J Med. 2007;357:1373-81 Medline. doi:10.1056/NEJMoa070844

  9. Groenwold RH. Verstoring in observationeel onderzoek. Ned Tijdschr Geneeskd. 2012;156:A4221 Medline.

  10. Robins JM. Data, design, and background knowledge in etiologic inference. Epidemiology. 2001;12:313-20 Medline. doi:10.1097/00001648-200105000-00011

  11. Klungel OH, Martens EP, Psaty BM, et al. Methods to assess intended effects of drug treatment in observational studies are reviewed. J Clin Epidemiol. 2004;57:1223-31 Medline. doi:10.1016/j.jclinepi.2004.03.011

  12. Robins JM, Hernán MA, Brumback B. Marginal structural models and causal inference in epidemiology. Epidemiology. 2000;11:550-60 Medline. doi:10.1097/00001648-200009000-00011

  13. Daniel RM, Cousens SN, De Stavola BL, Kenward MG, Sterne JA. Methods for dealing with time-dependent confounding. Stat Med. 2013;32:1584-618.

  14. Greenland S. Basic methods for sensitivity analysis of biases. Int J Epidemiol. 1996;25:1107-16 Medline.

  15. Groenwold RH, Nelson DB, Nichol KL, Hoes AW, Hak E. Sensitivity analyses to estimate the potential impact of unmeasured confounding in causal research. Int J Epidemiol. 2010;39:107-17 Medline. doi:10.1093/ije/dyp332

Auteursinformatie

Universitair Medisch Centrum Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijns Geneeskunde, Utrecht.

Contact Dr. R.H.H. Groenwold, arts-epidemioloog (tevens: Universiteit Utrecht, divisie Farmaco-epidemiologie en Klinische Farmacologie, Utrecht) (r.h.h.groenwold@umcutrecht.nl)

Verantwoording

Belangenconflict en financiële ondersteuning: geen gemeld.
Aanvaard op 25 juli 2013

Auteur Belangenverstrengeling
Rolf H.H. Groenwold ICMJE-formulier
Dit artikel is gepubliceerd in het dossier
Methodologie van onderzoek
Heb je nog vragen na het lezen van dit artikel?
Check onze AI-tool en verbaas je over de antwoorden.
ASK NTVG

Ook interessant

Reacties