De epidemiologie van medische fouten: enkele methodologische kwesties

Klinische praktijk
R.W.M. Giard
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2005;149:2157-62
Abstract
Download PDF

Samenvatting

- Om te weten hoeveel fouten artsen maken, is epidemiologisch onderzoek nodig.

- Het aantal geconstateerde fouten in relatie tot het aantal behandelde patiënten maakt een risicoschatting mogelijk.

- Een eerste vereiste voor een dergelijke studie is een goede eenduidige werkdefinitie van het begrip ‘fout’, maar die blijkt erg lastig: de afloop van een interventie alleen kan niet dienen als criterium; ook het uitgevoerde werkproces moet daarin meegenomen worden.

- De beschikbare observatiemethoden zijn retrospectief statusonderzoek en prospectieve participerende observatie, en deze dienen zowel proces- als uitkomsttoetsing te omvatten.

- De gehanteerde methoden blijken niet vrij van meetfouten en dat heeft gevolgen voor de interpretatie van de uitkomsten: de reproduceerbaarheid van het oordeel ‘fout’ en met name de vermijdbaarheid ervan blijkt beperkt.

- Bij het onderzoeken en bevorderen van de veiligheid zal het accent niet bij uitkomst-, maar bij procestoetsing moeten liggen.

Ned Tijdschr Geneeskd 2005;149:2157-62

Zie ook het artikel op bl. 2153.

Hoeveel fouten maken artsen? Die vraag vergt systematisch onderzoek. Een pionier was de Schotse chirurg Simpson, die in 1869 analyseerde welke factoren, waaronder de menselijke, de chirurgische sterfte bij 2098 amputaties bepaalden.1 Circa 100 jaar later bestudeerde Schimmel bij meer dan 1000 ziekenhuisopnamen de frequentie van fouten.2 Veel aandacht kreeg het grootschalige onderzoek naar fouten gemaakt in ziekenhuizen in de Amerikaanse ‘Harvard medical practice study’ uit 1991,3 dat werd gevolgd door vergelijkbare onderzoeken in Australië,4 Groot-Brittannië,5 Canada6 en Frankrijk.7 Een Nederlands onderzoek is in voorbereiding.

In de genoemde analysen bleek dat medische fouten een frequent en structureel probleem vormen binnen de gezondheidszorg. Bij 4-17 van de ziekenhuisopnamen worden fouten gemaakt, met letselschade, sterfte en hoge kosten als gevolg (tabel). Vanuit professioneel, politiek, ethisch en economisch oogpunt worden medische fouten als onwenselijk beschouwd en er is aangedrongen op onderzoek om de prestaties van de zorg te verbeteren langs de weg van leren en controleren. Met ‘leren’ wordt dan reflexief handelen op grond van de verkregen ervaringen en inzichten bedoeld.

Steeds vaker wordt van artsen gevraagd de kwaliteit van zorg duidelijk te maken en daarom zullen bruikbare en betrouwbare gegevens dienen te worden gepresenteerd om zo verantwoording af te kunnen leggen.8

Bij onderzoek naar fouten stuit men op een aantal belangrijke methodologische kwesties. Hoe definieer je een medische fout? Hoe ontwikkel je meetinstrumenten om deze problematiek te onderzoeken? Hoe betrouwbaar zijn de uitkomsten van een dergelijk onderzoek? Hoe moet je de resultaten interpreteren? Wat is er aan het probleem te doen? Het verzamelen van gegevens over medische misslagen is nimmer een doel op zich, maar een middel. Het doel is het onderzoeken en vergelijken van de kwaliteit van medische zorg, als aansporing voor een voortdurende verbetering daarvan en ter beoordeling van de effecten van genomen maatregelen. In dit artikel zal ik een aantal van de genoemde methodologische problemen nader bespreken.

risicoschatting: teller en noemer

Bij het kwantificeren van medische fouten is het absolute aantal van weinig nut en hanteert men liever een relatieve maat: het risico. Hoe groot is de kans op een ongewenste gebeurtenis per blootstelling aan een medische interventie? De schatting daarvan is het resultaat van een breuk met in de teller het aantal accidentele gebeurtenissen en in de noemer het aantal behandelde patiënten. Dat resultaat heeft niet het karakter van een vaste natuurconstante. De teller omvat ongelijksoortige categorieën uitkomsten: sterfte, reversibele en irreversibele letselschade, psychische schade en ontevredenheid over de dienstverlening.

De noemer bestaat eveneens uit verschillende componenten. De foutfrequentie tijdens ziekenhuisopname omvat uiteenlopende categorieën patiënten, die van zorginstelling tot zorginstelling kunnen variëren, en een dergelijk verhaal gaat op voor het ziektespectrum per aandoening of per afdeling.

Welke betekenis men toe mag kennen aan het geschatte risico in een bepaalde situatie of aan de vergelijking van risico’s tussen 2 ziekenhuizen hangt af van de eigenschappen van de teller (welk soort risico is onderzocht; hoe is dat gedefinieerd; hoe is dat gemeten?) en de noemer (om welk soort patiënten gaat het; om welk soort behandeling; om welk ziektespectrum; hoe is dat gemeten?).

definitieproblematiek

Het startpunt van onderzoek naar de frequentie van medische fouten is het ondubbelzinnig definiëren ervan en dat blijkt allesbehalve eenvoudig.9 Daaraan zijn meerdere facetten te onderscheiden, zoals: (a) het omschrijven van het begrip ‘medische fout’, (b) het rubriceren van medische fouten in soorten, (c) het classificeren van gebeurtenissen naar hun aard, zoals of ze wel of niet vermijdbaar zijn en of het om een cognitieve of uitvoeringstechnische fout gaat, en (d) het differentiëren naar ernst. We richten ons hier vooral op het eerste punt, het definiëren van de term ‘medische fout’.

Conceptuele definitie

Een voorbeeld van een algemene definitie van het begrip ‘fout’ is de omschrijving van de Engelse psycholoog Reason:10 ‘“Fout” wordt gebruikt als een generieke aanduiding voor al die situaties waarin een voorgenomen opeenvolging van mentale of fysieke activiteiten niet leidt tot de bedoelde uitkomst en waarbij deze mislukkingen niet kunnen worden toegeschreven aan een vorm van toeval.’ Er is dan een ongewenste uitkomst als resultaat van een verkeerd proces.

Er zijn bijgevolg twee materiële elementen bij het definiëren, namelijk de uit te voeren taak en het resultaat daarvan, en vervolgens is er een normatief oordeel over dit geheel. In de medische praktijk hoeft een ongewilde afloop – een complicatie of zelfs sterven – niet steeds te betekenen dat de arts deze had kunnen vermijden. Als conceptueel raamwerk voor het beoordelen van medisch handelen kan de trias structuur-proces-uitkomst van Donabedian dienstdoen.11 12 De samenhang tussen structuur, proces en uitkomst impliceert dat een medische fout niet uitsluitend op grond van de afloop wordt gedefinieerd (figuur 1).13 Er is dus bij het definiëren ook een belangrijke rol weggelegd voor het proces.

Complicatie en fout

Een complicatie is iedere ongewenste uitkomst van medisch handelen, ongeacht de kwaliteit van het proces, een fout betekent een tekortschietende kwaliteit van het proces, ongeacht de uitkomst.11-13 De samenhang tussen deze twee wordt weergegeven in een Venn-diagram (figuur 2). Er kan sprake zijn van fouten in het proces zonder complicaties bij de patiënt en van complicaties bij de patiënt zonder fouten in het proces, maar er zijn ook complicaties die het gevolg zijn van fouten. Een antwoord op de vraag hoe een medische fout dient te worden gedefinieerd is hiermee nog niet gegeven: omschrijft men een fout primair vanuit het proces of vanuit de uitkomst? Kijkt men alleen naar de uitkomst, dan mist men de fouten die niet gepaard gaan met een complicatie. Er zijn dus verschillende methoden, waarmee men steeds andere patiëntenpopulaties zal identificeren waarbij fout medisch handelen aan de orde is.

Operationaliseren van de conceptuele definitie

Voor het opsporen van medische fouten zijn er qua richting in de tijd twee mogelijkheden: een retrospectieve of een prospectieve analyse. Vervolgens rijst de vraag welke primaire invalshoek daarbij gekozen wordt: proces- of uitkomsttoetsing.14 De causale relatie tussen proces en uitkomst is onzeker. Welke benadering men ook kiest, er zal praktisch onderscheid gemaakt moeten worden tussen juist en onjuist medisch handelen, maar het formuleren van een eenduidige en toetsbare norm is minder eenvoudig dan het lijkt.

Neem bijvoorbeeld de norm wat betreft de uitkomsten. Wanneer is een liesbreukoperatie goed uitgevoerd? Wat is een geoorloofd percentage recidiefliesbreuken? Hoeveel mammacarcinomen mag een screeningsradioloog missen? Welke postoperatieve sterfte is aanvaardbaar bij coronaire bypassoperaties? Hoe definieert men een juiste procesvoering en welk empirisch onderzoek is daarvoor nodig? Wij krijgen te maken met een complex geheel van biologische, organisatorische en psychologische factoren. Wie ondubbelzinnige begripsomschrijvingen van juist medisch handelen probeert te maken, wordt geconfronteerd met het ontbreken van op evidence-based medicine gebaseerde standaarden.

retrospectief statusonderzoek

De meeste onderzoeken naar medische fouten hanteren de retrospectieve methode door middel van statusonderzoek. Die aanpak is tijdrovend en dus kostbaar. Eerst formuleert men een waaier van criteria waarmee gescreend wordt op gebeurtenissen die verband kunnen houden met medische fouten. Voorbeelden daarvan zijn overlijden, heroperaties na een eerdere ingreep, heropnamen na behandelingen, overplaatsing naar afdelingen voor intensieve zorg, bloedtransfusies, in het ziekenhuis opgelopen infecties, andere ziektebeelden of letsels ontstaan gedurende de opname, geneesmiddelreacties, klachten van de patiënt of diens familie of litigieuze acties. Lijsten met dergelijke criteria zijn gepubliceerd.4-6

Deze methode is vrij grofmazig.15 Een praktisch punt is dat men er geheel van afhankelijk is hoe goed gedachten en gegevens zijn vastgelegd. Het paradoxale doet zich voor dat hoe groter de ijver om alle informatie in het dossier vast te leggen, des te groter de kans is dat fouten zichtbaar zijn. Om hieruit voortvloeiende verschillen te vermijden zal men zich bij het onderzoek alleen op van tevoren omschreven primaire data moeten richten.14

Als het startpunt de uitkomst is, spoort men fouten in het proces die niet gepaard gaan met een ‘verklikkende’ gebeurtenis niet op. De gebeurtenis kan ontbreken omdat deze niet plaatsvond, niet werd herkend of niet werd vastgelegd in de status.

Een andere reden waarom fouten gemist kunnen worden, is dat het mogelijk is dat ze pas tot uiting komen na ontslag uit het ziekenhuis. Door de alsmaar kortere opnameduur en doordat steeds meer ingrepen in dagbehandeling worden gedaan, onttrekt een kwart van de complicaties – al dan niet het gevolg van een medische fout – zich aan waarneming bij statusonderzoek.16

Omdat statusonderzoek zo tijdrovend is en vrijwel alle ziekenhuizen beschikken over een geautomatiseerd informatiesysteem, wordt gezocht naar alternatieven waarmee op indirecte wijze gevallen van medische fouten op te sporen zijn.17 Dat kan bijvoorbeeld aan de hand van opnameduur, gemaakte kosten, gebruik van farmaca, en sterfte.

Op grond van het bovenstaande is het aannemelijk dat de retrospectieve werkwijze een niet erg gevoelige methode is voor het opsporen van fouten. Ook is het de vraag welke waarde men mag hechten aan totaalpercentages fouten voor een ziekenhuis, want binnen de instelling zijn de risico’s niet homogeen verdeeld over de afdelingen.

prospectief observationeel onderzoek naar medische fouten

Waar retrospectief statusonderzoek meestal bij beoordeling van de uitkomst begint, start prospectief onderzoek met getrainde waarnemers die eerst het proces observeren om vervolgens vast te stellen wat de uitkomst daarvan is en hoe die zich verhoudt tot het gewenste resultaat. Deze benadering wordt wel aangeduid als ‘participerende observatie’ of als ‘de etnografische methode’. Zo observeerde een Amerikaans team het werk op een afdeling voor algemene heelkunde en constateerde ernstige fouten bij 18 van de opgenomen patiënten.18 Ook afdelingen voor intensieve zorg zijn op die manier beoordeeld19 en tegenwoordig wordt dergelijk onderzoek eveneens verricht met tv-camera’s die de werkzaamheden registreren op bijvoorbeeld een operatiekamer, de Intensive Care of de afdeling voor spoedeisende hulp.20 De waarnemingen van de observatoren kunnen dan achteraf worden getoetst aan de hand van de televisiebeelden.

De prospectieve benadering heeft verschillende voordelen ten opzichte van het retrospectieve statusonderzoek. Men is niet langer afhankelijk van wat er is geregistreerd en evenmin is men aangewezen op uitkomsten als mogelijk signaal voor een verkeerd proces. Daarom ook is deze methode veel gevoeliger voor het opsporen van fouten. Waarnemingen kunnen direct worden teruggekoppeld naar de uitvoerende hulpverleners, hetgeen een betere interpretatie ervan mogelijk maakt, en dat maakt deze benadering eventueel ook specifieker.

meetfouten bij het meten van medische fouten

Sensitiviteit en specificiteit

Hoe nauwkeurig en hoe reproduceerbaar zijn de methoden van onderzoek naar medische fouten?14 Bepaling van de nauwkeurigheid vraagt een onafhankelijke gouden standaard, maar die is er niet. Dus zal men moeten proberen een enigszins betrouwbare schatting te doen voor de verschillende methoden van onderzoek, rekening houdend met factoren als ziektespectrum en bias. De gevoeligheid – welk percentage van de fouten kunnen we achterhalen? – ligt in de orde van 70-80.14 15 Bij vergelijking van de retro- en prospectieve methode bleek de prospectieve werkwijze meer gevallen van vermijdbare fouten te ontdekken.21

De specificiteit – is een ‘fout’ ook werkelijk een fout? – is bij onderzoek naar misslagen van groot belang, want dit etiket kan grote gevolgen hebben, ook juridische. Er is over de specificiteit minder bekend dan over de sensitiviteit, maar de specificiteit ligt in de orde van 95.21

Reproduceerbaarheid

Een belangrijke kwestie is dat de overeenstemming van de oordelen van verschillende waarnemers of iets als ‘fout’ moet worden geclassificeerd, de reproduceerbaarheid, veelal erg laag blijkt.14 Over de vraag of een ongewenste afloop te voorkomen zou zijn geweest door anders te handelen bestaat al evenmin eenstemmigheid.22 Juist deze gebrekkige reproduceerbaarheid is de achilleshiel van onderzoek naar medische fouten: de willekeur van het oordeel is te groot, vooral van dat over de vermijdbaarheid van de fout. In welke mate training of het gebruik van meerdere waarnemers een verbetering betekent is nog onvoldoende duidelijk.

Bias

Een ander probleem betreft bias. Als men een complicatie kiest als uitgangspunt voor verder onderzoek van het proces, krijgt men te maken met ‘hindsight’-bias: men oordeelt meestal anders – strenger – als de ongelukkige afloop ervan bekend is.23 Een tweede vorm is waarnemersbias. Bij het onderzoek hebben waarnemers weet van wie er handelde, en dat kan hun oordeel beïnvloeden. Anonimiseren is daarvoor een oplossing, maar blijkt in de praktijk lastig.

De methodologie van onderzoek en beoordeling van medisch handelen toont dus veel onvolkomenheden, en dat heeft gevolgen voor de duiding van de resultaten van onderzoek.

de interpretatie van onderzoek naar medische fouten

Bij de interpretatie van onderzoeksresultaten kan het gaan om de uitkomst van één onderzoek of om het toekennen van betekenis aan verschillen tussen uitkomsten van meerdere onderzoeken. Als wij 100.000 statussen onderzoeken op het vóórkomen van medische fouten met een testmethode die een gevoeligheid heeft van 80 en een specificiteit van 95, terwijl er in werkelijkheid bij 1 op de 25 medische interventies van een medische fout sprake is (foutprevalentie: 4), kunnen we de resultaten weergeven in een boomstructuur (figuur 3). De voorspellende waarde van de uitkomst ‘medische fout’ blijkt dan slechts 40 te zijn (= 3200/(3200 + 4800)). Gezien de relatief lage prevalentie van misslagen zal er bij de meeste interventies niet van een fout sprake zijn, maar 5 daarvan wordt wel als ‘fout’ beoordeeld. Het gevolg is dat het probleem van medische fouten dus kan worden overschat, want in dit geval is de gemeten foutfrequentie 8 (= (3200 + 4800)/100.000).

Dan de vergelijking van uitkomsten van meerdere onderzoeken, zoals in de tabel. Gaat het hier om verschillen in kwaliteit van zorg? Voor dat uiteenlopen bestaan verscheidene verklaringen.24 Het kan gaan om verschillen in definities en meetmethoden. Uitkomsten van interventies worden echter niet alleen bepaald door de kwaliteit van zorg, maar ook door tal van andere patiënt- en omgevingsgebonden factoren. Daarnaast kan de samenstelling van de patiëntenpopulatie (‘casemix’) van ziekenhuis tot ziekenhuis verschillen. Ook kan toeval een rol spelen.

Alvorens een bepaald foutpercentage gezien kan worden als blijk van gebrekkige kwaliteit of gesteld kan worden dat in het ene ziekenhuis meer fouten gemaakt worden dan in het andere, zal men alle mogelijke factoren van invloed op die uitkomsten en alle alternatieve verklaringen moeten nalopen.25

naar een veiliger zorg via leren en controleren

De neiging is groot om elke medische fout als onaanvaardbaar te beschouwen, maar dat is niet realistisch. Is ultraveilige medische zorg wel mogelijk?26 Bij epidemiologisch onderzoek naar fouten is het doel niet alleen descriptief, maar ook normatief: beoordelen of de zorg wel voldoet aan de daaraan gestelde eisen. Zijn die eisen wel zo eenduidig en toetsbaar? Wat is de realiseerbare bovengrens van medische prestaties?

De brandende vraag is: wat worden we nu wijzer van de epidemiologische gegevens over medische fouten en hoe kunnen we die gegevens gebruiken om een veiliger zorg te realiseren? Hier speelt weer de vraag of we prioriteit geven aan uitkomst- of aan procestoetsing. De onzekere relatie tussen processen en uitkomsten maakt uitkomsttoetsing als kwaliteitsinstrument beperkt bruikbaar. De grootste winst is te boeken via de weg van procestoetsing; die vergt echter niet alleen een medisch-technische analyse, maar evenzeer een brede organisatorische aanpak.14 26 Toch kunnen we niet zonder systematisch verzamelde gegevens over de afloop van medische interventies om het effect van verbeteringen van processen te kunnen evalueren, maar de methodiek daarvan staat nog in de kinderschoenen.14 15

conclusie

De media tonen grote gretigheid als het gaat om de als ‘schokkend’ gepresenteerde percentages medische fouten, maar dergelijke publicaties roepen ongefundeerd wantrouwen op jegens artsen, met als gevolg irritatie en frustratie van beroepsbeoefenaren.8 Verantwoording afleggen betekent dat de prestaties worden afgemeten aan een norm; derhalve is de eerste stap in dit proces van rekenschap de normstelling langs de weg van evidence-based medicine. Die inspanning mag worden verwacht, maar is juist door de complexiteit van de hedendaagse geneeskunde een lastige opgave.27 Misschien komen er minder fouten als de aanpak van de veiligheid over een andere boeg wordt gegooid, namelijk die van de procesbeheersing, maar die keuze zal op rationele gronden moeten worden gemaakt en vergt uiteenlopend empirisch onderzoek en verkenning van de huidige barrières op de weg naar maximale veiligheid.26

Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld.

Literatuur
  1. Neuhauser D. Surgical experience, hospital size and severity adjusted mortality: James Y Simpson, 1869. Qual Saf Health Care 2005;14:67-8.

  2. Schimmel EM. The hazards of hospitalization. Ann Intern Med 1964;60:100-10.

  3. Brennan TA, Leape LL, Laird NM, Hebert L, Localio AR, Lawthers AG, et al. Incidence of adverse events and negligence in hospitalized patients. Results of the Harvard medical practice study I. N Engl J Med 1991;324:370-6.

  4. Wilson RM, Runciman WB, Gibberd RW, Harrison BT, Newby L, Hamilton JD. The quality in Australian health care study. Med J Aust 1995;163:458-71.

  5. Vincent C, Neale G, Woloshynowych M. Adverse events in British hospitals: preliminary retrospective record review. BMJ 2001;322:517-9.

  6. Baker GR, Norton PG, Flintoft V, Blais R, Brown A, Cox J, et al. The Canadian adverse events study: the incidence of adverse events among hospital patients in Canada. CMAJ 2004;170:1678-86.

  7. Michel P, Quenon JL, Djihoud A, Tricaud-Vialle S, Sarasqueta AM de, Domecq S. Les événements indésirables graves liés aux soins observés dans les établissements de santé: premiers résultats d’une étude nationale. Études et résultats 2005;(nr 398):1-15.

  8. Wetenschappelijke Raad voor het Regeringsbeleid. Bewijzen van goede dienstverlening. Hfdst 7. Amsterdam: Amsterdam University Press; 2004. p. 185-216.

  9. Weingart SN, Iezzoni LI. Looking for medical injuries where the light is bright. JAMA 2003;290:1917-9.

  10. Reason J. Human error. Cambridge: Cambridge University Press; 1990. p. 9.

  11. Donabedian A. Evaluating the quality of medical care. Milbank Mem Fund Q 1966;44:166-206.

  12. Battles JB, Lilford RJ. Organizing patient safety research to identify risks and hazards. Qual Saf Health Care 2003;12(Suppl 2):ii2-7.

  13. Hofer TP, Kerr EA, Hayward RA. What is an error? Eff Clin Pract 2000;3:261-9.

  14. Lilford RJ, Mohammed MA, Braunholtz D, Hofer TP. The measurement of active errors: methodological issues. Qual Saf Health Care 2003;12(Suppl 2):ii8-12.

  15. Neale G, Woloshynowych M. Retrospective case record review: a blunt instrument that needs sharpening. Qual Saf Health Care 2003;12:2-3.

  16. Forster AJ, Clark HD, Menard A, Dupuis N, Chernish R, Chandok N, et al. Adverse events among medical patients after discharge from hospital. CMAJ 2004;170:345-9.

  17. Zhan C, Miller MR. Excess length of stay, charges, and mortality attributable to medical injuries during hospitalization. JAMA 2003;290:1868-74.

  18. Andrews LB, Stocking C, Krizek T, Gottlieb L, Krizek C, Vargish T, et al. An alternative strategy for studying adverse events in medical care. Lancet 1997;349:309-13.

  19. Donchin Y, Gopher D, Olin M, Badihi Y, Biesky M, Sprung CL, et al. A look into the nature and causes of human errors in the intensive care unit. Crit Care Med 1995;23:294-300.

  20. Rogers DA, Regehr G, MacDonald J. A role for error training in surgical technical skill instruction and evaluation. Am J Surg 2002;183:242-5.

  21. Michel P, Quenon JL, Sarasqueta AM de, Scemama O. Comparison of three methods for estimating rates of adverse events and rates of preventable adverse events in acute care hospitals. BMJ 2004;328:199.

  22. Hayward RA, Hofer TP. Estimating hospital deaths due to medical errors: preventability is in the eye of the reviewer. JAMA 2001;286:415-20.

  23. Henriksen K, Kaplan H. Hindsight bias, outcome knowledge and adaptive learning. Qual Saf Health Care 2003;12(Suppl 2):ii46-50.

  24. Mant J. Process versus outcome indicators in the assessment of quality of health care. Int J Qual Health Care 2001;13:475-80.

  25. Bird SM, Cox D, Farewell VT, Goldstein H, Holt T, Smith PC. Performance indicators: good, bad, and ugly. J R Stat Soc Ser A 2005;168:1-27.

  26. Amalberti R, Auroy Y, Berwick D, Barach P. Five system barriers to achieving ultrasafe health care. Ann Intern Med 2005;142:756-64.

  27. Wilson T, Holt T, Greenhalgh T. Complexity science: complexity and clinical care. BMJ 2001;323:685-8.

Auteursinformatie

Medisch Centrum Rijnmond-Zuid, locatie Clara, afd. Klinische Pathologie, Postbus 9119, 3007 AC Rotterdam.

Hr.dr.R.W.M.Giard, patholoog-klinisch epidemioloog

(giardr@mcrz.nl).

Contact (giardr@mcrz.nl)

Gerelateerde artikelen

Reacties