Prestatie-indicatoren als maat voor de kwaliteit van medische zorg: retoriek en realiteit

Klinische praktijk
R.W.M. Giard
Citeer dit artikel als: Ned Tijdschr Geneeskd. 2005;149:2715-9
Abstract
Download PDF

Vertrouwen, de hoeksteen van medische zorg, is niet langer vanzelfsprekend, maar moet voortdurend worden waargemaakt. Hoe kan men controleren of medische dienstverlening van voldoende kwaliteit is en hoe kan men het leveren van prestaties stimuleren tot een zo hoog mogelijk niveau bereikt wordt? Kunnen wij het begrip ‘kwaliteit’ op bruikbare wijze definiëren en op grond daarvan meetmethoden en -instrumenten ontwikkelen om deze vragen te beantwoorden?

Bij verschillende dienstverlenende sectoren van de maatschappij zijn prestatie-indicatoren geïntroduceerd. Zoals het woord ‘indicator’ al aangeeft, is het een aanduiding en geen precieze meting. Bij toepassing in de geneeskunde wordt verondersteld dat prestatie-indicatoren een tekortschietende kwaliteit van zorg kunnen signaleren, bijvoorbeeld aan de hand van percentages ziekenhuisinfecties, de algemene of ziektespecifieke sterftekans in een ziekenhuis of de frequentie van decubitus. Steeds zijn prestatie-indicatoren kansschattingen met in de teller het fenomeen dat men wil onderzoeken en in de noemer de populatie waarbinnen dit verschijnsel wordt geteld. De kwaliteit van medische zorg kan daarnaast ook afgemeten worden aan procesindicatoren. Daarbij beschrijft men het wel of niet toepassen van de in die situatie noodzakelijk geachte diagnostische en therapeutische interventies, bijvoorbeeld of en zo ja hoe snel plaatjesaggregatieremmers worden toegediend bij een myocardinfarct.

Met de politieke opkomst van prestatie-indicatoren groeide de wetenschappelijke bezorgdheid over een oneigenlijk gebruik ervan. Wanneer ze op de juiste wijze worden toegepast, kunnen ze een nuttig instrument zijn, maar bij ondoordacht gebruik zijn ze niet alleen ineffectief, maar zelfs schadelijk.1 2 In een recent verschenen rapport laat de Engelse Royal Statistical Society zien wat er methodologisch-statistisch komt kijken bij het bepalen en het juist rapporteren van prestatie-indicatoren.3 Door foute schatting of interpretatie loopt men de kans onjuiste conclusies te trekken, worden reputaties onterecht in twijfel getrokken en misplaatste verbeteracties in gang gezet.

In ons land heeft de Inspectie voor de Gezondheidszorg de ziekenhuizen opgedragen jaarlijks een basisset prestatie-indicatoren te verschaffen (soms is er daarbij enige vermenging met procesindicatoren; www.prestatie-indicatoren.nl). Bovendien dienen de ziekenhuizen deze openbaar te maken op hun website of een verzamelpunt (www.ziekenhuizentransparant.nl).4 Gelet op de vele waarschuwende geluiden wat betreft verzamelen, rapporteren en interpreteren van prestatie-indicatoren is de vraag gerechtvaardigd of dit initiatief van de inspectie een keuze uit inzicht is. Daarom is het nodig om de mogelijkheden en de beperkingen van prestatie-indicatoren te leren kennen en daarover gaat dit artikel. Daarnaast is het nodig te bezien hoe prestatie-indicatoren zich verhouden tot procesindicatoren.

mogelijkheden

De context

Marktideologie vormt de beleidsmatige context voor prestatie-indicatoren, kwaliteitshandhaving en -verbetering vormen het doel en consumentendruk het middel. Door ziekenhuizen onderling te vergelijken, wordt een hiërarchie gecreëerd van de beste, de slechtste en een middenmoot. In deze rangorde zal een zorginstelling een slechte positie willen verbeteren en een goede handhaven. Er zijn – althans in theorie – verschillende partijen geïnteresseerd in dergelijke informatie: (potentiële) patiënten, managers, onderzoekers, zorgverzekeraars, toezichthouders, beleidsmakers en in toenemende mate ook de media. Om effect te bereiken, kan men niet volstaan met het meten van prestatie-indicatoren, maar dient men ze ook openbaar te maken. Dan kunnen patiënten bijvoorbeeld kiezen waar zij zich het best kunnen laten behandelen, verzekeraars kunnen bepalen waar zij hun zorg zullen inkopen en toezichthouders kunnen zien waar zij moeten ingrijpen.

Er moet daarvoor aan twee voorwaarden voldaan worden. Ten eerste moeten prestatie-indicatoren een natuurgetrouwe afspiegeling geven van de kwaliteiten van medische zorg. Ten tweede moeten het hanteren van een dergelijk systeem en het openbaar maken van de uitkomsten de ziekenhuizen daadwerkelijk aanzetten tot activiteiten waardoor kwaliteitsverbetering wordt gerealiseerd. Invoering van een systeem van prestatie-indicatoren is dus pas gerechtvaardigd als zowel uit observationeel als experimenteel onderzoek is gebleken dat aan beide hoofdeisen wordt voldaan.

Onderzoek van uitkomsten van klinisch handelen

Er zijn drie verschillende toepassingen voor prestatie-indicatoren: (a) het taxeren van de kwaliteit van zorg in een enkele zorgeenheid of zelfs van een individuele arts om te beoordelen of de prestaties voldoende zijn, (b) het vergelijken van de kwaliteit van verschillende zorginstellingen teneinde vast te stellen hoe de spreiding is en welke ziekenhuizen onaanvaardbaar slecht scoren en (c) het beoordelen of genomen corrigerende maatregelen ook daadwerkelijk tot verbetering van de prestaties leiden. Een voorbeeld van een prestatie-indicator is de sterftekans van patiënten met een myocardinfarct binnen een periode van 30 dagen na opname. Vergelijking van een reeks ziekenhuizen kan bijvoorbeeld een spreiding tonen van 5-16 bij een gemiddelde van 10 van die sterftekans (figuur).

beperkingen

Zijn in bovenstaand voorbeeld ziekenhuizen met een sterfte boven het gemiddelde van dubieuze kwaliteit? In de loop van drie jaar is in een ziekenhuis de sterfte gedaald van 12 naar 9: is dat een reële verbetering? Bij het beantwoorden van dergelijke vragen moet men rekening houden met de volgende factoren: de kwaliteit van de data, het meetinstrument en de meetmethode(n), de ziekteverscheidenheid en andere relevante factoren, en het toeval.5

Datakwaliteit

Het is vanzelfsprekend dat de informatie van hoge kwaliteit dient te zijn, maar vaak maakt men voor prestatie-indicatoren gebruik van administratieve gegevens uit ziekenhuisinformatiesystemen. Die data zijn primair voor andere doeleinden verzameld en voor gebruik als prestatie-indicator inaccuraat en incompleet.5 Voor prestatie-indicatoren is het noodzakelijk dat de benodigde gegevens nauwkeurig worden gedefinieerd, speciaal voor dat doel worden verzameld en ook worden gecontroleerd op juistheid en volledigheid.

Meetinstrument en de meetmethode

Wat wordt er nu precies gemeten? Hoe accuraat en reproduceerbaar zijn de verkregen gegevens? Worden in verschillende ziekenhuizen dezelfde meetmethoden gehanteerd en zijn de definities die ten grondslag liggen aan die waarnemingen eensluidend? De diagnose ‘myocardinfarct’ of het begrip ‘ziekenhuissterfte’ is niet eenduidig en bovendien aan veranderingen onderhevig.6 Komen verschillende waarnemers tot eenzelfde oordeel? Is de meetmethode gevoelig genoeg om veranderingen vlot te kunnen signaleren?

Ziekteverscheidenheid en andere relevante factoren

De uitkomsten van medisch handelen zijn multifactorieel bepaald door patiëntfactoren (zoals leeftijd, ras, geslacht, levensstijl, sociodemografische kenmerken), preklinische factoren (verwijspatronen, organisatie van het ambulancevervoer), ziekenhuisfactoren (grootte van de organisatie, samenstelling van de staf, apparatuur, opleidingen), ziektefactoren (stadium, ernst, comorbiditeit) en behandelaarfactoren (kennis, ervaring, kundigheid). Als men kwaliteitsverschillen werkelijk wil opsporen, moeten ziekenhuizen behalve op het punt van de te onderzoeken eigenschap verder in alle andere opzichten volledig vergelijkbaar zijn (de ‘ceteris paribus’-doctrine). Er zijn weliswaar mathematische modellen om een zekere standaardisatie van ziekteverscheidenheid (‘case-mix’) te bereiken via risicocorrectie, maar dat is een kunstgreep waarover de meningen verdeeld zijn en waarvan de resultaten van methode tot methode kunnen verschillen.5 7

Toeval

Prestatie-indicatoren zijn kansschattingen, bijgevolg onderhevig aan toevalsvariatie en dus dient men bij de presentatie ervan betrouwbaarheidsintervallen aan te geven, bijvoorbeeld bij de 30-dagensterfte bij patiënten opgenomen met een myocardinfarct (zie de figuur).8 Toevalsvariatie belemmert de interpretatie van prestatie-indicatoren door kwaliteitsverschillen te suggereren die er in werkelijkheid niet zijn of door een echt manco in kwaliteit te verhullen.5 9 De steekproefgrootte bepaalt de breedte van het betrouwbaarheidsinterval. Per ziekenhuis worden prestatie-indicatoren voor specifieke aandoeningen op relatief kleine populaties patiënten berekend. Als men bijvoorbeeld de chirurgische sterfte als indicator voor ziekenhuiskwaliteit neemt, kan men daar nauwelijks conclusies uit trekken, gezien de variëteit aan ingrepen. Gedifferentieerd naar type ingreep zijn de populaties meestal klein en dus de betrouwbaarheidsintervallen groot.9 Die toevalsvariatie speelt ook een rol bij vervolgstudies wanneer men wil beoordelen of maatregelen resulteren in betere prestaties. Hier geldt hetzelfde probleem als bij vergelijking van ziekenhuizen. Om voldoende statistisch onderscheidingsvermogen te hebben, moet de steekproef van patiënten groot genoeg zijn en aan die voorwaarden kan vaak niet worden voldaan.10 Dat betekent dat een prestatie-indicator berekend op een relatief klein aantal patiënten ongunstig kan uitpakken, maar ook ondanks een tekortschietende kwaliteit gunstig kan zijn. Om toch situaties van onvoldoende kwaliteit te kunnen opsporen, zijn andere grafische methoden ontwikkeld, zoals de ‘funnel plot’, waarbij prestatie-indicatoren tegen de steekproefgrootte worden uitgezet en het gemiddelde en betrouwbaarheidsintervallen ook worden weergegeven.3

prestatie- versus procesindicatoren

Het werken met prestatie-indicatoren heeft ook een bedrijfseconomische kant: hoe verhouden zich de kosten en de inspanningen tot het resultaat? Het verzamelen en het rapporteren van de indicatoren op de manier die de inspectie wenst, betekent veel administratieve inspanning voor de ziekenhuizen. Is het die moeite ook waard of is het effectiever om het proces te toetsen dan de uitkomst?

Wat is het ijkpunt?

De metingen en de waarnemingen krijgen pas betekenis als die met een tevoren bepaald ijkpunt worden vergeleken. Maar welke norm wordt er gehanteerd voor bijvoorbeeld de sterfte in de eerste 30 dagen na een myocardinfarct?8 Is dat een statistische, bijvoorbeeld een getalbereik rond het gemiddelde, de mediaan, of een absolute, namelijk de beste score van een serie?

Als artsen, managers of toezichthouders maatregelen willen nemen op grond van de gemeten prestatie-indicatoren, dient de negatieve afwijking ten opzichte van het ijkpunt daarvoor de legitimering te zijn. Als een statistisch gedefinieerde norm ongeschikt is, bestaat er dan een betrouwbaar en bruikbaar criterium als referentiepunt? Alweer wordt men geconfronteerd met de genoemde problematiek dat vele factoren de afloop bepalen. Bij alle patiënten met een myocardinfarct zullen socio-economische en biologische factoren en case-mix samen met de ernst van het infarct de afloop bepalen: er zijn dus subgroepen met een verschillende prognose. Risicostratificatie is dus nodig, een unifiërende (samenvoegende/gelijkschakelende) prestatie-indicator voor een dergelijke pluriforme populatie is dan niet reëel en dus een te grove maat.

Bevordert publicatie van prestatie-indicatoren de kwaliteit?

Zelfs als de hierboven geschetste methodologische kwesties kunnen worden opgelost, dan is de volgende fundamentele vraag of met het openbaar maken van prestatie-indicatoren ook kwaliteitsverbeteringen worden bewerkstelligd. Hierbij spelen twee kwesties. Ten eerste wordt een kwaliteitsbevorderend effect weliswaar verondersteld, maar dit is nog niet bewezen, en ten tweede moet men bedacht zijn op onbedoelde negatieve gevolgen.11-13 Alleen vergelijkend experimenteel onderzoek kan het gunstige effect van publiceren aantonen, maar dat is nog niet gebeurd.12 13

Als beoordeling op prestatie-indicatoren plaatsvindt, kan opportunistisch gedrag worden gestimuleerd om de getallen ‘op te poetsen’. Er kan dan patiëntenselectie plaats gaan vinden om gunstiger prestaties te bereiken, zoals in de VS is gebeurd.13 Werkprocessen kunnen worden gemanipuleerd, waarbij patiënten bijvoorbeeld langer in de ambulance moeten wachten alvorens te worden toegelaten op de Spoedeisende Hulp om zo de officiële afhandeltijd te bekorten.13 Is er empirisch onderzoek dat kritisch consumentengedrag signaleert zodra prestatie-indicatoren beschikbaar zijn?11

Telt vooral het resultaat?

Het gevaar bestaat dat vooral de toetsbare elementen van medische zorg de aandacht krijgen, waardoor de minder tastbare elementen, die minstens zo bepalend zijn voor de kwaliteit, naar de achtergrond verschuiven.1 Natuurlijk, voor iedere patiënt telt vooral het resultaat, maar dat is slechts een deel van het verhaal. De uitkomst van medische interventies wordt deels bepaald door beïnvloedbare structuren en processen van zorg en voorts door de genoemde talrijke andere moeilijker of niet te sturen factoren.

Voordelen van procestoetsing

Beoordeling van de kwaliteit van medisch handelen vergt gegevens voor terugkoppeling. Procestoetsing is een beter alternatief dan resultaatsbeoordeling aan de hand van prestatie-indicatoren.13 14 Een belangrijk argument daarvoor is dat er een allerminst zekere causale relatie bestaat tussen proces en uitkomst: het is een stochastisch proces (met andere woorden: het verband tussen proces en daaropvolgend resultaat is onzeker).15 Goede behandeling geeft geen zekerheid op een goede afloop, een slechte afloop is niet per definitie een teken van een slecht proces. Als het accent van toetsing wordt verschoven van resultaten naar processen, dan heeft dat een aantal voordelen.13 Men richt zich direct op het in acht nemen van evidence-based standaarden en niet op indirecte kwaliteitsindicatoren. Er is controle tijdens het proces mogelijk en bovendien is bij gebleken tekortschieten bijsturing gerichter en doeltreffender. Als men resultaten uit verschillende ziekenhuizen wil vergelijken, hoeft geen risicostratificatie plaats te vinden: het wel of niet geven van ?-blokkers aan patiënten met een hartinfarct is een pure procesfactor. Daardoor zijn trends ook beter te beoordelen en kunnen zelfs cumulatieve cijfers worden gegenereerd.16 Procestoetsing heeft ook psychologische voordelen. Een ‘slechte’ prestatie-indicator is niet noodzakelijkerwijs het gevolg van ondeugdelijke zorg, maar toch kan deze de arts of zorginstelling bij openbaarmaking een gevoel van mislukking geven. Procesindicatoren zijn directer, concreter en beter bij te sturen, terwijl de informatie van prestatie-indicatoren mosterd na de maaltijd is en niet dadelijk aangeeft wat er mis is.

conclusies

Om een normatief oordeel te kunnen vellen over de kwaliteit van verleende zorg zijn altijd twee verschillende zaken nodig: metingen en een maatstaf. Bij industriële processen kan men tevoren specificeren waaraan het product dient te voldoen en vervolgens meten of het er ook daadwerkelijk aan voldoet. Bij medische zorgprocessen is het wel mogelijk vooraf te formuleren welke afloop wordt nagestreefd, maar het is minder eenvoudig te omschrijven welke uitkomsten aanvaardbaar zijn, omdat maar een deel van de factoren die het uiteindelijke resultaat van interventies bepalen kan worden beïnvloed.

Bij de aanpak door de inspectie die ziekenhuizen verplicht een set prestatie-indicatoren te melden, wordt echter onvoldoende aandacht geschonken aan de genoemde essentiële methodologische vereisten.3 Als de inspectie wil beoordelen waar kwaliteit van zorg tekortschiet, moet minstens worden gecontroleerd op datakwaliteit, onderzoek worden gedaan naar mogelijke verschillen in definities en meetmethoden, een poging tot risicostratificatie worden ondernomen en de toevalskans worden aangegeven.

De huidige aanpak heeft als doelstellingen een onafhankelijke graadmeter te introduceren voor de kwaliteit en de veiligheid van zorg in ziekenhuizen en te komen tot effectiever en efficiënter toezicht. Een dergelijk ambitieus project vraagt om een strikt protocol. Er is onlangs door de Inspectie een definitielijst gepubliceerd, maar dat blijken conceptuele begripsbepalingen en geen operationele. Zo wordt de term ‘vermijdbare sterfte’ omschreven als ‘de bij de huidige stand van kennis voor preventie en zorg theoretisch te vermijden sterfte’.17 Maar hoe moet dat concreet worden ingevuld bij bijvoorbeeld de 30-dagensterfte bij patiënten met een myocardinfarct? Ook als aan alle hier besproken fundamentele onderzoeksvoorwaarden wordt voldaan, stuit men op het vraagstuk welke betekenis aan de individuele uitkomsten en de onderlinge vergelijking daarvan kan worden toegekend.

Ten slotte is van belang dat nog geenszins overtuigend is aangetoond dat implementatie van een systeem met een set prestatie-indicatoren ook daadwerkelijk de zorg verbetert.1 2 8 13 Invoering zadelt de zorginstellingen op met een grote administratieve last. Hier is evidence-based besluitvorming van belang: het is de uitdaging voor de onderzoekers om met vergelijkend onderzoek duidelijk te maken wat het effect van openbaarmaking is.

De media beijveren zich om het publiek te voorzien van informatie over de kwaliteit van medische zorg, maar staan daarbij onvoldoende stil bij de beperkingen van de gegevens, die voortvloeien uit de gehanteerde methode van verzamelen en rapporteren van de data. Patiënten hebben tegenwoordig een schat aan gegevens over medische zorg tot hun beschikking via internet. Maar zijn zij voldoende in staat om kaf en koren van elkaar te scheiden? Het is maar de vraag of consumentisme tot duurzame kwaliteitsverbeteringen leidt.18 De (potentiële) patiënt mag echter van medische professionals verlangen dat de kwaliteit van zorg wordt gegarandeerd. Of medici dat voldoende beseffen en of zij zich realiseren dat die kwaliteit controle en sturing vergt, is maar de vraag. Cultuur en structuur van medische zorg zijn bepalend voor het eindresultaat, waarbij de factor cultuur het meest doorslaggevend is. Regelgeving en toezicht zijn beleidsinstrumenten die met grote bedachtzaamheid dienen te worden toegepast.19 Toezicht is geïnstitutionaliseerd wantrouwen en verantwoorde toepassing daarvan verdraagt geen retoriek, maar vereist realiteit.

Dr.P.Adab, epidemioloog, afd. Public Health and Epidemiology, universiteit van Birmingham, stelde de data van de figuur beschikbaar.

Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld.

Literatuur

  1. Kassirer JP. The use and abuse of practice profiles. N Engl J Med. 1994;330:634-6.

  2. Goldstein H, Spiegelhalter DJ. League tables and their limitations: statistical issues in comparisons of institutional performance. J R Stat Soc Series A. 1996;159:385-443.

  3. Bird SM. Performance indicators: good, bad, and ugly. J R Stat Soc A. (part 1) 2005;168:1-27.

  4. Inspectie voor de Gezondheidszorg (IGZ). Het resultaat telt. Prestatie-indicatoren als onafhankelijke graadmeter voor de kwaliteit van in ziekenhuizen verleende zorg. Den Haag: IGZ; 2005.

  5. Powell AE, Davies HT, Thomson RG. Using routine comparative data to assess the quality of health care: understanding and avoiding common pitfalls. Qual Saf Health Care. 2003;12:122-8.

  6. Kuch B, Bolte HD, Hoermann A, Meisinger C, Loewel H. What is the real hospital mortality from acute myocardial infarction? Epidemiological vs clinical view. Eur Heart J. 2002;23:714-20.

  7. Iezzoni LI. The risks of risk adjustment. JAMA. 1997;278:1600-7.

  8. Adab P, Rouse AM, Mohammed MA, Marshall T. Performance league tables: the NHS deserves better. BMJ. 2002;324:95-8.

  9. Dimick JB, Welch HG, Birkmeyer JD. Surgical mortality as an indicator of hospital quality: the problem with small sample size. JAMA. 2004;292:847-51.

  10. Normand SL, Zou KH. Sample size considerations in observational health care quality studies. Stat Med. 2002;21:331-45.

  11. Werner RM, Asch DA. The unintended consequences of publicly reporting quality information. JAMA. 2005;293:1239-44.

  12. Marshall MN, Romano PS. Impact of reporting hospital performance. Qual Saf Health Care. 2005;14:77-8.

  13. Lilford R, Mohammed MA, Spiegelhalter D, Thomson R. Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet. 2004;363:1147-54.

  14. Lim TO. Statistical process control tools for monitoring clinical performance. Int J Qual Health Care. 2003;15:3-4.

  15. Ierodiakonou K, Vandenbroucke JP. Medicine as a stochastic art. Lancet. 1993;341:542-3.

  16. Williams SC, Schmaltz SP, Morton DJ, Koss RG, Loeb JM. Quality of care in U.S. hospitals as reflected by standardized measures, 2002-2004. N Engl J Med. 2005;353:255-64.

  17. Inspectie voor de Gezondheidszorg (IGZ). Patiëntveiligheid. Definitielijst. Den Haag: IGZ; 2005.

  18. Will consumerism lead to better health? Lancet. 2005;366:343.

  19. Wetenschappelijke Raad voor het Regeringsbeleid. Bewijzen van goede dienstverlening. Amsterdam: Amsterdam University Press; 2004.

Auteursinformatie

Medisch Centrum Rijnmond-Zuid, locatie Clara, afd. Klinische Pathologie, Postbus 9119, 3007 AC Rotterdam.

Contact Hr.dr.R.W.M.Giard, patholoog en klinisch epidemioloog

Reacties