Prestatie-indicatoren: de rol van taakonzekerheid

Opinie
Anne-Margreet van Dishoeck
Hester F. Lingsma
Ewout W. Steyerberg
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2010;154:A1775
Abstract
Download PDF

Kwaliteit van zorg heeft de laatste jaren een prominenter plaats gekregen in de gezondheidszorg. Dit blijkt alleen al uit de veelheid aan prestatie-indicatoren die recent ontwikkeld zijn. Een prestatie-indicator is een meetbaar element van de zorgverlening dat een indicatie moet geven van de prestaties van een zorgaanbieder. Het gebruik van indicatoren kan zowel een externe doelstelling hebben, zoals verantwoording en transparantie, als een interne, zoals kwaliteitsverbetering. De basisset van de Inspectie voor de Gezondheidszorg (IGZ) is een voorbeeld van de externe doelstelling.1 Zorginstellingen zetten indicatoren in voor controle en sturing van processen om kwaliteit van zorg te verbeteren. Twee typen prestatie-indicatoren zijn daarvoor toepasbaar: uitkomstindicatoren (bijvoorbeeld sterfte 30 dagen na een acuut myocardinfarct) en procesindicatoren (bijvoorbeeld tijd tussen de binnenkomst van de patiënt in het ziekenhuis en het toedienen van trombolytica (‘door to needle time’ voor trombolyse na een herseninfarct)). Bij de selectie van indicatoren kiezen wetenschappelijke werkgroepen van beroepsverenigingen veelal voor uitkomstmaten die ook in wetenschappelijk onderzoek gebruikt worden.

Onzekerheid over de uit te voeren taak Een heel andere manier van indicatorontwikkeling gebeurt vanuit een sociologisch perspectief: Van der Geer et al., onderzoekers van de Technische Universiteit van Eindhoven en de Universiteit van Tilburg, beschrijven kwaliteitsverbetering en indicatorontwikkeling vanuit dat perspectief.2 Zij zien gezondheidszorgmedewerkers als de kritische succesfactor voor kwaliteit van zorg. Dit betekent dat het effect van prestatie-indicatoren op kwaliteit van zorg verloopt via een feedbackmechanisme: feedback aan medewerkers over behaalde resultaten (prestatie-indicatoren) zal prestaties (kwaliteit van zorg) verbeteren. De auteurs stellen dat de effectiviteit van dit feedbackmechanisme afhankelijk is van de intrinsieke onzekerheid van de uit te voeren taak (‘task uncertainty’). Hun hypothese is dat de effectiviteit van het rapporteren van uitkomsten (‘final task results’) afneemt bij grotere taakonzekerheid. In dat geval leidt het rapporteren van procesindicatoren tot meer prestatieverbetering. Welk type procesindicatoren het effectiefst is bij grote taakonzekerheid is echter onbekend. De vraagstelling van het artikel van Van der Geer et al. is wat de relatie is tussen taakonzekerheid en het meest effectieve type procesindicator.

Procesindicatoren en taakonzekerheid

Procesindicatoren De procesindicatoren zijn ingedeeld in (a) probleemoplossende, (b) procedurele en (c) tussenresultaat-indicatoren. Probleemoplossende procesindicatoren refereren naar de mate waarin een zorgvuldige afweging van alternatieven is gemaakt. De procedurele indicatoren refereren naar de mate waarin een algoritme of protocol is gevolgd. En bij tussenresultaat-indicatoren gaat het bijvoorbeeld over de verbetering van de fysieke mogelijkheden van de patiënt gedurende de behandeling – deze indicatoren zitten conceptueel dicht bij uitkomstindicatoren.

Taakonzekerheid De taakonzekerheid is gedefinieerd aan de hand van 5 elementen; (a) karakter van de initiële situatie, (b) specificiteit van de taakstrategie (c) voorspelbaarheid van de tussentijdse resultaten, (d) voorspelbaarheid van de totale taakduur en (e) voorspelbaarheid van de eindresultaten. Een voorbeeld van een taak met grote taakonzekerheid is ‘heupoperatie binnen 24 h na een heupfractuur’. De initiële situatie is onzeker ten aanzien van de specifieke diagnose en de taakstrategie wordt bepaald door de comorbiditeit van de patiënt en is niet te vatten in een vast algoritme. De tussentijdse resultaten zijn afhankelijk van factoren als beschikbaarheid van onderzoeken (bijvoorbeeld een preoperatieve longfunctietest bij COPD-patiënten) en de totale duur van de taak wordt sterk bepaald door wat preoperatief gedaan moet worden. Het eindresultaat is daarmee moeilijk te voorspellen.

De mate van taakonzekerheid wordt weergegeven als ‘laag’, ‘gemiddeld’ of ‘hoog’ op basis van de 5 genoemde elementen.

Om de relatie tussen taakonzekerheid en het type procesindicator te onderzoeken, hebben Van der Geer et al. in hun studie 8 teams van professionals in een revalidatiecentrum indicatoren laten ontwikkelen om hun zorgprocessen te monitoren en te verbeteren. Elk team ontwikkelde prestatie-indicatoren met een uniforme methode, ‘Productivity measurement and enhancement system’ (ProMES), waarbij onderscheid gemaakt werd tussen uitkomstindicatoren en de 3 genoemde procesindicatoren.

Uit de vergelijking van de prestatie-indicatoren van de verschillende teams bleek dat 4 teams met een hoge taakonzekerheid (die taken moesten uitvoeren op het gebied van respectievelijk niet-aangeboren hersenbeschadiging, ziekte van Parkinson, jonge kinderen (1-4 jaar) met ontwikkelingsstoornissen, en kinderen met een coördinatieve ontwikkelingsstoornis, verkregen hersenbeschadiging) meer proces- dan uitkomstindicatoren ontwikkelden dan 4 teams met een lage taakonzekerheid (met taken op het gebeid van respectievelijk handtrauma, hartfalen, chronische pijn en amputaties). In twee teams met hoge taakonzekerheid werden zelfs in het geheel geen uitkomstindicatoren ontwikkeld. De teams met een hoge taakonzekerheid ontwikkelden meer probleemoplossende procesindicatoren dan procedurele procesindicatoren.

Hieruit kan geconcludeerd worden dat de mate van taakonzekerheid mede bepaalt welk type indicatoren effectief zijn in het verbeteren van prestaties: voor onzekere taken zijn uitkomstindicatoren ongeschikt en moet gezocht worden naar probleemoplossende procesindicatoren, voor taken met weinig onzekerheid zijn uitkomstindicatoren of meer procedurele procesindicatoren wel geschikt.

Implicaties voor de ontwikkeling van prestatie-indicatoren

Het artikel van Van der Geer et al. heeft belangrijke implicaties voor de ontwikkeling van prestatie-indicatoren. Het uiteindelijke doel van prestatie-indicatoren is het verbeteren van kwaliteit van zorg. Dat doel wordt, tenminste via het mechanisme van feedback aan medewerkers, alleen bereikt als de goede indicatoren voor het goede gezondheidsprobleem worden ontwikkeld.

Uitkomstindicatoren Een voordeel van uitkomstindicatoren is dat deze intrinsieke waarde hebben en het hele zorgproces omvatten. Een goede uitkomst is het doel van de zorg en deze wordt beïnvloed door de kwaliteit van verschillende processen. Aan uitkomstindicatoren kleven echter ook nadelen. De meeste kritiek richt zich op de gevoeligheid van deze indicatoren voor samenstelling van de patiëntengroep (‘case mix’) en toevalsvariatie. Verschillen tussen patiënten zijn vaak niet volledig te corrigeren met statistische modellen, doordat definities van patiëntenkenmerken verschillen en de karakterisering van patiënten incompleet is. De toevalsvariatie is groot bij kleine patiëntenaantallen, met name bij een beperkt aantal patiënten met de uitkomst.

Procesindicatoren zijn minder gevoelig voor case-mix en toeval. Daarnaast zijn ze direct gerelateerd aan specifieke zorgprocessen. Dat maakt ze gemakkelijk te interpreteren en geeft ze een goede ‘face-validity’ (dat wil zeggen dat de indicator op het eerste gezicht een goede maatstaf lijkt voor wat men wil meten). Ook zijn procesindicatoren sensitiever voor kwaliteitsverbetering en dus meer beïnvloedbaar met kwaliteitsprojecten.3-5 Dit maakt procesindicatoren geschikt voor interne sturing en kwaliteitsverbetering. Uitkomstindicatoren zijn daarbij alleen geschikt voor gezondheidsproblemen met weinig variatie en weinig onzekerheid.

Hoewel het artikel van Van de Geer et al. focust op prestatie-indicatoren voor interne sturing en kwaliteitsverbetering, is extern gebruik van deze indicatoren net zo goed een vorm van feedback over behaalde resultaten, waarvoor waarschijnlijk hetzelfde geldt. Zo is een veel gehoord commentaar op de prestatie-indicatoren uit de IGZ-basisset dat deze te simpel zijn om de kwaliteit van complexe processen te meten.

Conclusie

Van Geer et al. tonen aan dat men bij de ontwikkeling van prestatie-indicatoren rekening moet houden met taakonzekerheid. Anders is de effectiviteit van feedback laag en zal de prestatie-indicator niet leiden tot kwaliteitsverbetering. Daarom is de betrokkenheid van de professionals bij de ontwikkeling van indicatoren van groot belang.

Literatuur
  1. Inspectie voor de Gezondheidszorg (IGZ), Vereniging van Ziekenhuizen, Nederlandse Federatie van Universitair Medische Centra (NFU), Orde van Medisch Specialisten. Basisset prestatie-indicatoren ziekenhuizen 2010. Utrecht: IGZ; 2009. www.igz.nl/997786/Basisset_prestatie-indicato1.pdf.

  2. Van der Geer E, van Tuijl HF, Rutte CG. Performance management in healthcare: performance indicator development, task uncertainty, and types of performance indicators. Social science & medicine (1982). 2009;69:1523-30.

  3. Lilford R, Mohammed MA, Spiegelhalter D, Thomson R. Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet. 2004;363:1147-54.

  4. Rubin HR, Pronovost P, Diette GB. From a process of care to a measure: the development and testing of a quality indicator. Int J Qual Health Care. 2001;13:489-96.

  5. Van Dishoeck AM, Looman CM, van der Wilden-van Lier EC, Mackenbach JP, Steyerberg EW. Prestatie-indicatoren voor ziekenhuizen; de invloed van onzekerheid. Ned Tijdschr Geneeskd. 2009;153;B161.

Auteursinformatie

Erasmus MC, afd. Maatschappelijke Gezondheidszorg, Rotterdam.

A.M. van Dishoeck MSc, junior onderzoeker; H.F. Lingsma MSc, junior onderzoeker.

Centrum voor Medische Besliskunde: prof.dr. E.W. Steyerberg, medisch besliskundige.

Contact A.M. van Dishoeck MSc (a.m.vandishoeck@erasmusmc.nl)

Verantwoording

Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld.
Aanvaard op 7 februari 2010

Gerelateerde artikelen

Reacties

A
Knol

De auteurs schrijven : “Kwaliteit van zorg heeft de laatste jaren een prominenter plaats gekregen in de gezondheidszorg. Dit blijkt alleen al uit de veelheid aan prestatie-indicatoren die recent ontwikkeld zijn Een prestatie-indicator is een meetbaar element van de zorgverlening dat een indicatie moet geven van de prestaties van een zorgaanbieder. . Het gebruik van indicatoren kan zowel een externe doelstelling hebben, zoals verantwoording en transparantie”…. Er lijkt een verband tussen kwaliteit en meerdere prestatie-indicatoren gesuggereerd te worden en transparantie wordt   zondermeer aangenomen.  Meetbaarheid is  onvoldoende voor een dergelijk  verband. Appels en peren kunnen beide geteld worden en zijn dus meetbaar. In de eerste klas lager school leerden we dat appels en peren niet kunnen worden opgeteld. Rekenoperaties kunnen alleen uitgevoerd worden op vergelijkbare getallen. De eis van vergelijkbaarheid is zeer streng. Dit is de centrale hoofdstelling van de keuzetheorie. De keuzetheorie (en cryptografie) houdt zich bezig met wat er gebeurd als we de rekenregels van de lagere school overtreden. De wiskundige litteratuur is zeer kritisch over  verwaarlozing van de rekenregels.[1] Gebrek aan transparantie kunnen we vertalen naar het wiskundige begrip inconsistentie.  Als FC Groningen wint van Feyenoord en Feyenoord van Ajax is het bepaald niet zeker dat FC Groningen van Ajax wint. Er zijn uitgebreide tabellen beschikbaar met berekeningen van het aantal inconsistenties.[2] Vanaf 4 zorgaanbieders is het de verwachte waarde van inconsistentie >50 %.Hoogstens kan met behulp van een statistische test en de tabellen van Kendall voor de verwachte waarde van de inconsistenties beoordeeld worden  of het verkregen resultaat afwijkt van het toeval2. Maar daarmee is men de inconsistentie niet kwijt en is nog steeds geen volstrekte transparantie. De vermelde transparantie is niet vanzelfsprekend. De auteurs laten na  transparantie middels toegenomen consistentie  van de gebruikte prestatie-indicatoren met de bestaande statistische methoden  plausibel te maken. De auteurs verwerken de consequenties van de rekenregels van de eerste klas lagere school (nu groep 3) niet op adequate wijze in hun betoog , laten na een rekenregel  voor het verband tussen  kwaliteit  en  prestatie-indicatoren te vermelden en onderbouwen transparantie niet.  Arturo Knol, huisarts, Groningen

  1. Saari Basic geometry of voting Springer 1995 Berlijn
  2. Bortz ,Lienert,Boehnke Verteilungsfreie Methoden in der Biostatistik  3e oplage Springer 2008 Berlijn