Print deze samenvatting
Home
Gepubliceerd op: 29-04-2010 (in print verschenen in week 18 2010)
Citeer dit artikel als:
 Ned Tijdschr Geneeskd. 2010;154:A1142
Onderzoek
  • Open
  • Dossier: Kwaliteitsindicatoren
geen zuiver zicht op goede zorg

Gea A. Gooiker

,

Laetitia Veerbeek

,

Lydia G.M. van der Geest

,

Theo Stijnen

,

Jan Willem T. Dekker

,

J.W.R. (Hans) Nortier

,

Andreas W.K.S. Marinelli

,

Henk Struikmans

,

Michel W.J.M. Wouters

en

Rob A.E.M. Tollenaar

Doel

Inzichtelijk maken of de prestatie-indicator ‘irradicaliteit na eerste borstsparende operatie’ de kwaliteit van borstkankerchirurgie consistent beoordeelt, onafhankelijk van de gebruikte definitie, verschillen in casemix en rekening houdend met toevalsvariatie.

Opzet

Descriptief.

Methoden

Data werden verzameld van 762 patiënten, die in de periode van 1 juli 2007-30 juni 2008 in 1 van de 9 ziekenhuizen in de regio van het Integraal Kankercentrum West borstparend werden behandeld wegens een invasief of in situ mammacarcinoom. Wij vergeleken 3 definities voor irradicaliteit: de indicator van de Inspectie voor Gezondheidszorg, de indicator van Zichtbare Zorg, en het percentage reresecties. Voor casemixcorrectie werden risicofactoren voor irradicaliteit geïdentificeerd met een logistische regressie. De resultaten werden weergegeven in een ‘funnelplot’ (fuikgrafiek) met een 95%-betrouwbaarheidsinterval (95%-BI) rond de landelijk vastgestelde norm van 20%.

Resultaten

Afhankelijk van de gebruikte definitie varieerden de percentages irradicaal geopereerde mammacarcinomen van de totale groep van 11 tot 21%. De percentages irradicaliteit van individuele ziekenhuizen verschilden onderling tot 19%. De kans op irradicaliteit was groter bij carcinoma in situ. De uitkomsten tussen de ziekenhuizen verschilden significant voor alle 3 de definities. De funnelplot liet echter zien dat de meeste ziekenhuizen binnen de 95%-BI van de norm vielen. Afhankelijk van de gebruikte definitie en casemixcorrectie kon een ziekenhuis wel of niet binnen de 95%-BI van de norm vallen.

Conclusie

Het gebrek aan eenduidige definiëring van de prestatie-indicator ‘irradicaliteit na eerste borstsparende operatie’ en het ontbreken van casemixcorrectie ondermijnen de validiteit van de indicator. Standaardisatie van definities, uniforme registratie en de toepassing van funnelplots kunnen een zuiverder zicht op de kwaliteit van zorg verschaffen.

Reactie toevoegen

Reacties

Prestatieindicator irradicaliteit borstkankeroperaties

De auteurs beschrijven een vreemd betrouwvbaarheidsinterval en  een kiesregel.
In tabel 4 worden de prestatie-indicator irradicaliteit  met percentages geëvalueerd. Hierbij wordt het percentage berekend uit het aantal operaties met irradicaliteit gedeeld door het aantal verrichtte operaties. Beide worden geteld volgens de natuurlijke getallen (0,1,2,3,4,….). Een percentage berekend uit deze natuurlijke getallen kan nooit negatief zijn. De auteurs vermelden bij ziekenhuis B in tabel 4  twee keer een betrouwbaarheidsinterval van (-1-4) met een negatieve waarde. Het interval (-1,0) heeft exact een kans van 0%. Algemeen wordt aangeraden  om uitkomsten van statistische berekeningen in overeenstemming te brengen met de realiteit .(1) Het is bekend, dat bepaalde berekeningen tot negatieve waarden leiden. Het is opvallend ,dat deze fout al eerder is gesignaleerd.(2) Algemeen wordt geadviseerd de percentages aan te passen. (1)  In dit geval is het beter om de waarde   -1 door 0 te vervangen. 
De auteurs beschrijven een beoordelingsmethode, die twee groepen selecteert namelijk beneden en boven de ondergrens van het betrouwbaarheidsinterval. Zij beschrijven hiermee een kiesregel. Deze kiesregel staat bekend als approval voting.(3) Approval voting is niet paretooptimaal en niet streng monotoon. Paretooptimaliteit speelt een belangrijke rol in de geneeskunde. Dit wordt via consensus gerealiseerd. De approval methode geeft geen garantie op een gelijk oordeel met de consensusmethode. In het volgende voorbeeld worden de rangordes voor 2 prestatie-indicatoren bij 3 zorgaanbieders a,b,c vermeld. . Links van van het >> teken zijn de zorgaanbieders vermeld, die aan de norm voldoen.De rangordes van prestatieindicator zijn
a>>b c  en b a c >> .
In bovenstaande profielen wordt voor beide prestatie-indicatoren b boven c geprefereerd. Bij approval-voting zijn b en c gelijkwaardig.
Stenge monotonie houdt in, dat betere prestaties tot een betere beoordeling moeten leiden. Als bij de  laatste prestatie-indicator b en a worden verwisseld leidt dat niet tot een betere beoordeling bij approval-voting.
De auteurs verwerken de kennis van het tellen met natuurlijke getallen, zoals onderwezen in groep 3 niet in hun artikel en laten na de nadelen van  de beschreven kiesregel te noemen.

Arturo Knol, huisarts, Groningen

1.     Peacock J, Kerry S. Presenting medical statistics from proposal to publication. Oxford: Oxford University Press; 2007.
2.     Ned Tijdschr Geneeskd. 2007;151:2810
3.     Storcken AJA ,Swart HCM Verkiezingen, agenda’s en manipulatie Epsilon Utrecht 1992

De prestatie-indicator ‘irradicaliteit na borstsparende operat

In het IGZ-rapport Zichtbare Zorg werd een grote variatie gevonden tussen 95 ziekenhuizen in de irradicaliteit van borstsparende operaties wegens borstkanker, variërend van minder dan 5% tot meer dan 40% (gemiddeld 10,6%) [1]. Door de EORTC wordt een norm van 10% gehanteerd [2].

Gooiker e.a. vergeleken drie kwaliteitsnormen -in feite drie manieren om het PA-preparaat te beoordelen- voor 9 ziekenhuizen uit de IKW-regio. Zij concludeerden dat de indicatoren niet gebruikt kunnen worden door gebrek aan eenduidigheid over definities. Zij betwisten daarmee de conclusie van het IGZ rapport Zichtbare zorg. Maar hun conclusie staat haaks op hun eigen resultaten die juist bevestigen dat de indicatoren wèl gebruikt kunnen worden om afwijkende ziekenhuizen te herkennen. Ondanks de kleine steekproef, bevestigt de studie grotere studies dat de meeste ziekenhuizen rond een gemiddelde scoren, in deze steekproef rond 20%. Belangrijker is dat de drie criteria goed correleren, en geen paradoxale resultaten geven. Vooral duidelijk is de dat de drie indicatoren goed overeenkomen voor de twee extreem scorende ziekenhuizen A en B, ook na casemix-correctie. Dat zij geen verband vonden tussen patiëntaantallen en de prestatieindicatoren hangt ongetwijfeld samen met de kleine omvang van hun studie, niet met de lage validiteit van de indicatoren.

Gooiker e.a. gaan niet in op hun meest verontrustende bevinding, namelijk dat twee ziekenhuizen op 2 van de 3 indicatoren significant, en op 1 indicator marginaal significant afwijken. Wat doen die twee ziekenhuizen anders dan de anderen? Verwijderen chirurgen in ziekenhuis B misschien te veel gezond borstweefsel? Is de pathologie niet nauwkeurig genoeg? Wordt er minder accuraat geregistreerd en gerapporteerd? En in ziekenhuis A: zijn de chirurgen te behoudend in hun tumorresecties? Worden de PA-preparaten (te) scrupuleus bekeken? En dan de gewetensvragen waar het om draait: zouden Gooiker e.a. hun vrouw, dochter, zus, moeder of zichzelf met een gerust hart in ziekenhuis A laten opereren voor borstkanker? Hebben patiënten niet hetzelfde recht op die informatie als Gooiker e.a. ? [3]

dr. Lukas Stalpers, radiotherapeut AMC
prof. em. dr. Frits van Dam, psycholoog

1. IGZ-rapport zichtbare zorg. www.igz.nl
2. Perry et al. Ann Oncol 2008;19:614-622
3. van Dam FSAM. Ned Tijdschr Geneeskd 2004: 814-5

Is de prestatieindicator 'irradicaliteit' betrouwbaar?

Dr. Lukas Stalpers en prof.em.dr. Frits van Dam constateren terecht dat de percentages irradicaliteit in de steekproef van ziekenhuizen sterk uiteenlopen. Hoewel het merendeel van de spreiding is te verklaren door toevalsvariatie (de ziekenhuizen vallen binnen de 95%- betrouwbaarheidsintervallen van de norm), zijn er inderdaad twee duidelijke outliers te herkennen.
Stalpers en van Dam vragen zich terecht af wat de oorzaak is van de ‘outlier status’ van deze ziekenhuizen. Zij merken zelf al op dat de oorzaak zou kunnen liggen in minder accurate rapportage en registratie, dat de pathologie niet nauwkeurig genoeg is of dat de PA preparaten juist te scrupuleus worden bekeken. Kortom, dat de oorzaak zou kunnen liggen in onbetrouwbare registratie binnen het ziekenhuis.  
In ons artikel zien wij aanwijzingen voor onbetrouwbare registratie van irradicaliteit in de ziekenhuizen. Dit uit zich vooral in de discrepanties tussen de percentages irradicaliteit en de percentages reresecties van zowel het complete cohort, als de individuele ziekenhuizen.  
Het feit dat het merendeel is te verklaren door toevalsvariatie is dan ook niet de reden dat de indicator ‘percentage irradicaliteit na een borstsparende operatie’ geen valide indicator is. Sterker nog, een prestatie indicator hoeft ons inziens niet per se te discrimineren tussen goede en slechte ziekenhuizen. De bevinding dat alle ziekenhuizen presteren rond de norm zou juist geruststellend zijn. Wel zouden de resultaten van indicatoren moeten worden weergegeven in funnelplots in plaats van ranglijsten, zodat de toevalsvariatie inzichtelijk is.
De validiteit van de indicator ‘percentage irradicaliteit na borstsparende operatie’ wordt echter wel ondermijnd door het feit dat irradicaliteit niet eenduidig en uniform wordt geregistreerd in de ziekenhuizen. Een betrouwbare vergelijking tussen ziekenhuizen is tenslotte niet te maken als ieder ziekenhuis een verschillende definitie hanteert voor irradicaliteit, de definitie verschillend interpreteert of onvolledig registreert.
Kortom, als onze vrouw, dochter, zus, moeder, of wijzelf met borstkanker zouden worden gediagnosticeerd, hebben óók wij geen betrouwbare informatie over de kwaliteit in de ziekenhuizen. Want niet alleen zijn de gerapporteerde percentages op de indicator onbetrouwbaar, de uitkomsten van een enkele indicator geven ook een beperkt beeld van de kwaliteit van zorg. Zo zouden wij naast het percentage irradicaliteit ook willen weten of bijvoorbeeld de richtlijnen worden gevolgd, en in welke gevallen er voor een amputatie gekozen wordt met al dan niet de mogelijkheid voor een directe reconstructie. Zolang dit soort informatie ontbreekt, rest ook ons niets anders dan af te gaan op de reputatie van een ziekenhuis en de juiste vragen te stellen aan de behandelend arts.

Gea Gooiker, arts-onderzoeker, LUMC
Michel Wouters, chirurg, LUMC
Prof. dr. Rob Tollenaar, chirurg, LUMC

Prestatieindicator irradicaliteit borstkanker

 Stalpers en van Dam stellen dat  resultaten moeten correleren en niet paradoxaal zijn. De auteurs beschrijven een kiesregel , namelijk prestaties onder en boven de norm van de ondergrens van het betrouwbaarheidsinterval. Dit is een kiesregel ,die bekend staat als approval voting. (1).Geen correlatie en paradoxen worden veroorzaakt door inconsistentie (2)en afhankelijkheid van irrelevante prestaties(3).Bij de beschreven kiesregel zijn deze niet mogelijk. (1). Stalpers en van Dam gaan er aan voorbij, dat de auteurs door de kiesregel approval voting  juist een oplossing voor  dit probleem presenteren. Een punt van zorg is dat bij approval voting manipulatie van de uitslag mogelijk is. In het volgende voorbeeld worden van 3 zorgaanbieders a,b,c de rangordes van prestatie-indicatoren  vermeld. Links van >> staan de zorgaanbieders ,die aan de norm voldoen.

======================
a c >>b 5 prestatie-indicatoren;a b>>c 7 prestatie-indicatoren;c>> a b 3 prestatie-indicatoren ;c>> b ca 7 prestatie-indicatoren;b a >> c 3 prestatie-indicatoren;b c >> a 6 prestatie-indicatoren;
=========================
a vergaart 5+7+0+0+3+0=15 stemmen.,b vergaart 0+7+0+0+3+6=16 stemmen en c vergaart 5+0+3+7+0+6=21 stemmen
Bij approval voting is de rangorde c b a. Als bij de laatste 6 prestatie-indicatoren de norm verhoogd wordt zodat b>> ca dan krijgt c 21-6= 15 stemmen en wordt b de winnaar met 16 stemmen  ipv c .
Hieruit blijkt dat approval voting gevoelig is voor manipulatie en strategisch gedrag.

Artruro Knol, huisarts, Groningen

1.       Swart H,Deemen A Hout E Kop P Verkiezingen een web van paradoxen Epsilon 2003 Utrecht
2.     A.Knol Ned Tijdschr Geneeskd. 2009;153:B161
3.       A.Knol Ned Tijdschr Geneeskd. 2009;153:A574