Hoe representatief is Zorgkaart Nederland?

De waardering van specialisten door patiënten in beeld gebracht
Onderzoek
Tijs A. Stehmann
W.A. (Alexander) Goudriaan
J.C.C.M. (Hans) in ’t Veen
Boudewijn J. Kollen
C.C.P.M. (Kees) Verheyen
Citeer dit artikel als: Ned Tijdschr Geneeskd. 2016;160:A9870
Abstract
Download PDF

Samenvatting

Doel

Het beschrijven van het aantal waarderingen en de corresponderende cijfers van medisch specialisten op beoordelingswebsite ZorgkaartNederland.nl en het evalueren van deze website als kwaliteitsinstrument.

Opzet

Exploratief beschrijvend onderzoek.

Methode

Van het openbare gedeelte van ZorgkaartNederland.nl werden in juli 2015 gegevens verzameld. Per ziekenhuis werden voor elk specialisme het aantal specialisten, het waarderingscijfer van de specialistengroep (groepscijfer), het aantal waarderingen, het aantal specialisten zonder waarderingen en het aantal specialisten met minstens 9 waarderingen genoteerd. De uitkomstmaten waren het mediane aantal waarderingen per specialisme en het groepscijfer. Deze werden geanalyseerd met beschrijvende en niet-parametrische statistiek.

Resultaten

Per maand kende ZorgkaartNederland.nl 763.000 unieke bezoekers; gemiddeld 0,08% van hen bracht een stem uit. ZorgkaartNederland.nl vermeldde 15.337 specialisten, verspreid over 97 ziekenhuizen, 2060 specialismen, met in totaal 45.548 waarderingen. Van hen hadden 6682 (43,4%) specialisten 0 waarderingen en 1165 specialisten (7,6%) ≥ 9 waarderingen gekregen. Tevens hadden 327 (15,9%) specialistengroepen geen enkele waardering. Het mediane aantal waarderingen en het mediane groepscijfer waren voor snijdende specialismen significant hoger dan voor beschouwende specialismen.

Conclusie

ZorgkaartNederland.nl toont cijfers over 56,6% van alle specialisten. Wanneer de door ZorgkaartNederland.nl ingevoerde ondergrens voor validiteit van minstens 9 waarderingen per specialist gehanteerd wordt, zijn de cijfers van slechts 7,6% van alle specialisten valide. Van de unieke bezoekers brengt gemiddeld 0,08% een stem uit. Snijdende specialismen hebben een hoger aantal waarderingen en een hoger waarderingscijfer dan beschouwende. ZorgkaartNederland.nl voldoet in haar huidige vorm niet als valide kwaliteitsinstrument voor de beoordeling van de kwaliteit van zorg van een medisch specialist. Dit artikel geeft daarom aanbevelingen ter verbetering.

Leerdoelen

  • ZorgkaartNederland.nl is een website waarop patiënten hun zorgverleners en -instellingen kunnen beoordelen door het geven van cijfers.
  • ZorgkaartNederland.nl is door minister Schippers als bron van betrouwbare informatie aangemerkt.
  • Van de 763.000 unieke bezoekers per maand op ZorgkaartNederland.nl geeft 0,08% een cijfer aan een specialist.
  • Op ZorgkaartNederland.nl krijgt 43,4% van de specialisten en 15,9% van de specialistengroepen geen enkele waardering.
  • Van alle specialisten heeft tot nu toe slechts 7,6% een oordeel ontvangen dat valide is volgens het criterium van Zorgkaart Nederland (≥ 9 waarderingen).
  • Het mediane aantal waarderingen en het mediane waarderingscijfer voor specialistengroepen van snijdende specialismen is significant hoger dan voor die van beschouwende specialismen.
  • De huidige waarderingen op ZorgkaartNederland.nl zijn waarschijnlijk niet representatief voor de kwaliteit van zorg, door een hoge non-responsbias.
Uitleg

Het ideale gedrag van de dokter

De ideale dokter wekt vertrouwen en is empathisch, menslievend, persoonlijk, openhartig, respectvol en nauwgezet.12

Inleiding

In maart 2015 gaf minister Schippers van VWS in een brief aan de Tweede Kamer een toelichting bij het ‘Jaar van de transparantie’, dat haar departement had uitgeroepen.1 In deze brief verwoordde zij de missie van het kabinet en schreef zij dat er betere zorg tegen lagere kosten geleverd dient te worden. Dit zou te bereiken zijn door informatie over de kwaliteit van zorg toegankelijker te maken voor de patiënt en de patiënt op die manier te betrekken bij de behandeling. De minister wil graag dat de overheidswebsite www.kiesbeter.nl het startpunt wordt voor de patiënt op weg naar betrouwbare websites. ‘Het is wel de ambitie dat patiënten via de overheid de weg kunnen vinden naar betrouwbare informatie zoals bijvoorbeeld op www.thuisarts.nl en www.zorgkaartnederland.nl.’

Op de website van Zorgkaart Nederland (ZKN) – een initiatief van de Nederlandse Patiënten Consumenten Federatie (NPCF), uitgever Bohn Stafleu van Loghum en zorgverzekeraar Zilveren Kruis Achmea – kunnen patiënten hun zorgverleners en -instellingen beoordelen op diverse onderdelen door het geven van cijfers. Sinds de oprichting in 2009 kan de bezoeker van de website deze waarderingen in woord en getal zien.2 Per 1 januari 2014 is ZKN volledig eigendom van de Patiëntenfederatie NPCF.

Om een beeld te vormen van de informatie op ZorgkaartNederland.nl exploreerden en evalueerden wij de waarderingen en cijfers op deze beoordelingswebsite. Hier werd in eerdere publicaties wel naar verwezen, maar een beschrijving en evaluatie in maat en getal bestond nog niet.3,4

Methode

In juli 2015 verzamelden wij gegevens aan de hand van openbare informatie op ZorgkaartNederland.nl, de website van ZKN. Op deze website kunnen patiënten anoniem een consult bij de medisch specialist op 6 aspecten beoordelen met een cijfer van 0-10. Er zijn 3 algemene aspecten: afspraken, accommodatie en medewerkers; de andere 3 aspecten zijn specifiek voor de specialist: luisteren, informatie en behandeling.

Het gemiddelde van alle 6 cijfers is een waarderingscijfer op naam van de desbetreffende specialist. Dit waarderingscijfer komt op de website te staan en telt als 1 waardering. Wanneer een specialist meerdere waarderingen krijgt, worden deze cijfers gemiddeld en dit cijfer vormt het eindcijfer voor de specialist. Ook bij 1 of weinig waarderingen krijgt de specialist een eindcijfer. ZKN definieert een eindcijfer als valide wanneer dit gebaseerd is op minstens 9 waarderingen.2 Eindcijfers gebaseerd op minder dan 9 waarderingen worden op de website lichtgrijs weergegeven; bij 9 of meer waarderingen is het eindcijfer zwart. Verschillende eindcijfers worden ook met eindcijfers van specialisme- of disciplinegenoten gemiddeld; dit resulteert in een gemiddeld cijfer per specialistengroep in een ziekenhuis (groepscijfer) of per specialisme.

Voor deze studie noteerden wij per ziekenhuis de volgende gegevens: (a) het groepscijfer voor specialisten (gedefinieerd als het gemiddelde cijfer van alle specialisten met 1 of meer waarderingen in een specialisme binnen 1 ziekenhuis); (b) het aantal waarderingen per specialisme; (c) het aantal specialisten per specialisme per ziekenhuis zonder waarderingen; en (d) het aantal specialisten per specialisme per ziekenhuis met minstens 9 waarderingen.

Ziekenhuizen werden onderverdeeld in academische ziekenhuizen, samenwerkende topklinische opleidingsziekenhuizen (STZ) en overige ziekenhuizen. Specialismen werden op 2 manieren in categorieën ingedeeld, enerzijds naar het type specialisme (beschouwend, snijdend, ondersteunend en overig) en tegelijkertijd ook in een van de 27 verschillende medische specialismen zoals gedefinieerd volgens ZKN. Ook noteerden wij per ziekenhuis en per specialisme hoeveel specialisten er werkten. Er werden geen gegevens verzameld van niet-specialistische zorgverleners.

ZKN ging niet in op ons verzoek om de gegevens die wij verzamelden te controleren op onjuistheden.

Statistische analyse

De belangrijkste uitkomstmaten waren de mediaan van het aantal waarderingen per groep specialisten en de mediaan van de groepscijfers uit verschillende ziekenhuizen. Zowel het aantal waarderingen als de corresponderende groepscijfers werden per categorie weergegeven, in histogrammen afgebeeld en separaat beoordeeld op normale verdeling. Bij twijfel gold dat de standaarddeviatie niet groter mocht zijn dan 2 maal het gemiddelde.5

Van elk ziekenhuis verwijderden wij de specialismen waarbij 0 specialisten stonden vermeld, uit de database. Specialisten met 0 waarderingen werden wel meegenomen in de analyses. Om onderlinge verschillen in het aantal waarderingen en in de groepscijfers tussen specialismen, typen specialismen en typen ziekenhuizen te bepalen, maakten wij gebruik van statistische toetsen voor het vergelijken van 2 onafhankelijke groepen. Hierbij kozen we voor niet-parametrische toetsen, omdat de waarnemingen geen normale verdeling vertoonden. Wanneer het 2 groepen betrof, werd gebruikgemaakt van de Mann-Whitney-U-toets en bij meer groepen werd een Kruskal-Wallis-toets gebruikt. Verschillen die statistisch niet-significant waren, werden met de Jonckheere-Terpstra-toets getoetst op trendeffecten.

De analyses werden uitgevoerd in SPSS voor Macintosh, versie 22.0.0.0 (IBM Corp., Armonk, NY, VS).

Resultaten

In totaal werden 15.337 specialisten in 97 verschillende ziekenhuizen met bij elkaar 2060 groepen specialisten beoordeeld. Tabel 1 vermeldt de aantallen en percentages van de verschillende typen ziekenhuizen en specialismen. Beschouwende en snijdende specialismen vormden met respectievelijk 46,2% en 38,5% het grootste gedeelte van de database. Er werden 8 academische, 31 STZ en 58 overige ziekenhuizen geïncludeerd met daarin 26 verschillende specialismen. Het specialisme allergologie werd geëxcludeerd, omdat dit een gesloten register betrof met slechts 21 specialisten.

Het totale aantal waarderingen bedroeg 45.548. Tabel 1 laat zien dat 56,6% van de specialisten 1 of meer waarderingen had gekregen; 43,4% had geen cijfermatige waardering gekregen. Het totaal aantal specialisten met 9 of meer waarderingen was 1165, wat impliceert dat 7,6% een valide waardering had gehad volgens het criterium van ZKN. Van de 2060 groepen specialisten hadden er 327 (15,9%) geen enkele waardering gehad (tabel 2).

Het aantal waarderingen en de groepscijfers vertoonden zonder uitzondering in elke categorie een scheve verdeling naar rechts. Het mediane aantal waarderingen per specialisme en de mediaan van alle groepscijfers bedroegen respectievelijk 11,0 (interkwartielafstand: 2,0-27,0) en 8,7 (8,1-9,1) (zie tabel 2).

Tabel 3 geeft het mediane aantal waarderingen per specialisme en het mediane groepscijfer weer.

Aantal waarderingen per type ziekenhuis en specialisme

Het mediane aantal waarderingen per specialisme in een academisch ziekenhuis (16,0; interkwartielafstand: 6,0-32,8) verschilde niet van dat in een STZ-ziekenhuis (18,0; 5,0-39,0; p = 0,25), maar wel significant van het mediane aantal waarderingen per specialisme in de overige ziekenhuizen (8,0; 1,0-20,0; p < 0,01). Het aantal waarderingen per specialisme verschilde significant per type specialisme (p < 0,01). Er was een significant verschil tussen het aantal waarderingen per specialisme voor snijdende specialismen (20,0; 9,0-39,0) en beschouwende specialismen (10,5; 2,0-23,0; p < 0,01).

Ook was er een significant verschil in het aantal waarderingen tussen de verschillende typen specialismen (p < 0,01). De figuur laat de ordening van laag naar hoog zien van het mediane aantal waarderingen per specialisme per specialist. Het specialisme Spoedeisende Hulp (SEH) had het laagste mediane aantal waarderingen per specialist (0,07), orthopedie het hoogste mediane aantal (13,6).

Groepscijfers per type ziekenhuis en specialisme

Er was geen significant verschil in de mediane groepscijfers van de verschillende typen ziekenhuizen (p = 0,96). Er was ook geen significante trend (p = 0,80) en er was evenmin een verschil tussen verschillende typen ziekenhuizen onderling.

Er was wel een statistisch significant verschil in de groepscijfers tussen de verschillende typen specialismen (p < 0,01). De groepscijfers voor snijdende en beschouwende specialismen verschilden significant van elkaar (p < 0,01). Ook waren de verschillen in groepscijfers tussen alle specialismen statistisch significant (p < 0,01).

Beschouwing

ZorgkaartNederland.nl zou volgens de minister van VWS een betrouwbare bron van informatie voor patiënten moeten zijn. Onze studie had tot doel dit kwaliteitsinstrument te evalueren door het aantal waarderingen en de corresponderende waarderingscijfers op deze website te beschrijven.

In juli 2015 rapporteerde ZKN 980.000 bezoekers per maand, van wie 763.000 unieke bezoekers.2 De resultaten van ons onderzoek laten zien dat er in 6 jaar tijd in totaal 45.548 keer een waardering aan medisch specialisten werd gegeven. Dit betekent dat per maand gemiddeld 0,08% van de unieke bezoekers een stem uitbrengt – dit noemt men het conversiepercentage – en dat 99,9% de informatie op de website gebruikt voor het opzoeken van de cijfers en waarderingen van specialisten en specialismen. Ter vergelijking: het gemiddelde conversiepercentage in Nederland voor webwinkels ligt vele malen hoger, op 2,5%. Dit houdt in dat 2,5% van de unieke bezoekers van een webwinkel overgaat tot een aankoop.6 Wij lieten overigens de waarderingen van niet-specialistische zorgverleners buiten beschouwing; het werkelijke conversiepercentage zou dus hoger kunnen liggen.

Het onderzoek laat ook zien dat 43,4% van alle medisch specialisten in 6 jaar tijd minstens 1 waardering had gehad. Hierbij rijst de vraag in hoeverre deze waarderingen iets zeggen over de kwaliteit van de geleverde zorg, in casu die van de specialist. ZKN geeft aan dat er minimaal 9 waarderingen per specialist beschikbaar moeten zijn om een valide uitspraak te kunnen doen over de kwaliteit van de zorg. Aan dit criterium voldeden 1165 (7,6%) van alle specialisten.

Het is de vraag of het aantal van 9 waarderingen per specialist groot genoeg is en de steekproef van respondenten representatief genoeg is om geldige conclusies te kunnen trekken over de kwaliteit van de geleverde zorg. De grenswaarde van minimaal 9 waarderingen is mogelijk ontoereikend voor een nauwkeurige schatting van de ervaringen van patiënten die wel door de specialist behandeld zijn, maar geen beoordeling hebben gegeven. Dit geldt met name voor specialisten die weinig waarderingen krijgen in verhouding tot het aantal patiënten dat zij hebben behandeld.7 Ook neemt het benodigde aantal patiënten toe naarmate de patiëntenpopulatie van een specialist heterogener is.

Belangrijker nog is de vraag of er sprake is van een vorm van vertekening, de ‘non-response bias’. Deze vorm van vertekening treedt op wanneer ervaringen van respondenten en niet-respondenten verschillen. De kans daarop neemt toe wanneer respondenten niet aselect deelnemen aan het geven van waarderingen, zoals hier het geval is (selectiebias). Er wordt hier immers niet van tevoren willekeurig bepaald welke patiënten worden uitgenodigd om een waardering te geven. Hierdoor is het zeer waarschijnlijk dat de waarderingen die ZKN voor een specialist vermeldt niet representatief zijn voor de ervaringen van alle patiënten die door de betreffende specialist zijn behandeld. De specifieke aanbevelingen die ZKN bij haar ‘tips en tricks’ aan zorgverleners geeft, kunnen deze selectiebias verhogen.8

Uit de informatie van ZKN is niet af te leiden of de waarderingen representatief zijn voor de kwaliteit van de geleverde zorg aan alle patiënten van de betreffende specialisten en specialismen. Ook is niet duidelijk of het door ZKN gehanteerde meetinstrument ter beoordeling van de kwaliteit van zorg voldoet aan klinimetrische kwaliteitseisen, zoals betrouwbaarheid en validiteit.9,10 Voor zover bekend is dit meetinstrument niet uitvoerig getest op de klinimetrische kwaliteitseisen. De enige conclusie die op basis van de informatie van de website kan worden getrokken, is dat de waarderingen een beeld geven van hoe een specifieke en selecte groep beoordelaars de zorg percipieert.

Op ZorgkaartNederland.nl kunnen tevreden en ontevreden patiënten hun ervaringen delen. Dit levert niet alleen nuttige informatie voor patiënten op, ook medisch specialisten kunnen deze informatie gebruiken, bijvoorbeeld om hun patiëntvriendelijkheid of professionele gedrag te evalueren. Dit betekent echter niet dat de waarderingen op ZorgkaartNederland.nl in het algemeen beschouwd mogen worden als een valide weergave van de kwaliteit van de geleverde zorg.

Kan het ook anders?

ZKN lijkt vooral de vervulling van individuele verwachtingen en wensen van patiënten te toetsen. Eerder onderzoek bij vergelijkbare websites toonde echter aan dat een hoger cijfer niet garant hoeft te staan voor betere zorg.11 De vraag dient zich aan hoe het beoordelen van zorgverleners op ZorgkaartNederland.nl anders kan. Het waarderingscijfer kan misschien gecorrigeerd worden voor de samenstelling van de patiëntpopulaties (‘case-mix’), waarbij rekening wordt gehouden met bijvoorbeeld zorgzwaarte.

ZKN geeft – hoewel dit niet het primaire doel is – specialisten en patiënten inzage in de opinie van individuele patiënten over patiëntvriendelijkheid, goede communicatie, de afhandeling van het consult, en de behandeling. Daarnaast wordt de specialist ook als individu beoordeeld op het maken van afspraken, accommodatie en ziekenhuismedewerkers, terwijl hij of zij daar in het algemeen geen directe invloed op heeft. Van de 6 cijfers waaruit het waarderingscijfer is samengesteld, heeft de helft dus niet direct betrekking op de beoordeelde; die helft zegt meer over de hele groep specialisten of het ziekenhuis.

Medisch specialisten – maar ook niet-specialistische zorgverleners – dienen individueel alleen op persoonsgebonden items te worden beoordeeld. Een voorbeeld is de beoordeling volgens de 7 ‘ideale gedragingen van de dokter’ (‘ideal physician behaviours’, zie uitleg).12 Ook het antwoord op een vraag als ‘in welke mate zou u deze zorgverlener aanraden bij uw familie en vrienden?’ kan als waardering dienen.13 Een andere mogelijkheid is om het waarderingscijfer niet als normering in cijfers (1-10) maar als gradering in sterren (1-5) uit te drukken. Deze sterwaardering wordt al gebruikt door alle grote internationale websites voor de beoordeling van zorgverleners.13-16

Op dit moment gebruikt ZKN het e-mailadres van een beoordelaar ter controle. Hierbij blijft het onduidelijk of de beoordelaar ook daadwerkelijk de zorg van de betreffende zorgverlener heeft ontvangen. Populaire websites als Amazon.com en Booking.com maken gebruik van een systeem waarbij een klant na afloop van een aankoop een review kan plaatsen (‘validated customer’). Door patiënten op vergelijkbare wijze een mogelijkheid tot beoordeling te bieden, kan men deze onduidelijkheid wegnemen.

Het moet niet mogelijk zijn dat ziekenhuizen en zorgverleners actief en selectief patiënten werven. Op ZorgkaartNederland.nl worden zorgverleners nu echter aangezet om patiënten te werven en een waardering te laten invullen, wat direct tot selectiebias leidt.2 Daarnaast zou het niet mogelijk moeten zijn dat ziekenhuizen tegen betaling een ‘profielpakket’ kunnen aanschaffen. Dit pakket dient gratis aangeboden of afgeschaft te worden, zodat ziekenhuizen zich met gelijke middelen kunnen presenteren en de mogelijkheid tot oneigenlijke concurrentie wordt vermeden.

ZKN, dat zoals gezegd eigendom is van de Patiëntenfederatie NPCF, heeft op dit moment een Raad van Advies waar de volgende partijen zitting in hebben: Federatie Medisch Specialisten, KNMG, KNMP, Landelijke Huisartsen Vereniging, Nederlandse Vereniging van Ziekenhuizen en Actiz. Naast de huidige adviserende taak zou deze raad ook een controlerende taak kunnen krijgen, om erop toe te zien dat ZorgkaartNederland.nl betrouwbare, gevalideerde informatie geeft.

Beperkingen van dit onderzoek

Dit onderzoek is een eerste exploratieve studie, waarin wij geaggregeerde gegevens over de kwaliteit van zorg hebben geanalyseerd. Deze studie heeft als beperking dat de cijfers voornamelijk op specialismeniveau verwerkt werden, waardoor wij slechts gemiddelden en medianen van groepen specialisten konden bekijken. Een vervolganalyse op het niveau van individuele specialisten kan mogelijk meer inzage geven in het verloop van de waarderingen en de becijfering van afzonderlijke specialisten.

Wij bestudeerden een deelpopulatie van zorgverleners – medisch specialisten –; bij eventueel vervolgonderzoek kan deze populatie worden uitgebreid. De uitkomsten van onze studie zijn niet te extrapoleren naar huisartsen, niet-specialistische zorgverleners of naar de zorgverlening in zelfstandige behandelcentra (zbc’s). Voor zover bekend is het marktaandeel van zbc’s in Nederland voor slechts 6 specialismen hoger dan 2% en komt het nergens boven de 10%.17 Ongeveer 40% van de zbc’s is in meer of mindere mate betrokken bij 1 of meer ziekenhuizen. Daarom zal het percentage medisch specialisten dat werkzaam is in een zbc en dat niet in deze studie werd meegenomen, voor het gros van de specialismen kleiner zijn dan 2%.

Bij vervolgonderzoek kunnen ook de waarderingen over niet-specialisten geanalyseerd worden. Dit is echter pas zinvol als het conversiepercentage van de bezoekers van ZorgkaartNederland.nl wezenlijk gestegen is.

Omdat de verzamelde gegevens slechts een momentopname behelsden, was het niet mogelijk om een tijdseffect te schatten. Als het aantal beoordelingen per tijdseenheid inderdaad toeneemt, kan de huidige status van ZorgkaartNederland.nl een tussenfase zijn. Voor beoordeling van trends in de loop van de tijd dient de website aangepast te worden.

Onze cijfers waren afkomstig van een website waarvan geconcludeerd moet worden dat deze op dit moment niet het kwaliteitsinstrument is dat het zou moeten zijn. Men mag zich daarom afvragen in hoeverre onze cijfers zich voor een gedegen analyse lenen.

Conclusie

Onze analyse laat zien dat ZorgkaartNederland.nl in haar 6-jarige bestaan cijfers heeft verzameld over 56,6% van alle medisch specialisten. Per maand brengt gemiddeld 0,08% van de unieke bezoekers een stem uit, wat een zeer laag conversiepercentage is.

ZKN heeft een grenswaarde van minimaal 9 waarderingen per specialist ingesteld als criterium voor een valide eindcijfer. Wanneer dit criterium gehanteerd wordt, zijn de cijfers van slechts 7,6% van alle specialisten valide. Met dit criterium is het onmogelijk een goede indruk te krijgen van de ervaringen van patiënten die wel door een specialist zijn behandeld, maar daar geen oordeel over hebben gegeven op ZorgkaartNederland.nl. Bovenal is de validiteit in het geding, omdat het risico op non-responsbias bij het beoordelen van de kwaliteit van de zorg waarschijnlijk is.

Aan de hand van de uitkomsten die wij verkregen door evaluatie van de gegevens op de website van ZKN, kunnen wij slechts één conclusie trekken: de waarderingen op ZorgkaartNederland.nl geven een beeld van de zorg zoals deze werd gepercipieerd door de beoordelaars. Dit geeft patiënten en specialisten inzage in de opinie van individuele patiënten, maar maakt de daadwerkelijke kwaliteit van zorg niet inzichtelijk. Om een betere indruk van de kwaliteit van zorg te krijgen zijn substantiële verbeteringen van dit instrument nodig. In het ‘Jaar van de transparantie’ – dat in maart 2016 afliep – was ZorgkaartNederland.nl nog lang niet de betrouwbare website die minister Schippers zo graag zou zien als bron van informatie over de daadwerkelijke kwaliteit van zorg.

Literatuur

  1. Kamerbrief ‘Het jaar van de transparantie’. Den Haag: Ministerie van VWS; 2 maart 2015.

  2. Zorgkaart Nederland. www.zorgkaartnederland.nl, geraadpleegd 31 juli 2015.

  3. Maes R, Kiewiet C. Beoordelingssites plaatsen alles klakkeloos. Med Contact (Bussum). 2014;4:149.

  4. De Roos K-P. Zorgkaart Nederland biedt schijntransparantie. Med Contact (Bussum). 2015;11:524-5.

  5. Altman DG. Practical statistics for medical research. Londen: Chapman & Hall; 1999.

  6. Fireclick Index. http://index.fireclick.com , geraadpleegd op 31 maart 2016.

  7. Bouter LM, Van Dongen MCJM, Zielhuis GA. Epidemiologisch onderzoek: opzet en interpretatie. Houten: Bohn Stafleu van Loghum; 2010.

  8. Zorgkaart Nederland. Tips voor het genereren van waarderingen. www.zorgkaartvoorprofessionals.npcf.nl/09-tips-voor-het-genereren-van-waarderingen.html, geraadpleegd op 31 maart 2016.

  9. Fink A. The survey handbook. Thousand Oaks: Sage Publications Inc; 2003.

  10. Streiner DL. Health Measurement Scales. A practical guide to their development and use. Oxford: Oxford Medical Publications; 2014.

  11. Fenton JJ, Jerant AF, Bertakis KD, Franks P. The cost of satisfaction: a national study of patient satisfaction, health care utilization, expenditures, and mortality. Arch Intern Med. 2012;172:405-11. doi:10.1001/archinternmed.2011.1662 Medline

  12. Bendapudi NM, Berry LL, Frey KA, Parish JT, Rayburn WL. Patients’ perspectives on ideal physician behaviors. Mayo Clin Proc. 2006;81:338-44. doi:10.4065/81.3.338 Medline

  13. Healthgrades. www.healthgrades.com, geraadpleegd op 1 december 2015

  14. iWantGreatCare. www.iwantgreatcare.org, geraadpleegd op 1 december 2015.

  15. HealthTap. www.healthtap.com, geraadpleegd op 1 december 2015.

  16. DocPlanner.com. www.docplanner.com, geraadpleegd op 1 december 2015.

  17. Monitor Zelfstandige behandelcentra. Een kwalitatieve en kwantitatieve analyse. Diemen: Nederlandse Zorgautoriteit; 2012.

Auteursinformatie

Isala, afd. Orthopedie en Traumatologie, Zwolle.

Drs. T.A. Stehmann, coassistent en statisticus; drs. W.A. Goudriaan, coassistent; dr. C.C.P.M. Verheyen, orthopedisch chirurg.

Sint Franciscus Vlietland Groep, afd. Longziekten, Rotterdam.

Dr. J.C.C.M. in ’t Veen, longarts.

Rijksuniversiteit Groningen-Universitair Medisch Centrum Groningen, afd. Huisartsgeneeskunde, Groningen.

Dr. B.J. Kollen, epidemioloog.

Contact drs. T.A. Stehmann

Belangenverstrengeling

Belangenconflict en financiële ondersteuning: geen gemeld.

Verantwoording

T.A. Stehmann en W.A. Goudriaan hebben evenveel bijgedragen aan de totstandkoming van het manuscript; zij delen het eerste-auteurschap.

Auteur Belangenverstrengeling
Tijs A. Stehmann Niet beschikbaar
W.A. (Alexander) Goudriaan ICMJE-formulier
J.C.C.M. (Hans) in ’t Veen ICMJE-formulier
Boudewijn J. Kollen ICMJE-formulier
C.C.P.M. (Kees) Verheyen ICMJE-formulier

Reacties

drs.
Aarts

25 april 2016 - 17:25

Indien medici oordelen dat de Zorgkaart Nederland onvoldoende representatief is, krijg ik de kriebels en vergelijk ik dit met de reclame: wij van WC-eend adviseren WC-eend.

Mijn voorstel is om dit onderzoek uit te laten voeren door onafhankelijke onderzoekers, dus niet-medici. Hierdoor stijgt de relevantie van het onderzoek en de waarde van het resultaat enorm.

Geen van de auteurs is betrokken bij ZorgkaartNederland dus hebben wij delen niet uw WC-eend-gevoel. Uiteraard snap ik wel wat u bedoelt. Het is zo dat wij het onderzoek zijn gestart uit nieuwsgierigheid, zoals de meeste onderzoeken starten. Wij wilden nagaan of ZorgkaartNederland als een betrouwbaar kwaliteitsinstrument kan worden aangemerkt zoals minister Schippers dat aangaf. En natuurlijk hebben wij ina lle eerlijkheid geprobeerd nauwgezet wetenschappelijk deze vraag te analyseren. De beschouwing van de resultaten is zoals wij die interpreteren en daar geven wij onze uitleg en kleur aan. Daar zal menigeen anders over kunnen denken en een andere uitleg van de resultaten gegeven hebben dan onze interpretatie. Het herhalen van een onderzoek door een andere groep vind ik met u een prima plan en hiertoe nodig ik een ieder uit met welke achtergrond dan ook. Dank voor uw reactie.

Kees Verheyen

Diana
Delnoij

26 april 2016 - 13:34

Interessant en relevant artikel, maar er valt op basis van de wetenschappelijke literatuur nog wel iets meer te zeggen over dit onderwerp. Voor het betrouwbaar vergelijken van individuele artsen is het aantal reviews per arts nu nog vaak te laag. Onderzoek van Koolman liet echter zien dat op ziekenhuisniveau de resultaten van Zorgkaart vergelijkbaar zijn met die van meer gecontroleerde studies. Dat blijkt ook uit buitenlands onderzoek van Bardach e.a. (2013)

Buitenlands onderzoek naar ratings op artsniveau geeft een gemengd beeld. 

Gao e.a. (2012) vonden voor Amerikaanse artsen statistisch significante verbanden tussen de ratings, het aantal jaren ervaring van een arts, diens opleiding en nascholing en 'malpractice claims'.  

Bradley e.a. (2015) vonden een zwak verband tussen online ratings van Amerikaanse artsen en enkele aspecten van met traditionele methoden gemeten patiëntervaringen.  

Greaves e.a. (2012) onderzochten de relatie tussen online ratings van Engelse huisartsen met patiëntervaringen en klinische kwaliteit. Zij concluderen: "The frequency of patients rating their family physicians on the Internet is variable in England, but the ratings are generally positive and are moderately associated with other measures of patient experience and weakly associated with clinical quality." 

Emmert e.a. (2015) vonden voor Duitse artsen dat "patient satisfaction results from offline surveys [...] were shown to be significantly associated with online ratings." 

Dit NTvG artikel bevat geen verwijzingen naar deze relevante literatuur. Wel wordt er verwezen naar 1 studie uit 2012 waaruit blijkt dat respondenten die positieve patiëntervaringen rapporteren, een hoger zorggebruik en hogere kosten hebben. De auteurs concluderen op basis daarvan dat een hoger cijfer niet garant staat voor betere zorg. Er zijn echter ook studies waarin wel een positief verband gevonden is tussen betere patiëntervaringen en betere klinische uitkomsten. Bijv. de studie van Meterko e.a. (2010) waarin is aangetoond dat patiënten die betere ervaringen met patiëntgerichte zorg rond hartinfarct rapporteren, een significant lagere kans op sterfte aan een hartinfarct hebben. 

Diana Delnoij, hoofd Kwaliteitsinstituut, Zorginstituut Nederland

De masterscriptie van Rosanne Geesink (olv Koolman) bekijkt de resultaten inderdaad op ziekenhuisniveau en analoog daaraan schreef Maarten Krol (Stichting Miletus) een prima stuk over de methodologische- en responsverschillen tussen ZorgkaartNederland en de CQ-index. Dat zijn papers die onze opzet raken maar ook weer wezenlijk verschillen. Belangrijker is dat de aanvullingen en inzichten die u geeft erg nuttig zijn. Ze voegen een belangrijke nuancering en weging toe die wij in onze discussie inderdaad meer aandacht hadden kunnen of zelfs moeten geven, oprechte dank daarvoor!

Age
Brugman

28 april 2016 - 15:16

Beste auteurs, in het artikel wordt naar aanleiding van het bescheiden explorerende onderzoek de volgende stevige conclusie getrokken: "zorgkaartnederland maakt de daadwerkelijke kwaliteit van zorg niet inzichtelijk". Aangezien jullie deze conclusie trekken, kunnen jullie mij dan ook uit kunnen leggen wat 'kwaliteit van zorg' is?

Age Brugman, marketingadviseur

Dank voor uw reactie. U stelt wel een grote vraag, wat is kwaliteit van zorg? De minister gebruikt het begrip kwaliteit van zorg regelmatig maar ik heb nooit een definitie of omschrijving van haar gehoord. Maar er zijn wel bruikbare definities. Zo is er een hoogleraar kwaliteit van zorg (prof dr J Kievit) die in zijn oratie (Leien 203) de volgende definitie gebruikt:  ‘the degree to which health services for individuals and populations increase the likelihood of desired health outcomes and are consistent with current professional knowledge’. Of populair gezegd ‘doing the right thing at the right time in the right way for the right person and having the best results possible’ zoals geformuleerd door de Agency for Health Care Research and Quality (AHRQ).
De definities zijn misschien conceptueel redelijk helder, maar voor de praktijk ook erg globaal. Daarom wordt kwaliteit van zorg in de praktijk standaard onderverdeeld in een aantal dimensies. De meest gebruikte zijn 1) Veiligheid, 2) Effectiviteit, 3) Doelmatigheid, 4) Cliëntgerichtheid, 5) Tijdigheid en 6) Toegankelijkheid.
Vooral dit laatste wordt goed vertaald in de definitie van het KIGZ die luidt:
“Kwalitatief goede zorg is zorg die patiëntgericht, effectief, veilig en op tijd is en die toegesneden is op de behoeften van de individuele patiënt en cliënt”.
Concluderend is "de" definitie van kwaliteit van zorg een hele lastige waar een boekenkast met proefschriften, artikelen en verhandelingen te vullen is. In ons artikel ging het er om hoe representatief ZorgkaartNederland was en wij concludeerden dat daar het nodige aan schortte. Onze interpretatie is dat een instrument dat onvoldoende representatief is niet als kwaliteitsinstrument gebruikt kan worden.

Jolande
Rommens-Musquetier

5 mei 2016 - 18:56

Wat ook een beetje jammer is dat Zorgkaart alleen toelaat dat reguliere zorgverleners er op mogen staan. Alternatieve therapeuten krijgen er geen plaatsje. Zo schets Zorgkaart een nogal eenzijdig beeld van de kwaliteit van zorgverleners in Nederland doordat ze een hele beroepsgroep uitsluiten.

Jolanda Rommens-Musquetier, psychosociaal counselor en Mediator

Tom
van de Belt

10 juni 2016 - 12:08

In dit onderzoek concluderen Stehmann en collega's dat ZorgkaartNederland.nl in haar huidige vorm geen valide kwaliteitsinstrument is voor de beoordeling van kwaliteit van zorg door de medisch specialist. De auteurs bespreken terecht punten van kritiek, maar hebben in onze ogen een te beperkte blik op patiëntwaarderingswebsites.

Ten eerste lijken de auteurs validiteit en betrouwbaarheid te verwarren en wordt, zoals Diana Delnoij in een recente reactie ook opmerkte, een onvolledig beeld gegeven van de literatuur. Op basis van het onderzoek van Stehmann et al. kan inderdaad de conclusie getrokken worden dat het huidige ZorgkaartNederland.nl onvoldoende betrouwbaar is om een kwaliteitsoordeel te hebben over de meeste individuele medisch specialisten. Over de vraag of de reviews op een patiëntwaarderingssite een valide beeld geven van kwaliteit van zorg, kan het artikel geen uitspraak doen. Een recente review laat zien dat meerdere studies positieve relatie laten zien tussen de uitkomsten van reviews en die van traditionele kwaliteitsindicatoren zoals patiëntervaringen, heropnames en complicaties.

Op de tweede plaats gaan de auteurs voorbij aan het feit dat ZorgkaartNederland.nl het ook mogelijk maakt om op instellingsniveau te beoordelen. Het door de auteurs geciteerde onderzoek van het VUMC gaf aan dat voor instellingen geldt dat 30 reviews een minimum is. Alle ziekenhuizen behalve het Centraal Militair Hospitaal voldoen aan dit criterium. Kwaliteit en veiligheid zijn thema’s die met name bepaald worden op instellingsniveau. Het gaat daarbij om het lerend vermogen van het team en niet in de eerste plaats om het functioneren van de individuele zorgverlener. Juist daarom gebruikt de Inspectie voor de Gezondheidszorg bij het houden van toezicht reeds de reviews van Zorgkaart Nederland als een van de indicatoren voor het bepalen van risico’s.

Tot slot voeren de auteurs wat ons betreft een achterhoedegevecht wanneer ze suggereren dat ziekenhuizen en zorgverleners patiënten niet zouden moeten stimuleren om reviews te schrijven. Het gebruik van waarderingswebsites is een moderne invulling aan het patiëntperspectief en zou daarom door iedereen gesteund moeten worden. De meeste patiënten zullen bij hun oordeel over of keuze voor een zorgverlener echt niet afgaan op slechts een of enkele reviews op ZorgkaartNederland.nl. In tegendeel: reviews zijn slechts één van de vele bronnen die de consumenten anno 2016 gebruiken. Zij zijn gewend het kaf van het koren te scheiden in hun dagelijks leven met waarderingen, zoals op Facebook, Booking.com en Kieskeurig.nl.

dr. Tom van de Belt en dr. Tijn Kool, senior-onderzoekers, Radboudumc, Nijmegen. 

Ivo
Smeele

12 juni 2016 - 15:29

Als huisarts herken ik het beeld van de zeer beperkte validiteit van zorgkaart. Ik zie dat er 9489 huisartsen in nederland zijn “beoordeeld". Zo ook mijn praktijk. Ik heb ondanks dat wij al 1,5 jaar op een briefje dat wij dagelijks aan minstens 10 patienten uitreiken waarop gevraagd wordt te beoordelen (als onderdeel van een informatierecept richting Thuisarts.nl) slechts een beoordeling. Ik vind dat ik alleen wat aan een beoordeling heb als die door minimaal 20-25 personen is gedaan. Bij de patienten-enquetes van de praktijkaccreditering (NPA) streven wij ook altijd naar dit aantal per huisarts. Op zorgkaart.nl wordt al een cijfer al gegeven bij een beoordeling. Daarbij staat dan in kleine letters bij dat er onvoldoende waarderingen zijn en het cijfer is wat lichter (voor wie de moeite neemt dat verschil te zien). Ongeveer 300 van de 9489 huisartsen hebben 20 of meer beoordelingen, ongeveer 900 huisartsen meer dan 9. Dat betekent dat  er maar van 3,1 % van de huisartsen een betrouwbare beoordeling is (en met als uitgangspunt > 9 maar van 9,3 %). Dus van meer dan 90 % van de huisartsen is geen betrouwbare beoordeling. Dat maakt dat ik als huisarts zorgkaart.nl niet ervaar als een “betrouwbare" bron. Er is werk aan de winkel!