Het bewaken en verbeteren van de kwaliteit van de vervolgopleiding

Inleiding

De publicatie in mei 2009 van het kaderbesluit van het Centraal College Medische Specialismen (CCMS) over de nieuwe eisen voor opleidingen, opleiders en opleidingsinrichtingen luidde een nieuw regime van denken over en bewaken en bevorderen van de kwaliteit van de medische vervolgopleidingen in.1 De centrale opleidingscommissie (COC), een verplicht overlegorgaan in elke opleidingsinrichting, krijgt in dit kaderbesluit de expliciete taak om ‘een gunstig en veilig opleidingsklimaat te handhaven en te bevorderen’ (norm C11 in het kaderbesluit). De daarbij behorende taken worden in het besluit opgesomd en in de toelichting op het besluit nader uitgewerkt. Kern is dat COC’s zich gaan gedragen als ‘regisseur van de zorg voor de kwaliteit van de vervolgopleidingen’. Sinds 1 januari 2011 is het nieuwe regime van kracht en heeft het nieuwe kaderbesluit een wettelijke status. Ondanks het feit dat er tussen publicatie en inwerkingtreding van het kaderbesluit een ‘gewenningstijd’ van ruim anderhalf jaar heeft gezeten, is de vraag in hoeverre COC’s zich de regisseursrol al hebben eigen gemaakt. Met dit onderzoek beogen we deze vraag te beantwoorden.

Het model dat aan de basis van het regisseren van kwaliteit ligt, is de bekende kwaliteitscyclus van plannen, uitvoeren, evalueren en verbeteren (de zogenoemde ‘plan-do-check-act-cyclus’ of PDCA-cyclus). Voor de vervolgopleidingen is dit model uitgewerkt in de eindrapportage van de projectgroep Kwaliteitsindicatoren, ook bekend onder de naam rapport-Scherpbier.2 Het rapport, dat in 2009 op verzoek van toenmalig minister van Volksgezondheid Klink werd geschreven, beschrijft hoe de zorg voor de kwaliteit van de vervolgopleidingen vorm kan krijgen op het niveau van zowel de opleidingsinrichtingen en de vervolgopleidingen als ook op niveau van de onderwijs- en opleidingsregio. Het rapport formuleert in totaal 70 kwaliteitsnormen waarvan 6 normen invulling geven aan de verwachte regisseursrol van COC’s. Het rapport omschrijft tevens de verschillende niveaus waarop COC’s aan deze normen kunnen voldoen. De kwalificatie in niveaus volgt de bekende opeenvolgende stappen in de kwaliteitscyclus en beoogt daarmee een ontwikkelingskader voor COC’s te zijn. In deze studie hebben we COC’s gevraagd aan te geven op welk niveau van kwaliteitszorg zij volgens hun eigen inzicht begin 2011 zijn.

Methoden

Vragenlijst COC

Wij ontwikkelden een vragenlijst die de rol van COC’s in het bewaken en verbeteren van de kwaliteit van de geboden vervolgopleidingen in kaart moest brengen. De lijst bestond uit 3 delen. Het eerste deel bevatte een inventarisatie van de algemene kenmerken van de opleidingsinrichting, zoals type opleidingsziekenhuis, aantal vervolgopleidingen, aantal arts-assistenten in opleiding tot specialist (aiossen), en van de structuurkenmerken van de COC, zoals reglementering, vergaderfrequentie en vergaderopkomst en de rol van de COC. Het tweede deel van de vragenlijst richtte zich op de waardering van het functioneren van de COC en de expliciete aandacht die de COC besteedt aan de kwaliteit van de vervolgopleidingen. Dit gebeurde door onder meer te vragen naar specificatie van punten op de COC-agenda van afgelopen jaar die direct betrekking hadden op kwaliteitsbewaking en -bevordering van de vervolgopleidingen. Vragen in deze eerste 2 delen van de vragenlijst waren overwegend gesloten van aard, met uitzondering van enkele inventariserende vragen die respondenten uitnodigden een opsomming te geven van sterke punten en verbeterpunten van het functioneren van de COC. Het derde deel van de vragenlijst betrof een zelfevaluatie van de COC over haar rol als bewaker en bevorderaar van de kwaliteit van de vervolgopleidingen. Respondenten werd gevraagd aan te geven in welke mate de COC van de eigen opleidingsinrichting voldoet aan de 6 kwaliteitsnormen die in het rapport Scherpbier over het functioneren van COC’s zijn geformuleerd. Antwoorden op deze vragen konden worden aangegeven op een vijfpuntsschaal waarbij elke volgende trede op de schaal een steeds hoger niveau van kwaliteitszorg beschrijft. Op het 5e en hoogste niveau van kwaliteitszorg werkt de COC continu en volgens het systeem van plannen, uitvoeren, evalueren en verbeteren aan het faciliteren van en toezien op het ontwerpen en aanbieden van hoogwaardige vervolgopleidingen. De niveaus 1 tot en met 4 beschrijven de verschillende voorstadia van of, anders gezegd, ontwikkelingsfasen naar dit hoogste niveau van kwaliteitszorg.

Setting en participanten

In de periode december 2010-februari 2011 werd het vragenlijstonderzoek uitgevoerd onder de 57 COC’s van de academische en algemene opleidingsziekenhuizen in Nederland. Wij adresseerden de vragenlijsten aan de voorzitters van de COC’s en verstuurden ze per reguliere post. Een antwoordenveloppe was bijgesloten. Respondenten werden tot maximaal 3 keer herinnerd aan het retourneren van de vragenlijst. De categorale psychiatrische opleidingsklinieken werden niet aangeschreven.

Verwerking van de gegevens

Vragenlijsten werden handmatig verwerkt in een database. Voor alle analyses gebruikten we beschrijvende statistiek. Waar relevant werd onderscheid gemaakt tussen de 3 typen opleidingsinrichtingen, te weten universitair medische centra (UMC’s), opleidingsziekenhuizen aangesloten bij de Vereniging Samenwerkende Topklinische opleidingsZiekenhuizen (verder te noemen de STZ-ziekenhuizen) en de overige algemene opleidingsziekenhuizen.

Resultaten

Respons en respondenten

In totaal retourneerden 49 van de 57 aangeschreven opleidingsklinieken (85,9%) de vragenlijst. Van 83,7% van de ingevulde vragenlijsten was de voorzitter van de COC de respondent. De 49 deelnemende ziekenhuizen bestonden uit 6 UMC’s, 22 STZ-ziekenhuizen en 21 algemene opleidingsziekenhuizen. Gezamenlijk bieden zij 644 medische vervolgopleidingen aan (ruim 77% van alle medische vervolgopleidingen in Nederland) en leiden zij in totaal 4279 aiossen op. Tabel 1 geeft meer gedetailleerd inzicht in de deelnemende opleidingsklinieken.

Structuur en functioneren van COC’s

De COC’s kwamen gemiddeld 5,1 keer per jaar plenair bijeen (spreiding: 3-12). Bij 63,3% van de COC’s kwam meer dan 80% van de opleiders of hun plaatsvervangers naar deze vergaderingen. De hoogste opkomst werd gerealiseerd in de algemene opleidingsziekenhuizen. Circa 70% van de raden van bestuur (RvB’s) bezochten de COC-vergaderingen (bijna) altijd; in de UMC’s was de RvB het minst vaak aanwezig. De respondenten waardeerden de kwaliteit van de COC-vergaderingen als ‘goed’ (73,5%) tot ‘zeer goed’ (18,4%) en in 4 ziekenhuizen (8,2%) als ‘onvoldoende’. Hierbij gaven de respondenten van de STZ-ziekenhuizen het vaakst de hoogste waardering (31,8%), gevolgd door de UMC’s (20,0%) en de algemene ziekenhuizen (4,8%). Als belangrijke positieve punten van de vergaderingen noemde men de inhoudelijke discussies (36,7%); de sfeer, veiligheid en laagdrempeligheid tijdens de vergaderingen (34,7%); de betrokkenheid en participatie (32,7%); de opkomst van de deelnemers (24,5%); de kwaliteit van de opleiding (16,3%); en het contact met en de inbreng van de RvB (14,3%). Respondenten signaleerden ook verbeterpunten voor de vergaderingen. Dit waren onder meer een hogere opkomst van opleiders en/of aiossen (28,6%); een verbeterde ondersteuning van de COC en/of COC-leden door een ambtelijke of secretariële staf en een betere facilitering in termen van tijd en financiële vergoeding (18,4%); meer daadkracht en besluitvaardigheid (16,3%); verbeterde deelname, betrokkenheid en opkomst van de RvB (10,2%); en meer eenheid van beleid (8,2%).

In 100,0% van de UMC’s, 90,9% van de STZ-ziekenhuizen en 42,9% van de algemene ziekenhuizen had de COC een dagelijks bestuur (DB) ingesteld waarvan 27,0% een portefeuillehouder ‘kwaliteit’ had aangewezen. In de algemene opleidingsziekenhuizen kende men deze functie niet. 45,5% van de DB’s was door de COC gemandateerd om beslissingen te nemen over kwaliteitszorg. De verantwoordelijkheden, bevoegdheden en taken van de COC zijn reglementair vastgelegd. In 73,3% van deze reglementen was de zorg voor de kwaliteitsbewaking en -bevordering van de vervolgopleiding uitdrukkelijk omschreven. Ruim 85% van de COC’s schreef een jaarverslag. In alle ziekenhuizen werd dat intern verspreid en 32,5% van de COC’s stuurde dat ook naar de partners in de onderwijs- en opleidingsregio. Tabel 2 geeft een meer gedetailleerd overzicht van de hierboven genoemde onderwerpen.

Regisseursrol

De COC’s vervulden verschillende rollen in het bewaken en bevorderen van de kwaliteit van de vervolgopleidingen (tabel 3). De meerderheid van de COC’s had een stimulerende en adviserende rol (respectievelijk 77,1 en 75,0%). Beleid maken (60,4%), toezicht houden (60,4%) en handhaven (50,0%) waren rollen die wisselend ter hand werden genomen. Slechts 27,1% van de COC’s had een uitvoerende rol. Verschillen tussen de typen opleidingsinrichtingen waren hier aanzienlijk, waarbij opviel dat de STZ-ziekenhuizen rapporteerden dat hun COC’s de meeste rollen vervulden.

Alle COC’s besteedden tijdens hun vergaderingen aandacht aan kwaliteitszorg voor de vervolgopleidingen. Tabel 3 geeft ook een overzicht van de top 10 van onderwerpen die het afgelopen jaar het frequentst geagendeerd waren. ‘Visitatie’ werd door ruim 61% van alle COC’s genoemd. Dit agendapunt had betrekking op de proefvisitaties, de voorbereiding van de opleidingsvisitatie en/of het bespreken van visitatierapporten. De evaluatie van het opleidingsklimaat met behulp van de D-RECT-enquête (‘Dutch residents educational climate test’) werd door 53,1% van de COC’s besproken en feedback aan individuele opleiders, in de meeste gevallen met behulp van het SETQ-systeem (‘System for evaluation of teaching qualities’), door 36,7% van alle COC’s.3,4 Het discipline-overstijgend onderwijs stond bij bijna een kwart van alle COC’s op de agenda. Deze eerste 4 agendapunten kwamen in de UMC’s en STZ-ziekenhuizen beduidend vaker ter sprake dan in de algemene ziekenhuizen. Alle overige kwaliteitsonderwerpen uit de top 10 werden regelmatig genoemd, maar door minder dan 25% van de COC’s.

Tabel 4 toont de mate waarin COC’s voldoen aan de 6 kwaliteitsnormen uit het rapport Scherpbier die betrekking hebben op de rol van de COC als regisseur van de kwaliteit van de vervolgopleidingen. De hoogste score (3,21) werd behaald voor norm 3.1 die stelt dat de COC de (interne) kwaliteitstoetsing van de opleidingen dient te bevorderen. De laagste score gaven respondenten de eigen COC voor norm 1.1 betreffende het opleidingsklimaat voor aiossen (1,78). Ruim 64% van de respondenten gaf aan slechts op het laagste kwaliteitszorgniveau (niveau 1) aan deze norm te voldoen. De andere 4 kwaliteitsnormen werden gewaardeerd met scores oplopend van 1,84 (positief opleidingsklimaat voor de ontwikkeling van opleiders) tot 2,0 (doelmatige en effectieve samenwerking binnen de COC). In tabel 4 worden de verschillen tussen de typen opleidingsinrichtingen zichtbaar. Voor alle normen gold dat de STZ-ziekenhuizen de hoogste scores behaalden en de algemene opleidingsziekenhuizen de laagste. Op de vijfpuntsschaal lopen de verschillen op van 0,66 (norm 3.2) tot 1,07 (norm 4.1).

Beschouwing

Volgens Van Dale Groot woordenboek van de Nederlandse taal is een regisseur iemand die het beheer voert, iemand die iets ensceneert of iemand die aanwijzingen geeft of de leiding heeft. Deze definitie omvat in feite verschillende rollen. Welke is of welke zijn van toepassing op die van de centrale opleidingscommissie als regisseurs van de kwaliteit van de vervolgopleidingen? Het CCMS geeft in het kaderbesluit geen eenduidig antwoord: COC’s dienen te bewaken, bevorderen, bemiddelen, bespreken en verslag te doen. COC’s zelf – zoals we in deze studie rapporteren ‑ kunnen zich vinden in de meeste rollen die het CCMS heeft geformuleerd. De rollen van stimuleren en adviseren (genoemd door > 75% van de respondenten) en ook van beleid maken en toezicht houden (60,4%) worden door een meerderheid onderschreven.

Kwaliteitszorgonderwerpen waarover wordt geadviseerd, beleid wordt gemaakt of toezicht wordt gehouden, zijn terug te vinden in de agendering van de COC-vergaderingen. In het jaar voorafgaand aan het onderzoek, het jaar 2010, blijken alle COC’s aandacht te hebben besteed aan kwaliteitszorg. In de meest besproken onderwerpen (zie tabel 3) is ‘het nieuwe opleiden’ duidelijk herkenbaar en 53% van de COC’s rapporteerde zelfs 3 of meer van de in de top 10 genoemde kwaliteitszorgonderwerpen te hebben behandeld. Dat ‘visitatie’ bovenaan de lijst prijkt, is niet verwonderlijk daar deze intercollegiale activiteit al van oudsher (sinds 1966) wordt uitgevoerd en visitatie derhalve een vertrouwd fenomeen is voor medisch specialisten. De meeste andere onderwerpen dateren echter van de laatste 3 jaar (de D-RECT bijvoorbeeld komt uit 2007, SETQ uit 2009 en het rapport Scherpbier stamt eveneens uit 2009) en kenden op 1 januari 2011 nog geen wettelijke basis. In dat licht mag de vraag naar het ter hand nemen van de regierol door de COC’s positief worden beantwoord. Echter, respondenten geven zelf aan dat COC’s nog weinig systematisch werken aan kwaliteitszorg: aan de kwaliteitsnormen uit het rapport Scherpbier (zie tabel 4) voldoen zij op het eerste of tweede kwaliteitszorgniveau. Dat wil zeggen dat de regisserende taken van de COC’s nog veelal ad hoc plaatsvinden, niet ingebed zijn in een instellingsbeleid en nog niet systematisch worden gemonitord, geëvalueerd en zo nodig verbeterd.

Opvallende bevinding van onze studie is dat de STZ-ziekenhuizen op alle 6 de kwaliteitsnormen de hoogste scores behaalden. Het is denkbaar dat dit samenhangt met de bevinding dat de COC’s van deze klinieken nadrukkelijker dan in de UMC’s en algemene opleidingsklinieken de rollen van toezicht houden en beleid maken vervullen. Ook de bevindingen dat de STZ-respondenten de hoogste waardering hebben voor de COC-vergaderingen en dat de RvB hierbij vaak aanwezig is – vaker dan in de andere opleidingsklinieken – (zie tabel 2), zouden kunnen wijzen naar een mogelijke verklaring voor de hoge kwaliteitszorgscores van de STZ-klinieken. Het verdient aanbeveling hier in toekomstig onderzoek aandacht aan te besteden.

Conclusie

Deze studie geeft voor de eerste keer een overzicht van de vele activiteiten die centrale opleidingscommissies ondernemen om de kwaliteit van de medische vervolgopleidingen te regisseren. De hoge respons van 86% maakt dat het geschetste beeld breed herkenbaar zal zijn voor de Nederlandse opleidingsziekenhuizen, met uitzondering wellicht van de vele categorale psychiatrische opleidingsinrichtingen die niet geïncludeerd waren in het vragenlijstonderzoek. Omdat de vragenlijst deels een zelfevaluatie betrof en in de meeste gevallen was ingevuld door alleen de voorzitter van de COC moeten we desondanks voorzichtig zijn met het trekken van conclusies uit de gepresenteerde gegevens.

Dit laat onverlet dat onderhavig onderzoek duidelijk maakt dat er voor de COC’s wat betreft de zorg voor de kwaliteit van de vervolgopleidingen nog huiswerk ligt omdat het systematisch werken aan de kwaliteit nog in de kinderschoenen staat. Voor de precieze invulling van kwaliteitszorg, en dus de regie ervan, laten de wettelijke kaders nog veel ruimte aan de COC’s. Het rapport Scherpbier kan hierbij mogelijk als leidraad dienst doen.

Leerpunten

• Sinds 1 januari 2011 is het nieuwe kaderbesluit van het Centraal College Medisch Specialismen van kracht met daarin de eisen voor de medische vervolgopleidingen.

• Voor centrale opleidingscommissies (COC’s) betekent dit dat zij voortaan als ‘regisseur’ moeten zorgen voor de kwaliteit van de vervolgopleidingen.

• Alle COC’s besteedden in 2010 aandacht aan kwaliteit van de vervolgopleidingen. Visitatie, het evalueren van het opleidingsklimaat en het geven van feedback aan supervisoren stonden het vaakst op de agenda.

• Systematische aandacht voor kwaliteit van de vervolgopleidingen staat voor de meeste COC’s nog in de kinderschoenen.

• Ziekenhuizen aangesloten bij de Vereniging Samenwerkende Topklinische opleidingsZiekenhuizen zijn gemiddeld het verst gevorderd met de implementatie van kwaliteitszorg.