Manieren om de kwaliteit van opleiders en supervisoren te evalueren

De arts als opleider

Perspectief
C.R.M.G. (Lia) Fluit
Sanneke Bolhuis
Paul Stuyt
Roland F.J.M. Laan
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2011;155:A3233
Abstract
Download PDF

Samenvatting

De opleiding van aiossen bestaat voor 90% uit leren en werken in de klinische praktijk. Een goede opleiding is de verantwoordelijkheid van artsen uit het betreffende specialisme en het is belangrijk dat klinische opleiders en supervisoren een goed beeld hebben van deze taak. Er zijn 7 domeinen van goed opleiderschap te definiëren: rolmodel, zorg dragen voor leerzaam werk, planning, feedback, doceervaardigheden, beoordeling en persoonlijke kenmerken. Om de kwaliteit van opleiders te meten zijn meerdere vragenlijsten ontwikkeld, die in wisselende mate deze domeinen dekken. Een schriftelijke terugkoppeling alleen van dergelijke evaluaties is onvoldoende om effect te bereiken. Een gesprek over de evaluatiegegevens tussen de opleider en de aios leidt tot wederzijds begrip en levert een belangrijke bijdrage aan het effect van feedback. Zowel de individuele opleider als het opleidingsteam en de aios hebben daar baat bij.

De opleiding tot medisch specialist bestaat grotendeels uit leren en werken in de klinische praktijk en richt zich op het verwerven van de zogenoemde CanMEDS-competenties (‘Canadian Medical Education Directives for Specialists’; http://rcpsc.medical.org/canmeds/about_e.php), te weten: medisch handelen, communicatie, samenwerking, kennis en wetenschap, organisatie, maatschappelijk handelen en professionaliteit. Ieder specialisme heeft een opleidingsplan opgesteld waarin duidelijk wordt hoe dit binnen de opleiding wordt gerealiseerd. Het is belangrijk dat opleiders en supervisoren (in de tekst verder aangeduid als opleiders) weten wat van ze verwacht wordt en hoe zij daadwerkelijk opleiden. Voor aiossen is het belangrijk te weten wat zij van hun opleiders mogen verwachten. Bovendien heeft dit ook weer overeenkomsten met wat van henzelf wordt verwacht als begeleider van coassistenten. Door het evalueren van de dagelijkse begeleiding kan de kwaliteit ervan inzichtelijk gemaakt worden. Dit artikel geeft een overzicht van de verschillende rollen die opleiders vervullen en bespreekt de mogelijkheden om hen te evalueren. De nadruk ligt daarbij op de dagelijkse begeleiding van aiossen. Overige taken van de formele opleider zijn buiten beschouwing gelaten.

Verschillende rollen

Uit talrijke publicaties over goed klinisch opleiderschap en over de rollen van een opleider komt naar voren dat een goed opleider een goed rolmodel is, goede supervisie biedt (en dus goede begeleiding en feedback geeft), over doceerkwaliteiten beschikt, zorgdraagt voor een positief leerklimaat, het onderwijs plant en ook een goede beoordeling kan uitvoeren.1 Deze rollen worden hieronder verder uitgewerkt. Meerdere van deze rollen zijn herkenbaar in het competentieprofiel dat door het Centraal College Medisch Specialisten (CCMS) is opgesteld.2

De opleider als rolmodel Een aios leert in de klinische praktijk door zijn of haar opleider en collega’s aan het werk te zien.3,4 Dit leren wordt versterkt door uitleg te geven over achterliggende redenen van het handelen. Het is bijzonder leerzaam voor een aios als opleiders ook aangeven waarom zij niet tevreden waren over het eigen handelen en eigen fouten durven te bespreken. Niet alleen kan een aios op die manier gedachten over een observatie van de opleider zonodig bijstellen, hij of zij leert ook dat kritisch blijven over eigen handelen hoort bij professionaliteit.4,5

De opleider die zorg draagt voor leerzaam werk Bij het leren in de praktijk spelen het leren van eigen ervaringen en het leren dragen van verantwoordelijkheid een belangrijke rol. Dat betekent dat het werk van een aios essentieel moet zijn voor de beroepsuitoefening. Het moeten geen ‘klussen’ zijn, niet te gemakkelijk en niet te moeilijk en het werk moet passen bij het opleidingsniveau van de aios en diens leerdoelen.6-8 Ook moet de aios voldoende ruimte krijgen om verantwoordelijkheid te dragen en om te leren van eigen fouten. Het vinden van de juiste balans tussen wat je een aios toevertrouwt en wat je zelf doet is een complexe, maar cruciale taak voor opleiders.9

De opleider als planner Het is belangrijk dat de opleider regelmatig tijd reserveert voor supervisie en beschikbaar is op momenten dat de aios hem of haar nodig heeft, onder andere tijdens de dienst.10

De opleider als gever van feedback Feedback op basis van observaties geeft aiossen inzicht in waar zij goed in zijn en wat ze kunnen verbeteren.11 De feedback moet herkenbaar, toepasbaar en acceptabel zijn, zodat iemand er ook echt mee aan de slag kan.12 Een voorwaarde voor de acceptatie van de feedback is ook dat de aios in zijn waarde gelaten wordt. De inhoud van de feedback richt zich op het verwerven van de eerder genoemde competenties. Een goed opleider selecteert situaties die zich lenen voor het beoordelen van de diverse competenties.

De opleider als docent Doceervaardigheden van opleiders zijn uitvoerig beschreven in de literatuur.1,2,5,10 Veel genoemde activiteiten zijn: het bespreken van de leerdoelen, het nabespreken van diverse vormen van verslaglegging, complexe zaken uitleggen en het stellen van prikkelende vragen.

De opleider als beoordelaar Bij de beoordeling van aiossen worden verschillende instrumenten gebruikt, de resultaten worden verzameld in een portfolio en vervolgens besproken in voortgangs- en beoordelingsgesprekken. Leden van een opleidingsgroep moeten de verschillende instrumenten kunnen hanteren en de opleiders of stagebeoordelaars moeten deze gesprekken kunnen voeren.13,14

De opleider als persoon Het belang van een respectvolle benadering van de aios, enthousiasme voor het opleiden en het bieden van steun in diverse en soms moeilijke situaties is in meerdere studies bevestigd.1,7 Ook een recente studie onder Nederlandse aiossen gynaecologie laat zien dat zij veel belang hechten aan de persoon van de opleider.15

Evaluatie van de kwaliteit van opleiders

Het is van belang om de opleidingscapaciteiten van medici ook met zekere regelmaat te evalueren. Doel van een evaluatie kan zijn om een selectie te maken van opleiders die voldoende of onvoldoende functioneren. Hieraan kunnen beslissingen worden verbonden over bijvoorbeeld benoemingen, promoties, kwalificaties en het toekennen van aios. Vaker is het doel om waar nodig een aanzet tot verandering van gedrag en daarmee tot kwaliteitsverbetering van de opleiding te geven.16

Verschillende personen of partijen kunnen een oordeel geven over bepaalde aspecten van een opleider: aios, collega’s, leidinggevenden, externe deskundigen of een onderwijsorganisatie. Ook zelfevaluatie kan zinvol zijn.

Er zijn meerdere manieren om informatie over opleiders te verzamelen: vragenlijsten, groepsinterviews, intervisie, peer review, simulaties en het opstellen van portfolio’s.16 De keuze zal zeker samenhangen met het doel van de evaluatie en wie de informatie aanlevert. Vragenlijsten, ingevuld door aiossen, vormen een veel gebruikte manier voor het meten van de kwaliteit van opleiders.17 Er zijn in de loop der jaren meerdere vragenlijsten ontwikkeld, grotendeels in de Verenigde Staten, waarvan een deel gebruikt wordt in Nederland.1

CTEI Het ‘Clinical teaching effectiveness instrument’ (CTEI) is in de jaren negentig van de vorige eeuw ontwikkeld in Amerika en voor de Nederlandse situatie gevalideerd.18 Het is een korte lijst van 15 items, waardoor bovengenoemde rollen niet of summier aan bod komen. Zo zijn rolmodel en beoordeling niet opgenomen. Recent onderzoek wijst op problemen bij de interpretatie van de CTEI-gegevens omdat antwoordcategorieën niet eenduidig zijn.19

SETQ De ‘Systematic evaluation of teaching qualities’ (SETQ) is eveneens gebaseerd op een in Amerika ontwikkelde lijst. Deze is voor de Nederlandse situatie gevalideerd.20 De vragenlijst wordt in meerdere ziekenhuizen en door meerdere disciplines gebruikt. De SETQ bestaat uit 25 items en dekt een deel van de genoemde rollen, behalve ‘zorg dragen voor leerzaam werk’ en ‘planning’.1,21 De opleider/supervisor vult een versie in voor zelfevaluatie.

EFFECT Wij hebben in Nijmegen de ‘Evaluation and feedback for effective clinical teaching’ (EFFECT)-vragenlijst ontwikkeld, uitgaande van de bovengenoemde 7 rollen. De lijst bestaat uit 58 korte items, of 50 items indien de klinisch opleider geen beoordelingsgesprekken voert. Klik hier voor de EFFECT-vragenlijst. Ook hier vult de opleider een zelfevaluatieversie in. Het onderzoek naar de validiteit van de EFFECT-vragenlijst is onlangs afgerond en de lijst wordt inmiddels in meerdere ziekenhuizen en door meerdere disciplines gebruikt.

Keuze Bij de keuze voor een instrument is het uiteraard belangrijk dat een vragenlijst inhoudelijk en psychometrisch van goede kwaliteit is, of men zich er in herkent, of het instrument acceptabel is en wat men met de uiteindelijke informatie wil doen. Het is belangrijk zich te realiseren dat van een vragenlijst zelf ook een leereffect uitgaat: de items schetsen immers een beeld van wat goed opleiden inhoudt. Als het erom gaat feedback te geven aan een individuele opleider, dan zal een meer uitgebreide lijst weliswaar meer inspanning van de respondenten vragen, maar wel meer specifieke informatie opleveren. Een lijst die echter te veel tijd kost, omdat deze te veel of onduidelijke items bevat, werkt niet. Het invullen van de EFFECT-lijst kost gemiddeld 6-8 min. De SETQ en de CTEI zullen gezien hun lengte ook niet veel tijd kosten.

Wat te doen met de evaluatie?

Een goede vragenlijst is wel een voorwaarde, maar geen garantie voor een verbetering van de kwaliteit van de opleiding. Een grote rol speelt de wijze waarop de evaluaties worden teruggekoppeld. Zo blijkt uit onderzoek in diverse settings dat alleen schriftelijke feedback nauwelijks effect heeft.22,23 Schriftelijke feedback in combinatie met een zelfevaluatie bij coassistentopleiders lijkt bij te dragen aan de kwaliteitsverbetering.23 Nog beter lijkt het om een gesprek aan te gaan met de ontvanger van de feedback.24 Het bespreken van evaluatiegegevens helpt om de resultaten te begrijpen en concrete acties te formuleren.25,26 Een dergelijk gesprek kan gevoerd worden door het hoofd van een afdeling of de leidinggevende van de opleider, een collega, een aios of een externe facilitator.

In een studie naar de inzet van EFFECT onderzoeken wij in Nijmegen momenteel verschillende feedbackprocedures. Afdelingen die hun stafleden evalueren met de EFFECT-vragenlijst kiezen zelf hoe zij de terugkoppeling willen vormgeven. Bij de meeste afdelingen voeren de aiossen de gesprekken van een half uur, samen met een gespreksbegeleider. Bij enkele afdelingen voert het hoofd van de afdeling of een externe persoon het gesprek.

De eerste resultaten van het onderzoek laten zien dat het bespreken van de gehele evaluatieprocedure een belangrijke eerste stap is. Het invullen van de vragenlijst blijkt vaak een eye-opener te zijn. Opleiders en aiossen staan stil bij alle belangrijke aspecten van goed opleiderschap. Supervisoren zijn soms aangenaam verrast door de positieve feedback van hun aiossen. Aiossen zien dat hun supervisor vaak ook eigen zwakke plekken kent en erkent. Het vergelijken van de zelfscore met die van de aios blijkt bijzonder leerzaam en het bespreken van eventuele discrepanties leidt tot wederzijds begrip en het zoeken naar werkbare oplossingen. Een aantal citaten staan in de tabel.

Figuur 1

Andersom leren aiossen veel van de gesprekken die zij voeren. Zo is het leren geven van feedback nuttig. En hoewel aiossen van tevoren vaak opzien tegen een gesprek in deze hiërarchisch ongelijke verhouding, blijkt vaak dat zij veel tegen hun opleiders kunnen zeggen. Zo merken zij dat deze er voor openstaat. In een gezamenlijke, afrondende bespreking neemt de hele staf met de aiossen de resultaten op groepsniveau door. Samen bekijken ze waar de opleidingsgroep goed in is en waar zij kan verbeteren. De teambespreking leert dat sommige zwakke punten geen individueel maar een gezamenlijk probleem zijn, die afspraken vragen op teamniveau of zelfs ziekenhuisniveau.

Conclusie

Het evalueren van opleiders kost tijd, welke methode men ook kiest, maar levert, mits goed uitgevoerd, ook erg veel op. De wijze van terugkoppeling is cruciaal. Een gesprek tussen aiossen en opleiders lijkt een goede mogelijkheid om concrete tips te geven hoe opleiders zich verder kunnen ontwikkelen, het draagt bij aan het wederzijds vertrouwen, een goede sfeer en een positief leerklimaat binnen de afdeling.

Literatuur
  1. Fluit CR, Bolhuis S, Grol R, Laan R, Wensing M. Assessing the quality of clinical teachers: A systematic review of content and quality of questionnaires for assessing clinical teachers. J Gen Intern Med. 2010;25:1337-45. doi:10.1007/s11606-010-1458-y

  2. Werkgroep modernisering Centraal College Medisch Specialisten. Competentieprofiel opleider en supervisor/(leden van) de opleidingsgroep. Utrecht: CCMS; 2009.

  3. Prideaux D, Alexander H, Bower A, et al. Clinical teaching: maintaining an educational role for doctors in the new health care environment. Med Educ. 2000;34:820-6 Medline. doi:10.1046/j.1365-2923.2000.00756.x

  4. Wright SM, Kern DE, Kolodner K, Howard DM, Brancati FL. Attributes of excellent attending-physician role models. N Engl J Med. 1998;339:1986-93 Medline. doi:10.1056/NEJM199812313392706

  5. Sutkin G, Wagner E, Harris I, Schiffer R. What makes a good clinical teacher in medicine? A review of the literature. Acad Med. 2008;83:452-66 Medline. doi:10.1097/ACM.0b013e31816bee61

  6. Bolhuis S. Professional development between teachers’ practical knowledge and external demands: plea for a broad socail-constructivist and critical approach. In: Oser FK, Achtenwagen F, Renold U, editors. Competence oriented teacher training. Old research demands and new pathways.Rotterdam/Tapei: Sense Publishers, 2006:237-49.

  7. Cheetham G, Chivers G. How professionals learn: an investigation of informal learning amongst people working in professions. J Eur Ind Train. 2001;25:247-92. doi:10.1108/03090590110395870

  8. Eraut M. Informal learning in the workplace. Stud Contin Educ. 2004;26:247-73. doi:10.1080/158037042000225245

  9. Ten Cate O. Trust, competence, and the supervisor’s role in postgraduate training. BMJ. 2006;333:748-51 Medline. doi:10.1136/bmj.38938.407569.94

  10. Harden RM, Crosby J. AMEE Guide No 20: The good teacher is more than a lecturer - the twelve roles of the teacher. Med Teach. 2000;22:334-47. doi:10.1080/014215900409429

  11. Norcini JJ. Current perspectives in assessment: the assessment of performance at work. Med Educ. 2005;39:880-9 Medline. doi:10.1111/j.1365-2929.2005.02182.x

  12. Brand PLP, Boendermaker PM. Feedback geven: een cruciale vaardigheid in de medische opleiding. Ned Tijdschr Geneeskd. 2009;153:250-3 Medline.

  13. Govaerts MJB, Driessen E, Verhoeven B, vanderVleuten CPM, Brackel H, Hoorn J, et al. Richtlijn interpretatie en gebruik van toetsresultaten in het portfolio. TMO. 2010;29(suppl 3):75-102 link

  14. Ten Cate ThJ, Fluit CR. Richtlijn korte praktijkbeoordeling. TMO. 2010;29(5)(suppl 4):105-34. link doi: 10.1007/s12507-010-0101-6

  15. Boor K, Teunissen PW, Scherpbier AJ. van d, V, van de LJ, Scheele F. Residents’ perceptions of the ideal clinical teacher-A qualitative study. Eur J Obstet Gynecol Reprod Biol. 2008;140:152-7 Medline. doi:10.1016/j.ejogrb.2008.03.010

  16. Jahangiri L, Mucciolo TW, Mijin Choi DDS, Spielman AI. Assessment of teaching effectiveness in U.S. dental schools and the value of triangulation. J Dent Educ. 2008;72:707-18 Medline.

  17. Snell L, Tallett S, Haist S, et al. A review of the evaluation of clinical teaching: new perspectives and challenges. Med Educ. 2000;34:862-70 Medline. doi:10.1046/j.1365-2923.2000.00754.x

  18. Van der Hem-Stokroos HH, van der Vleuten CPM, Daelmans HEM, Haarman HJTM, Scherpbier AJJA. Reliability of the clinical teaching effectiveness instrument. Med Educ. 2005;39:904-10 Medline. doi:10.1111/j.1365-2929.2005.02245.x

  19. Boendermaker PM, Remmelts P. De CTEI: kwaliteit of kwantiteit of van allebei een beetje? Zorgen over een veel gebruikt meetinstrument voor de doceerkwaliteit van de klinische docenten. TMO. 2008;27:147-9. link

  20. Lombarts MJ, Arah O, Busch RC, Heineman MJ. Meten en verbeteren van opleiderskwaliteiten van klinisch opleiders met het SETQ-systeem. Ned Tijdschr Geneeskd. 2010;154:A1222 Medline. link

  21. Fluit CRMG, Bolhuis S, Wensing M. Authors reply. J Gen Intern Med. 2011;26:15. doi:10.1007/s11606-010-1544-1

  22. Jamtvedt G, Young JM, Kristoffersen DT, Thomson O’Brien MA, Oxman AD. Audit and feedback: effects on professional practice and health care outcomes. Cochrane Database Syst Rev. 2003;(3):CD000259 Medline.

  23. Stalmeijer RE, Dolmans DH, Wolfhagen IH, Peters WG. van CL, Scherpbier AJ. Combined student ratings and self-assessment provide useful feedback for clinical teachers. Adv Health Sci Educ Theory Pract. 2010;15:315-28 Medline. doi:10.1007/s10459-009-9199-6

  24. Nicol D, Macfarlane-Dick D. Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Stud High Educ. 2006;31:199-218. doi:10.1080/03075070600572090

  25. Kluger AN, DeNisi A. The effects of feedback interventions on performance: Historical review, a meta-analysis and a preliminary feedback intervention theory. Psychol Bull. 1996;119:254-84. doi:10.1037/0033-2909.119.2.254

  26. Overeem K, Faber MJ, Arah OA, et al. Doctor performance assessment in daily practise: does it help doctors or not? A systematic review. Med Educ. 2007;41:1039-49 Medline. doi:10.1111/j.1365-2923.2007.02897.x

Auteursinformatie

Radboud Universiteit Nijmegen Medisch Centrum, Instituut voor Wetenschappelijk Onderwijs en Opleidingen, Nijmegen.

Drs. C.R.M.G Fluit, arts-onderwijskundige; dr. S. Bolhuis, onderwijskundige; Prof.dr. P. Stuyt, internist; Prof.dr. R.F.J.M. Laan, reumatoloog.

Contact drs. C.R.M.G. Fluit (c.fluit@iwoo.umcn.nl)

Verantwoording

Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld.
Aanvaard op 24 mei 2011

Gerelateerde artikelen

Reacties