Beoordeling van klinische en chirurgische vaardigheden:

Objective

To measure interobserver agreement in the Mini-clinical evaluation exercise (mini-CEX; Dutch translation) and the Objective structured assessment of technical skills (OSATS) in a clinical teaching setting.

Design

Prospective.

Methods

5 patient consultations and 4 surgical procedures performed by 7 surgical residents were recorded on video and DVD and presented to 8 surgeons, who independently assessed the consultations and surgical procedures using the standard mini-CEX and standard OSATS forms. The intraclass correlation (ICC) was calculated; an ICC value of > 0.75 was considered acceptable reliability.

Results

A total of 536 items were scored (7 items per mini-CEX and 8 items per OSATS). Numerous mini-CEX items displayed a wide range (1-8 on a 9-point scale); OSATS showed a range of 1-5 on a 5-pointscale. The ICC of the mini-CEX was 0.92 (95% CI: 0.86-0.95), the ICC of the OSATS was 0.54 (95% CI: 0.26-0.74).

Conclusion

This small pilot study demonstrated high interobserver correlation for the assessment of surgical resident competence using the mini-CEX. The OSATS, an important testing instrument for surgical disciplines, showed a low interobserver correlation.

Samenvatting

Doel

De overeenstemming meten tussen beoordelaars van de ‘Korte klinische beoordeling’ (KKB) en van de ‘Objective structured assessment of technical skills’ (OSATS) in de klinisch-onderwijskundige praktijk.

Opzet

Prospectief.

Methode

5 consulten en 4 operaties, uitgevoerd door 7 verschillende artsen in opleiding tot specialist (aiossen) werden opgenomen op video en op dvd aangeboden aan 8 chirurgen, die onafhankelijk van elkaar de consulten en de operaties beoordeelden op respectievelijk het standaard-KKB- of het vertaalde standaard-OSATS-formulier. Hiervan werd de intraklassecorrelatiecoëfficiënt (ICC) berekend; een ICC > 0,75 werd gehanteerd als criterium voor acceptabele betrouwbaarheid.

Resultaten

Er werden in totaal 536 items gescoord: per KKB 7 en per OSATS 8 items. Binnen meerdere items werd een spreiding gezien van 1-8 op een 9-puntsschaal van de KKB en een spreiding van 1-5 op de 5-puntsschaal van de OSATS. De ICC van de KKB bedroeg 0,92 (95%-BI: 0,86-0,95); die van de OSATS 0,54 (95%-BI: 0,26-0,74).

Conclusie

In deze kleine klinische pilotstudie had de KKB een hoge interbeoordelaarsovereenstemming bij het beoordelen van de aiossen. De OSATS, een belangrijk toetsinstrument voor de snijdende disciplines, toonde een lage interbeoordelaarsovereenstemming.