Betere dokters door selectie van studenten aan de poort

Commentaar
20-05-2009
Jan C.C. Borleffs, Jan B.M. Kuks en Janke Cohen-Schotanus

Reacties (2)

A Knol
18-06-2009 20:52

Betere dokters door selectie van studenten aan de poort

Examens met samengestelde prestatie-indicatoren voor medische studenten worden door de auteurs besproken. Om dit te kunnen doen moet een rangorde gemaakt worden. Rangordes zijn behept met problemen [1]. Een van de meest imponerende problemen is de reversal bias. Met een fictieve beoordeling van de best mogelijke prestaties van 4 studenten A,B,C en D kan het probleem gedemonstreerd worden Er wordt een beoordeling gemaakt van de verschillen . De beoordeling wordt weergegeven als het aantal paarsgewijze beoordelingen waarbij een verschil tussen 2 kandidaten wordt geturfd.; A>C 2, A>D 7, B>C 3, B>D 5, C>B 2, C>D 5, D>B 2 en D>C 4. De prestaties worden als volgt berekend ;A 2+7=9 , B 5+3=8, C 2+5=7 , D 2+4=6. De rangorde is dus A,B,C,D . Er wordt besloten om de slechtste student namelijk D te verwijderen; A>C 2, A 7, B>C 3, B 5, C>B 2, C 5, B 2 en C 4. De best mogelijke prestaties zijn nu A 2+7=9, B 3+5+2=10, C 2+5+4=11 De rangorde is nu C,B,A. Het verwijderen ven de slechtste kandidaat heeft tot gevolg, dat de rangorde van de overblijvende kandidaten compleet omkeert. Het voorbeeld is zo geconstrueerd ,dat het voor de reversal bias niet uitmaakt welke student verwijderd wordt. Als kandidaat B verwijderd wordt zal D veranderen van de slechtste naar de beste kandidaat. Er kan worden aangetoond,dat de kans op inconsistenties aanzienlijk is [2]. De reversal bias is een bedreiging van de geloofwaardigheid van een vergelijkend examen aan de poort. Een verkozen student en een afgewezen student zouden hun resultaten kunnen vergelijken en kunnen concluderen ,dat paarsgewijze vergelijking een ander resultaat oplevert dan de rangorde van het examen. De afgewezen student kan zijn afwijzing aanvechten. Het voorkomen van een reversal bias is noodzakelijk (maar niet voldoende ) voor adequate beoordeling van rangordes bij examens.
 
Literatuur
[2] Bortz J, Lienert GA, Boehnke K. Verteilungsfreie Methoden in der Biostatistik. Springer: Berlijn; 2008.
 
Groningen
 
A.Knol, huisarts.
JCC Borlefs
10-09-2009 14:49

Selectie van studenten

Collega Knol wijst op het gevaar van reversal bias bij het bepalen van rangordes. Hij wijst er op dat dit probleem ook bij de decentrale toelatingsprocedures voor geneeskunde zou kunnen spelen. Reversal bias doet zich voor als, nadat de rangorde bepaald is, kandidaten zich terugtrekken. Dit valt goed te illustreren aan het volgende voorbeeld. Als een voetbalteam, om wat voor reden dan ook, na de competitie wordt uitgesloten, dan zou er niets aan de hand zijn als alleen gekeken wordt naar de eindstand: elke club die onder het bepaalde team stond schuift een positie omhoog. Echter, wanneer de onderliggende resultaten van het betreffende team ook verwijderd worden, kan er een andere rangorde ontstaan. Reversal bias bij terugtrekkende kandidaten kan dus ontstaan als de scores van kandidaten van elkaar afhankelijk zijn. Dit is bij de decentrale selectie niet het geval. De score die een student haalt voor de verschillende onderdelen van de decentrale selectie is onafhankelijk van de scores die door medekandidaten worden gehaald. Scores in het kader van decentrale toelating zijn het best vergelijkbaar met scores op een tentamen. Stel, een groep van 200 studenten maakt een tentamen met multiplechoicevragen. Voor elke goed beantwoorde vraag krijgt de student een punt. Op basis van het totaal aantal goed beantwoorde vragen wordt een rangorde gemaakt die theoretisch loopt van 1-200. Wanneer er personen uit de rangorde worden gehaald verandert het aantal goed beantwoorde vragen van de overblijvende studenten echter niet en dus ook niet hun rangorde. Alleen wanneer vragen uit de toets verwijderd zouden worden kan de rangorde van studenten op de totaalscore veranderen. Bij de decentrale selectie worden echter geen vragen of onderdelen verwijderd. Bezwaar, zoals Knol adviseerde, tegen selectierangordes voor de studierichting geneeskunde zal dan ook niet gegrond zijn omdat de prestatie van de kandidaat onafhankelijk is van die van zijn medekandidaten.

Groningen

J.C.C. Borleffs
J.B.M. Kuks
J. Cohen-Schotanus