LOS Contact 21(3) 2001, blz 45-46
Toetsen van medisch probleem oplossend vermogen
(Lambert Schuwirth
, Universiteit Maastricht)De volledige titel van dit artikel luidt: "Toetsen van medisch probleem oplossend vermogen via computers, computergestuurde casusgerichte toetsing". Binnen de medische opleiding wordt de toetsing van probleem oplossend vermogen als een belangrijk deel van het toetsprogramma gezien. Met name in de laatste twee jaren, de zogenaamde co-assistenschapjaren, is het van belang dat studenten leren kennis toe te passen in concrete probleemsituaties. Het toetsen van dit vermogen is daarom met name in deze jaren belangrijker dan eenvoudige kennistoetsing.
De ontwikkeling van instrumenten voor het toetsen van deze toepassing van kennis beslaat reeds enige decennia. Aanvankelijk is een benadering gehanteerd, waarbij de student simulaties van werkelijke patiëntencontacten werden voorgelegd. Dergelijke simulaties startten met de zogenaamde ingangsklacht; de klacht waarmee een patiënt het consult begint. De student moest dan in eerste instantie vragen stellen, vervolgens lichamelijk onderzoek doen. Dan kon de student nog eventueel aanvullend onderzoek doen (röntgenfoto's, laboratoriumonderzoek, e.d.), om uiteindelijk tot de juiste diagnose en therapie te komen. Deze simulaties zijn zowel op papier (met onzichtbare inkt-technieken) als per computer geprobeerd.
Drie problemen
Er bleken echter een drietal onoverkomelijke problemen met deze aanpak te bestaan. Op de eerste plaats bleek dat het vrijwel onmogelijk was om experts op één lijn te krijgen ten aanzien van de optimale route die een kandidaat door zo'n simulatie zou moeten doorlopen. Er was gelukkig wel meer overeenstemming over wat de uiteindelijke oplossing (diagnose en therapie) zou moeten zijn . Dit is te verklaren uit bevindingen van onderzoek naar de aard van expertise in de cognitieve psychologie, waaruit bleek dat de wijze van oplossen van een probleem idiosyncratisch is, en dat dit sterk afhangt van de specifiek organisatie van het kennisnetwerk van een expert en diens specifieke ervaringen .
Een tweede probleem betrof de domeinspecificiteit van probleemoplossen. Keer op keer werd gevonden dan de score die een kandidaat behaalde op een bepaalde casus een erg slechte voorspeller was voor de score die hij/zij behaalde op een willekeurig ander probleem (ook binnen hetzelfde domein) . Dit maakte het noodzakelijk veel verschillende casus in een toets op te nemen om tot een voldoende betrouwbaarheid te komen . Deze domeinspecificiteit vindt haar oorsprong in het feit dat probleemoplossen geen generieke vaardigheid is, maar juist erg kennisafhankelijk. Voor het succesvol oplossen van een probleem is relevante kennis een noodzakelijke (maar niet voldoende) voorwaarde .
Tenslotte bleek dat, als men eenmaal voldoende betrouwbare toetsen had, experts het slechter deden dan intermediates (zesdejaarsstudenten of net afgestudeerden) , en dat correlaties met (goedkope) kennisgerichte multiple-choice toetsen hoog waren .
De combinatie van deze drie bevindingen heeft ervoor gezorgd dat dit soort lange simulaties als toetsmethode verlaten zijn. Tegenwoordig wordt vaker gewerkt met korte zogenaamde key-feature approach casuïstiek.
Computergestuurde Casusgerichte Toetsing
Bij computergestuurde casusgerichte toetsing (CCT) wordt gebruik gemaakt van deze aanpak. Een casus bestaat hierbij uit een korte beschrijving waarin relevante gegevens beschreven worden op een zo authentiek mogelijke manier. Waar nodig wordt gebruik gemaakt van multimedia om de authenticiteit te verhogen. De casus zijn gebaseerd op echte patiënten en worden in eerste instantie geschreven door de arts die deze patiënt ook werkelijk behandeld heeft.
Vervolgens wordt een zeer beperkt aantal vragen gesteld (soms slechts 1) die alle gericht zijn op essentiële beslissingen. Dit zijn beslissingen die expliciet betrekking hebben op deze casus en die sterk bepalen of de casus succesvol afgehandeld zal worden of niet . De vragen kunnen verschillende vorm hebben, afhankelijk van het aantal realistische mogelijkheden in de praktijk. Waar dit beperkt is wordt met een multiple-choice gewerkt, waar dit onbeperkt is wordt met open vragen gewerkt.
De scoring van de vragen wordt eenvoudig gehouden, omdat gebleken is dat gecompliceerdere scoringsmethoden geen voordeel hebben boven eenvoudige. Op die manier is het mogelijk een groot aantal verschillende casus per toets aan een student te presenteren, waardoor een betrouwbaarder score bereikt kan worden. De validiteit van een dergelijke aanpak is onderzocht en bleek vele malen beter te zijn dan die van lange simulaties .
Om logistieke redenen is ervoor gekozen de afname gecomputeriseerd te laten verlopen. De infrastructuur hiervoor bestaat uit een client-server configuratie. De server bevat een database met een groot aantal toetscasus. Per student kan hieruit een toets samengesteld worden, die vervolgens op een perifere locatie kan worden afgenomen. Er zijn enkele voordelen aan deze aanpak. Op de eerste plaats worden dure experts niet meer ingezet voor het aankruisen van antwoorden in gestructureerde mondelinge examens maar voor de productie van hoog-kwalitatief toetsmateriaal. De andere voordelen liggen in het feit dat toetsafname relatief tijds- en plaatsonafhankelijk kan gebeuren en de betere beheersmogelijkheden van toetsmateriaal.
CCT wordt reeds sinds enkele jaren als summatieve toetsvorm ingezet en verloopt tot volle tevredenheid van alle betrokkenen.
Referenties
Berner, E. S., Hamilton, L. A., & Best, W. R. (1974). A new approach to evaluating problem-solving in medical students. Journal of Medical Education, 49, 666 - 672.
Bordage, G. (1987). An alternative approach to PMP's: the "key-features" concept. In I. R. Hart & R. Harden (Eds.), Further developments in assessing clinical competence, Proceedings of the second Ottawa conference (pp. 59-75). Montreal.: Can-Heal Publications Inc.
Chi, M. T. H., Glaser, R., & Rees, E. (1982). Expertise in problem solving. In R. J. Sternberg (Ed.), Advances in the psychology of human intelligence (pp. 7 - 76). Hillsdale NJ: Lawrence Erlbaum Associates.
Elstein, A. S., Shulmann, L. S., & Sprafka, S. A. (1978). Medical problem-solving: An analysis of clinical reasoning. Cambridge, MA: Harvard University Press.
McGuire, C. (1980). Assessment of problem-solving skills. Medical Teacher, 2(2), 74 - 79.
Norcini, J. J., J. Keskausas, J., L. Langdon, L., & G. Webster, G. (1986). An evaluation of a computer simulation in the assessment of clinical competence. Evaluation and the Health Professions, 9(3), 286-304.
Schmidt, H. G., Boshuizen, H. P. A., & Hobus, P. P. M. (1988). Transitory stages in the development of medical expertise: The "intermediate effect" in clinical case representation studies, Proceedings of the 10th Annual Conference of the Cognitive Science Society (pp. 139 - 145). Montreal, Canada: Lawrence Erlbaum Associates.
Schuwirth, L. W. T. (1998). An approach to the assessment of medical problem solving: Computerised Case-based Testing., Universiteit Maastricht, Maastricht.
Schuwirth, L. W. T., Blackmore, D. B., Mom, E., Van de Wildenberg, F., Stoffers, H., & Van der Vleuten, C. P. M. (1999). How to write short cases for assessing problem-solving skills. Medical Teacher, 21(2), 144 - 150.
Swanson, D. B. (1987). A measurement framework for performance-based tests. In I. Hart & R. Harden (Eds.), Further developments in Assessing Clinical Competence (pp. 13 - 45). Montreal: Can-Heal publications.
Swanson, D. B., Norcini, J. J., & Grosso, L. J. (1987). Assessment of clinical competence: written and computer-based simulations. Assessment and Evaluation in Higher Education, 12(3), 220 - 246.