Análisis del examen profesional de la Facultad de Medicina de la UNAM: Una experiencia de evaluación objetiva del aprendizaje con la teoría de respuesta al ítem

Resumen

Introducción: El examen profesional es la evaluación sumativa de altas consecuencias, más importante de la carrera de médico cirujano. Una fuente de evidencia de validez del examen es el análisis psicométrico de los reactivos, para el que tradicionalmente se ha utilizado la Teoría Clásica de los Test (TCT), la cual tiene algunas desventajas, que la Teoría de Respuesta al Ítem (TRI) pretende resolver. El presente estudio reporta el análisis del Examen Profesional Teórico de la Facultad de Medicina de la UNAM con la TRI.
Objetivo: Explorar los beneficios del uso de la TRI, para documentar evidencia de validez en un examen de altas consecuencias en educación médica.
Método: Se efectuó el análisis psicométrico del Examen Profesional Teórico de la Facultad de Medicina de la UNAM, aplicado en 2008. La prueba consistió en un examen de opción múltiple acerca de seis áreas de conocimiento: Medicina interna, Pediatría, Gineco-obstetricia, Urgencias médicas, Cirugía y Medicina familiar, evaluadas con 420 reactivos de opción múltiple. Se calcularon confiabilidad, dificultad y discriminación con la TCT. Se utilizó el modelo de tres parámetros de la TRI. Con las dos aproximaciones se seleccionaron los mejores ítems, y se estimó la longitud de la prueba con la fórmula de Spearman-Brown.
Resultados: El examen fue respondido por 882 sustentantes, tuvo un índice de dificultad de 0.55 y una confiabilidad de 0.93. Con el modelo de 3pl-TRI, el examen es informativo en niveles de habilidad cercanos al promedio en la escala theta. El parámetro de discriminación promedio (a) fue 0.67, el parámetro de dificultad (b) fue 1.21, y el parámetro de seudoadivinación (c) fue 0.18. Se encontró que es posible reducir el número de reactivos de la prueba, manteniendo una alta confiabilidad. La mayoría de los ítems en la prueba original (84%) tuvieron un buen ajuste al modelo 3pl-TRI, y en la versión acortada la gran mayoría (97%) tuvieron un ajuste similar.

Discusión y conclusiones: El Examen Profesional Teórico de la Facultad de Medicina cubre los requisitos teóricos de número de reactivos y sustentantes, para aplicar el modelo de TRI. Se obtuvo evidencia de validez de constructo y un panorama psicométrico del instrumento, útil para la planeación de versiones subsecuentes. El examen puede reducirse en longitud haciéndolo más eficiente, sin perder precisión en la estimación de los niveles de habilidad de los sujetos ni validez de contenido.