Análisis de un examen clínico objetivo estructurado en odontología desde la teoría de la generalizabilidad

Analysis of an objective structured clinical examination in dentistry using generalisability theory
Olivia Espinosa-Vázqueza, Adrián Martínez-Gonzálezb, Melchor Sánchez-Mendiolab, Iwin Leenenc

a Facultad de Odontología UNAM, Ciudad de México, México
b Coordinación de Desarrollo Educativo e Innovación Curricular UNAM, Ciudad de México, México
c Instituto Nacional para la Evaluación de la Educación, Ciudad de México, México

Recibido 18 abril 2016, Aceptado 06 septiembre 2016

Palabras Clave

México, Competencia clínica, Teoría de la generalizabilidad, Examen clínico objetivo estructurado (ECOE), Odontología

Keywords

Mexico, Clinical competence, Generalisability theory, Objective structured clinical examinations (OSCE), Dentistry


Resumen

Introducción: Diversos estudios han analizado al examen clínico objetivo estructurado (ECOE) en Odontología para acumular evidencia de validez al utilizarlo como una herramienta de evaluación de la competencia clínica en los estudiantes. En este estudio introdujimos un ECOE diseñado en Odontología y se discuten los resultados del análisis desde la perspectiva de la teoría de la generalizabilidad, utilizando datos obtenidos de una aplicación del examen.

Método: Se realizó un estudio observacional y transversal en la Facultad de Odontología de la UNAM. Participaron 120 estudiantes en un ECOE diseñado ex profeso en un circuito de 18 estaciones con duración de 6 min cada una, en el contexto de un curso de Odontopediatría del cuarto año de la licenciatura en Cirujano Dentista. Un análisis basado en la teoría de la generalizabilidad, con evaluadores y estaciones considerados como facetas, identificó las principales fuentes de variabilidad en los datos.

Resultados: La media (y desviación estándar) global de las calificaciones en el examen corresponde a 44% (7%), con las medias por estación variando entre el 23 y el 66%. El estudio de generalizabilidad mostró que la faceta correspondiente a los evaluadores explicó una parte significativa (13%) de la variación en los resultados por estación, más que la competencia clínica de los sustentantes (6%). En el estudio de decisión se encontró un coeficiente de generalizabilidad relativo de 0.63 y absoluto de 0.55.

Conclusiones: A la luz de los coeficientes de generalizabilidad relativamente bajos en el estudio de decisión, es importante analizar más allá el desarrollo del ECOE-O para minimizar el efecto de las fuentes que introducen varianza irrelevante al constructo en los resultados; especialmente, se requiere revisar y ajustar las estaciones, así como calibrar mejor a los profesores para homogeneizar los criterios de evaluación.