Metodología de investigación en educación médica
eISSN 2007-5057
Investigación educ. médica Vol. 14, no. 56, México, octubre-diciembre 2025
https://doi.org/10.22201/fm.20075057e.2025.56.25697
Metodología de una evaluación práctica formativa con un ECOE integrador en la Licenciatura de Médico Cirujano
Carlos Alberto Soto-Aguileraa,‡, Juan Andrés Trejo-Mejíaa,§,*, Armando Ortiz Montalvoa,¶, Antonio Cerritosa,ß, Amílcar Alpuche-Hernándeza,µ, Ana Carolina Sepúlveda Vildósolaa,ç
a Secretaría de Educación Médica, Facultad de Medicina, Universidad Nacional Autónoma de México, Cd. Mx., México.
ORCID ID:
‡ https://orcid.org/0000-0003-1104-2962
§ https://orcid.org/0000-0002-0680-6836
¶ https://orcid.org/0000-0003-3548-1513
ß https://orcid.org/0000-0001-9346-8793
µ https://orcid.org/0000-0002-5388-7632
ç https://orcid.org/0000-0003-4711-3945
Recibido: 13-febrero-2025. Aceptado: 24-febrero-2025.
* Autor para correspondencia: Juan Andrés Trejo Mejía. Departamento de Evaluación Educativa, Secretaría de Educación Médica, Facultad de Medicina, Universidad Nacional Autónoma de México.
Correo electrónico: andretreme@facmed.unam.mx.
Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Resumen
Introducción: El Examen Clínico Objetivo Estructurado (ECOE) es una herramienta estandarizada para evaluar el desempeño de competencias clínicas. Desde 2012, la Facultad de Medicina de la UNAM ha implementado evaluaciones diagnósticas-formativas conocidas como Evaluaciones de Avance Académico (EAA). En la fase práctica de las EAA, se ha utilizado el ECOE, el cual ha sido adaptado y modificado a lo largo del tiempo hasta evolucionar en el denominado ECOE integrador.
Objetivo: Describir el proceso metodológico de una evaluación práctica de tipo formativa utilizando un ECOE integrador aplicado al estudiantado al finalizar el cuarto año de la LMC.
Método: El proceso metodológico se desarrolló en tres etapas: 1) Diseño y planeación, 2) Implementación y 3) Análisis de resultados. Para el diseño del instrumento de evaluación, se utilizó una tabla de especificaciones. Se elaboró una matriz de casos clínicos integrados por cuatro competencias cada uno y se organizaron circuitos de cuatro estaciones, cada una con duración de 12 minutos. Se diseñó una rúbrica analítica con cuatro niveles de desempeño: excelente, suficiente, insuficiente y deficiente. Se evaluaron 2,000 estudiantes en seis sedes clínicas durante tres días, con la participación de 124 evaluadores y 124 pacientes estandarizados. Al finalizar cada turno, se brindó realimentación a grupos de hasta 35 estudiantes.
Resultados: Se calculó un índice de discriminación de <0.0001 entre puntajes altos y bajos de los 91 ítems y el Alfa de Cronbach fue de 0.95. Para la determinación de la estructura interna se empleó el análisis de componentes principales se identificaron cuatro factores que explicaron el 68.96% de la varianza con un total de 17 iteraciones.
Conclusiones: La metodología expuesta, los recursos tecnológicos y los análisis estadísticos realizados, permiten desarrollar instrumentos y herramientas de evaluación que proporcionen al estudiantado información útil para adaptar sus actividades en favor de su aprendizaje.
Palabras clave: ECOE; evaluación formativa; realimentación; validez; confiabilidad.
Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Methodology of a Practice-Based Formative Assessment with an Integrative OSCE in the Medical Degree
Abstract
Introduction: The Objective Structured Clinical Examination (OSCE) is a standardized assessment of performance focused on clinical competency. Since 2012, the Faculty of Medicine at UNAM has implemented diagnostic-formative assessments known as Advanced Academic Assessments (AAA). During the practical phase of the AAA, the OSCE has been used, undergoing adaptations and modifications over the years, ultimately evolving into the integrative OSCE.
Objective: Describe the methodological process of a practice-based formative assessment using an integrative OSCE to fourth year medical students.
Methods: The methodological process was structured into three stages: 1) Design and planning, 2) Implementation, and 3) Analysis of results. To develop the assessment method, we used a table of specifications. A blueprint of clinical cases was designed, integrated by four competencies, and each circuit consisted of four stations, each lasting 12 minutes. An analytical rubric was developed with four performance levels: excellent, sufficient, insufficient, and deficient. A total of 2,000 students were assessed across six different locations over the course of three days, with the participation of 124 assessors and 124 standardized patients. At the end of each assessment shift, feedback was provided to groups of up to 35 students.
Results: We calculated a discrimination index of <0.0001 between high and low scores across the 91 items, along with a Cronbach’s Alpha of 0.95. To assess internal consistency, we conducted a principal component analysis, which identified four factors explaining 68.96% of the variance after 17 iterations.
Conclusions: The methodology described, along with the technological resources and statistical analyses performed, enabled the development of assessment instruments and tools that provide students with key information to adjust their learning activities effectively.
Keywords: OSCE, formative assessment, feedback, validity, reliability.
This is an Open Access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).
INTRODUCCIÓN
El Examen Clínico Objetivo Estructurado (ECOE) es una herramienta estandarizada para la evaluación del desempeño de competencias clínicas en un entorno simulado. Se fundamenta en la observación sistemática de la aplicación del conocimiento, la ejecución de habilidades y la demostración de actitudes profesionales, permitiendo una evaluación holística. Su diseño estructurado garantiza altos niveles de validez y confiabilidad1,2.
El ECOE fue desarrollado por Ronald Harden en la Universidad de Dundee y descrito en 1975. Su formato inicial consistía en un circuito de 18 estaciones y dos de descanso, cada una con duración de 4.5 minutos y pausas de 30 segundos entre ellas, lo que resultaba en un examen de 100 minutos. Cada estación estaba diseñada para evaluar una competencia específica1,2.
Durante los últimos 30 años, la evaluación formativa ha adquirido una relevancia creciente debido a su impacto en el proceso educativo, ya que permite conocer los niveles de desempeño del estudiantado para proporcionar realimentación de forma inmediata3.
La Facultad de Medicina (FM) de la Universidad Nacional Autónoma de México (UNAM) en la Licenciatura de Médico Cirujano (LMC) en 2010 implementó un plan de estudios (PE-2010) enfocado por competencias. Desde 2012 se aplican evaluaciones diagnósticas-formativas actualmente denominadas Evaluaciones de Avance Académico (EAA). Su propósito ha sido estimular el estudio continuo e independiente del estudiantado y determinar su nivel de avance en las competencias. Están compuestas por dos fases: teórica y práctica; en la práctica de las EAA se ha utilizado el ECOE4,5.
El ECOE en la FM ha experimentado una evolución continua desde su implementación en 2002 como parte del examen profesional (EP)4. En 2015, con el apoyo del National Board of Medical Examiners (NBME), se desarrolló un ECOE más alineado a la competencia clínica. Se emplearon escalas globales con descriptores específicos para los niveles extremos de desempeño.
En 2017, la FM implementó un nuevo formato del ECOE para evaluar seis competencias, utilizando rúbricas holísticas con cuatro niveles de desempeño7. Este formato influyó en las EAA, consolidándose como un instrumento más integrador al evaluar cuatro competencias por estación, denominado ECOE integrador. Cabe destacar que, en 2020, debido a la pandemia, su formato se adaptó de modalidad presencial a en línea para la aplicación del EP en 2021 y 20228.
OBJETIVO
Describir el proceso metodológico de una evaluación práctica de tipo formativa utilizando un ECOE integrador aplicado al estudiantado al finalizar el cuarto año de la LMC en el año 2023.
MÉTODO
El proceso metodológico de esta evaluación práctica se conformó por tres etapas: 1) Diseño y planeación; 2) Implementación; 3) Análisis de los resultados1,9.
Etapa 1: Diseño y planeación
Tabla de especificaciones
En el PE-2010 se describen los perfiles de la LMC: ingreso, intermedio I (primera fase), intermedio II (segunda fase) y de egreso; en cada uno se especifican los atributos de las ocho competencias que debe alcanzar el estudiantado. El perfil intermedio II fue la referencia para la construcción de la tabla de especificaciones de la EAA III5.
La tabla de especificaciones permitió el diseño del instrumento de evaluación, se compone por categorías que clasifican a los ítems en: competencia, atributo de competencia, habilidad clínica, área clínica y nivel taxonómico (tabla 1)10.
Tabla 1. Ejemplo de tabla de especificaciones de la Estación 1
|
Estación (E) |
Ítems (I) |
Competencia (C) |
Atributo de competencia |
Habilidad clínica |
Nivel taxonómico (NT) |
Área clínica |
|
E1 Sangrado transvaginal |
I1 |
C5. Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación |
Hace uso adecuado del interrogatorio, del examen físico y del laboratorio y gabinete como medio para obtener la información del paciente, registrarla dentro de la historia clínica y fundamentar la toma de decisiones, los diagnósticos y el pronóstico |
Interrogatorio: Padecimiento actual |
NT2. Aplicar conceptos, principios y procedimientos |
Ginecoobstetricia |
|
I2 |
Interrogatorio: Semiología signos / síntomas |
NT1. Comprender y organizar información |
||||
|
I3 |
Interrogatorio: Antecedentes relevantes |
NT1. Comprender y organizar información |
||||
|
I4 |
Exploración física dirigida |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I5 |
Descripción de técnicas de exploración física |
NT1. Comprender y organizar información |
||||
|
I6 |
Interpretación de hallazgos de exploración física |
NT1. Comprender y organizar información |
||||
|
I7 |
Solicitud de estudios de laboratorio / gabinete |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I8 |
Interpretación de estudios de laboratorio / gabinete |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I9 |
Diagnóstico principal y diagnósticos complementarios |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I10 |
Fundamentación del diagnóstico |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I11 |
Tratamiento no farmacológico inicial |
NT1. Comprender y organizar información |
||||
|
I12 |
C3. Comunicación efectiva |
Interactúa de manera verbal y no verbal con los pacientes y con la comunidad a fin de lograr una relación médico paciente constructiva, eficaz y respetuosa |
Comunicación verbal |
NT2. Aplicar conceptos, principios y procedimientos |
||
|
I13 |
Comunicación paraverbal |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I14 |
Comunicación no verbal |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I15 |
Evaluación por el paciente |
NT1. Comprender y organizar información |
||||
|
I16 |
C6. Profesionalismo, aspectos éticos y responsabilidades legales |
Establece una relación empática médico paciente y de aceptación de la diversidad cultural, con base en el análisis de las condiciones psicosociales y culturales del paciente, la ética médica y las normas legales |
Profesionalismo |
NT2. Aplicar conceptos, principios y procedimientos |
||
|
I17 |
Aspectos éticos |
NT2. Aplicar conceptos, principios y procedimientos |
||||
|
I18 |
Responsabilidades legales: consentimiento informado |
NT1. Comprender y organizar información |
||||
|
I19 |
C-7 Salud poblacional y Sistema de salud |
Aplica las recomendaciones establecidas en las normas oficiales mexicanas con respecto a los problemas de salud en el país |
Promoción de la salud |
NT2. Aplicar conceptos, principios y procedimientos |
||
|
I20 |
Prevención de la enfermedad |
NT2. Aplicar conceptos, principios y procedimientos |
||||
Estructura del ECOE integrador
Se elaboró una matriz de casos clínicos integrados por competencias (C) evaluadas en las cuatro estaciones (anexo 1)10,11. En cada estación se evaluaron cuatro competencias, la C3 y C5 se evaluaron en todas las estaciones, debido a su carácter transversal en el ejercicio de la medicina. La C1, C4, C6 y C7 se evaluaron de forma alternada (tabla 2)12.
Las estaciones se clasificaron con base en el síntoma-signo cardinal que manifestaba el paciente estandarizado (PE). Se diseñaron ocho casos clínicos, equivalentes en la composición de competencias, dos por cada signo-síntoma cardinal; se conformaron tres versiones del examen con el propósito de mantener la validez del instrumento. La duración de cada estación fue de 12 minutos (tabla 2).
La elección de casos clínicos se basó en el panorama epidemiológico nacional y las principales causas de morbimortalidad del 2022 descritas por el Instituto Nacional de Estadística y Geografía (INEGI) y la Dirección General de Epidemiología. Se fundamentó en los programas académicos de la LMC del octavo y noveno semestres y en las áreas clínicas de Pediatría, Ginecología y Obstetricia, Medicina Interna y Urgencias en el contexto del primer nivel de atención10.
Tabla 2. Matriz de casos clínicos del ECOE integrador vinculados a competencias
|
Estación (E) / Caso clínico |
C1 |
C3 |
C4 |
C5 |
C6 |
C7 |
|
E1. Sangrado transvaginal |
|
|
|
|
||
|
E2. Dolor torácico |
|
|
|
|
||
|
E3. Control del niño |
|
|
|
|
||
|
E4. Tos |
|
|
|
|
En cada uno de los rectángulos se indica con círculos verdes si la competencia se incluyó en la estación del ECOE.
E, estación; C, competencia. C1 pensamiento crítico, juicio clínico y toma de decisiones; C3 comunicación efectiva; C4 aplicación de las ciencias biomédicas, clínicas y sociomédicas; C5 habilidades clínicas; C6 profesionalismo, aspectos éticos y responsabilidades legales; C7 promoción de la salud y prevención de la enfermedad.
Instrumento de evaluación
Entre julio y septiembre de 2023, el comité de diseño (CD), integrado por tres médicos expertos en evaluación, desarrolló una rúbrica analítica con cuatro niveles de desempeño (excelente, suficiente, insuficiente y deficiente) y sus descriptores1. Los atributos de competencia se operacionalizaron en habilidades clínicas basadas en el acto médico, el perfil intermedio II y el nivel taxonómico (anexo 2)10,13,14.
Un comité técnico-médico (C-TM), integrado por 14 médicos-académicos expertos en educación médica y evaluación en los ECOE, validó por consenso cada ítem de la rúbrica en cuatro sesiones plenarias vía Zoom. El objetivo fue asegurar la congruencia de los ítems con las habilidades clínicas operacionalizadas, la exclusión mutua entre niveles de desempeño y corregir errores de redacción u ortografía. Con base en sus observaciones, el Comité de Diseño (CD) realizó las adecuaciones pertinentes.
Un tercer comité compuesto por un psicometrista y una psicóloga, expertos en evaluación educativa, validaron de forma individual que cada ítem tuviera consistencia con el atributo de competencia y el nivel taxonómico, con base en la taxonomía de operaciones cognitivas de Sandra Castañeda; asimismo, que el proceso cognitivo correspondiera a la tarea solicitada al estudiantado. Las observaciones permitieron corregir algunos descriptores de los niveles de desempeño10.
Materiales de las estaciones del ECOE
Para cada estación del ECOE se elaboraron cuatro materiales: libreto, guía del evaluador, estudios de laboratorio-gabinete-hallazgos de exploración física y las instrucciones para el estudiantado. Todos los materiales se vincularon de manera lógica y congruente6,8.
El libreto describe el padecimiento, antecedentes relevantes y perfil de personalidad del PE e incluye posibles preguntas del estudiantado. La guía del evaluador presenta la información técnico-médica del caso clínico, organizada por competencias y habilidades. Los estudios de laboratorio-gabinete-hallazgos de exploración física se elaboran a partir del caso y se proporcionan a solicitud del sustentante. Las instrucciones para el estudiantado, que detallan las tareas a realizar, permanecen visibles durante los 12 minutos de la estación (anexo 3).
La elaboración de los materiales estuvo a cargo del CD y C-TM. De septiembre a noviembre de 2023, se conformaron pares de diseñadores responsables de su construcción, basándose en la matriz y formatos específicos proporcionados por la coordinación de evaluación práctica (CEP). Los comités se reunieron semanalmente por Zoom para revisar las características técnico-médicas y la congruencia con el instrumento de evaluación.
Estrategia de realimentación
Un comité multidisciplinario integrado por médicos, psicólogos e ingenieros de la Secretaría de Educación Médica (SEM), de agosto a septiembre del 2023, diseñaron una estrategia de realimentación que se realizó inmediatamente al finalizar el turno de la evaluación con el objetivo de que el estudiantado conociera su desempeño por competencias y por habilidad clínica15.
Plan general de la aplicación
La CEP diseñó el plan general de aplicación del ECOE en tres días de fin de semana, distribuidos en tres y seis turnos de 60 minutos cada uno, para evaluar a 2,000 estudiantes que completaron el cuarto año de la LMC. El día 1 se implementaron 16 circuitos, mientras que en los días 2 y 3 se utilizaron 31 circuitos por día. Al finalizar cada turno, se realizó una sesión de realimentación de 20 minutos para grupos de hasta 35 estudiantes.
Para la aplicación se utilizó el Centro de Evaluación y Certificación de Competencias en Salud (CECCOMS), tres unidades de medicina familiar del Instituto Mexicano del Seguro Social (IMSS) y tres clínicas de medicina familiar del Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado (ISSSTE).
Se planificó el capital humano requerido, el presupuesto y los recursos materiales necesarios. El personal involucrado en el proceso estuvo conformado por 124 evaluadores, 124 pacientes estandarizados (PE), 30 coordinadores (de sede, operativo, logística e informática), 14 integrantes de apoyo en informática y 23 de apoyo administrativo16.
Etapa 2: Implementación
Reclutamiento y organización del personal
La coordinación de logística (CL) reclutó al personal de agosto a octubre de 2023, convocando principalmente a personas con experiencia previa mediante mensajería instantánea. Para monitorear el estatus de confirmación, la CEP y la CL compartieron bases de datos en una nube institucional, lo que permitió visualizar cambios en tiempo real, tomar decisiones y cubrir vacantes de manera oportuna16.
Se organizó el número de circuitos con cinco estaciones, cuatro efectivas y una de descanso. De acuerdo con el fenotipo requerido se organizaron a los PE, recibieron los libretos una semana antes de la aplicación.
Todos los evaluadores convocados fueron médicos de primer contacto con experiencia clínica mínima de dos años, docentes de la FM y capacitados en este tipo de evaluaciones. La mayoría de los PE reclutados tenían por lo menos una experiencia previa en este tipo de evaluaciones y previamente capacitados. La mayor proporción de evaluadores y PE se mantuvieron en la misma estación durante la aplicación.
Se citó al personal una hora y media previa a la evaluación con el objetivo de organizar todos los circuitos. Asimismo, para que los evaluadores tuvieran el tiempo de abordar el caso clínico y pudieran resolver dudas del libreto con los PE.
Capacitación
En octubre de 2023, la CEP y la CL impartieron dos cursos sincrónicos por Zoom para los evaluadores16. El primero abordó el instrumento de evaluación y resolvió dudas, mientras que el segundo definió sus funciones, aspectos técnicos del sistema evaluador del ECOE (SE-ECOE) y la logística general de aplicación. Además, los evaluadores de reciente ingreso completaron un tercer curso autogestivo en Google Classroom, centrado en las generalidades del ECOE y dos ejercicios de simulación para familiarizarse con el proceso1,17.
A los PE se les impartió un curso sincrónico por Zoom con el propósito de describir sus funciones y capacitarlos acerca de cómo evaluar la relación médico-paciente. A los PE recién integrados, se les impartió un curso por Zoom para que conocieran la estructura del libreto y la representación del caso.
Los coordinadores de sede y operativos recibieron un curso de capacitación centrado en circunscribir sus funciones y para conocer la estrategia de realimentación.
Sistema de evaluación del ECOE y proceso de calificación
El instrumento de evaluación validado se transfirió al DIM para su carga en el SE-ECOE. Este software, desarrollado por la SEM, permite a los evaluadores, a través de una tableta electrónica, visualizar la asignación del estudiantado, calificar cada rubro del instrumento, consultar descriptores y realizar el proceso de calificación. Asimismo, facilita la monitorización en tiempo real para detectar inconsistencias u omisiones en los rubros evaluados19.
Las tabletas se utilizaron para mostrar al estudiantado los estudios de laboratorio-gabinete y hallazgos de exploración física. Si el estudiantado requería algún estudio, debía solicitarlo al evaluador, quien calificaba dicha solicitud. Dado que algunos hallazgos de exploración no son susceptibles de simulación, el sustentante seleccionaba la región a explorar y describía las técnicas correspondientes. Si la descripción era correcta, podía solicitar al evaluador información sobre los hallazgos esperados. Previo a la aplicación, los evaluadores recibieron capacitación y un video tutorial para familiarizarse con este procedimiento.
Comunicación y organización del estudiantado
Dos semanas antes de la aplicación, el estudiantado recibió un comunicado personalizado por correo electrónico con la siguiente información: fecha de evaluación, sede y dirección, hora de cita y de aplicación, turno, circuito y color asignado, estación inicial y un tutorial explicativo del proceso de evaluación. Esta comunicación se reforzó mediante un segundo comunicado una semana antes de la aplicación.
El día de la aplicación el estudiantado fue recibido por el coordinador de sede que les dio la bienvenida y les reiteró la información acerca del proceso de evaluación; resolvió dudas, identificó a cada estudiante y colocó una etiqueta de color correspondiente al circuito asignado y la estación de inicio.
En un segundo momento los coordinadores operativos, encargados de los diferentes circuitos, tomaron lista del estudiantado y les dieron las indicaciones generales del cómo rotar por las diferentes estaciones.
Proceso de realimentación
Al finalizar la evaluación direccionaron al estudiantado a la sala de realimentación. Este proceso fue impartido por los coordinadores de sede u operativos, previamente capacitados en este proceso. Esta estrategia se compuso de cinco momentos:
1.Bienvenida y reflexión. Al estudiantado se le dio la bienvenida y se les comunicó el objetivo de esta realimentación. Se recabaron algunos comentarios y opiniones sobre su sentir.
2.Mensaje. Se les emitió un mensaje de la FM para reforzar la información sobre el objetivo de este tipo de evaluaciones.
3.Reporte de desempeño. Se elaboró en una plataforma creada por la SEM. El desempeño del estudiantado se clasificó con base en los cuatro niveles, consistentes con las rúbricas. Se utilizó sus números de cuenta para proteger sus datos personales19.
4.Interpretación de los resultados de la realimentación. Al estudiantado se le presentó una tabla con los cuatro niveles de desempeño, su interpretación y puntos de corte, para que pudieran ubicarse según sus resultados. Asimismo, se les recomendó utilizar los recursos educativos disponibles para fortalecer su aprendizaje.
5.Encuesta de satisfacción. Se les mostró un código QR para contestar preguntas sobre su aprendizaje, la realimentación recibida y su experiencia en esta evaluación.
Etapa 3: Análisis de los resultados
Se realizó el análisis psicométrico del instrumento. Se calculó la discriminación de cada uno de los ítems utilizando la prueba t de Student, la consistencia interna del instrumento empleando el Alfa de Cronbach y la estructura por medio del análisis de componentes principales con el método de rotación varimax. Para la realización de estos análisis se utilizó el paquete estadístico SPSS versión 25 (SPSS Statistics, IBM; Stanford, California)10,20,21.
Consideraciones éticas
Se eliminaron los identificadores individuales; se presentan únicamente resultados agregados, siempre se mantuvo el anonimato de los sustentantes.
Resultados
Con base en la etapa 1: planeación y diseño, se elaboró una rúbrica analítica para la estructura del ECOE integrador, compuesta por 91 ítems distribuidos de la siguiente manera: C1 (8.8%), C3 (17.6%), C4 (4.4%), C5 (49.4%), C6 (6.6%), C7 (4.4%) y valoración global (8.8%). Cada ítem se operacionalizó en distintas habilidades, según los atributos de las competencias del perfil correspondiente (tabla 3).
Tabla 3. Número de ítems por competencia y habilidades operacionalizadas con base en los atributos
|
Competencia |
Habilidades operacionalizadas |
Número de ítems |
|
1. Pensamiento crítico, juicio clínico y toma de decisiones |
Justificación de estudios de laboratorio / gabinete |
8 |
|
Clasificación del diagnóstico principal |
||
|
Diagnósticos diferenciales |
||
|
Resolución integral |
||
|
3. Comunicación efectiva |
Comunicación verbal |
16 |
|
Comunicación paraverbal |
||
|
Comunicación no verbal |
||
|
Evaluación por el paciente |
||
|
4. Aplicación de las ciencias biomédicas, clínicas y sociomédicas |
Aplicación de ciencias clínicas (Fisiopatología) |
4 |
|
Aplicación de ciencias clínicas (Efecto terapéutico) |
||
|
5. Habilidades clínicas |
Interrogatorio: Padecimiento actual |
45 |
|
Interrogatorio: Semiología signos / síntomas |
||
|
Interrogatorio: Antecedentes relevantes |
||
|
Exploración física dirigida |
||
|
Descripción de técnicas de exploración física |
||
|
Interpretación de hallazgos de exploración física |
||
|
Solicitud de estudios de laboratorio / gabinete |
||
|
Interpretación de estudios de laboratorio / gabinete |
||
|
Diagnóstico principal y diagnósticos complementarios |
||
|
Fundamentación del diagnóstico |
||
|
Tratamiento no farmacológico inicial |
||
|
Tratamiento farmacológico inicial |
||
|
Posología |
||
|
6. Profesionalismo, aspectos éticos y responsabilidades legales |
Profesionalismo |
6 |
|
Aspectos éticos |
||
|
Responsabilidades legales: consentimiento informado |
||
|
7. Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad |
Promoción de la salud |
4 |
|
Prevención de la enfermedad |
||
|
N/A |
Valoración global (habilidades clínicas y en la entrevista) |
8 |
|
Total |
91 |
|
Con base en las cuatro estaciones, los ítems se distribuyeron de la siguiente forma: E1 = 22; E2 = 25; E3 = 19; E4 = 25. Se diseñaron casos equivalentes para las estaciones y se conformaron diferentes versiones; en total se diseñaron 24 materiales distintos.
Para la Etapa 3: Análisis de los resultados, se realizó el análisis psicométrico correspondiente, se examinaron las respuestas de los sustentantes en los 91 ítems, se obtuvo un índice de discriminación de <0.0001 entre los puntajes altos y bajos y la consistencia interna de la prueba con Alfa de Cronbach con un valor de 0.95. Para la determinación de la estructura interna de la prueba se empleó el análisis de componentes principales se identificaron cuatro factores que explicaron el 68.96% de la varianza (tabla 4).
Tabla 4. Análisis psicométrico
|
Discriminación† |
Consistencia interna |
Estructura de la prueba Análisis de Componentes Principales Iteraciones |
|||||
|
EAA III |
<0.001 |
Alfa de Cronbach |
Determinante (X2) |
KMO |
Esfericidad Bartlett |
Factores identificados |
Varianza explicada |
|
0.95 |
<0.001 |
0.95 |
. <0.001 |
4 |
68.9% |
||
†La discriminación corresponde a los 91 reactivos del instrumento.
Discusión
Es reconocida la importancia de la capacitación de los evaluadores y pacientes estandarizados para obtener resultados confiables. Asimismo, la selección de los evaluadores que correspondan al área en la cual se desempeñarán los sustentantes, en nuestro contexto Medicina General y Familiar9.
El uso de rúbricas holísticas permitió analizar la discriminación entre puntajes altos y bajos, algo que no era posible con las listas de cotejo9.
En el análisis psicométrico el Alfa de Cronbach fue considerado alto, comparado con 0.60 de otra evaluación de este tipo realizada al estudiantado que concluyó cuarto año y que consistía en cinco estaciones de 12 minutos24. De acuerdo con la estructura interna de esta EAA III 2023 se empleó el análisis de componentes principales y se identificaron cuatro factores que explicaron el 68.9% de la varianza consistente con un patrón de respuestas intencionado.
La realimentación oportuna es un paso fundamental en la efectividad lo que significa que entre más cercana esté la información que se les proporciona al estudiantado sobre su desempeño en la evaluación y la práctica deliberada, más efectiva será esta.
Las evaluaciones de tipo formativo son importantes ya que nos ayudan a verificar que se evalúan las competencias reales; este tipo de evaluaciones empodera al estudiantado y les permite familiarizarse con el formato del ECOE, lo que aumenta sus probabilidades de éxito en el examen profesional25,26.
Entre las fortalezas de esta metodología se destacan: 1) la aplicación del ECOE integrador a una amplia matrícula estudiantil en un tiempo reducido, 2) los altos estándares psicométricos de la prueba, 3) la realimentación inmediata brindada a la totalidad del estudiantado y 4) el control de las variables en cada etapa del proceso metodológico.
Algunas de las limitaciones identificadas en esta metodología incluyen la distribución desigual de las competencias en el instrumento, con una mayor representación de la competencia C5, lo que plantea el reto de equilibrar dicha distribución en futuros diseños de las evaluaciones prácticas. Otra, la dificultad para emitir una realimentación más personalizada a cada uno de los estudiantes.
Conclusiones
La metodología expuesta, los recursos tecnológicos y los análisis estadísticos realizados permiten crear instrumentos y herramientas de evaluación válidos y de calidad para evidenciar el desarrollo de las competencias del estudiantado de la LMC18,21,22.
La evaluación práctica formativa con el ECOE integrador al estudiantado de cuarto año de la LMC representó un reto importante debido a los contenidos de los programas académicos, la matrícula extensa, la realimentación inmediata y la coordinación de diferentes participantes en esta evaluación23.
El impacto positivo del ECOE depende de la semejanza de la simulación con la realidad a la que se enfrenta el estudiantado en las estaciones. Como resultado, el ECOE se ha consolidado como una metodología clave en la educación médica, contribuyendo a la formación de profesionales de la salud con competencias integrales y adecuadas para la atención de los pacientes1.
CONTRIBUCIÓN INDIVIDUAL
•CASA: Conceptualización, metodología, análisis, escritura-borrador inicial.
•JATM: Conceptualización, análisis, escritura-borrador inicial.
•AC: Conceptualización, escritura-revisión y edición.
•AOM: Conceptualización, escritura-revisión y edición, supervisión.
•AAH: Curación de datos, análisis, escritura-revisión y edición.
•ACSV: Conceptualización, escritura-revisión y edición, supervisión.
AGRADECIMIENTOS
Los autores expresan su profundo agradecimiento a la Dra. Angélica Arce Cedeño y a la Lic. Alejandra Navarro Escalera por su valiosa colaboración en la validación del instrumento de evaluación; de igual forma, a las médicas y médicos pertenecientes al Programa de Renovación del ECOE. Asimismo, agradecen a la Mtra. Argelia Rosales Vega y al Ing. Alejandro Enríquez Andonaegui por su apoyo en el ensamblaje de la prueba dentro del sistema de evaluación. De igual manera, extienden su reconocimiento a los ingenieros Mauricio Pilar Díaz y Cuauhtémoc Alejandro Medina Uicab por su trabajo en el desarrollo del sistema de evaluación del Examen Clínico Objetivo Estructurado (ECOE). Finalmente, los autores agradecen a todo el capital humano que hace posible la realización de este tipo de evaluaciones, incluyendo a los pacientes estandarizados, evaluadores, coordinadores y personal de apoyo administrativo, cuyo compromiso y esfuerzo son fundamentales para el éxito de este proceso de evaluación.
PRESENTACIONES PREVIAS
Presentación parcial de la metodología en la Conferencia de la AMEE 2024 en Basilea, Suiza en modalidad e-poster.
Presentación parcial de metodología y psicométricos en diapositivas en: Soto Aguilera CA, Mejía JAT, Montalvo AO et al. A face-to-face OSCE in fourth year medical students: A formative assessment [version 1; not peer reviewed]. MedEdPublish 2024;14:177 (slides) (https://doi.org/10.21955/mep.1115609.1).
FINANCIAMIENTO
Ninguno.
CONFLICTO DE INTERESES
Ninguno.
DECLARACIÓN DE IA
Durante la realización de este trabajo, los autores utilizaron OpenAI (ChatGPT-4o) con el propósito de mejorar el estilo de redacción en un total de seis párrafos de la introducción y la discusión. Posteriormente, los autores revisaron y editaron el contenido según consideraron necesario, asumiendo plena responsabilidad por la versión final del manuscrito.
REFERENCIAS
1.Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Med Teach. 2013;35(9):e1437-46. DOI: 10.3109/0142159X.2013.818634
2.Harden R, Stevenson W, Downie W, Wilson G. Assessment of Clinical Competence Using an Objective Structured Examination (OSCE). Brit Med J. 1975;1:447-451. DOI: 10.1136/bmj.1.5955.447
3.Moreno T, Ramírez A Evaluación formativa y retroalimentación del aprendizaje. En: Sánchez M y Martínez A. Evaluación y aprendizaje en educación universitaria: estrategias e instrumentos. 2022; pp. 73-92, Ciudad de México CDMX, Editorial Universidad Nacional Autónoma de México.
4.Trejo J, Martínez A, Méndez I, Morales S, Ruíz L, Sánchez M. Evaluación de la Competencia Clínica con el Examen Clínico Objetivo Estructurado (ECOE) en el Internado Médico de la UNAM. Gac Med Mex. 2014;150:8-17. Disponible en: https://www.anmm.org.mx/bgmm/2014/1/GMM_150_2014_1_008-017.pdf
5.Facultad de Medicina UNAM. Plan de Estudios 2010 y Programas Académicos de la Licenciatura de Médico Cirujano. En: Facultad de Medicina UNAM, editor. Ciudad Universitaria. 2009; p. 1-150. Disponible en: http://www.facmed.unam.mx/plan/PEFMUNAM.pdf
6.Martínez-González A, Sánchez-Mendiola M, Olivares-Olivares S, Grimaldo-Avilés J, Trejo-Mejía J, Martínez-Franco A, Alpuche-Hernández A, Furman G. Colaboración de tres escuelas de medicina de México en un examen clínico objetivo estructurado (ECOE) Inv Ed Med. 2020;9(36). doi.org/10.22201/fm.20075057e.2020.36.20258
7.Alpuche A, Trejo J, Peña J, Ortiz A. Diseño y elaboración de rúbricas para evaluar competencias de estudiantes de medicina en un Examen Clínico Objetivo. Psicol Educ. 2021;8:58-64. Disponible en: https://revistapsicologiaeducativa.unam.mx/index.php/psicologiaeducativa/article/view/59
8.Trejo Mejía J, Peña Balderas J, Soto Aguilera C, Alpuche Hernández A, Ortiz Montalvo A y Cerritos A. Adaptación de un ECOE presencial a modalidad en línea para un examen de altas consecuencias. Investigación en Educación Médica. 2022;43(11):16-35. doi.org/10.22201/fm.20075057e.2022.43.21399
9.Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: organization & administration. Med Teach. 2013;35(9):e1447-e1463. DOI: 10.3109/0142159X.2013.81863
10.Daniels VJ, Pugh D. Twelve tips for developing an OSCE that measures what you want. Med Teach. 2017;40(12):1208-1213. DOI: 10.1080/0142159X.2017.1390214
11.Patrício MF, Julião M, Fareleira F, Carneiro AV. Is the OSCE a feasible tool to assess competencies in undergraduate medical education? Med Teach. 2013;35(6):503-514. DOI: 10.3109/0142159X.2013.774330
12.Cömert M, Zill JM, Christalle E, Dirmaier J, Härter M, Scholl I. Assessing Communication Skills of Medical Students in Objective Structured Clinical Examinations (OSCE)-A Systematic Review of Rating Scales. PLoS One. 2016;31;11(3):e0152717. DOI: 10.1371/journal.pone.0152717
13.White CB, Ross PT, Haftel HM. Assessing the assessment: are senior summative OSCEs measuring advanced knowledge, skills, and attitudes? Acad Med. 2008;83(12):1191-5. DOI: 10.1097/ACM.0b013e31818c6f6a
14.Hodges B. Validity and the OSCE. Med Teach. 2003;25(3): 250-254. DOI: 10.1080/01421590310001002836
15.Ahmed A, Alwaheedy M, Choudhury A, Chowdhury SN, Khan M, Kunduzi B, et al. The value of quality feedback in formative OSCEs. Med Educ Online. 2017;22(1). DOI: 10.1080/10872981.2017.1353877
16.Gilani S, Pankhania K, Aruketty M, Naeem F, Alkhayyat A, Akhtar U, et al. Twelve tips to organise a mock OSCE. Med Teach. 2021;44(1):26-31. DOI: 10.1080/0142159X.2021.1887465
17.Preusche I, Schmidts M, Wagner-Menghin M. Twelve tips for designing and implementing a structured rater training in OSCEs. Med Teach. 2012;34(5):368-72. DOI: 10.3109/0142159X.2012.652705
18.Boursicot K, Kemp S, Norcini J, Nadarajah VD, Humphrey-Murto S, Archer E, et al. Synthesis and perspectives from the Ottawa 2022 conference on the assessment of competence. Med Teach. 2023;45(9):978-983. DOI: 10.1080/0142159X.2023.2174420
19.Denison A, Bate E, Thompson J. Tablet versus paper marking in assessment: feedback matters. Perspect Med Educ. 2016;5(2):108-113. DOI: 10.1007/s40037-016-0262-8
20.Pell G, Fuller R, Homer M, Roberts T. How to measure the quality of the OSCE: A review of metrics – AMEE guide no. 49. Med Teach. 2010;32(10):802-811. https://doi.org/cv33vf
21.Cook DA, Hatala R. Validation of educational assessments: a primer for simulation and beyond. Adv Simul (Lond). 2016;1:31. DOI: 10.1186/s41077-016-0033-y
22.Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, Galbraith R, Hays R, Kent A, Perrott V, Roberts T. Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach. 2011;33(3):206-14. DOI: 10.3109/0142159X.2011.551559
23.Harden RM. Misconceptions and the OSCE. Med Teach. 2015;37(7):608-610. DOI: 10.3109/0142159X.2015.1042443
24.Martínez-González A, Lifshitz-Guinzberg A, Trejo-Mejía JA, Torruco-García U, Fortoul-Van Der Goes TI, Flores-Hernández F, et al. Evaluación diagnóstica y formativa de competencias en estudiantes de medicina a su ingreso al internado médico de pregrado. Gac Med Mex. 2017;153(1):6-15. Disponible en: https://www.anmm.org.mx/GMM/2017/n1/GMM_153_2017_1_006-015.pdf
25.Neuwirt H, Eder I, Gauckler P, Horvath L, Koeck S, Nofatscher M, et al. Impact of familiarity with the format of the exam on performance in the OSCE of undergraduate medical students – an interventional study. BMC Med Educ.2024;24(179). DOI: 10.1186/s12909-024-05091-0
26.Saeed S, Afzal A, Khalid F, Jehan F. Student experiences of simulation-based learning and its impact on their performance in objective structured clinical examination in Pediatrics: A mixed-method study. Pak J Med Sci.2023;39(4):34-4. DOI: 10.12669/pjms.39.4.7287
Anexo 1
Matriz por competencia y habilidades clínicas de la estación 1
|
Estación 1 (Ginecología y Obstetricia) |
|
|
Competencia 5. Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación |
|
|
5.1.1 |
Interrogatorio: padecimiento actual |
|
5.1.2 |
Interrogatorio: semiología de síntomas / semiótica de signos (clínica) |
|
5.1.3 |
Interrogatorio: antecedentes relevantes† |
|
5.2.1 |
Exploración física: racional (dirigida) |
|
5.2.2 |
Exploración física: descripción |
|
5.2.3 |
Exploración física: interpretación de hallazgos † |
|
5.3.1 |
Estudios de laboratorio / gabinete: solicitud |
|
5.3.2 |
Estudios de laboratorio / gabinete: interpretación |
|
5.4.1 |
Diagnóstico principal y diagnósticos complementarios |
|
5.4.2 |
Fundamentación del diagnóstico principal |
|
5.5.1 |
Tratamiento no farmacológico inicial |
|
VGP |
Valoración global de los conocimientos y habilidades |
|
Competencia 3. Comunicación efectiva |
|
|
3.10.1 |
Comunicación verbal |
|
3.10.2 |
Comunicación paraverbal |
|
3.11* |
Comunicación no verbal † |
|
3.12 |
Evaluación por el paciente |
|
VGP |
Valoración global de las habilidades en la entrevista |
|
Competencia 6. Profesionalismo, aspectos éticos y responsabilidades legales |
|
|
6.15.1 |
Profesionalismo † |
|
6.16 |
Aspectos éticos |
|
6.17.1 |
Responsabilidades legales: consentimiento informado |
|
Competencia 7. Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad |
|
|
7.18.1 |
Promoción de la salud |
|
7.18.2 |
Prevención de la enfermedad† |
† Estas habilidades se ejemplifican en la rúbrica analítica en el Anexo 2.
Anexo 2
Ejemplo de rubros del instrumento de evaluación
5.1.3 Interrogatorio: antecedentes relevantes
Atributo: 1. Utiliza de manera adecuada el interrogatorio, el examen físico y de laboratorio y gabinete para obtener información del paciente, registrarla en la historia clínica y sustentar la toma de decisiones, los diagnósticos y el pronóstico.
• Nivel taxonómico: 1. Comprender y organizar información.
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Omite obtener antecedentes relevantes para el padecimiento actual. |
Obtiene los antecedentes relevantes para el padecimiento actual de manera imprecisa con <50% de aciertos |
Obtiene los antecedentes relevantes para el padecimiento actual de manera precisa con entre 50% y <75% de aciertos |
Obtiene los antecedentes relevantes para el padecimiento actual de manera precisa con 75% de aciertos |
5.2.3 Exploración física: interpretación de hallazgos
Atributo: 1. Utiliza de manera adecuada el interrogatorio, el examen físico y de laboratorio y gabinete para obtener información del paciente, registrarla en la historia clínica y sustentar la toma de decisiones, los diagnósticos y el pronóstico.
• Nivel taxonómico: 3. Resolver problemas.
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Omite interpretar los hallazgos de exploración física del paciente |
Interpreta los hallazgos de exploración física del paciente con <50% de aciertos |
Interpreta los hallazgos de exploración física del paciente con entre 50% y <75% de aciertos |
Interpreta los hallazgos de exploración física del paciente con 75% de aciertos |
3.11 Comunicación no verbal
Atributo: 1. Interactúa de manera verbal y no verbal con los pacientes y con la comunidad a fin de lograr una relación médico-paciente constructiva, eficaz y respetuosa.
• Nivel taxonómico: 2. Aplicar conceptos, principios y procedimientos.
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Exhibe deficiente control de la expresión no verbal (contacto visual, gesticulación, postura y uso del silencio) para involucrar al paciente |
Exhibe insuficiente control de la expresión no verbal (contacto visual, gesticulación, postura y uso del silencio) para involucrar al paciente |
Exhibe suficiente control de la expresión no verbal (contacto visual, gesticulación, postura y uso del silencio) para involucrar al paciente |
Exhibe fineza y dominio de la expresión no verbal (contacto visual, gesticulación, postura) para involucrar al paciente |
6.15.1 Profesionalismo
Atributo: 1. Establece una relación empática médico-paciente y de aceptación de la diversidad cultural con base en el análisis de las condiciones psicosociales y culturales del paciente, la ética médica y las normas legales.
• Nivel taxonómico: 2. Aplicar conceptos, principios y procedimientos.
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Omite establecer una relación médico-paciente de acuerdo con los principios profesionales de la práctica médica |
Establece una relación médico-paciente poco respetuosa y empática de acuerdo con los principios profesionales de la práctica médica |
Establece una relación médico-paciente respetuosa y moderadamente empática de acuerdo con los principios profesionales de la práctica médica |
Establece una relación médico-paciente respetuosa y completamente empática de acuerdo con los principios profesionales de la práctica médica |
7.18.2 Prevención de la enfermedad
Atributo: 2. Aplica las recomendaciones establecidas en las normas oficiales mexicanas con respecto a los problemas de salud en el país.
• Nivel taxonómico: 2. Aplicar conceptos, principios y procedimientos.
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Omite fomentar medidas preventivas primarias o secundarias para reducir factores de riesgo o complicaciones de acuerdo con el caso y los programas nacionales de salud |
Fomenta medidas preventivas primarias o secundarias para reducir factores de riesgo o complicaciones de forma incorrecta e incompleta de acuerdo con el caso y los programas nacionales de salud |
Fomenta medidas preventivas primarias o secundarias para reducir factores de riesgo o complicaciones de forma correcta; pero incompleta de acuerdo con el caso y los programas nacionales de salud |
Fomenta medidas preventivas primarias o secundarias para reducir factores de riesgo o complicaciones de forma correcta y completa de acuerdo con el caso y los programas nacionales de salud |
Anexo 3
Instrucciones para el estudiante de la estación 1
Paciente que se presenta a consulta del primer nivel de atención por sangrado transvaginal.
Signos vitales
Temperatura: 36.5ºC
Presión Arterial: 110/70 mm Hg
Frecuencia cardiaca: 80 lpm
Frecuencia respiratoria: 20 rpm
Tareas para el estudiante:
1.Obtenga la información pertinente al problema del paciente y los antecedentes relevantes, mostrando habilidades de comunicación en la entrevista de acuerdo con el profesionalismo y a la ética médica; así como a las responsabilidades legales.
2.Mencione y justifique al evaluador las regiones a explorar del paciente; posteriormente, describa las técnicas del examen físico dirigido que realizaría y que aporten hallazgos relevantes al padecimiento actual; por último, interprete los hallazgos del examen físico (si existe información complementaria el evaluador se la proporcionará).
3.De ser necesario, solicite al evaluador el/los estudios de laboratorio y/o gabinete para una valoración integral; asimismo, interpréteselos al paciente.
4.Mencione al paciente el diagnóstico principal y los diagnósticos complementarios.
5.Explique al paciente el tratamiento no farmacológico que le indica.
6.Indique al paciente medidas saludables de acuerdo con su grupo etario; así como las medidas preventivas de acuerdo con el caso y los programas nacionales de salud.