Artículo original
eISSN 2007-5057
Investigación educ. médica Vol. 11, no. 43, México, julio-septiembre 2022
https://doi.org/10.22201/fm.20075057e.2022.43.21399
Adaptación de un ECOE presencial a modalidad en línea para un examen de altas consecuencias
Juan Andrés Trejo Mejíaa,*,‡, Jorge Peña Balderasa,§, Carlos Alberto Soto Aguileraa,Δ,
Amilcar Alpuche Hernándeza, Armando Ortiz Montalvob,ℓ, Antonio Cerritosa,b,◊
a Departamento de Evaluación Educativa, Facultad de Medicina, UNAM, Cd. Mx., México.
b Secretaría de Educación Médica, Facultad de Medicina, UNAM, Cd. Mx., México.
ORCID ID:
‡ https://orcid.org/0000-0002-0680-6836
§ https://orcid.org/0000-0002-2962-4875
Δ https://orcid.org/0000-0003-1104-2962
ℓ https://orcid.org/0000-0003-3548-1513
◊ https://orcid.org/0000-0001-9346-8793
Recibido: 31-agosto-2021. Aceptado: 07-febrero-2022.
Resumen
Introducción: Ante la necesidad de evaluar a distancia las competencias clínicas durante la pandemia de COVID-19, se diseñó y aplicó un examen clínico objetivo estructurado (ECOE) en línea en 2021 a los egresados de la Facultad de Medicina de la Universidad Nacional Autónoma de México y a las instituciones incorporadas.
Objetivo: Evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.
Método: Se desarrolló la adaptación del ECOE presencial a la modalidad en línea adecuándose en todos los casos clínicos la habilidad clínica de la exploración física y se sustituyó el rubro de la nota médica por un resumen clínico verbal. Para la aplicación en línea se utilizó la plataforma Zoom, se capacitó a los evaluadores y pacientes estandarizados para homogeneizar su desempeño en esta plataforma. Se analizó el procedimiento empleado en el diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba.
Resultados: Ambas modalidades de ECOE constaron de seis estaciones de 20 minutos. Se evaluaron los 99 reactivos que integran la totalidad de las seis competencias evaluadas y discriminaron a <0.001 entre puntajes altos y bajos. Se identificaron seis factores que explican el 60.7% de la varianza en el ECOE presencial, y seis factores más cinco indicadores en la modalidad en línea con una varianza explicada de 56.6%. El Alfa de Cronbach fue 0.96 para el ECOE presencial y 0.93 para la modalidad en línea.
Conclusiones: Ambas modalidades de ECOE mostraron evidencias de calidad psicométrica con respecto a la validez de contenido, la estructura interna de la prueba y el proceso de respuesta, lo que le da solidez al mismo. Este estudio observó que la modalidad en línea es una alternativa factible como evaluación de la fase práctica del examen profesional.
Palabras clave: ECOE en línea, evaluación sumativa, competencias clínicas, pandemia COVID-19, México.
Adjustment from a face-to-face OSCE to an on-line modality in a high stakes examination
Abstract
Introduction: In view of the need to remotely assess clinical competencies during the COVID-19 pandemic, an online objective structured clinical examination (OSCE) was developed and applied in 2021 to applicants at the end of their medical degree at the National Autonomous University of Mexico, Faculty of Medicine and of incorporated institutions.
Objective: To assess the OSCE online 2021 psychometric quality and compare it to a face-to-face OSCE modality in 2020 in a high stakes examination.
Method: The OSCE was adjusted from a face-to-face to an online format. The clinical cases and the rubrics used for the online modality were previously designed according to the face-to-face OSCE. In each of the clinical cases, the ability of the physical examination was adjusted and the medical note was replaced to a verbal clinical summary. For this new modality we used the zoom platform; therefore, training courses were given to the assessors and patients to standardize their knowledge and performance on this platform. For the applicants we designed audiovisual resources explaining the process of the examination. We analyzed the applied procedure based on the design, implementation, and grade; also, we used the psychometric analysis to provide the validity evidence related to the internal structure of the test.
Results: Both formats of the OSCE were composed of six-20 minutes stations. We examined the 99 items that constitute the total of the six evaluated competencies with a <0.001 discrimination between the high and the low scores. We identified six factors that explain the 60.7% of the variance in the face-to-face OSCE and six factors with five more indicators in the online format that explained the 56.6% of the variance. We calculated a Chronbach Alfa of 0.96 for the face-to-face format and a 0.93 for the online OSCE.
Conclusions: Both OSCE formats showed psychometric quality evidence based on the content validity, internal structure of the test, and the response process, these characteristics strengthened both tests. This research showed that the online format is a feasible alternative for the evaluation of the practical phase in the professional examination.
Key words: OSCE online, summative exam, clinical competencies, COVID-19 pandemic, Mexico.
INTRODUCCIÓN
La Facultad de Medicina (FM) de la Universidad Nacional Autónoma de México (UNAM), desde 2010, implementó un plan de estudios por asignaturas enfocado por competencias en la licenciatura de médico cirujano (LMC)1. La evaluación de las competencias en el examen profesional (EP) se desarrolla en dos fases: teórica y práctica, esta última se realiza mediante la aplicación del examen clínico objetivo estructurado (ECOE). Este método permite observar la interacción de los estudiantes con pacientes estandarizados para evaluar sus habilidades clínicas, ya que entre más semejanza exista con la práctica clínica habitual, mayor valor tendrá la evaluación. El ECOE ofrece un entorno de evaluación formativa y sumativa por lo que su utilización en la evaluación de competencias es común y la eficacia en la evaluación del aprendizaje clínico está ampliamente documentada2.
El ECOE lo inició Harden en 1975, la FM de la UNAM lo adoptó en 1998 y lo aplica desde 2002 en la fase práctica del EP a sus sustentantes y a los de las instituciones del sistema incorporado (ISI)2-4. A partir de 2015 se modificó y adaptó al formato del National Board of Medical Examiners (NBME)5,6. Se integra por estaciones clínicas que hacen referencia a los problemas más frecuentes a los que se enfrenta el médico general, tomados del programa académico de internado médico7. Para cada caso se desarrollan libretos, instrucciones para sustentantes con sus estudios de laboratorio y/o gabinete y guías para el evaluador en las que se especifican lo que debe de realizar el sustentante en cada una de las competencias8.
Un circuito del ECOE está constituido por seis estaciones y en cada una hay un caso clínico de cada área de la medicina. Durante 20 minutos los sustentantes desarrollan el estudio clínico del paciente (interrogatorio, exploración física específica, solicitan estudios de laboratorio y/o gabinete para integrar un diagnóstico, los diferenciales y el plan preventivo-terapéutico), al final realizan un resumen de la nota médica del problema del paciente y se hace el cambio de estación. Este proceso se continúa hasta completar las seis estaciones.8
Todos los evaluadores que participaron en el ECOE 2021 son médicos, académicos de la FM, capacitados y muchos de ellos cuentan con más de diez años de experiencia en su aplicación. Actualmente se cuenta con un total de 180 pacientes estandarizados y capacitados, la mayoría con experiencia de más de cinco años. Los pacientes son seleccionados acorde a su edad, género y complexiónidóneos para cada representación.
A partir del 2020, debido a la pandemia por COVID-19, las medidas de distanciamiento social se aplicaron a múltiples áreas, incluidas la enseñanza y la evaluación; por lo cual, las instituciones educativas modificaron esos procesos a fin de disminuir el riesgo de contagio entre los sustentantes, pacientes y evaluadores.
Los profesores tuvieron que hacer uso de las tecnologías de la información y la comunicación (TIC), a pesar de considerar que no estaban suficientemente preparados para utilizarlas plenamente9-11. Ante la evidencia del riesgo, se optó por hacer uso de la tecnología en ausencia de cualquier otra alternativa disponible12-14.
Asimismo, los procesos de evaluación en línea requieren más que una simple introducción al uso de las TIC, se requiere resolver una serie de imperativos que resaltan la importancia de diseñar, desarrollar, adaptar métodos y estrategias que hacen posible la evaluación, esto incluye, entre otros aspectos, la respuesta a las preguntas: ¿Cómo evaluar de manera justa? ¿Cómo mantener la validez de los distintos métodos? ¿Qué tan confiables serán? ¿Qué tan viable es hacerlo en línea? ¿Cuál es la aportación de las evidencias de validez con respecto a la calidad psicométrica del ECOE en línea?
En el presente estudio se entiende calidad psicométrica como las características de un instrumento de medición a partir de las evidencias de validez obtenidas, así como los procedimientos con los que se realizó dicho instrumento, los cuales permiten la interpretación de los puntajes obtenidos dentro de un marco conceptual15-17.
Algunas instituciones educativas del área de la salud han propuesto estrategias para la aplicación del ECOE en línea18-22. Sin embargo, se han centrado en detallar las modificaciones realizadas que permitieran la aplicación del ECOE y/o evaluar la satisfacción de los estudiantes posterior a su aplicación, dejando a un lado la calidad psicométrica del instrumento utilizado.
Por tanto, ante la necesidad de evaluar a distancia las competencias de los sustentantes, se desarrolló una estrategia institucional que permitiera aplicar el ECOE en línea.
OBJETIVO
El objetivo de este estudio fue evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.
MÉTODO
La estrategia utilizada para determinar la calidad psicométrica del ECOE en línea y compararlo con la modalidad presencial fue analizar el procedimiento empleado en su diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba. A continuación se describen a detalle.
De abril a diciembre de 2020 se planificó y desarrolló la adaptación del ECOE a la modalidad en línea. El comité de expertos estuvo integrado por diez médicos, cinco psicólogos y tres ingenieros en sistemas, adscritos a la Secretaría de Educación Médica (SEM) de la FM. El equipo de trabajo se reunió de forma virtual (Zoom) constantemente para cumplir en tiempo y forma con el objetivo.
Los sustentantes del ECOE presencial fueron 927, y en la modalidad en línea 1,190, la mayor proporción en ambas modalidades fue de mujeres (65.3 y 70.3%, respectivamente).
Los ejes rectores para la adaptación en la modalidad en línea fueron:
1. Adecuación de los casos clínicos y de las rúbricas
Tanto los casos clínicos como las rúbricas que se utilizaron para la modalidad en línea se diseñaron con base en el ECOE presencial. Se revisó la redacción y las cuestiones técnicas de cada uno de los materiales utilizados. En cada uno de los casos se precisó la adecuación de la exploración física para evaluar la habilidad clínica, en este sentido, llegado el momento del acto médico, los sustentantes mencionarían y justificarían de forma verbal las regiones a explorar, los procedimientos específicos a realizar y la descripción de las maniobras a efectuar. Si eran pertinentes, el evaluador proporcionaría al sustentante, los datos requeridos y no más información. Se sustituyó el rubro de la nota médica por un “resumen clínico verbal” para sintetizar los datos más relevantes de la entrevista clínica, enfocándose en el mismo formato de nota médica (SOAP), justificando el o los diagnósticos y el plan preventivo-terapéutico.
2. Capacitación de evaluadores, pacientes estandarizados y sustentantes
Los evaluadores y pacientes estandarizados que participaron recibieron cursos de capacitación tanto de la plataforma para videoconferencias como de la adecuación metodológica de la prueba, de los materiales y de las rúbricas, con el objetivo de estandarizar su participación. Para los sustentantes se crearon materiales audiovisuales que describen el proceso de desarrollo del examen y fueron proporcionados a cada uno de ellos por los canales oficiales de comunicación de la FM.
3. Plataforma virtual
Para la aplicación en línea se utilizó la plataforma Zoom versión 5.0 (Zoom Video Communications Inc.; San José, California) debido a que la UNAM cuenta con licencia oficial para su uso y es considerada aula virtual de la institución. Esto permitió tener un control logístico eficiente y asegurar la calidad de la aplicación, pues mostró su facilidad de uso, ser una interfaz intuitiva con aplicación masiva y versatilidad.
4. Pruebas piloto
Se realizaron dos pruebas piloto con el objetivo de evaluar e identificar dificultades logísticas, operativas, técnicas y de conexión. Permitieron determinar las estrategias necesarias para resolverlas y limitar, en la medida de lo posible, los problemas durante la aplicación. En la primera prueba piloto se incluyeron sólo tres estaciones de diferentes áreas clínicas y participaron tres pasantes de servicio social de la LMC adscritos a la SEM. La segunda prueba constó de seis estaciones clínicas con una duración de 20 minutos cada una y participaron seis pasantes. Con ambas pruebas se evaluó la viabilidad de la nota médica y la sustitución de ella por un resumen clínico verbal que el sustentante comunicaría al final de la entrevista clínica.
Además, permitieron establecer las bases de las modificaciones necesarias en la habilidad de exploración física como se describió anteriormente. Previo a la aplicación de las pruebas, se enviaron los materiales de evaluación y la liga de acceso oportunamente a los evaluadores, pacientes estandarizados y pasantes, a estos últimos se les añadieron las instrucciones de cada caso.
Estructura y aplicación del ECOE presencial y en línea
Se cumplió con la normatividad vigente contenida en el reglamento general de exámenes de la UNAM y en las recomendaciones para la realización de los exámenes profesionales o de grado vía remota durante la contingencia sanitaria expresados en el oficio de la abogacía general23,24.
Los ECOE presencial y en línea estuvieron compuestos de seis estaciones (1. Cirugía, 2. Ginecología y obstetricia, 3. Medicina interna, 4. Medicina familiar, 5. Urgencias y 6. Pediatría), en ambas modalidades, cada una se evaluó con rúbricas holísticas diseñadas exprofeso con cuatro niveles de desempeño: bueno, suficiente, insuficiente y deficiente para cada competencia25 (anexo 1). Las competencias evaluadas fueron:
1: Pensamiento crítico.
3: Comunicación.
4: Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas.
5: Habilidades clínicas.
6: Profesionalismo, aspectos éticos y responsabilidades legales.
7: Promoción de la salud y prevención de la enfermedad.
En la modalidad presencial y en línea las rúbricas se conformaron por 99 reactivos, el número se determinó de acuerdo con los indicadores de cada competencia expuesta en el plan de estudios de la LMC, con una distribución diferente para cada estación: la uno con 16 reactivos; la dos con 17; la tres con 15; la cuatro con 18; la cinco con 17; y la seis con 16. En cada estación se evaluaron cuatro competencias dependiendo del caso clínico con énfasis en las competencias 3 y 5.
El ECOE presencial se aplicó en siete días diferentes con un total de 140 circuitos con seis estaciones cada uno, en cuatro turnos por día. Se conformó de ocho versiones distintas, se utilizaron 48 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.
El ECOE en línea se aplicó en tres días diferentes con un total de 58 circuitos con seis estaciones cada uno, en tres o cuatro turnos por día. Constó de tres versiones de examen diferentes, se utilizaron 18 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.
En ambas modalidades la capacitación para los evaluadores y pacientes estandarizados fue la misma, con respecto del contenido de los casos clínicos, solo para la modalidad en línea, se capacitó a los evaluadores y pacientes en el uso de la plataforma Zoom. Para la modalidad presencial participaron 113 evaluadores y 85 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El ECOE en línea contó con la participación de 180 evaluadores y 180 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El incremento del personal en 2021 se debió al número reducido de días de aplicación. El 90% de los evaluadores y pacientes participantes de la modalidad presencial se mantuvieron en las mismas estaciones que en el ECOE en línea. La asignación de los sustentantes fue aleatoria, con base en el listado de la Secretaría de Servicios Escolares.
La mecánica de aplicación consistió en la identificación del sustentante y en la ubicación de este en la estación de inicio. Al comienzo, en cada una de ellas, el profesor envió por el chat de la plataforma las instrucciones del examen y la indicación del inicio de la prueba. El sustentante mantuvo su micrófono y cámara encendidos, los evaluadores apagaron su cámara y lo observaron interactuando virtualmente con el paciente. Llegado el momento de la exploración física, el evaluador proporcionó de forma verbal solo la información requerida y justificada. Para finalizar, el sustentante expresó verbalmente al evaluador el resumen clínico del paciente. Terminado el tiempo, fue conducido a la siguiente estación hasta completar el circuito (figura 1).
Análisis estadístico
Para evaluar la calidad psicométrica de cada uno de los instrumentos se calculó la discriminación de los reactivos utilizando la prueba t de Student, la consistencia interna del instrumento empleando el Alfa de Cronbach y la estructura por medio del análisis de componentes principales. Para lograr el objetivo del presente estudio se utilizó la prueba t de Student con medida del efecto. Para la realización de estos análisis se utilizó el paquete estadístico SPSS versión 25 (SPSS Statistics, IBM; Stanford, California).
CONSIDERACIONES ÉTICAS
Se eliminaron los identificadores individuales; se presentan únicamente resultados agregados, siempre se mantuvo el anonimato de los sustentantes en la elaboración del manuscrito. Los participantes dieron su consentimiento informado.
RESULTADOS
Para lograr el objetivo del presente estudio se muestran a continuación las evidencias de validez observadas en los ECOE presencial y en línea, se describen cinco categorías: contenido, proceso de respuesta, estructura interna, relación con otras variables y consecuencias26 (tabla 1).
Tabla 1. Fuentes de evidencia de validez para los ECOE profesionales en la evaluación de competencias
|
Categoría de evidencia de validez |
Fuentes de evidencia de validez |
2020 |
2021 |
|
Contenido |
Realimentación a partir de las pruebas piloto. |
√ |
√ |
|
Acreditación de expertos, experiencia y capacitación dirigida en el instrumento. |
√ |
√ |
|
|
Estandarización en el diseño de casos clínicos para las estaciones con el objetivo de alinear el contenido del reactivo con las especificaciones del instrumento. |
√ |
√ |
|
|
Elaboración de tablas de especificaciones con base en el plan de estudios de la LMC. |
√ |
√ |
|
|
Diseño de casos clínicos con base en la epidemiología del primer nivel de atención. |
√ |
√ |
|
|
Adecuación colegiada de las habilidades de exploración física y nota médica. |
√ |
||
|
Formación de un comité de expertos de la SEM para la elaboración de la prueba. |
√ |
√ |
|
|
Capacitación de los pacientes estandarizados para una representación consistente con los libretos. |
√ |
√ |
|
|
Experiencia de más de cinco años de la mayor proporción de pacientes estandarizados. |
√ |
√ |
|
|
Equivalencia de las versiones en el área clínica, estructura de competencias y grado de complejidad. |
√ |
√ |
|
|
Proceso de respuesta |
Familiarización de los sustentantes con el ECOE por tres experiencias previas (EAAs) con esta prueba. |
√ |
√ |
|
Experiencia de más de diez años de los evaluadores en la prueba. |
√ |
√ |
|
|
Capacitación de evaluadores en el examen. |
√ |
√ |
|
|
Participación de la mayoría de evaluadores con formación en medicina general / familiar. |
√ |
√ |
|
|
Diseño de las actividades de evaluación al simular el acto médico que se desarrolla en el primer nivel de atención. |
√ |
√ |
|
|
Evaluación con rúbricas holísticas diseñadas exprofeso y validadas por profesores externos, compuestas de cuatro niveles de desempeño y con descriptores detallados de cada una de las competencias. |
√ |
√ |
|
|
Ejecución de pruebas piloto con el objetivo de evaluar e identificar dificultades: logísticas, operativas, técnicas y de conexión. |
√ |
√ |
|
|
Monitorización constante de coordinadores en el proceso de evaluación durante la ejecución de la prueba. |
√ |
√ |
|
|
Validación clave y precisión de los puntajes durante el análisis estadístico. |
√ |
√ |
|
|
Utilización del software denominado “sistema automatizado para calificar los ECOE” |
√ |
√ |
|
|
Estructura interna |
Análisis de discriminación de los 99 reactivos que componen al instrumento (diferencia entre puntajes altos y bajos p < 0.001). |
√ |
√ |
|
Consistencia interna de la prueba (Alfa de Cronbach; 0.96 y 0.93, respectivamente). |
√ |
√ |
|
|
Estructura de la prueba (análisis de componentes principales: seis factores identificados para la modalidad presencial y seis factores más cinco indicadores para el ECOE en línea, que explican el 60.7% y 56.6%, respectivamente) |
√ |
√ |
|
|
Relación con otras variables |
No se obtuvo en este estudio. |
√ |
√ |
|
Consecuencias |
Al ser examen profesional tiene altas consecuencias, aprobar o quedar suspendido. |
√ |
√ |
ECOE: Examen Clínico Objetivo Estructurado; LMC: licenciatura de médico cirujano; EAAs: evaluaciones del avance académico.
•Evidencia de validez de contenido: En el diseño de ambas modalidades del ECOE se hace referencia a la relación entre el comportamiento presentado por el sustentante entre las competencias del plan de LMC evaluadas y cómo se representan estas en las estaciones que conforman el examen. Esto se realizó con la verificación de los contenidos por el juicio de expertos en el área (evaluadores y pacientes estandarizados).
•Evidencia de validez del proceso de respuesta: El instrumento se diseñó de acuerdo con los comportamientos que simulan el acto médico que se desarrolla en el primer nivel de atención, lo cual se obtuvo siguiendo el procedimiento ejecutado para el diseño de rúbricas holísticas para ECOE25.
•Evidencia de validez de estructura interna: Al evaluar la discriminación de los reactivos en ambos instrumentos se observó que los 99 permiten distinguir entre puntajes altos y bajos (p < 0.001), la consistencia interna de la prueba obtuvo un Alfa de Cronbach de 0.96 para el ECOE presencial y de 0.93 para el ECOE en línea considerando los 99 reactivos que integran la totalidad de las seis competencias evaluadas. Para la estructura interna del instrumento presencial se identificaron seis factores que explican el 60.7% de la varianza y 6 factores más cinco indicadores para la modalidad en línea con una varianza explicada de 56.6% (tabla 2 y anexo 2). Los seis factores de la modalidad presencial se agrupan de acuerdo a las seis estaciones evaluadas, en tanto, en la modalidad en línea 6 factores hacen referencia a las seis estaciones más 5 indicadores que no cubren el requisito para integrar un factor.
Tabla 2. Análisis psicométrico
|
Discriminación† |
Consistencia interna |
Estructura de la prueba Análisis de componentes principales |
|||
|
Alfa de Cronbach |
Factores identificados |
Varianza explicada (%) |
KMO/ |
||
|
ECOE 2020 |
<0.001 |
0.96 |
6 |
60.7 |
0.95* |
|
ECOE 2021 |
0.93 |
6 factores más 5 indicadores |
56.6 |
0.91* |
|
*Esfericidad de Bartlett, Sig. <0.001.
†La discriminación corresponde a los 99 reactivos de ambos instrumentos.
•Evidencia de validez de relación con otras variables: De acuerdo con el enfoque del presente estudio, no se obtuvo.
•Evidencia de validez de las consecuencias de la prueba: Al ser examen profesional tiene altas consecuencias, aprobar o quedar suspendido.
Para conocer el desempeño presentado por los sustentantes se calcularon sus calificaciones por competencias y habilidades clínicas de acuerdo al tipo de contenido establecido en la tabla de especificaciones diseñada para las rúbricas del ECOE presencial y en línea.
Como se mencionó al inicio, la calidad psicométrica de un instrumento se sustenta en sus evidencias de validez y los procedimientos con los que se realizó para poder convertir los datos en información. A continuación se describen los resultados que permiten observar el nivel de desempeño de los sustentantes, las competencias y sus habilidades clínicas (tablas 3 y 4).
Tabla 3. Puntaje global de los sustentantes por competencias clínicas del ECOE en línea (n = 1,190)
|
Competencia |
Presencial/2020† (puntos) |
En línea/2021 (puntos) |
Valor de t |
p* |
Magnitud del efecto‡ |
|
1. Pensamiento crítico, juicio clínico, toma de decisiones y manejo de información |
71.4 ± 14.1 |
79.8 ± 13.5 |
–13.91 |
<0.001 |
0.29 |
|
3. Comunicación efectiva |
78.4 ± 7.5 |
84.4 ± 8.2 |
–17.36 |
<0.001 |
0.35 |
|
4. Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicina |
68.4 ± 12.8 |
69.6 ± 12.8 |
–2.03 |
0.043 |
0.04 |
|
5. Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación |
71.0 ± 7.6 |
77.5 ± 8.8 |
–17.82 |
<0.001 |
0.37 |
|
6. Profesionalismo, aspectos éticos y responsabilidades legales |
77.2 ± 10.3 |
85.0± 9.28 |
–18.05 |
<0.001 |
0.37 |
|
7. Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad |
68.8 ± 13.3 |
73.2 ± 14.3 |
–7.22 |
<0.001 |
0.16 |
Media ± desviación estándar.
* Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.
† Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.
‡ Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).
Tabla 4. Puntaje global de los sustentantes por habilidades clínicas del ECOE en línea (n = 1,190)
|
Competencia |
Habilidades clínicas |
Presencial/2020† (puntos) |
En línea/2021 (puntos) |
Valor de t |
p* |
Magnitud del efecto‡ |
|
1 |
Pensamiento crítico |
71.4 ± 14.1 |
79.8 ± 13.5 |
–13.91 |
<0.001 |
0.29 |
|
3 |
Responde a las necesidades del paciente |
78.1 ± 8.0 |
83.8 ± 9.1 |
–14.96 |
<0.001 |
0.31 |
|
Coherencia en la entrevista |
77.1 ± 8.5 |
83.6 ± 8.9 |
–15.44 |
<0.001 |
0.32 |
|
|
Expresión verbal |
79.03 ± 8.0 |
85.9 ± 9.1 |
–17.40 |
<0.001 |
0.35 |
|
|
Expresión no verbal |
79.06 ± 8.5 |
84.3 ± 9.5 |
–13.20 |
<0.001 |
0.28 |
|
|
4 |
Diagnóstico diferencial |
70.6 ± 12.5 |
68.6 ± 15.9 |
3.30 |
<0.001 |
0.09 |
|
Fisiopatología |
66.1 ± 14.6 |
71.8 ± 19.6 |
–7.33 |
<0.001 |
0.16 |
|
|
5 |
Interrogatorio |
74.2 ± 9.4 |
82.5 ± 10.2 |
–19.15 |
<0.001 |
0.38 |
|
Exploración física |
74.6 ± 9.1 |
76.6 ± 11.5 |
–4.34 |
<0.001 |
0.09 |
|
|
Estudios de laboratorio |
70.0 ± 9.7 |
72.7 ± 11.5 |
–5.72 |
<0.001 |
0.12 |
|
|
Diagnóstico |
70.3 ± 9.9 |
75.8 ± 11.5 |
–11.55 |
<0.001 |
0.24 |
|
|
Fundamentación del diagnóstico |
69.6 ± 10.7 |
75.8 ± 12.0 |
–12.39 |
<0.001 |
0.26 |
|
|
Plan preventivo / terapéutico |
67.2 ± 10.4 |
73.3 ± 11.9 |
–12.28 |
<0.001 |
0.28 |
|
|
Calificación del paciente |
78.66 ± 9.0 |
85.0 ± 9.6 |
–15.48 |
<0.001 |
0.32 |
|
|
Resumen clínico |
62.9 ± 10.0 |
79.0 ± 10.1 |
–36.42 |
<0.001 |
0.62 |
|
|
6 |
Profesionalismo |
80.5 ± 10.3 |
87.4 ± 10.0 |
–15.57 |
<0.001 |
0.32 |
|
Aspectos éticos |
77.9 ± 10.8 |
86.0 ± 10.5 |
–17.18 |
<0.001 |
0.35 |
|
|
Responsabilidades legales |
73.2 ± 12.7 |
81.8 ± 11.9 |
–15.95 |
<0.001 |
0.33 |
|
|
7 |
Promoción de la salud |
68.8 ± 13.2 |
73.2 ± 14.3 |
–7.22 |
<0.001 |
0.16 |
Media ± desviación estándar.
*Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.
†Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.
‡Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).
Se calcularon los puntajes en una escala máxima de 100 puntos. A pesar de que hubo diferencias estadísticamente significativas a favor del ECOE en línea, solamente las competencias 3, 5 y 6 tuvieron una magnitud del efecto mayor a 0.3; en contraste, las competencias 1, 4 y 7 tuvieron baja magnitud del efecto (r ≤ 0.3). Asimismo, de las 19 habilidades clínicas evaluadas, en nueve se observaron diferencias estadísticamente significativas y magnitud del efecto alto con mayor puntaje para la modalidad en línea; por ejemplo, en las habilidades de interrogatorio y resumen clínico tuvieron r = 0.38 y r = 0.62, respectivamente. Por otra parte, la exploración física, que fue modificada para el ECOE en línea, presentó diferencia estadísticamente significativa con respecto al ECOE presencial; sin embargo, tuvo magnitud del efecto bajo (r = 0.09) (tablas 3 y 4).
DISCUSIÓN
Con respecto a la calidad psicométrica del examen, se observó que la modalidad en línea permite la interacción virtual con los participantes, esto confirma que los avances y la amplia utilización de la telemedicina a nivel mundial son de utilidad en la educación y la evaluación, además de la práctica clínica a distancia27. De forma consistente otra institución realizó un ECOE en línea, constituido por seis estaciones, se aplicaron rúbricas holísticas validadas y se usó la plataforma Zoom18,25. Por otra parte, en odontología se han aplicado ECOE con metodología similar a grupos pequeños; sin embargo, se han centrado en conocer la opinión sobre la satisfacción de los participantes en esta modalidad, sin aportar evidencias sobre la eficiencia y el desempeño de los evaluados19-22.
Los resultados de las evidencias de validez de contenido indican que el procedimiento seguido para el desarrollo de ambas modalidades cumple la pertinencia y relevancia de los comportamientos observados en las estaciones. Los requerimientos para desarrollar la modalidad en línea fueron similares a los empleados en el presencial, con la diferencia de las reuniones de los participantes, que se realizaron de forma remota.
Además, debido a las características de la modalidad en línea, se adecuaron las habilidades de exploración física y nota médica de forma colegiada. Con respecto a la exploración física se observó consistencia en este procedimiento con lo realizado en otro estudio18. La nota médica se sustituyó por un resumen clínico verbal y tuvo un desempeño alto con respecto al presencial, lo cual se explica a partir de la posibilidad de poder describir y argumentar con más información al evaluador para expresar el problema del paciente. El desempeño observado en el resto de las habilidades clínicas fue similar en ambas modalidades. Por lo tanto, la modalidad en línea, al igual que la presencial, permite obtener información precisa y válida sobre el desempeño de las competencias en sustentantes de la LMC.
Con base en la evidencia de validez del proceso de respuesta, se consideró la complejidad de las habilidades clínicas bajo la directriz de la aplicación de conocimientos, conceptos y la solución de problemas médicos en el primer nivel de atención. La utilización de rúbricas holísticas diseñadas exprofeso, validadas y detalladas para evaluar el desempeño de las competencias de los sustentantes permitieron disminuir la subjetividad de los evaluadores, lo cual se aprecia en los resultados observados en la ejecución de las habilidades clínicas, con niveles semejantes en ambas modalidades. Por otra parte, para garantizar la consistencia en el proceso de respuesta, se mantuvo a un 90% de los evaluadores y pacientes estandarizados en las dos modalidades, al porcentaje restante se le proporcionó el acompañamiento para la realización de sus actividades.
Los sustentantes de ambas modalidades estaban familiarizados con el tipo de actividades en el ECOE, las dos poblaciones participaron en tres exámenes diagnóstico-formativos después de concluir segundo, tercero y cuarto año, respectivamente (Evaluaciones del Avance Académico I, II y III). Esto contribuyó con el desempeño alto de las habilidades clínicas, como lo observado en varios estudios que han reportado que la familiarización de las actividades del ECOE puede conducir a niveles más bajos de ansiedad y mayor confianza, lo que lleva a una puntuación más alta28-30.
Con referencia a la evidencia de validez de la estructura interna de la prueba, los valores psicométricos calculados para los 99 reactivos de las rúbricas de las seis competencias en ambas modalidades fueron: la discriminación, la consistencia interna y la estructura de la prueba. Los valores obtenidos en el análisis de discriminación indican que las calificaciones de los sustentantes permiten distinguir entre aquellos que tienen un desempeño óptimo y los que tienen uno deficiente, lo cual, señala que el instrumento cumple su función para identificar el nivel de ejecución del comportamiento en el ECOE. Con base en el valor obtenido para la consistencia interna del instrumento utilizado en las dos modalidades, indica que en los dos ECOE permiten observar un desempeño sistemático bajo las condiciones del examen de forma consistente. Finalmente, para la estructura de la prueba en ambas modalidades, el eje que agrupa a los 99 reactivos de las rúbricas son las estaciones del examen, una explicación plausible de esta estructura es que el caso que define a la estación funciona como un “organizador clínico-cognitivo”, ya que la resolución del problema del paciente estandarizado requiere de la adecuada integración e interdependencia de las competencias, como sucede en el acto médico, lo cual es la intención del ECOE.
De acuerdo con el enfoque del estudio, las evidencias de validez de su relación con otras variables no se obtuvieron debido a que, hasta este momento, las calificaciones obtenidas no cuentan con otros datos para identificar relaciones.
En la evidencia de validez de las consecuencias, el sustentante aprueba o queda suspendido debido a la naturaleza de un examen profesional.
Fortalezas y áreas de oportunidad
Los resultados obtenidos a partir del examen en línea indican que esta modalidad proporciona información certera, al igual que en la presencial, para la evaluación de las competencias clínicas. El proceso de diseño y validación, aunado a la experiencia previa de los evaluadores y pacientes estandarizados, además de la capacitación para este examen, son aspectos relevantes a resaltar que tiene este ECOE.
Entre algunos obstáculos identificados en la parte operativa, destaca la inestabilidad en la conexión de algunos dispositivos de los participantes, lo que extendió el tiempo y el número de turnos del examen.
Para tener mayor seguridad en la aplicación del examen y observar al sustentante desde otro ángulo, se recomienda el uso de una segunda cámara o un software especializado para así tener otra perspectiva del entorno del mismo y poder identificar algún factor externo que estuviera interviniendo en su desempeño22.
CONCLUSIONES
La adaptación del ECOE a la modalidad en línea mostró una calidad psicométrica adecuada, en las diferentes fuentes de evidencias de validez, en especial en la evidencia de la estructura interna de la prueba lo que le da solidez del instrumento para obtener puntajes interpretables dentro de un marco de referencia. Las habilidades clínicas de ambas modalidades mostraron diferencias significativas con una magnitud del efecto “moderada baja” en nueve habilidades clínicas, en el resto no se observaron diferencias, lo cual indica una similitud de ambas pruebas.
Dado que las instituciones educativas necesitan métodos sólidos para evaluar a distancia las competencias de los sustentantes y que sean comparables a los utilizados de manera presencial, se observó que la modalidad en línea es una alternativa factible para la evaluación de competencias clínicas para exámenes de altas consecuencias en ciencias de la salud. Además, este estudio provee las bases para un modelo híbrido de la evaluación, categorizando estaciones apropiadas para las modalidades presencial y en línea.
El análisis de los resultados proporciona información importante para realimentar los planes y programas académicos en sus áreas biomédica, sociomédica y clínica para tomar decisiones sobre la formación de los profesionales de la salud, además de dar pie al ensayo de otras metodologías y a la mejora continua de la estrategia diseñada.
Finalmente, el ECOE que se realiza en la FM desde 2015 es un referente, debido a la forma integral en que evalúa las competencias clínicas en la LMC. Se propone esta modalidad en línea como una alternativa que reduce costos, es útil en escenarios remotos, disminuye la movilidad, aumenta la seguridad de los participantes en la transportación y en la salud, entre otros.
CONTRIBUCIÓN INDIVIDUAL
•JATM, JPB, AOM, AC, CASA: Conceptualización, diseño y revisión crítica.
•JATM, JPB, CASA: Metodología, redacción, interpretación de datos, revisión crítica, edición y referencias.
•AAH: Análisis psicométrico y revisión crítica. Conservación de datos.
•JATM, JPB, CASA, AAH, AOM, AC: Aprobación final del manuscrito.
AGRADECIMIENTOS
•A Francisco Javier Fernández Puerto, Mónica Anastasia Ramírez Arrieta, Rocío García Duran por su decidida participación en la logística del examen.
•A Argelia Rosales Vega y Alejandro Enríquez Andonaegui por su participación en la asistencia técnica del sistema informático de evaluación y de la plataforma antes y durante la ejecución del examen.
•A Mauricio Pilar Díaz por la cesión de la imagen de la dinámica del ECOE.
•A Arsenio Vargas y Tania Vives Varela por su apoyo y comentarios en la redacción del manuscrito.
•A todos los profesores y pacientes que participaron para el éxito del examen.
PRESENTACIONES PREVIAS
•En el Congreso de la Facultad de Medicina de la UNAM, en abril de 2021, se presentó la experiencia sin el análisis de este trabajo.
•En la sesión del mes de abril de 2021 de la Academia Nacional de Educación Médica se presentó la experiencia y la logística, pero no el análisis de este trabajo.
•En el Congreso de Guatemala en julio de 2021 se habló de la experiencia que se tuvo con el ECOE en línea en México, en términos muy generales.
FINANCIAMIENTO
No se recibió financiamiento externo.
CONFLICTO DE INTERESES
No se informaron posibles conflictos de intereses relevantes para este artículo.
REFERENCIAS
1. Facultad de Medicina UNAM. Plan de Estudios 2010 y Programas Académicos de la Licenciatura de Médico Cirujano. En: Facultad de Medicina UNAM, editor. Ciudad Universitaria 2009. p. 1-150. [Consultado: 16 May 2021]. Disponible en: http://www.facmed.unam.mx/plan/PEFMUNAM.pdf
2.Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-51. doi: 10.1136/bmj.1.5955.447
3. Trejo Mejía J, Larios Mendoza H, Velasco Jiménez M, Hernández López A, Martínez Viniegra N, Cortés Gutiérrez M. Evaluación de la Competencia Clínica de los alumnos al iniciar el Internado Médico de Pregrado. Rev Fac Med. 1998;41(3):108-13. Disponible en: https://pesquisa.bvsalud.org/portal/resource/pt/lil-234020 y en: https://www.imbiomed.com.mx/articulo.php?id=16134
4.Larios Mendoza H, Trejo Mejía J, Méndez I. Examen Profesional con el Examen Clínico Objetivo Estructurado. Rev Ed Sup. 2005;34(4):7-17. [Consultado: 10 Jun 2021]. Disponible en: https://www.redalyc.org/pdf/604/60413601.pdf
5.Furman GE. The role of standardized patient and trainer training in quality assurance for a high-stakes clinical skills examination. Kaohsiung J Med Sci. 2008;24(12):651-5. doi: 10.1016/s1607-551x(09)70031-2
6.Furman G, Montanano A. ECFMG 2014 Annual Report. Case Development Workshop conducted at School of Medicine of the National Autonomous University of Mexico; Monterrey, Mexico: ECFMG; 2014. p. 1-75. [Consultado: 20 May 21]. Disponible en: https://www.yumpu.com/en/document/read/38343332/ecfmg-2014-annual-report
7.Facultad de Medicina UNAM. Internado Médico. Asignatura Clínica-Quinto Año-Décimo y Undécimo Semestre. En: Facultad de Medicina UNAM, editor. Ciudad Universitaria; 2018. p. 1-101. [Consultado: 10 jul 21]. Disponible en: http://paginas.facmed.unam.mx/deptos/ss/wp-content/uploads/2018/10/1011.pdf
8.Martínez-González A, Sánchez-Mendiola M, Olivares-Olivares S, Grimaldo-Avilés J, Trejo-Mejía J, Martínez-Franco A, y cols. Colaboración de tres escuelas de medicina de México en un examen clínico objetivo estructurado (ECOE). Inv Ed Med. 2020;10(38). doi: 10.22201/fm.20075057e.2020.36.20258
9.Amin H, Shehata M, Ahmed S. Step-by-step Guide to Create Competency-Based Assignments as an Alternative for Traditional Summative Assessment. MedEdPublish. 2020:1-15. doi: 10.15694/mep.2020.000120.1
10.Boursicot K, Kemp S, Ong T, Wijaya L, Goh S, Freeman K, y cols. Conducting a high-stakes OSCE in a COVID-19 environment. MedEdPublish. 2020:1-8. doi: 10.15694/mep.2020.000054.1
11.Khan RA, Jawaid M. Technology Enhanced Assessment (TEA) in COVID 19 Pandemic. Pak J Med Sci. 2020;36(COVID19-S4):S108-S10. doi: 10.12669/pjms.36.covid19-s4.2795
12.Ahmed S, Shehata M, Hassanien M. Emerging Faculty Needs for Enhancing Student Engagement on a Virtual Platform. MedEdPublish. 2020:1-5. doi: 10.15694/mep.2020.000075.1
13.Shehata MH, Kumar AP, Arekat MR, Alsenbesy M, Mohammed Al Ansari A, Atwa H, y cols. A toolbox for conducting an online OSCE. Clin Teach. 2021;18(3):236-42. doi: 10.1111/tct.13285
14.Ward JP, Gordon J, Field MJ, Lehmann HP. Communication and information technology in medical education. Lancet. 2001;357(9258):792-6. doi: 10.1016/s0140-6736(00)04173-8
15.Standards for educational and psychological testing / American Educational Research Association, American Psychological Association, National Council on Measurement in Education [Internet]. Washington, DC: American Educational Research Association; 2014 [Citado: 2022 Ene 15]. Disponible en: https://search.ebscohost.com/login.aspx?direct=true&db=edsnuk&AN=edsnuk.vtls004537073&lang=es&site=eds-live
16.Nuván Hurtado IL, Rivera Porras DA, Carillo Sierra SM, Forgiony Santos JO, Bonilla Cruz NJ, Rozo Sánchez AC. Diferencias en la calidad psicométrica de tests construidos mediante la estrategia pedagógica audiovisual y las estrategias pedagógicas tradicionales. Rev Esp. 2018; 39(25):7-21. ISSN 0798 1015. Disponible en: https://www.revistaespacios.com/a18v39n25/a18v39n25p07.pdf
17.García Pérez EM, Magaz Lago A. ¿Cómo valorar test psiscométricos? [Internet] Bizkaya, España: COHS. Consultores en Ciencias Humanas, S.L.; 2009. [Citado: 2022 Ene 15]. Disponible en: http://www.gac.com.es/editorial/libros/comovalorartestpsicometricos.pdf
18.Craig C, Kasana N, Modi A. Virtual OSCE delivery: The way of the future? Med Educ. 2020;54(12):1185-6. doi: 10.1111/MEDU.14286
19.Kakadia R, Chen E, Ohyama H. Implementing an online OSCE during the COVID-19 pandemic. J Dent Educ. 2020. doi: 10.1002/jdd.12323
20.Hytönen H, Näpänkangas R, Karaharju-Suvanto T, Eväsoja T, Kallio A, Kokkari A, y cols. Modification of national OSCE due to COVID-19 - Implementation and students’ feedback. Eur J Dent Educ. 2020. doi: 10.1111/eje.12646
21.Donn J, Scott JA, Binnie V, Bell A. A pilot of a Virtual Objective Structured Clinical Examination in dental education. A response to COVID-19. Eur J Dent Educ. 2020. doi: 10.1111/eje.12624
22.Khalaf K, El-Kishawi M, Moufti MA, Al Kawas S. Introducing a comprehensive high-stake online exam to final-year dental students during the COVID-19 pandemic and evaluation of its effectiveness. Med Educ Online. 2020;25(1):1826861. doi: 10.1080/10872981.2020.1826861
23.Reglamento General de Exámenes, UNAM (1969). [Consultado: 25 Jul 21]. Diponible en: http://www.abogadogeneral.unam.mx/sites/default/files/2018-05/229.pdf
24.González Contró, M. Oficio AGEN/DGEL/107/20OJ/62/20. Ciudad Universitaria 2020. [Consultado: 25 Jul 21]. Disponible en: http://escolares.quimica.unam.mx/exaprof/Oficio_AGEN-DGEL-107-20.pdf
25.Alpuche HA, Trejo-MJ, Peña BJ, Ortiz MA. Diseño y elaboración de rúbricas para evaluar competencias de estudiantes de medicina en un Examen Clínico Objetivo. Psicología Educativa. 2020-2021;8-9(1):58-64. eISSN 2448-6957
26.Downing, SM. Validity: On the meaningful interpretation of assessment data. Medical Education. 2003;37(9):830-837. https://doi.org/10.1046/j.1365 2923.2003.01594.x
27.Lawrence K, Hanley K, Adams J, Sartori DJ, Greene R, Zabar S. Building Telemedicine Capacity for Trainees During the Novel Coronavirus Outbreak: a Case Study and Lessons Learned. J Gen Intern Med. 2020;35(9):2675-9. doi: 10.1007/s11606-020-05979-9
28.Robinson P, Morton L, Haran H, Manton R. Mock OSCEs improve medical students’ confidence and reduce anxiety related to summative examinations. Education in Medicine Journal. 2017;9:41-5. doi: 10.21315/eimj2017.9.2.4
29.Hess BJ, Kvern B. A call to understand the psychometric implications of virtual OSCE delivery. Med Teach. 2020:1-2. doi: 10.1080/0142159X.2020.1849591
30.Young I, Montgomery K, Kearns P, Hayward S, Mellanby E. The benefits of a peer-assisted mock OSCE. Clin Teach. 2014;11(3):214-8. doi: 10.1111/tct.12112
* Autor para correspondencia: Juan Andrés Trejo Mejía. Coordinador del ECOE, Departamento de Evaluación Educativa, Facultad de Medicina, Universidad Nacional Autónoma de México. Circuito Universitario. 3er Piso. CU. Cd. Mx., México, C.P. 04510.
Correo electrónico: andretreme@gmail.com
Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).
This is an Open Access article under the CC BY-NCND license (http://creativecommons.org/licenses/by-ncnd/4.0/).
Anexo 1
Rúbrica de la competencia 5 con sus habilidades clínicas correspondientes
1. Habilidades en el interrogatorio
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Incompleto. Desorganizado. No confiable, impreciso, sin relación con el padecimiento actual del paciente |
Inconsistente obtención de datos, incompleto, enfocado al padecimiento actual del paciente |
Completo pero desorganizado. Orientado al padecimiento actual del paciente |
Completo, organizado. Eficiente, identifica sutilezas, Orientado al padecimiento actual del paciente |
2ª. Habilidades en la exploración física
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
No selecciona ni justifica las regiones a explorar con relación al padecimiento actual |
Selecciona y justifica incorrectamente las regiones a explorar con relación al padecimiento actual |
Selecciona correctamente y justifica incorrectamente las regiones a explorar con relación al padecimiento actual |
Selecciona y justifica correctamente las regiones a explorar con relación al padecimiento actual |
2B. Habilidades en la exploración física
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
No selecciona ni justifica la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual |
Selecciona y justifica incorrectamente la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual |
Selecciona correctamente y justifica incorrectamente la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual |
Selecciona y justifica la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual |
Estudios de laboratorio y gabinete
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Omite solicitar exámenes complementarios o los solicita e interpreta de manera inadecuada de acuerdo con el padecimiento actual del paciente |
Solicita e interpreta de manera incompleta los exámenes básicos de acuerdo al padecimiento actual del paciente |
Solicita e interpreta los exámenes complementarios indicados para el padecimiento actual del paciente |
Solicita e interpreta los exámenes complementarios con mayor sensibilidad y especificidad para el padecimiento actual del paciente |
Habilidades diagnósticas
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
No identifica los elementos para establecer ningún tipo de diagnósticos |
Identifica algunos elementos para establecer solo un diagnóstico principal |
Identifica algunos |
Identifica muy bien el problema y establece además dos diagnósticos diferenciales relacionados |
Fundamentación del diagnóstico
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
No considera los datos básicos del interrogatorio, la exploración física, los resultados de laboratorio y gabinete |
Considera los datos básicos del interrogatorio, la exploración física, los resultados de laboratorio y gabinete |
Completo. Considera, |
Muy completo. Considera los datos del interrogatorio, la exploración física, los resultados de laboratorio y gabinete |
Plan preventivo-terapéutico (médico y/o quirúrgico)
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
No sugiere el tratamiento adecuado de acuerdo con el padecimiento actual. Omite referir oportunamente al paciente al segundo o tercer nivel de acuerdo la normativa vigente |
Sugiere un tratamiento básico. Refiere al paciente al segundo o tercer nivel sin discriminar el nivel de atención apropiado |
Sugiere un tratamiento de acuerdo con el padecimiento actual. Refiere al paciente al segundo o tercer nivel de acuerdo con la normativa vigente |
Sugiere y explica el mejor tratamiento y sus posibles efectos secundarios de acuerdo con el |
Nota médica / resumen clínico verbal
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Incompleta. Desordenada. No integra la información para fundamentar el diagnóstico principal ni el manejo |
Incompleta. Desordenada. Integra parcialmente la información para fundamentar el diagnóstico principal y el manejo |
Completa. Desordenada. Integra la información para fundamentar el diagnóstico principal y el manejo parcial del paciente |
Muy completa y |
Evaluación por el paciente
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
No saludó, no se presentó ni mostró respeto durante la entrevista o exploración. No utilizó un lenguaje claro ni comprensible |
Saludó, mostró respeto durante la entrevista o exploración. No utilizó un lenguaje claro ni comprensible |
Saludó, se presentó y mostró respeto durante la entrevista y exploración. Utilizó un lenguaje claro y comprensible |
Saludó, se presentó y mostró respeto durante la entrevista y exploración propiciando un ambiente confortable donde fui capaz de expresarme libremente. Utilizó un lenguaje claro y comprensible |
Valoración global de los conocimientos y habilidades
|
A. Deficiente |
B. Insuficiente |
C. Suficiente |
D. Excelente |
|
Falta de conocimiento y desarrollo de habilidades de interrogatorio, exploración e interpretación para integrar el diagnóstico y manejo |
Demuestra conocimientos y habilidades básicas de interrogatorio, exploración e interpretación de manera completa para integrar el diagnóstico y manejo |
Demuestra conocimientos y habilidades de interrogatorio, exploración e interpretación de manera completa para integrar el diagnóstico y manejo |
Demuestra conocimientos y habilidades de interrogatorio, exploración e interpretación de manera sistemática, ordenada, completa y dirigida para integrar el diagnóstico y manejo |
Anexo 2
Matriz de componente rotado del ECOE 2020
|
F1 |
F2 |
F3 |
F4 |
F5 |
F6 |
|
|
E4c5i5 |
.881 |
|||||
|
E4c4i1 |
.870 |
|||||
|
E4c5i4 |
.869 |
|||||
|
E4c5i6 |
.844 |
|||||
|
E4c4i2 |
.805 |
|||||
|
E4c5i7 |
.725 |
|||||
|
E4c3i2 |
.716 |
|||||
|
E4c5i3 |
.697 |
|||||
|
E4c6i3 |
.677 |
|||||
|
E4c3i1 |
.665 |
|||||
|
E4c6i2 |
.658 |
|||||
|
E4c5i2 |
.646 |
|||||
|
E4c5i1 |
.621 |
|||||
|
E4c3i3 |
.606 |
|||||
|
E4c6i1 |
.614 |
|||||
|
E4c5i8 |
.573 |
|||||
|
E4c3i4 |
.559 |
|||||
|
E5c3i2 |
.848 |
|||||
|
E5c6i1 |
.840 |
|||||
|
E5c3i3 |
.833 |
|||||
|
E5c3i4 |
.830 |
|||||
|
E5c3i1 |
.826 |
|||||
|
E5c6i2 |
.801 |
|||||
|
E5c5i5 |
.739 |
|||||
|
E5c6i3 |
.737 |
|||||
|
E5c5i1 |
.719 |
|||||
|
E5c1i1 |
.698 |
|||||
|
E5c5i6 |
.679 |
|||||
|
E5c5i4 |
.668 |
|||||
|
E5c5i2 |
.634 |
|||||
|
E5c5i3 |
.591 |
|||||
|
E5c5i7 |
.585 |
|||||
|
E5c5i8 |
.496 |
|||||
|
E6c5i5 |
.885 |
|||||
|
E6c4i1 |
.878 |
|||||
|
E6c4i2 |
.874 |
|||||
|
E6c5i4 |
.873 |
|||||
|
E6c5i6 |
.837 |
|||||
|
E6c7i1 |
.776 |
|||||
|
E6c5i3 |
.710 |
|||||
|
E6c5i7 |
.697 |
|||||
|
E6c5i1 |
.689 |
|||||
|
E6c3i2 |
.681 |
|||||
|
E6c3i1 |
.672 |
|||||
|
E6c3i3 |
.634 |
|||||
|
E6c3i4 |
.625 |
|||||
|
E6c5i8 |
.521 |
|||||
|
E6c5i2 |
.749 |
|||||
|
E1c5i5 |
.893 |
|||||
|
E1c1i1 |
.874 |
|||||
|
E1c5i4 |
.858 |
|||||
|
E1c4i1 |
.837 |
|||||
|
E1c5i6 |
.832 |
|||||
|
E1c4i2 |
.830 |
|||||
|
E1c5i7 |
.616 |
|||||
|
E1c3i2 |
.611 |
|||||
|
E1c5i3 |
.608 |
|||||
|
E1c3i1 |
.594 |
|||||
|
E1c3i3 |
.535 |
|||||
|
E1c3i4 |
.533 |
|||||
|
E1c5i1 |
.491 |
|||||
|
E1c5i8 |
.466 |
|||||
|
E1c5i2 |
.432 |
|||||
|
E3c5i5 |
.860 |
|||||
|
E3c5i4 |
.851 |
|||||
|
E3c1i1 |
.833 |
|||||
|
E3c5i6 |
.816 |
|||||
|
E3c7i1 |
.739 |
|||||
|
E3c5i3 |
.701 |
|||||
|
E3c5i7 |
.636 |
|||||
|
E3c3i4 |
.778 |
|||||
|
E3c3i3 |
.766 |
|||||
|
E3c3i2 |
.705 |
|||||
|
E3c3i1 |
.639 |
|||||
|
E3c5i1 |
.601 |
|||||
|
E3c5i2 |
.538 |
|||||
|
E3c5i8 |
.419 |
|||||
|
E2c5i5 |
.846 |
|||||
|
E2c5i4 |
.831 |
|||||
|
E2c5i6 |
.796 |
|||||
|
E2c5i7 |
.683 |
|||||
|
E2c7i1 |
.642 |
|||||
|
E2c5i3 |
.612 |
|||||
|
E2c5i8 |
.529 |
|||||
|
E2c3i3 |
.849 |
|||||
|
E2c3i4 |
.821 |
|||||
|
E2c3i2 |
.786 |
|||||
|
E2c3i1 |
.757 |
|||||
|
E2c5i1 |
.611 |
|||||
|
E2c5i2 |
.518 |
C: competencia; E: estación; F: factor; I: indicador de la competencia.
Método de extracción: análisis de componentes principales.
Método de rotación: Varimax con normalización Kaiser.
La rotación ha convergido en 8 iteraciones.
Matriz de componente rotado del ECOE 2021
|
F1 |
F2 |
F3 |
F4 |
F5 |
F6 |
F7 |
F8 |
F9 |
F10 |
F11 |
|
|
E2R29Ac2.11 |
.797 |
||||||||||
|
E2R30Ac2.12 |
.792 |
||||||||||
|
E2R32Ac2.14 |
.777 |
||||||||||
|
E2R28Ac2.10 |
.771 |
||||||||||
|
E2R31Ac2.13 |
.764 |
||||||||||
|
E2R33Ac2.15 |
.726 |
||||||||||
|
E2R19Ac2.1 |
.694 |
||||||||||
|
E2R26Ac2.8 |
.651 |
||||||||||
|
E2R24Ac2.6 |
.634 |
||||||||||
|
E2R34Ac2.16 |
.622 |
||||||||||
|
E2R25Ac2.7 |
.603 |
||||||||||
|
E2R23Ac2.5 |
.595 |
||||||||||
|
E2R21Ac2.3 |
.577 |
||||||||||
|
E2R20Ac2.2 |
.576 |
||||||||||
|
E2R35Ac2.17 |
.541 |
||||||||||
|
E2R22Ac2.4 |
.510 |
||||||||||
|
E2R27Ac2.9 |
.499 |
||||||||||
|
E6R99Ac1.6 |
.844 |
||||||||||
|
E6R98Ac1.5 |
.829 |
||||||||||
|
E6R108Ac1.15 |
.795 |
||||||||||
|
E6R100Ac1.7 |
.741 |
||||||||||
|
E6R107Ac1.14 |
.729 |
||||||||||
|
E6R105Ac1.12 |
.696 |
||||||||||
|
E6R106Ac1.13 |
.676 |
||||||||||
|
E6R101Ac1.8 |
.667 |
||||||||||
|
E6R95Ac1.2 |
.644 |
||||||||||
|
E6R109Ac1.16 |
.631 |
||||||||||
|
E6R103Ac1.10 |
.630 |
||||||||||
|
E6R97Ac1.4 |
.628 |
||||||||||
|
E6R96Ac1.3 |
.620 |
||||||||||
|
E6R104Ac1.11 |
.584 |
||||||||||
|
E6R94Ac1.1 |
.576 |
||||||||||
|
E6R102Ac1.9 |
.501 |
||||||||||
|
E1R6Ac6.6 |
.803 |
||||||||||
|
E1R5Ac6.5 |
.791 |
||||||||||
|
E1R7Ac6.7 |
.770 |
||||||||||
|
E1R13Ac6.13 |
.763 |
||||||||||
|
E1R12Ac6.12 |
.742 |
||||||||||
|
E1R14Ac6.14 |
.741 |
||||||||||
|
E1R8Ac6.8 |
.726 |
||||||||||
|
E1R16Ac6.16 |
.716 |
||||||||||
|
E1R10Ac6.10 |
.675 |
||||||||||
|
E1R15Ac6.15 |
.648 |
||||||||||
|
E1R11Ac6.11 |
.643 |
||||||||||
|
E1R2Ac6.2 |
.621 |
||||||||||
|
E1R4Ac6.4 |
.601 |
||||||||||
|
E1R3Ac6.3 |
.565 |
||||||||||
|
E1R1Ac6.1 |
.422 |
||||||||||
|
E5R80Ac5.6 |
.800 |
||||||||||
|
E5R79Ac5.5 |
.799 |
||||||||||
|
E5R86Ac5.12 |
.795 |
||||||||||
|
E5R89Ac5.15 |
.792 |
||||||||||
|
E5R87Ac5.13 |
.778 |
||||||||||
|
E5R84Ac5.10 |
.759 |
||||||||||
|
E5R90Ac5.16 |
.752 |
||||||||||
|
E5R81Ac5.7 |
.747 |
||||||||||
|
E5R85Ac5.11 |
.705 |
||||||||||
|
E5R82Ac5.8 |
.681 |
||||||||||
|
E5R91Ac5.17 |
.658 |
||||||||||
|
E5R88Ac5.14 |
.635 |
||||||||||
|
E5R78Ac5.4 |
.621 |
||||||||||
|
E5R76Ac5.2 |
.580 |
||||||||||
|
E5R77Ac5.3 |
.559 |
||||||||||
|
E5R75Ac5.1 |
.547 |
||||||||||
|
E3R43Ac3.6 |
.834 |
||||||||||
|
E3R44Ac3.7 |
.823 |
||||||||||
|
E3R51Ac3.14 |
.816 |
||||||||||
|
E3R42Ac3.5 |
.812 |
||||||||||
|
E3R52Ac3.15 |
.708 |
||||||||||
|
E3R50Ac3.13 |
.683 |
||||||||||
|
E3R45Ac3.8 |
.672 |
||||||||||
|
E3R49Ac3.12 |
.645 |
||||||||||
|
E3R47Ac3.10 |
.603 |
||||||||||
|
E3R41Ac3.4 |
.548 |
||||||||||
|
E3R48Ac3.11 |
.525 |
||||||||||
|
E3R38Ac3.1 |
.494 |
||||||||||
|
E3R46Ac3.9 |
.412 |
||||||||||
|
E4R68Ac4.14 |
.798 |
||||||||||
|
E4R69Ac4.15 |
.796 |
||||||||||
|
E4R67Ac4.13 |
.792 |
||||||||||
|
E4R66Ac4.12 |
.787 |
||||||||||
|
E4R64Ac4.10 |
.767 |
||||||||||
|
E4R65Ac4.11 |
.682 |
||||||||||
|
E4R70Ac4.16 |
.678 |
||||||||||
|
E4R55Ac4.1 |
.480 |
||||||||||
|
E4R60Ac4.6 |
.800 |
||||||||||
|
E4R59Ac4.5 |
.797 |
||||||||||
|
E4R56Ac4.2 |
.778 |
||||||||||
|
E4R62Ac4.8 |
.693 |
||||||||||
|
E4R61Ac4.7 |
.689 |
||||||||||
|
E4R72Ac4.18 |
.642 |
||||||||||
|
E4R71Ac4.17 |
.631 |
||||||||||
|
E4R58Ac4.4 |
.629 |
||||||||||
|
E3R39Ac3.2 |
.799 |
||||||||||
|
E3R40Ac3.3 |
.788 |
||||||||||
|
E4R57Ac4.3 |
.786 |
||||||||||
|
E4R63Ac4.9 |
.514 |
||||||||||
|
E5R83Ac5.9 |
.497 |
Ac: área clínica; E: estación; F: factor; R: reactivo.
Método de extracción: análisis de componentes principales.
Método de rotación: Varimax con normalización Kaiser.
La rotación ha convergido en 14 iteraciones.