01_Correlación_entre_un_WebECOE_formativo_y_el_rendimiento_académico_en_estudiantes_de_medicina

Artículo original

eISSN 2007-5057

Investigación educ. médica Vol. 13, no. 52, México, octubre-diciembre 2024

https://doi.org/10.22201/fm.20075057e.2024.52.24655

Correlación entre un WebECOE formativo y el rendimiento académico en estudiantes de medicina

Saúl Alejandro Barboza Soriaa,‡, Rocío Carolina García Riverab,§, Juan Andrés Trejo Mejíac,◊, Adrián Martínez-Gonzálezd,¶,*

a Dirección del Centro de Simulación y Práctica Clínica, Universidad de la Salud, Cd. Mx., México.

b Dirección Ejecutiva de Innovación Educativa, Universidad de la Salud, Cd. Mx., México.

c Secretaría de Educación Médica, Facultad de Medicina, Universidad Nacional Autónoma de México, Cd. Mx., México.

d Coordinación de Universidad Abierta, Innovación Educativa y Educación a Distancia, Departamento de Salud Pública, Facultad de Medicina, Universidad Nacional Autónoma de México, Cd. Mx., México.

ORCID ID:

‡ https://orcid.org/0009-0003-1926-4989

§ http://orcid.org/0000-0003-0100-1796

◊ http://orcid.org/0000-0002-0680-6836

¶ https://orcid.org/0000-0002-5021-9639

Recibido: 19-noviembre-2023. Aceptado: 25-febrero-2024.

* Autor para correspondencia: Adrián Martínez-González. Facultad de Medicina, Universidad Nacional Autónoma de México. Av. Universidad 3000, Copilco Universidad, Coyoacán, C.P. 04510, Cd. Mx., México.

Correo electrónico: adrianmartinez38@gmail.com

Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).

Resumen

Introducción: El examen clínico objetivo estructurado (ECOE) es el estándar de oro para la evaluación de la competencia clínica. Derivado de la pandemia causada por el SARS-CoV-2, aumentó la necesidad de un instrumento para evaluarla a distancia.

Objetivo: Correlacionar la competencia clínica evaluada con un WebECOE formativo, con el rendimiento académico de estudiantes que finalizan el segundo año de la licenciatura de medicina.

Método: Se realizó un estudio observacional, correlacional. La prueba se le aplicó a la población que finalizó el segundo año de la licenciatura de medicina. El muestreo fue censal, y se desarrolló un WebECOE de 8 estaciones con una escala global de evaluación que contempla cuatro niveles de desempeño. Se realizaron análisis psicométricos y se correlacionó el nivel de competencia clínica del WebECOE con el rendimiento académico mediante la rho de Spearman. La retroalimentación se realizó con un programa automatizado posterior a la prueba.

Resultados: 207 estudiantes cumplieron con los criterios de inclusión del estudio para el análisis. La media del puntaje del WebECOE fue de 74.5, con los siguientes resultados por atributo: interrogatorio (70.7), exploración física (74.4), interpretación de estudios de gabinete (54.2), diagnóstico (67.9), manejo (83.0), profesionalismo y comunicación (84.5), trabajo en equipo (81.2), e integración clínica (67.6). El alfa de Cronbach fue de 0.89. La rho de Spearman para la correlación del rendimiento académico con el puntaje del WebECOE fue de 0.25 (p < 0.001).

Conclusión: El WebECOE es un instrumento con suficientes evidencias de validez para evaluar dimensiones de la competencia clínica a distancia, y esta tiene una correlación positiva con el rendimiento académico de los estudiantes.

Palabras clave: ECOE; WebECOE; rendimiento académico; competencia clínica; COVID-19.

Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).

Correlation between a formative WebOSCE and academic performance in medical students

Abstract

Introduction: The objective structured clinical examination (OSCE) is the gold standard for the assessment of clinical competence. With the SARS-CoV-2 virus-related pandemic, there was a rising need of an instrument for the assessment of this competence in distance education.

Objective: We aimed to correlate the clinical competence assessed with a formative WebOSCE, and the academic performance of students who finish the second year of their medical degree.

Method: An observational, correlational study was carried out. The test was applied to the students that completed the second year of the medical degree. The sampling was by census, and an 8-station WebOSCE was developed with a global evaluation scale that contemplates four levels of performance. Psychometric analyzes were performed and the level of clinical competence of the WebOSCE was correlated with academic performance using Spearman’s rho. Feedback was done using an automated post-test program.

Results: 207 students met the study inclusion criteria for analysis. The average WebOSCE score was 74.5, with the following results by attribute: interrogation (70.7), physical examination (74.4), interpretation of lab and imagenology studies (54.2), diagnosis (67.9), treatment (83.0), communication and professionalism (84.5), teamwork (81.2), and clinical integration (67.6). Cronbach’s alpha obtained was 0.89. Spearman’s rho for the correlation of academic performance and the WebOSCE was 0.25 (p<0.001).

Conclusion: The WebOSCE is an instrument with sufficient validity evidence to assess clinical competence dimensions at distance and has a positive correlation with the academic performance of students.

Keywords: OSCE; WebOSCE; academic performance; clinical competence; SARS-CoV-2.

This is an Open Access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).

INTRODUCCIÓN

La evaluación permite obtener información mediante pruebas con suficiente evidencia de validez para generar inferencias sobre los resultados de las mismas1,2. Esto es fundamental en la vida académica del estudiantado de medicina, ya que permite valorar su desempeño en comparación con los estándares de los planes y programas de estudio. Lo anterior se puede lograr midiendo el rendimiento académico, definido como el promedio de calificaciones obtenidas en un curso a lo largo de un periodo específico3, con miras a las metas más globales, como el desarrollo del perfil de competencias del egresado.

Una de las competencias más importantes en la medicina es la competencia clínica conceptualizada por Noriega y cols4. como los conocimientos, habilidades, destrezas, actitudes y valores requeridos para prevenir, diagnosticar o curar, en colaboración con otros miembros del equipo de salud, a personas y sus comunidades. Dada su relevancia, ha sido notable el desarrollo de instrumentos que permiten generar inferencias sobre esta competencia como el MiniCEX5, el portafolio de evidencias6, la observación directa de habilidades procedimentales (DOPS)7, entre otros8,9. Sin embargo, el estándar de oro para la evaluación de esta competencia es el examen clínico objetivo estructurado (ECOE)10.

El ECOE cuenta con múltiples evidencias de su uso en contextos de pregrado11-13 y de posgrado14,15. Permite observar directamente el desempeño de la competencia clínica del estudiantado a través de distintos escenarios y evaluadores, por lo que aumenta la objetividad en la evaluación. Por otro lado, la estructura de la prueba se debe a la diversidad de casos que permite desarrollar, con base en una tabla de especificaciones dirigida a los atributos o competencias deseadas. Además, ha resultado una prueba factible, reproducible y adaptable a distintos contextos10.

En 2020, la mayor parte del mundo tuvo que migrar a una educación a distancia emergente por el SARS-CoV-2, causante de la COVID-1916,17. Esto derivó en un aumento en el reporte de evaluaciones de tipo ECOE a distancia (WebECOE), una variante que requiere del uso de telecomunicaciones para evaluar a múltiples estudiantes en dos lugares geográficamente remotos, y que ha demostrado ser un instrumento factible en México18 y otras partes del mundo19-21.

Existen pocos estudios sobre su uso en América Latina, en el pregrado, con reporte de las evidencias de validez del WebECOE para la evaluación de la competencia clínica. En la Facultad de Medicina de la UNAM se realizó la adaptación del ECOE a la modalidad en línea en el examen profesional, con el objetivo de analizar la calidad psicométrica del estudio que permitiera identificar dichas evidencias22. En este estudio reportaron índices de discriminación y de confiabilidad adecuados para una evaluación de altas consecuencias, además de encontrar una similitud entre los resultados de esta evaluación con el examen profesional previo en formato presencial, y describir las evidencias del instrumento.

Como parte de estas evidencias, la relación con otras variables es una fuente de evidencia de validez que se reporta en pocas ocasiones para las pruebas de tipo ECOE13,22. Además, las publicaciones sobre las evidencias de validez del WebECOE para la evaluación de competencia clínica, que permitan generar inferencias del desempeño del estudiantado en el difícil contexto de la educación a distancia por la pandemia, son limitadas. Por lo tanto, el objetivo del presente estudio es evaluar la competencia clínica del estudiantado de medicina con un instrumento con suficientes evidencias de validez, y determinar la correlación con el rendimiento académico.

MÉTODO

Estudio de tipo cuantitativo, observacional y correlacional. El muestreo fue censal a los 256 estudiantes que finalizaron el segundo año de la licenciatura en una universidad pública con afluencia de estudiantes de toda la república. Se incluyeron los datos del estudiantado que finalizó la prueba en su totalidad, y que había acreditado todos los módulos de primer y segundo año. El plan de estudios de esta licenciatura se estructura bajo el marco de las competencias del médico general mexicano23, con un enfoque modular e integrador de las distintas disciplinas biomédico-clínicas y sociomédicas24. Para este estudio, el rendimiento académico se entiende como el promedio de los puntajes obtenidos de los módulos biomédico-clínicos del primer y segundo año de la licenciatura, los cuales se obtienen a partir de un conjunto de evaluaciones sumativas que comprenden diversas actividades teórico-prácticas a cargo del docente y evaluaciones parciales del módulo3,24.

Se diseñó el WebECOE con los pasos generales para el diseño e implementación de un ECOE10,25. Se conformó el comité de elaboración de la prueba con expertos en evaluación educativa y en contenidos médicos, mismo que realizó, revisó y validó la tabla de especificaciones con base en las competencias del plan de estudios y las actividades académicas llevadas a cabo por los sustentantes.

Se desarrolló una propuesta de escala global de desempeño y ocho casos clínicos, cuatro con enfoque de prevención de la enfermedad y promoción de la salud, y cuatro con enfoque de atención clínica, a fin de abarcar la mayor cantidad de atributos de competencia clínica en una cantidad operativa de escenarios. Los casos y la escala fueron revisados y validados por el comité. Los casos se generaron considerando los materiales del sustentante, evaluador, pacientes estandarizados y coordinadores de circuito, así como sus anexos correspondientes. Tres estaciones con enfoque de atención clínica contaban con un paciente estandarizado de tipo participante involucrado denominado “auxiliar de salud”. Este realizó la exploración física de acuerdo con las indicaciones del sustentante, a quien le transmitía los hallazgos solicitados.

La escala global se diseñó con 67 indicadores agrupados en ocho atributos: interrogatorio, exploración física, interpretación de estudios complementarios, diagnóstico, manejo, profesionalismo y comunicación, trabajo en equipo e integración clínica. Esta escala contó con cuatro niveles de desempeño mismos que se codificaron del uno al cuatro de la siguiente forma: deficiente (1), insuficiente (2), suficiente (3) y excelente (4).

Además, se gestionó el uso de cuentas de la plataforma Zoom para las estaciones y circuitos, así como el uso de un programa informático donde se alojó la escala, para evaluar al sustentante con estándares de seguridad informática. Todos los participantes en el WebECOE fueron capacitados, incluidos los sustentantes dado que no estaban familiarizados con la logística y objetivos de la prueba. Asimismo, para valorar las fortalezas y áreas de oportunidad técnicas y académicas de la evaluación, se implementó una prueba piloto en una muestra similar a la de los sustentantes. Se realizaron modificaciones menores a la prueba con base en los comentarios de los evaluadores de la prueba piloto.

Se aplicó la versión final de la prueba en tres días con tres turnos cada uno. En cada turno se contó con tres circuitos, cada uno con ocho estaciones con pacientes y dos de descanso (figura 1). Participaron 24 evaluadores, 48 pacientes estandarizados, 3 anfitriones y 8 coordinadores de circuito, desde sus domicilios, con equipo de telecomunicaciones propio. Durante la evaluación, los pacientes y sustentantes mantuvieron la cámara encendida. Se aplicaron los mismos casos durante toda la duración de la prueba. Posteriormente, los estudiantes recibieron un usuario y contraseña para acceder a un sistema de retroalimentación automatizado que les brindó información de su desempeño. Se incluyó en los resultados a los sustentantes que finalizaron la prueba en su totalidad.

Después de la implementación del WebECOE, se realizó el análisis de discriminación (–3.0 a 3.0) y dificultad (≥0.4) de los indicadores utilizando un modelo graduado de dos parámetros con la Teoría de Respuesta al Item con el software IRTPROTM. También, se ejecutó la prueba de bondad de ajuste de Kolmogorov-Smirnoff con la corrección de Lilliefors, el análisis de confiabilidad con el alfa de Cronbach, el análisis de correlación entre el rendimiento académico y la competencia clínica del WebECOE con la rho de Spearman, y un análisis de componentes principales con rotación por medio del software SPSS versión 25 (SPSS, IBM). La calificación final obtenida mediante la aplicación de los indicadores de la escala en todo el WebECOE se ponderó sobre 100 para realizar las pruebas de correlación. Los puntajes se operacionalizaron en los siguientes rangos, en concordancia con los puntajes de la escala: deficiente (0 a 24.9), insuficiente (25 a 49.9), suficiente (50 a 74.9) y excelente (75 a 100)

CONSIDERACIONES ÉTICAS

El proyecto fue aprobado por el Comité de Investigación y Ética del Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud de la UNAM con número PMDCMOS/CE3/3/2023. Se solicitó consentimiento informado a los participantes y se mantuvo el anonimato de todos los participantes de este estudio. Se eliminaron los datos de los sustentantes que no finalizaron la prueba.

RESULTADOS

Los resultados se obtuvieron de 207 estudiantes que cumplieron con los criterios de inclusión. El análisis psicométrico mostró que 30 indicadores cumplían con criterios de discriminación y de dificultad adecuados, mientras que dos estaciones se eliminaron al no contar con parámetros psicométricos adecuados. La prueba de bondad de ajuste mostró una distribución no gaussiana. El alfa de Cronbach fue 0.89. La matriz rotada del análisis de componentes principales mostró ocho factores que explicaron el 68.28% de la varianza. Los factores se conformaron por indicadores con predominio por estación con cargas factoriales mayores a 0.4.

La media del puntaje total obtenido fue de 74.5. La figura 2 muestra una distribución de los puntajes con sesgo hacia la izquierda y una mayor concentración de frecuencias en el rango entre 75 y 79.9. La figura 3 muestra que la competencia con mayor puntaje fue la de profesionalismo y comunicación con 84.5, mientras que la interpretación de estudios paraclínicos tuvo el puntaje más bajo con 54.2. La media obtenida del interrogatorio, exploración física, estudios paraclínicos, diagnóstico y manejo, mismos que se consideraron como atributos de la competencia clínica, fue de 70.1. La correlación entre el puntaje promedio del WebECOE con el rendimiento académico de los estudiantes fue de 0.26 (p < 0.001) como se muestra en la figura 4.

Tabla 1. Fuentes de evidencias de validez del WebECOE para evaluar la competencia clínica de estudiantes al término de segundo año

Fuentes de evidencia de validez	Integración de la evidencia de validez del WebECOE
Contenido	Desarrollo del perfil de referencia de la prueba; desarrollo de la tabla de especificaciones de acuerdo con planes y programas de estudio; validación por expertos de los casos y la tabla de especificaciones; capacitaciones a los pacientes estandarizados y auxiliares de salud; realimentación obtenida del estudio piloto y modificaciones consecuentes.
Proceso de respuesta	Capacitación a los estudiantes para familiarizarlos en el WebECOE; capacitación a evaluadores en el uso de la escala global y el sistema de evaluación del WebECOE; selección de evaluadores con perfil de docentes biomédico-clínicos; desarrollo y uso de un sistema informático para evaluación y retroalimentación.
Estructura interna	Alfa de Cronbach de 0.89; análisis de los ítems mediante la teoría de respuesta al ítem con parámetros de dificultad (–3>b>3) y discriminación (>0.5) adecuados; análisis de componentes principales con predominio por estación.
Relación con otras variables	Relación con el rendimiento académico.
Consecuencias de la evaluación	Formativa: para brindar retroalimentación de los atributos de competencia demostrados.

Con base en lo anterior, se identificaron las evidencias de validez del WebECOE. Estas evidencias se resumieron en la tabla 1.

DISCUSIÓN

Con la pandemia por el SARS-CoV-2, el uso de la telemedicina y la educación a distancia aumentó y, con ello, la relevancia de un instrumento como el WebECOE para evaluar a los estudiantes de las ciencias de la salud26. Como se enlistan en la tabla 1, se encontró en este estudio que el WebECOE cuenta con evidencias de validez para evaluar dimensiones de la competencia clínica, hallazgo que ha sido reportado en otras publicaciones nacionales e internacionales18,22,27.

Sobre el análisis de componentes principales es importante resaltar que los factores se agrupan predominantemente por estación, lo cual es similar a lo reportado en la literatura22, y se puede interpretar como la resolución compleja de un caso clínico mediante el uso de las habilidades y conocimientos desarrollados. Por otro lado, el factor con mayor carga agrupa los indicadores de profesionalismo e integración clínica de los casos con enfoque en la medicina preventiva como lactancia materna, consejería para uso de anticonceptivos y consulta de control prenatal, lo cual es consistente con el modelo educativo de la licenciatura.

Los puntajes globales del WebECOE fueron superiores a los de ECOE presencial para evaluar la competencia clínica en estudiantes de medicina de pregrado en México para evaluar el perfil intermedio I al término del segundo año (74.5 vs. 58)28, y al perfil intermedio II al término del cuarto año (74.5 vs. 62.2)29, así como a un ECOE presencial para evaluar estudiantes de medicina en su segundo año en la universidad de Harvard (74.5 vs. 57)30; sin embargo, dado que no se trabajó con estaciones equivalentes no son totalmente comparables. El puntaje de la exploración física obtenida es mayor en comparación con otros estudios de ECOE (74.4 vs. 66.6)29, (74.4 vs. 65)30, y similar en un estudio de WebECOE (74.4 vs. 73.8)31, debido probablemente al aumento en telesimulaciones durante los dos primeros años de la licenciatura para solventar la práctica clínica.

Al analizar los resultados por estaciones, se puede observar un mayor puntaje en las estaciones con énfasis en aspectos preventivos, en comparación con las que tienen mayor énfasis en el diagnóstico y manejo. Esto es congruente con el modelo educativo de la institución que tiene un énfasis en la promoción de la salud y la prevención de la enfermedad y con las competencias esperadas a desarrollar para el perfil intermedio del plan de estudios. También podría explicarse por la poca accesibilidad a campos clínicos durante los primeros años de la formación clínica que se llevó a cabo durante la pandemia.

La correlación positiva de los resultados del WebECOE con el rendimiento académico muestra la congruencia de la evaluación con las estrategias de enseñanza-aprendizaje como el aprendizaje basado en problemas, entre otros, en los primeros dos años de la licenciatura. Es importante considerar que el rendimiento académico conceptualizado en este estudio se enfoca en los resultados de evaluaciones teórico-prácticas sumativas3, que forman parte esencial de la competencia clínica, sin embargo, el rendimiento se ve influenciado por factores socioculturales como el nivel socioeconómico, acceso a la educación y recursos, redes de apoyo, personalidad, inteligencia emocional y salud mental, capacidades de salud; así como otros factores académicos como el acceso a tutorías, técnicas de estudio, aspectos vocacionales, entre otros, por lo que es necesario considerar estas características en estudios futuros32,33.

Por otro lado, el puntaje de correlación del rendimiento es menor en comparación con los hallazgos del estudio de Gutiérrez et al., (0.26 vs. 0.4)34. Es necesario señalar que el instrumento que se aplicó en este estudio fue desarrollado por la misma institución a diferencia del estudio catalán, lo cual tiene la ventaja de tener un perfil de referencia específico para sus sustentantes, pero limita la comparación directa con otras poblaciones. Derivado de lo anterior, es necesario realizar estudios para corroborar la relación del WebECOE aplicado con el rendimiento académico, considerar el análisis de sus distintos componentes, y comparar el resultado con otras poblaciones similares.

Las fortalezas identificadas en este estudio fueron la aplicación a un gran número de sustentantes con una cantidad limitada de recursos, y que contiene evidencias de validez para la evaluación de la competencia clínica, lo que lo hace un instrumento factible para evaluar a estudiantes de medicina. Otra fortaleza es que permite evaluar a estudiantes en zonas remotas, lo que representa una ventaja para las instituciones que tienen rotaciones clínicas en otras ciudades o estados.

Además, este estudio agrega un rol adicional en las evaluaciones de tipo WebECOE para evaluar la exploración física y el trabajo en equipo a través de un participante involucrado. El uso de este tipo de pacientes estandarizados en los ECOE se había utilizado con la intención de evaluar habilidades interpersonales y disminuir la carga cognitiva del evaluador34, y se encontraron reportes de su uso en WebECOE en una publicación donde adoptó el rol de familiar para responder las preguntas del interrogatorio y a los hallazgos de la exploración física narrada36.

Por otro lado, una limitante del estudio es la falta de demostración de habilidades para la exploración física, ya que, aunque puedan identificarla y describirla, esto solo permite evaluar el conocimiento de los sustentantes sobre el procedimiento, lo cual es consistente con lo reportado en la literatura27. Se deben llevar a cabo futuras investigaciones para generar estrategias que permitan evaluar la exploración física en un WebECOE, como el uso de entrenadores de tareas de bajo costo. Otra limitante de este estudio es que por motivos logísticos se implementaron los mismos casos para todos los sustentantes; sin embargo, el puntaje promedio entre el primer y el tercer turno mostró puntajes similares. Para analizar el impacto de cada turno y prevenir la varianza irrelevante al constructo, es necesario contar con estaciones equivalentes.

Otra limitante es que este estudio se llevó a cabo en una sola institución, por lo que es importante llevar a cabo la evaluación utilizando estaciones equivalentes en instituciones de educación superior con características similares, a fin de analizar el comportamiento del instrumento. Además, es difícil para la institución controlar factores externos a la prueba que pueden ocasionar varianza irrelevante al constructo, como la conexión a internet de sustentantes y evaluadores, el funcionamiento adecuado de los equipos de audio y video, el ruido ambiental, entre otros, por lo que es necesario generar mecanismos preventivos y de contención para asegurar la correcta implementación de la prueba, a través de la difusión de la prueba e instrucciones claras para los sustentantes, y tener previsto uno o más circuitos al día o al finalizar la aplicación de toda la prueba para la reposición de los sustentantes con fallas técnicas.

CONCLUSIONES

El nivel de competencia clínica lograda por los estudiantes al término del segundo año es suficiente y sienta las bases para continuar con el desarrollo de dicha competencia en la trayectoria escolar.

Hay correlación positiva entre los resultados obtenidos en el WebECOE con el rendimiento académico de los estudiantes.

El presente estudio aporta suficientes fuentes de evidencias de validez y factibilidad del WebECOE como instrumento de evaluación de dimensiones de la competencia clínica. Es importante considerar su aplicación en otros contextos para valorar su pertinencia.

CONTRIBUCIÓN INDIVIDUAL

•SABS: Diseño del estudio, desarrollo de la investigación, análisis estadístico, redacción y revisión del manuscrito.

•RCGR: Diseño del estudio y revisión del manuscrito.

•JATM: Diseño del estudio y revisión del manuscrito.

•AMG: Diseño del estudio, desarrollo de la investigación, análisis estadístico, redacción y revisión del manuscrito.

AGRADECIMIENTOS

•Mtro. Juan Manuel Flores Ayala, por sus aportaciones al método estadístico del estudio.

•Dr. José Matamoros Tapia, por sus aportaciones al desarrollo del estudio.

•Mtra. Kweilan Yap Campos, por sus aportaciones al desarrollo del estudio.

•A las y los evaluadores, pacientes estandarizados, auxiliares, técnicos y coordinadores de la prueba definitiva y la prueba piloto.

•Al Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud, de la Universidad Nacional Autónoma de México.

PRESENTACIONES PREVIAS

Ninguna.

FINANCIAMIENTO

Ninguno.

CONFLICTO DE INTERESES

Los autores del presente manuscrito declaran no tener conflictos de intereses para la realización del estudio.

REFERENCIAS

1.American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. Estándares para pruebas educativas y psicológicas (M. Lieve, Trans.). Washington DC: American Educational Research Association; 2018: 258 p.

2.Carrillo-Avalos BA, Sánchez-Mendiola M, Leenen I. El concepto moderno de validez y su uso en educación médica. Inv Ed Med. 2020;9(33):98-106. https://doi.org/10.22201/facmed.20075057e.2020.33.19216

3.Gatica-Lara F, Méndez-Ramírez I, Sánchez-Mendiola M, Martínez-González A. Variables asociadas al éxito académico en estudiantes de la Licenciatura en Medicina de la UNAM. Rev Fac Med UNAM. 2010;53(5):9-18.

4.Noriega T, Orosa J, Puerta M, Goncalves J, Díaz M, Pérez-Ojeda J. La competencia clínica como eje Integrador de los estudios de Pre y Post-Grado en las Ciencias de la Salud. Rev Fac Med Caracas. 2003;26(1):17-21.

5.Fornells-Vallés JM. El ABC del Mini-CEX. Educ. Med. 2009;12(2):83-89.

6.Swing SR. Assessing the ACGME General Competencies: General Considerations and Assessment Methods. AEM. 2002;1;9(11):1278-1288. https://doi.org/10.1197/aemj.9.11.1278

7.Erfani-Khanghahi M, Ebadi-Fard Azar F. Direct observation of procedural skills (DOPS) evaluation method: Systematic review of evidence. Med J Islam Repub Iran. 2018;32(3):45. https://doi.org/10.14196/mjiri.32.45

8.Díaz-Guio DA, Cimadevilla-Calvo B. Educación basada en simulación: debriefing, sus fundamentos, bondades y dificultades. Rev Latinoam Simul Clín. 2019;1(2):95-103. https://dx.doi.org/10.35366/RSC192F

9.Wright C, Richards SH, Hill JJ, Roberts MJ, Norman GR, Greco M, et al. Multisource feedback in evaluating the performance of doctors: the example of the UK General Medical Council patient and colleague questionnaires. Acad Med. 2012;87(12):1668-1678. doi: 10.1097/ACM.0b013e3182724cc0

10.Harden RM, Lilley P, Patricio M. The Definitive Guide to the OSCE: The Objective Structured Clinical Examination as a performance assessment. Elsevier Health Sciences; 2015: p 224.

11.Martínez-González A, Sánchez-Mendiola M, Méndez-Ramírez I, Trejo-Mejía JA. Grado de competencia clínica de siete generaciones de estudiantes al término del internado médico de pregrado. Gac Med Mex. 2016;152(5):679-687.

12.Trejo-Mejía JA, Martínez-González A, Méndez-Ramírez I, Ruiz-Pérez LC, Sánchez-Mendiola M, Morales-López S. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gac Med Mex. 2014;150(1):8-17.

13.Martínez-Gonzalez A, Sánchez-Mendiola M, Furman GE, Olivares-Olivares S, Trejo-Mejía JA, Alpuche-Hernández A, et al. Colaboración de tres escuelas de medicina de México en un examen clínico objetivo estructurado (ECOE). Inv Ed Med. 2020;15(9):58-69. https://doi.org/10.22201/fm.20075057e.2020.36.20258

14.Jefferies A, Simmons B, Tabak D, Mcilroy JH, Lee K-S, Roukema H, et al. Using an objective structured clinical examination (OSCE) to assess multiple physician competencies in postgraduate training. Med Teach. 2007;1;29(2-3):183-191. https://doi.org/10.1080/01421590701302290

15.Lacassie HJ, Corvetto MA, Delfino AE. Implementación del Primer Examen Clínico Objetivo Estructurado (ECOE) para la Certificación de la Especialidad en Anestesiología en Chile. Rev Med Chile.2020;148(12):1819-1824. http://dx.doi.org/10.4067/S0034-98872020001201819

16. Ferrel MN, Ryan JJ. The impact of COVID-19 on medical education. Cureus. 2020;12(3):e7492.

17.Torda A. How COVID‐19 has pushed us into a medical education revolution. Intern Med J. 2020;50(9):1150-1153. https://doi.org/10.1111/imj.14882

18.Rivero-López CA, Vega-Rodríguez MF, Yap-Campos K, Jiménez-Galván I, Ponce-Rosas ER, Martínez-González A. La evaluación de la competencia clínica a través de un Web-ECOE: una experiencia de aplicación. Investigación Educ Médica. 2021;10(38):68-75. https://doi.org/10.22201/fm.20075057e.2021.38.21341

19.Major S, Sawan L, Vognsen J, Jabre M. COVID-19 pandemic prompts the development of a Web-OSCE using Zoom teleconferencing to resume medical students’ clinical skills training at Weill Cornell Medicine-Qatar. BMJ Simul Technol Enhanc Learn. 2020;6(6):376-377. doi: 10.1136/bmjstel-2020-000629

20.Shorbagi S, Sulaiman N, Hasswan A, Kaouas M, Al-Dijani MM, El-hussein RA, et al. Assessing the utility and efficacy of e-OSCE among undergraduate medical students during the COVID-19 pandemic. BMC Med Educ. 2022;22(1):156. https://doi.org/10.1186/s12909-022-03218-9

21.Savage A, Minshew LM, Anksorus HN, McLaughlin JE. Remote OSCE experience: What first year pharmacy students liked, learned, and suggested for future implementations. Pharmacy. 2021;9(1):62. https://doi.org/10.3390/pharmacy9010062

22.Trejo-Mejía JA, Peña-Balderas J, Soto-Aguilera CA, Alpuche-Hernándeza A, Ortiz-Montalvo A, Cerritos A. Adaptación de un ECOE presencial a modalidad en línea para un examen de altas consecuencias. Inv Ed Med. 2022;11(43):16-35. https://doi.org/10.22201/fm.20075057e.2022.43.21399

23.Abreu LF, Cid A, Herrera G, Lara JVM, Laviada R, Rodríguez C, Sánchez J. Perfil por competencias del médico general mexicano. México: AMFEM, 2008.

24.Universidad de la Salud. Plan de estudios: Licenciatura de Medicina General y Comunitaria. [Consultado 6 feb 2023]. Disponible en: https://unisa.cdmx.gob.mx/storage/app/media/Plan%20de%20Estudios/PLAN%20DE%20ESTUDIOS-TOMO%20I_MEDICINA.pdf

25.Martínez-González A, Trejo-Mejía JA. ¿Cómo realizar un ECOE? Inv Ed Med. 2020;7(28):98-107. https://doi.org/10.22201/facmed.20075057e.2018.28.18123

26.Chan SCC, Choa G, Kelly J, Maru, D, Rashid MA. Implementation of virtual OSCE in health professions education: A systematic review. Med Educ. 2023;57:833-843. https://doi.org/10.1111/medu.15089

27.Sirianni G, Cho JSH, Rojas D, Lazor J, Tait G, Tu, Y, Nyhof-Young J, Kulasegaram K. A Mixed-Methods, Validity Informed Evaluation of a Virtual OSCE for Undergraduate Medicine Clerkship. Education in the Health Professions. 2022;5(2):62-71. doi: 10.4103/EHP.EHP_3_22

28.Martínez-González A, Trejo-Mejía JA, Fortoul-van der Goes TI, Flores-Hernández F, Morales-López S, Sánchez-Mendiola M. Evaluación diagnóstica de conocimientos y competencias en estudiantes de medicina al término del segundo año de la carrera: el reto de construir el avión mientras vuela. Gac Med Mex. 2014;150(1):35-48.

29.Martínez-González A, Lifshitz-Guinzberg A, Trejo-Mejía JA, Torruco-García U, Fortoul-van der Goes TI, Flores-Hernández F, Peña-Balderas J, Martínez-Franco AI, Hernández-Nava A, Sánchez Mendiola M. Evaluación diagnóstica y formativa de competencias en estudiantes de medicina a su ingreso al internado médico de pregrado. Gac Med Mex. 2017;153(1):6-15.

30.Hamann C, Volkan K, Fishman MB, Silvestri RC, Simon SR, Fletcher SW. How well do second-year students learn physical diagnosis? Observational study of an Objective Structured Clinical Examination (OSCE). BMC Med Educ. 2002;2:1. doi: 10.1186/1472-6920-2-1.

31.Felthun JZ, Taylor S, Shulruf B, Allen DB. Empirical analysis comparing the tele-objective structured clinical examination and the in-person assessment in Australia. J Educ Eval Health Prof. 2021;18:23. doi: 10.3352/jeehp.2021.18.23

32.Vargas I, Ramírez C, Cortés J, Farfán A, Heinze G. Factores asociados al rendimiento académico en alumnos de la Facultad de Medicina: estudio de seguimiento a un año. Salud Mental. 2011;34(4):301-308.

33.Jara D, Velarde H, Gordillo G, Guerra G, León I, Arroyo C, Figueroa M. Factores influyentes en el rendimiento académico de estudiantes del primer año de medicina. An. Fac. Med. 2008;69(3):193-197. doi:10.15381/anales.v69i3.1140

34.Gutiérrez-Cebollada J, Baillés E, Girvent M, Moyano E, Larramona P, Pérez-Sánchez J. Relación de las calificaciones en la prueba ECOE de la administración catalana con el expediente académico y los resultados en la prueba MIR en estudiantes de Medicina de la UPF-UAB. Revista Española de Educación Médica. 2020;1(1):82-89. https://doi.org/10.6018/edumed.422961

35.Hopwood J, Gil M, Alison S. Twelve tips for conducting a virtual OSCE. Med Teach. 2021;43(6):633-636. doi: 10.1080/0142159X.2020.1830961

36.O’Brien JE, Charlotte AT, Danielle S. Overcoming COVID-19 challenges: Using remote and hybrid simulation designs in DNP programs. Acad Med. 2022;97(2):S66-S70. doi: 10.1097/ACM.0000000000004534