Metodología de investigación en educación médica

eISSN 2007-5057

Investigación educ. médica Vol. 7, n.o 28, octubre-diciembre 2018

http://dx.doi.org/10.22201/facmed.20075057e.2018.28.18123

¿Cómo realizar un ECOE?

Adrián Martínez Gonzáleza,b,*, Juan Andrés Trejo Mejíac

a Dirección de Evaluación Educativa, UNAM, Cd. Mx., México.

b Departamentos de Salud Pública e Informática Biomédica, Facultad de Medicina, UNAM, Cd. Mx., México.

c Secretaría de Educación Médica, Facultad de Medicina, UNAM, Cd. Mx., México.

Recibidos: 20-abril-2018. Aceptado: 1-junio-2018.

Resumen

El Examen Clínico Objetivo Estructurado (ECOE) es un método de evaluación de la competencia clínica poderoso para mejorar el aprendizaje de la misma, así como para establecer si los estudiantes alcanzaron un estándar aceptable de competencia clínica para continuar avanzando en las diferentes etapas de su proceso formativo. En este artículo se describirán los aspectos relevantes de la planeación, elaboración, aplicación y análisis del ECOE para evaluar el nivel de competencia clínica de los estudiantes de medicina de pregrado o posgrado.

Palabras Clave: Competencia clínica; Examen clínico objetivo estructurado; Evaluación formativa y sumativa; Medicina de pregrado; Medicina de posgrado.

How to do an OSCE?

Abstract

The Objective Structured Clinical Examination (OSCE) is a method of evaluating the clinical competence and improve the learning of the same, as well as to establish if the students reached an acceptable standard of clinical competence to continue advancing in the different stages of their formation process. This article will describe the relevant aspects of the planning, development, implementation and analysis of the OSCE to assess the level of clinical competence of medical students undergraduate or graduate students.

Keywords: Clinical competence; Objective Structured Clinical Examination; Formative and summative assessments; Undergraduate Medicine; Postgraduate Medicine.

INTRODUCCIÓN

Las Instituciones de Educación Superior tienen la responsabilidad de formar profesionales de la salud con un adecuado nivel de conocimientos, de práctica y de actitudes con la capacidad de proporcionar atención integral con calidad y humanismo en los distintos campos de conocimiento de las ciencias de la salud. Es por ello que tanto la planeación el proceso educativo y la evaluación son fundamentales en la formación de los profesionales.

Las profesiones de las ciencias de la salud tienen aspectos prácticos que generalmente no se evalúan en nuestro medio de forma sistemática y metódica, por lo que se dificulta la identificación de las deficiencias para superarlas. En nuestros días la sociedad demanda profesionales de la salud con altos niveles de competencia, para satisfacer sus necesidades, expectativas y exigencias.

Esto es más contundente en el caso de la profesión médica, dado el constante y acelerado avance de la tecnología y del conocimiento científico relevante a esta práctica; por lo que las universidades, en coordinación con el sistema de salud, son las indicadas para formar profesionales con un estándar aceptable de competencia clínica y dar respuesta a esa demanda.

La evaluación es un término genérico que incluye un rango de procedimientos para adquirir información sobre el aprendizaje del estudiante y la formación de juicios de valor respecto a dicho proceso1, otros autores definen la evaluación como el enjuiciamiento sistemático del valor y el mérito de un objeto2, lo cual implica un proceso sistemático de recolección y análisis de información válida y confiable, con la finalidad de tomar decisiones y provocar cambios para la mejora del objeto evaluado.

En el contexto de la educación médica, la evaluación tiene una importancia central para determinar si los médicos en formación alcanzaron la competencia clínica contenida en sus planes de estudios y si la enseñanza y el programa educativo fueron eficaces. La evaluación también es una poderosa herramienta de aprendizaje que utilizada adecuadamente puede mejorar la competencia clínica, aspecto esencial y nada fácil de desarrollar en la formación del médico.

El Examen Clínico Objetivo Estructurado (ECOE) es un método de evaluación donde se simula un encuentro clínico mediante la representación ficticia de un paciente con un padecimiento predeterminado en un caso clínico3. El ECOE ha cobrado una gradual importancia y relevancia hasta convertirse en el examen más objetivo para valorar la competencia clínica, entendida como el “el uso habitual y juicioso de comunicación, conocimiento, habilidades técnicas, razonamiento clínico, emociones, valores y reflexión en la práctica diaria para el beneficio de los individuos y las comunidades a las que se les brinda un servicio”4.

El ECOE, con una planeación, elaboración, aplicación y análisis adecuados, permite contar con información válida, confiable y pertinente que fundamenta la toma de decisiones basadas en la evidencia.

Puede ser formativo cuando el estudiante recibe realimentación del desarrollo de su competencia y le ayuda a conocer las fortalezas y debilidades durante el proceso de formación5.

El ECOE también puede ser sumativo cuando permite establecer si los estudiantes alcanzaron un estándar aceptable de competencia clínica para avanzar por las diferentes etapas de su proceso formativo y diagnóstico, cuando al identificar las fortalezas y debilidades de los estudiantes al inicio de un nivel educativo se puede adecuar la enseñanza y el aprendizaje6.

Se debe destacar que la evaluación de la competencia clínica mediante el ECOE requiere adecuarse al nivel de formación de los estudiantes, por lo que los casos son diferentes para un estudiante al término de segundo año, que para otro al término de cuarto año, ya que conforme avanzan en sus estudios profesionales es claro el incremento de competencia clínica que exhiben en las evaluaciones formativas realizadas7,8; así pues, a partir del tercer año, su contacto con pacientes se incrementa hasta llegar al internado médico, en donde consolidan su competencia clínica de cara al contexto profesional real.

En consecuencia, este trabajo tiene como propósito describir cómo realizar un ECOE para valorar el nivel de competencia clínica que tienen los estudiantes de medicina, para ello tomaremos como referente teórico los pasos para la elaboración de un examen propuestos por Downing9 . Se va a ejemplificar con estudiantes que han terminado el internado médico de pregrado, que generalmente se realiza en el quinto año de la carrera y es semejante en la mayoría de las escuelas de medicina.

Para planear y dirigir el ECOE se debe conformar un comité del ECOE donde participen seis médicos familiares, que sean apoyados por un médico internista, un pediatra, un ginecoobstetra, un cirujano general y un urgenciólogo con al menos10 años de experiencia clínica, capacitados en el ECOE y que hayan participado en al menos tres experiencias de evaluación con esta estrategia como evaluadores y en la elaboración de las estaciones al nivel de solución de problemas más frecuentes para el médico general (figura 1).

 

 

Figura 1. Comité del ECOE

 

Adaptada de Downing SM. Twelve steps for effective test development.
In: Downing SM, Haladyna TM. Handbook of Test Development. Eds.
Mahwah (NJ): Lawrence Erlbaum Associates. 2006.

 

PASO 1. PLANEACIÓN GENERAL DEL EXAMEN

El comité del ECOE tiene varias responsabilidades:

1. Planear y coordinar el diseño de estaciones considerando a quién va dirigida, qué se va a evaluar, para qué se evalúa, cómo se evalúa y cuál es el nivel que se requiere, es decir, establecer sus características: tiempo, número de estaciones, contenidos de cada una de las estaciones.
2. Recopilar y revisar las estaciones que son elaboradas por profesores clínicos para identificar desviaciones y corregirlas para su aplicación en un examen formal.
3. Seleccionar y capacitar a los profesores que participarán como evaluadores mediante cursos; así como capacitar a los pacientes estandarizados que participarán en los exámenes.
4. Generar y gestionar un banco de estaciones mediante la realización de pruebas piloto. Incluye recolectar las fuentes principales de evidencia de validez del ECOE.

La seguridad y el control de calidad de los casos clínicos, se realiza bajo la supervisión de todos los pasos por el Comité del ECOE.

Propósito

El propósito del examen es evaluar la competencia clínica de los estudiantes al término del internado mediante el ECOE, con base en el programa académico del internado médico. El constructo a evaluar es la competencia clínica de los médicos internos ya definida anteriormente y considerada como un conjunto de atributos multidimensionales.

Tipo de examen

El ECOE será sumativo con un circuito de estaciones por las que los estudiantes rotan para mostrar su competencia clínica frente a un paciente. Las estaciones deben considerar: casos clínicos, pacientes estandarizados y sus libretos, instrucciones para los estudiantes, la guía del evaluador y rúbricas para ser utilizadas en cada estación. Más adelante se describe cada uno de estos elementos.

Interpretación

Será un examen de tipo sumativo y el resultado reflejará el grado de competencia clínica alcanzado al término del internado por el estudiante de pregrado, que permitirá o no continuar con el Servicio Social de medicina.

PASO 2. DEFINICIÓN DE CONTENIDO

El contenido de cada estación se define con base en el perfil de referencia del programa académico del internado médico de pregrado, por lo que se realizará una tabla de especificaciones donde se enlistan las enfermedades más frecuentes y la descripción de las dimensiones de la competencia clínica que el estudiante debe demostrar para solucionar los problemas de salud más frecuentes que padece la población mexicana y, por consenso del Comité del ECOE, se determinan los casos clínicos que se incluirán en el ECOE.

Algunas de las dimensiones de la competencia clínica que se evalúan con el ECOE, son el interrogatorio, la exploración física, la interpretación de los estudios de laboratorio y gabinete, el diagnóstico y plan de manejo, la comunicación en la relación médico-paciente y la nota médica10,11.

PASO 3. ESPECIFICACIONES DE LA PRUEBA E INSTRUMENTO DE EVALUACIÓN

El ECOE consistirá de 9 estaciones, con duración de 15 minutos cada una; serán dinámicas, por lo que se utilizarán pacientes simulados estandarizados y modelos anatómicos. Se considerarán las seis áreas generales de Internado Médico: Cirugía, Ginecoobstetricia, Medicina Familiar, Medicina Interna, Pediatría y Urgencias. Se realiza una tabla de especificaciones que considera, además del programa del internado, la morbilidad y mortalidad más frecuente a la que se enfrenta el médico general, que son características deseables de los casos. Cada caso clínico de cada estación seleccionada, contiene una presentación en un escenario clínico y un formato con instrucciones para que el alumno se enfoque en el problema y siga las indicaciones que se le otorgan.

PASO 4. DESARROLLO DE LAS ESTACIONES

Se deberán considerar los siguientes elementos:

La estación

Es el escenario de evaluación, que puede ser en la consulta externa, el área de urgencias, la tocoquirúrgica de un hospital, entre otros, para hacerlo más semejante con la realidad.

Capacitación del evaluador

Se debe capacitar a los profesores clínicos para la elaboración de casos clínicos y en la evaluación de la competencia clínica, mediante cursos; en éstos, los evaluadores elaboran casos clínicos del área en la que trabajan, deberá ser un caso real que se plasma en un libreto que describe la historia clínica de un paciente. Estos casos son revisados y mejorados para su aplicación en pruebas piloto. Cada caso clínico de cada estación contiene: la guía del evaluador, la rúbrica, los estudios de laboratorio y gabinete.

Guía del evaluador

Es la base en la que se describen las acciones más importantes y detalladas que debe realizar el examinado, considerando las dimensiones de la competencia que se va a evaluar.

La ponderación relativa de las dimensiones de la competencia de los casos clínicos se realiza basada en el consenso de expertos.

Ejemplo de ponderación de las dimensiones a evaluar:

 

1. Habilidades en el interrogatorio	25%
2. Habilidades en la exploración física	10%
3. Estudio de laboratorio y gabinete	10%
4. Habilidades diagnósticas	15%
5. Plan preventivo-terapéutico (médico y/o quirúrgico)	10%
6. Habilidades de comunicación	10%
7. Evaluación por el paciente	5%
8. Nota médica TOTAL	15% 100%
9. Valoración global de los conocimientos y habilidades

 

La rúbrica

La herramienta de evaluación que utilizará el evaluador, en este caso, será la rúbrica con escalas globales, contenida en la tableta electrónica, para registrar el desempeño clínico de los estudiantes en cada una de las estaciones, la cual fue elaborada por consenso de expertos y con base en la literatura. La rúbrica se elabora con enunciados relacionados a la actividad que tienen que realizar los estudiantes y su nivel de desempeño con el fin de estandarizar a los evaluadores12 (anexo 1).

La rúbrica desarrollada incluye 9 dimensiones para evaluar la competencia clínica con 4 niveles de desempeño: insuficiente, suficiente, bueno y excelente. El nivel de desempeño insuficiente y excelente tiene sus correspondientes descriptores para cada una de las dimensiones de la competencia clínica que ayuda a calibrar a los evaluadores como sugieren Hodges et al13.

En cada estación se evalúa, con el apoyo de la rúbrica, la capacidad del estudiante para interrogar, explorar, interpretar exámenes de laboratorio y gabinete, formular diagnósticos, la capacidad para instalar un plan de manejo integral y la elaboración de una nota médica.

Además, en la rúbrica se otorgan dos valoraciones adicionales: primero los pacientes dan una calificación del trato recibido por los estudiantes y los profesores lo anotan en la rúbrica.

Y el otro por parte del evaluador, que emite una valoración global de la competencia clínica mostrada por el estudiante, que no tiene un peso en la calificación, pero sirve como un estándar de pase para cada estación.

Capacitación del paciente

Es la persona que se conoce como paciente estandarizado, porque representa el caso clínico en repetidas ocasiones de manera consistente para ofrecerles similar nivel de complejidad a los diferentes estudiantes evaluados.

Se les capacita a través de un curso para representar un problema médico para ello se utiliza un libreto con las posibles preguntas y respuestas durante la consulta médica, las respuestas al examen físico y el perfil de personalidad del paciente, para que acudan a ella con la caracterización física apropiada al padecimiento simulado el día de la evaluación, de forma que su representación sea consistente como pacientes estandarizados14,15,16. Se utilizan también modelos anatómicos o maniquíes dependiendo de la competencia clínica a evaluar17.

Asimismo, se deben considerar los materiales adicionales que se requieren en cada estación como batas, sábanas, cintas métricas, radiografías, electrocardiogramas, resultados de exámenes de laboratorio, guantes, portaagujas, suturas, entre otros.

Estudiante

Recibe instrucciones para que se enfoque en el problema y siga las indicaciones que se le dan; estas se encuentran en cada consultorio a la vista del estudiante para que las lea y comprenda, antes de realizar cualquier actividad con el paciente.

PASOS 5 Y 6. DISEÑO DEL ECOE Y PRODUCCIÓN

Prueba piloto

Se realiza una prueba piloto a una población similar académicamente a la que se evaluará, con el fin de mejorar la claridad y relevancia de las 9 estaciones elaboradas con todos sus elementos. Se solicita a los profesores que participan como evaluadores, información relativa a los aspectos del caso clínico, en un formato específico, que permita afinar todos los detalles del material del alumno, de las guías del evaluador, de los libretos y del desempeño de los pacientes para mejorar los casos, de manera que sea posible evaluar en los quince minutos de duración de cada estación, así como probar las tabletas electrónicas por parte de los evaluadores.

Se recomienda que los escenarios sean los consultorios de las unidades del primer nivel de atención médica.

El Comité del ECOE realiza una revisión final a todos los documentos de las estaciones para afinar detalles y corregirlos y así estar preparados, con el fin de que el ECOE se aplique en condiciones estandarizadas de evaluadores, pacientes, tiempo, sede, tabletas electrónicas con rúbricas. El ECOE está conformado por 9 estaciones, de 15 minutos de duración cada una y una duración total de 2 horas y 15 minutos.

Diseño y producción

Después de conformar el ECOE, con las estaciones probadas y editadas, se revisan todos los formatos y se verifica que todos los materiales y recursos necesarios estén disponibles para el desarrollo del examen en el día de la prueba y se imprimen los materiales con medidas de seguridad asociadas.

Se realiza una clasificación de los materiales en cajas. Cada caja contiene en carpetas todo el material de cada estación: material del estudiante, guía del evaluador, tabletas electrónicas con acceso a las rúbricas, formato de realimentación de la estación y material complementario (radiografías, ultrasonografías, resultados de estudios de laboratorio).

Solo aquellos con responsabilidad directa para la seguridad de los exámenes tienen acceso al mismo. A los escritores de casos clínicos y a los revisores se les pide que firmen una cláusula de confidencialidad. Posteriormente se resguarda el ECOE y, en su momento, se realiza la distribución del material a la(s) clínica(s) por el Comité de Evaluación.

PASO 7. APLICACIÓN DEL EXAMEN

Las condiciones para la estandarización del examen están relacionadas con la calidad de la aplicación del mismo. Es indispensable llevar un adecuado control de todas las variables relevantes durante la aplicación del examen para poder interpretar las puntuaciones de los examinados de manera uniforme, significativa y justa. Esta es la esencia de las consideraciones del tópico de validez en la administración del examen.

El examen se aplica en los consultorios de una o varias unidades médicas del primer nivel de atención médica, dependiendo del número de estudiantes a evaluar. Se indica a los estudiantes el lugar, día y hora en que deberán presentarse.

El 100% de los profesores evaluadores deben tener experiencia en este tipo de examen. Se realiza una reunión general con todos los profesores para asegurar la estandarización en la aplicación del examen y conducir el proceso con altas medidas de seguridad.

Admisión al examen

Los estudiantes llegarán a la sede, una hora antes del inicio del examen. Al llegar se identificarán con la credencial oficial con fotografía que se les da cuando realizan los trámites del ECOE. No se permite el ingreso con celulares u otros dispositivos electrónicos, los cuales se resguardan.

Se dará un tiempo de 15 minutos para cada estación; en la media hora previa al examen, se les conducirá al aula de la clínica donde el coordinador les otorgará la información de la dinámica del examen para un correcto desarrollo de sus acciones a lo largo de cada una de las estaciones y hacer que las condiciones sean uniformes y similares para todos los examinados.

El coordinador operativo hará un recorrido de las estaciones con todos los examinados en grupo y, posteriormente, se ubicará a cada uno de ellos frente al consultorio o estación donde debe iniciar el examen según el gafete asignado.

A los evaluadores se les solicitará llegar al examen con una hora de anticipación, y se les hará la entrega del material necesario para el desarrollo adecuado de la estación asignada a cada uno. Al pasar cada uno de los sustentantes, el evaluador lo identificará y evaluará en la rúbrica cada una de las dimensiones de la competencia clínica correspondiente al nivel del desempeño realizado por el estudiante en cada estación.

El coordinador de sede deberá estar atento para resolver cualquier duda de los evaluadores y solucionar los incidentes que se presenten.

Durante el examen, el coordinador de la sede y dos personas de apoyo logístico se encargarán de vigilar los cambios de estación para evitar la comunicación entre los estudiantes durante el mismo, y para evitar que estos se equivoquen de estación.

Los coordinadores verificarán que los evaluadores entreguen las tabletas electrónicas con los resultados de todos los alumnos evaluados. Al mismo tiempo, se va generando automáticamente la base de datos con las respuestas de los estudiantes.

Al finalizar el examen, los coordinadores recolectarán todo el material y lo entregarán al Comité del ECOE.

Regulaciones del examen y reglas de conducta

Los profesores y personal de apoyo logístico, monitorean a los sustentantes a lo largo del examen para asegurar que no haya conductas irregulares. Se les pide a los estudiantes seguir las indicaciones de los coordinadores. El no hacerlo puede resultar en la suspensión del examen.

Todos los materiales del examen pertenecen a la Facultad o Escuela de Medicina y deberán mantener la confidencialidad de los mismos.

Inicio y término del examen

Una vez que comienza el examen, este tendrá una duración total de 150 minutos, 15 minutos por estación, y todos los sustentantes tendrán un descanso para ingerir líquidos, tomar un dulce o ir al baño.

Durante cada estación, una persona con un megáfono avisa, a los 9 min, que queda un min; y a los 10 min inicia la nota médica; a los 14 min se avisa que queda un min; y a los 15 min se les avisa cambio de estación.

PASO 8. CALIFICACIÓN DEL EXAMEN Y ANÁLISIS ESTADÍSTICO

Se deberán obtener medidas de tendencia central y de dispersión y realizar la prueba alfa de Cronbach para obtener la confiabilidad del examen, aunque es más recomendable utilizar la Teoría G que analiza las diferentes fuentes de error18,19. También se debe analizar la estructura interna del examen a través de la Teoría de Respuesta al Ítem.

Es conveniente que haya dos profesionales estadísticos de apoyo que se encarguen del proceso de análisis de los datos, uno con el programa SPSS y otro con SAS, de los cuales se obtendrán resultados similares lo que da una mayor confiabilidad a los resultados.

Deberán contar con la ponderación de las dimensiones de la competencia clínica descritas en el paso 4, para que realicen los cálculos con los programas antes señalados.

Interpretación de la calificación

De acuerdo al propósito del examen, la interpretación de sus resultados reflejará el nivel de competencia clínica por dominios y en forma global de los examinados para desempeñarse como médicos generales.

Si el examinado alcanza una calificación arriba del nivel de pase, será aprobado y podrá ir al Servicio Social, en caso contrario será suspendido.

PASO 9. ESTÁNDAR DE PASE

Decidiendo el tipo de estándar

Con la ponderación se otorga una calificación de los alumnos para cada estación. La calificación de cada estación es la expresión de la sumatoria de cada una de las dimensiones de la competencia de cada estación. Se debe establecer el nivel o estándar de pase que identifica al estudiante que obtiene un resultado de aprobado del que no lo obtiene. Su puntuación se compara con la puntuación media obtenida por el grupo para cada dimensión y competencia global, en el caso de evaluación con referencia a la norma6. O bien puede haber otros métodos de establecimiento del estándar de pase como una evaluación con referencia a criterio donde se compara la puntuación del estudiante con los dominios de la competencia clínica, esta última es más recomendable20.

PASO 10. REPORTE DE LOS RESULTADOS

El reporte de calificaciones incluye la calificación de cada estudiante (medidas de tendencia central, medias, medianas, moda) y medidas de dispersión tales como la desviación estándar y el error estándar de la medición. Esta información individual da al estudiante los datos que reflejan su desempeño en el examen y dónde se encuentra, él o ella, en comparación con el grupo, si la evaluación fue con base en la norma. También debe elaborarse un reporte global con los principales resultados del ECOE, para ser analizados por el Comité del ECOE, los evaluadores y las autoridades académicas.

La calificación final del examen se les debe entregar dentro de los siguientes cuatro días del mismo a los sustentantes y serán reportadas en una página institucional, como aprobado o suspendido.

PASO 11. BANCO DE CASOS PARA ESTACIONES

Es conveniente desarrollar un sistema de banco de casos clínicos para estaciones, con los siguientes apartados: a) preparación de casos nuevos, b) almacén de casos, y c) mantenimiento histórico de los casos.

Las variables relevantes que serán guardadas con cada caso clínico y guías del evaluador, son: los casos en sí, un código de identificación de casos, clasificación del caso, categorías de contenido de acuerdo a la tabla de especificaciones, proceso cognitivo muestreado en cada caso, uso del caso a través del tiempo, (cuándo y cuántas veces se ha usado) datos del análisis del caso (dificultad del caso) autores del caso, fuentes del caso, revisores del caso. Los casos seleccionados para el banco serán responsabilidad del Comité del ECOE.

PASO 12. REPORTE TÉCNICO DEL EXAMEN

En el reporte se describe el ECOE en cada uno de los pasos que se han abordado en este artículo, incluyendo el análisis psicométrico de los casos, con el fin de resguardar todas las evidencias documentales de este examen.

En conclusión, realizar metodológica y sistemáticamente el ECOE en cada uno de los pasos aquí descritos, nos permite recolectar distintas fuentes de evidencia de validez suficientes para apoyar o refutar la interpretación de los resultados del examen21, así como de la confiabilidad18 para evaluar el nivel de competencia clínica que tienen los estudiantes del internado médico22 de la manera más objetiva y justa posible, todo ello para la seguridad y beneficio de los pacientes.

REFERENCIAS

1. Miller G. The assessment of Clinical Skills/Competence/Performance. Acad Med. 1990;65(9):S63-S67.
2. Stufflebeam D. Shinkfield E. Evaluación sistemática. Barcelona, España: Paidós. 1993.
3. Harden R, Stevenson W, Downie W, Wilson G. Assessment of Clinical Competence Using an Objective Structured Examination (OSCE). Brit Med J. 1975;1:447-51
4. Epstein RM. Assessment in Medical Education. N Eng J Med. 2007;356:387-396.
5. Harden RM. Revisiting Assessment of clinical competence using an objective structured clinical examination (OSCE). Medical Education. 2016;50(4):376-9.
6. Sánchez Mendiola M; Lifshitz Guinzberg A; Vilar Puig P; Martínez González A; Varela Ruiz M; Graue Wiechers E. “Educación Médica. Teoría y práctica”. UNAM-Elsevier. 1a edición: marzo 2015. 460 p.
7. Martínez González A, Trejo Mejía JA, Fortoul van der Goes TI, Flores Hernández F, Morales López S, Sánchez Mendiola M. Evaluación diagnóstica de conocimientos y competencias en estudiantes de Medicina al término del segundo año de la carrera: El reto de construir el avión mientras vuela. Gac Méd Méx. 2014;150:35-48.
8. Martínez González A, Lifshitz Guinzberg A, Trejo Mejía JA, Torruco García U, Fortoul van der Goes T, Flores Hernández F, Peña Balderas J, Martínez Franco AI, Hernández Nava A, González DE, Sánchez Mendiola M. Evaluación diagnóstica y formativa de competencias en estudiantes de Medicina a su ingreso al internado médico de pregrado. Gac Méd Méx. 2017;153(1):6-15
9. Downing SM. Twelve steps for effective test development. In: Downing SM, HaladynaTM. Handbook of Test Development. Eds. Mahwah (NJ): Lawrence Erlbaum Associates. 2006.
10. Neufeld V. Historical Perspectives on clinical competence. En: Norman G Assessing Clinical Competence. New York. Springer Publishing Company. 1985.
11. Trejo Mejía JA, Martínez González A, Méndez Ramírez I, Morales López S, Ruiz Pérez LC, Sánchez Mendiola M. Evaluación de la Competencia Clínica con el Examen Clínico Objetivo Estructurado (ECOE) en el Internado Médico de la UNAM. Gac Méd Méx. 2014;150:8-17.
12. Martínez A, Furman G, Olivares S, Grimaldo J, Trejo J, Martínez I, Sánchez M. Validez de la Guía Sintética del Evaluador para un ECOE en tres instituciones de educación médica. V Congreso Internacional de Educación Médica. Cancún, México. 2016.
13. Hodges B, Regehr G, McNaughton N, Tiberius R, Hanson M. OSCE checklists do not capture Increasing levels of expertise. Academic Medicine: Journal of the Association of American Medical Colleges. 1999;74(10):1129-1134.
14. Furman, G. E. (2008). The role of standardized patient and trainer training in quality assurance for a high-stakes clinical skills examination. The Kaohsiung Journal of Medical Sciences, 24(12), 651-5. Retrieved from http://www.ncbi. nlm.nih.gov/pubmed/19251561
15. Preusche I, Schmidts M, Wagner Menghin M. Twelve tips for designing and Implementing a structured training in OSCEs rater. Med Teach. 2012;34(5):368-72.
16. Olivares S, Martínez A. Comparación entre dos estrategias de implementación del Examen Clínico Objetivo Estructurado (ECOE). 2° Congreso Internacional de Innovación Educativa. Ciudad de México: Investigación en Educación Médica. 2015.
17. Collins J, Harden R. Real patients, simulated patients and simulators in clinical examinations. Med Teach. 1998;20(6):508-21.
18. Trejo Mejía JA, Sánchez Mendiola M, Méndez Ramírez I, Martínez González A. Reliability analysis of the objective structured clinical examination using generalizability theory. Med Educ Online. 2016;21:31650(ISSN:1087-2981). DOI: 10.3402/meo.v21.31650. http://doi.org/10.3402/meo. v21.31650
19. Espinosa Vázquez O, Martínez González A, Sánchez Mendiola M, Leenen I. Análisis de un examen clínico objetivo estructurado en odontología desde la teoría de la generalizabilidad. Inv Ed Med. 2017;6(22):109-118. http://dx.doi.org/10.1016/j.riem.2016.09.001
20. Downing S, Tekian A, Yudkowski R. Procedures for Establishing defensible absolute passing scores on performance examinations in health professions education. Teach Learn Med. 2006;18(1):50-57
21. Downing S. Validity: on meaningful interpretation of assessment data. Med Educ. 2003;37(9):830-7.
22. Martínez González A, Sánchez Mendiola M, Méndez Ramírez I, Trejo Mejía JA. Grado de Competencia Clínica de siete generaciones de estudiantes al término del Internado Médico de Pregrado. Gac Méd Méx. 2016;152(5):679-87.

     

    
     

    Anexo 1. Guía sintética para el evaluador
    Evaluación de la Competencia Clínica ECOE

Nombre del estudiante:
Nombre del caso:
A continuación se presentan 9 componentes de la competencia clínica, cada uno de ellos tiene las dimensiones a considerar para emitir un juicio objetivo con base en el desempeño clínico del sustentante. Marque la opción elegida con una “X”.
1. Habilidades en el interrogatorio
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
Incompleto. Desorganizado. Sin relación con el padecimiento actual del paciente			Muy Completo. Muy organizado. Orientado al padecimiento actual del paciente
2. Habilidades en la exploración física
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
Exploración incompleta, desorganizada, sin relación con el padecimiento actual del paciente			Exploración completa, sistemática y orientada al padecimiento actual del paciente
3. Estudios de laboratorio y gabinete
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
Solicita e interpreta inadecuadamente los exámenes complementarios de acuerdo al padecimiento actual del paciente			Solicita e interpreta adecuadamente los exámenes complementarios de acuerdo al padecimiento actual del paciente
4. Habilidades diagnósticas
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
No identifica los elementos para establecer diagnósticos diferenciales con base en la evidencia			Identifica los elementos para establecer diagnósticos diferenciales con base en la evidencia
5. Plan preventivo-terapéutico (médico y/o quirúrgico)
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
No sugiere el plan preventivo y/o tratamiento adecuado de acuerdo al padecimiento actual			Sugiere el mejor plan preventivo y/o tratamiento de acuerdo al padecimiento actual
6. Habilidades de comunicación
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
Problemas graves en la comunicación con el paciente o sus familiares			Se comunica de forma adecuada, respetuosa y efectiva con el paciente o sus familiares
7. Receta médica
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
Incompleta. Desordenada. No integra la información para fundamentar los diagnósticos diferenciales			Muy completa y ordenada. Integra adecuadamente la información para fun- damentar los diagnósticos diferenciales
8. Evaluación por el paciente
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
9. Valoración global de los conocimientos y habilidades
A. Insuficiente	B. Suficiente	C. Bueno	D. Excelente	E. No Aplica
Falta de conocimiento y desarrollo de habilidades de interrogatorio, exploración e interpretación para integrar el diagnóstico y manejo			Sobresaliente conocimiento y desarrollo de habilidades de interrogatorio, exploración e interpretación para integrar el diagnóstico y manejo

*Autor para correspondencia: Adrián Martínez González. Facultad de Medicina de la UNAM,
Departamento de Salud Pública. Edif. B, 3er Piso. Av. Universidad 3000. Circuito Escolar, C.U.
Del. Coyoacán. Cd.Mx. 04510. Teléfono: 5556232476.
Correo electrónico: adrianmartinez38@gmail.com

La revisión por pares es responsabilidad de la Universidad Nacional Autónoma de México.
2007-5057/© 2018 Universidad Nacional Autónoma de México, Facultad de Medicina.
Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).