Artículo original
eISSN 2007-5057
Investigación educ. médica Vol. 13, no. 52, México, octubre-diciembre 2024
https://doi.org/10.22201/fm.20075057e.2024.52.24588
Propuesta de rúbricas para evaluar el examen de candidatura al grado de doctor
Teresa Imelda Fortoula,b,‡,*, Alba Ochoa Cabreraa,§, Armando Muñoz Comonfortc,¶
a Programa de Ciencias Médicas Odontológicas y de la Salud, Coordinación General de Posgrado, Facultad de Medicina, UNAM, Cd. Mx., México.
b Departamento de Biología Celular y Tisular, Facultad de Medicina, UNAM, Cd. Mx., México.
c Departamento de Fisiología, Facultad de Medicina, UNAM, Cd. Mx., México.
ORCID ID:
‡ https://orcid.org/0000-0002-3507-1365
§ https://orcid.org/0000-0001-8880-0712
Recibido: 1-enero-2024. Aceptado: 29-abril-2024.
* Autora para correspondencia: Teresa I. Fortoul. Departamento de Biología Celular y Tisular, edificio A 3er piso, Facultad de Medicina, UNAM, Cd. Mx., México.
Correo electrónico: fortoul@unam.mx
Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Resumen
Introducción: El examen de candidatura al grado de doctor es de altas consecuencias, por lo que es deseable que se cuente con rúbricas para evaluar tanto la competencia escrita como la oral.
Objetivo: Contar con evidencias de validez de la aplicación de rúbricas para evaluar a los estudiantes que presentan el examen de candidatura al grado de doctor.
Método: Estudio transversal no experimental. Se aplicaron rúbricas modificadas de unas ya existentes que se empleaban para evaluar la parte escrita del examen y otra para la evaluación de la presentación oral. A ambos se les aplicó una escala numérica para determinar si se otorgaba o no la candidatura. Se aplicó a 195 estudiantes de las generaciones 2019, 2020, 2021 y 2022 de todos los campos disciplinarios. Se realizó el análisis de confiabilidad, diferencia de medianas y un análisis de extracción factorial mediante el método de componentes principales.
Resultados: Al menos se obtuvieron tres evidencias de validez de acuerdo con Messick. No hubo diferencias en los resultados numéricos de acuerdo con: la generación, el sexo del estudiante, el número de sinodales o los puntajes en la evaluación escrita o la oral. Los análisis de componentes principales de ambas versiones mostraron un solo componente para la evaluación escrita y dos componentes para la evaluación oral.
Conclusión: Las nuevas rúbricas han funcionado y presentan resultados positivos, ya que la evaluación es más objetiva en comparación con el formato anterior y el hecho de que sea colegiada ha permitido la unificación de la evaluación entre los sinodales. Con estas rúbricas se evalúan las habilidades de comunicación escrita y oral de manera independiente y será de interés hacer un seguimiento de la relevancia que esta separación tendrá en los resultados del examen de candidatura.
Palabras clave: Evaluación; grado de doctor; validez; examen altas consecuencias; capacidades; candidatura; rúbricas.
Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Proposal of rubrics for evaluating doctoral candidacy
Abstract
Introduction: It is desirable to have a rubric that assesses both written and oral skills because the doctoral candidacy examination is a high-stakes assessment.
Objective: To provide evidence of the validity of the use of rubrics in the assessment of students’ performance on the doctoral candidacy examination.
Method: Non-experimental cross-sectional study. A rubric was used that was modified from a previous one that evaluated the written part of the exam and another for the oral presentation. For both, a numerical scale was used to determine whether candidacy was granted or not. It was applied to 195 students of the generations 2019, 2020, 2021 and 2022 from all disciplinary areas. Reliability analysis, mean difference, and factor analysis to extract principal components have been performed.
Results: According to Messick, at least three sources of evidence for validity were obtained. Generation, gender of students, number of synods, and scores on the written and oral assessments did not differ in the numerical scores. The factorial analysis of both versions was grouped into a single dimension for the written section and into two for the oral section.
Conclusion: The new form of evaluation has worked and shows positive results, since the evaluation is more objective than the previous one, and the fact that it is collegial has allowed the unification of the evaluation among the Synods. With this instrument, written and oral communication skills are evaluated independently, and it will be interesting to follow up on the relevance of this separation on the results of the evaluation of the candidacy.
Keywords: Evaluation; Doctoral degree; validation; high-stakes testing; capabilities; candidacy; rubrics.
This is an Open Access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).
INTRODUCCIÓN
Se define a la evaluación como un proceso sistematizado por el cual se realiza un juicio de valor sobre el desempeño del sujeto a evaluar y es deseable el empleo de instrumentos que tengan evidencias de validez, más si se trata de evaluaciones sumativas de exámenes de altas consecuencias, como lo es el examen de candidatura (EC) al grado de doctor1.
Por validez se entiende el grado en el que la evidencia y las razones teóricas soportan la interpretación o el uso de los resultados de una evaluación de manera congruente con el constructo que se pretende medir. De acuerdo con Messick, son cinco fuentes de evidencia de validez de los instrumentos las que se emplean: de contenido, de validez basada en los procesos de respuesta, de estructura interna, de relación con otras variables y de las consecuencias2.
El EC al grado de doctor es la evaluación académica del perfil intermedio que realizan los alumnos de doctorado durante los estudios de posgrado. Esta evaluación tiene como principal objetivo evaluar la formación académica del alumno y es una actividad recurrente en los programas de diversos posgrados1,3,4.
En el caso del Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud (PMDCMOS) “Aprobar el examen de candidatura al grado de doctor es un requisito previo indispensable para la obtención del grado de doctor, el cual deberá presentarse en el transcurso del quinto semestre”. En el EC se evalúa la capacidad del sustentante para ser un futuro investigador independiente, con dominio de su tema de estudio y de los métodos para realizar investigación5.
El EC es una herramienta académica que permite conocer las habilidades metodológicas y de investigación que ha adquirido el alumno como investigador autónomo; asimismo identificar el grado de avance del proyecto y la revisión de resultados en caso de haberlos, todo esto se puede resumir en evaluar el grado de madurez académica que ha logrado el sustentante. El alumno cuenta con dos oportunidades para presentarlo, de no acreditarlo es dado de baja del programa, lo que hace a esta evaluación de altas consecuencias, ya que define el futuro del sustentante1.
Para evaluar el EC se utilizaba un formato que se empleaba desde el plan de estudios de 1998 y no había sido modificado. La evaluación consistía en que cada sinodal llenaba un formato de evaluación individual de dos cuartillas, además de un acta que se llenaba de forma colegiada.
La población de alumnos de doctorado se ha incrementado y con ello una mayor demanda de solicitudes para presentar el EC. Para hacer más objetiva la evaluación y que se considere la relevancia de cada una de las secciones que la integran (evaluación del escrito y evaluación de la presentación oral), se decidió estructurar un instrumento que evalúe de manera independiente el reporte escrito que se entrega y la defensa oral del proyecto. El objetivo de este trabajo es el contar con evidencias de validez de un instrumento para la evaluación de los estudiantes de doctorado que presentan el EC al grado de doctor.
MÉTODO
Tipo de estudio
Este es un estudio descriptivo, transversal, no experimental.
Las variables consideradas fueron puntaje de la evaluación escrita y puntaje de la evaluación oral. Ambas evaluaciones fueron analizadas en función del número de sinodales, generación y sexo de los estudiantes.
•Proceso para presentar el EC. Seleccionar un jurado integrado por cinco tutores acreditados en el programa, con el grado de doctor, que nombra el Comité Académico, incluido un representante del comité tutor. Durante el EC, el jurado solicitará al alumno que haga una breve exposición de su proyecto de investigación y de los avances de este; posteriormente, interrogará al alumno sobre los avances y productos obtenidos. Se evalúa la originalidad, creatividad y capacidad de innovación del candidato; así como el dominio del campo disciplinario, la adquisición de las competencias metodológicas y de investigación, y las de carácter técnico-instrumental.
•Sinodales. Para cada examen se integró el jurado con cinco sinodales que el Comité Académico autorizó. La selección de estos fue con base en su experiencia como tutor y en el tema; además de contar con el grado de doctor y su acreditación en el programa a nivel doctorado. Uno de los sinodales puede ser externo y no acreditado en el programa, pero debe tener el grado.
•Candidatos. Para ser sustentante del EC, el aspirante tuvo que haber pasado por varios filtros que le permitieron ser aceptado en el programa de doctorado de su elección. Antes de su aceptación, el o la interesada(o) debe: pasar a una entrevista con el responsable del campo, contar el grado de maestro en ciencias con promedio de 8.5, un examen de inglés con un puntaje mínimo de 450 puntos, propuesta de un proyecto original, un tutor, y aprobar la defensa de su proyecto. Esta defensa se hace frente a un jurado que se forma con diferentes tutores del campo al que pretende incorporarse. En caso de ser egresado de la maestría del PMDCMOS con menos de dos años de antigüedad, no se le requiere que presente y apruebe el examen de conocimientos que cada campo aplica. Para llegar al EC debe haber acreditado todos los exámenes tutorales, que en el PMDCMOS se conocen como coloquios1,5.
La muestra incluyó 195 estudiantes, por generación fueron: 2019 = 94, 2020 = 26, 2021 = 49 y 2022 = 26. La muestra, por sexo de los estudiantes, estuvo compuesta de 130 mujeres y 65 hombres inscritos en el PMDCMOS en cualquiera de los campos disciplinarios que, de acuerdo con el programa, presentaron en una primera ocasión su EC en el quinto semestre. Cuando el alumno es notificado de la autorización para presentar su examen, este procede a entregar a cada sinodal un escrito en el que incluye el proyecto y resultados, si los tuviera. El estudiante prepara una presentación para la defensa oral de su proyecto que en general son armadas en PowerPoint©. El criterio de exclusión se aplicó a estudiantes que no cursen el quinto semestre. El documento se entrega con al menos una semana de antelación para que los sinodales tengan tiempo de revisarlo.
Estructura de las rúbricas y su aplicación
El formato de evaluación individual comprendía algunos de los siguientes rubros:
•Dominio de los conocimientos relacionados con su tema de investigación.
•Competencias metodológicas.
•Competencias para la conducción de la investigación.
•Cualidades intelectuales.
El formato individual (anexo 1) incluía preguntas con una escala tipo Likert con cinco opciones de respuesta para cada rubro y al final se solicitaba una evaluación global; sin embargo, no existían parámetros numéricos que permitieran ubicar los resultados de la evaluación en escalas numéricas que definieran si el estudiante acreditaba cada una de las secciones de la evaluación: presentación escrita y presentación oral.
Incluía, además, un espacio adicional para que cada sinodal colocara observaciones y/o recomendaciones extra, el cual en muchas ocasiones resultaba incongruente con el acta colegiada, debido a que algunos sinodales hacían comentarios muy diferentes a los ahí señalados o, en la mayoría de los casos, dejaban en blanco esa sección.
Se buscaron instrumentos para evaluar el EC en otros programas, que pudieran servir como antecedente. Se estructuró un instrumento para evaluar la sección escrita y otro para la evaluación de la presentación oral, y se decidió que ambos se llenaran de manera colegiada. Para que se otorgue la candidatura, el sustentante debía acreditar ambas secciones de manera independiente.
En la sección escrita se retomaron algunos rubros del anterior formato y se complementó con otros aspectos relevantes que apoyaran en la evaluación del escrito. Se evalúa: desarrollo de las diferentes secciones del proyecto, estructura y claridad (título, introducción, planteamiento del problema, objetivos, hipótesis, método y análisis estadístico, resultados, discusión, bibliografía detallada y actual), ortografía y redacción. Se incluyeron 12 ítems.
En la sección oral se retomó una rúbrica que se había aplicado para la evaluación de las presentaciones de los estudiantes de maestría y doctorado en Educación Médica del seminario de investigación, que a su vez fue una adaptación de un instrumento propuesto por Peters MJ et al.6 que se realizó en la Coordinación de Evaluación e Innovación Curricular (CODEIC) de la UNAM7. Esta sección estaba estructurada por 16 rasgos y cuatro opciones de respuesta con una evaluación muy específica de habilidades de comunicación. Se evaluaban: habilidades no verbales, habilidades verbales, apoyos visuales; contenido/ organización.
El acta colegiada no se modificó ya que realimenta al alumno con la aportación de recomendaciones y observaciones que realizan los sinodales y es el documento oficial que el programa emplea.
Inicialmente se aplicaron las rúbricas en un estudio piloto para explorar su factibilidad, en seis EC en los diferentes campos disciplinarios (salud mental, pública, antropología en salud, ciencias médicas, entre otros) para obtener comentarios en relación con la estructura de las dos secciones. Con la información colectada, se modificó la extensión de la evaluación oral y además se agregó una columna con “No aplica”, ya que no todas las secciones se exploran en los diversos campos. Para la sección escrita los comentarios fueron mínimos y en general el formato se consideró adecuado para su aplicación al facilitar el proceso del sinodal y obtener una evaluación más objetiva del alumno. El formato ajustado se aplicó nuevamente y quedó integrado por 12 ítems para la sección escrita y 13 para la oral con cuatro opciones de respuesta. A diferencia del formato previo, en este caso se agregó una escala de acuerdo con el puntaje que obtenían los alumnos, que definía si acreditaban o no la sección evaluada (Anexo 2 nuevo formato).
Análisis estadístico
Se obtuvo la confiabilidad de la aplicación de los instrumentos de evaluación escrita y oral, mediante el alfa de Cronbach. Con la prueba de Kolmogorov-Smirnov (K-S) se identificó si los puntajes de las evaluaciones escrita y oral presentaban distribución normal.
Para la comparación de medianas de los puntajes de la evaluación escrita y oral por sexo de los estudiantes, por generación y por número de sinodales, se usó la prueba estadística no paramétrica de varias muestras independientes para medianas, debido a que el análisis contempló las cuatro generaciones de estudiantes (años 2019, 2020, 2021 y 2022).
Se usó el método de componentes principales para la extracción del espacio factorial, previa determinación de las pruebas de Kaiser-Meyer-Olkin (KMO) y de Bartlett.
La extracción se basó en autovalores mayores a 1 y para el tipo de rotación se usó el método varimax.
El nivel alfa considerado fue: α = 0.05.
El procesamiento de datos se realizó con el programa estadístico de SPSS v. 25.
Consideraciones éticas
El EC es parte del proceso de evaluación de los estudiantes de doctorado y debe presentarse como requisito para continuar en el programa. Los estudiantes al ingreso firman un documento en el que indican que conocen el programa y los requisitos del mismo. La información sobre el EC la conocen los integrantes del comité tutor, los sinodales del EC y la coordinación del programa. Cuando se presenta para su ratificación al Comité Académico solo se indica el resultado del EC: se otorga o no se otorga y el número de acuerdo (RGEP, Plan de estudios).
RESULTADOS
En relación con las evidencias de validez se comenta cada una de las fuentes obtenidas.
Validez de contenido. Los contenidos de cada examen varían de acuerdo con el tema del proyecto del estudiante y los cinco integrantes del jurado son expertos en el contenido que se evaluó. De hecho, es un requisito para integrarse a un jurado de EC, ser experto en el tema que se evalúa.
Validez basada en los procesos de respuesta. Cada seis meses el estudiante de doctorado presenta ante su comité tutor los avances de su proyecto y ahí es interrogado por estos. Cuando presentan el EC ya han expuesto al menos cinco veces sus avances y este proceso es el mismo que se sigue en los EC. Además, en la asignatura de Seminario de Investigación se les indica a los estudiantes qué se les evaluará en el EC. Los jurados tienen amplia experiencia en realizar EC ya que son solicitados con frecuencia para que participen en ellos, que es una de sus obligaciones como tutores del programa1.
Validez de estructura interna. La confiabilidad de la rúbrica usada para la evaluación escrita fue: alfa de Cronbach = 0.91 y para la evaluación oral fue: alfa de Cronbach = 0.92.
Con la prueba de K-S se observó que los puntajes de las evaluaciones escrita y oral no presentaron distribución normal, por lo que se usó estadística no paramétrica para el análisis de datos.
La comparación de las medianas de los puntajes de las evaluaciones escrita y oral por generación de los estudiantes (figuras 1 y 2) resultó con un valor de p > 0.05.
Con relación a la comparación de las medianas de las evaluaciones escrita y oral por número de sinodales (figuras 3 y 4), en las cuatro generaciones, el valor de p fue > 0.05.
Con respecto a la comparación de las medianas de las evaluaciones escrita y oral, por sexo de los estudiantes, en las cuatro generaciones, el valor obtenido fue p > 0.05, inclusive en el 2020 y 2022 las medianas fueron iguales entre mujeres y hombres; es decir, en ningún caso hubo diferencias estadísticamente significativas.
Por otro lado, resulta interesante observar el comportamiento de las evaluaciones escrita y oral durante los cuatro años, como se muestra en la figura 1, la magnitud de la dispersión de los puntajes de evaluación escrita es mayor en 2019 con respecto a los otros tres años y el desplazamiento de la mediana hacia valores más altos en el 2022. Con respecto a la evaluación oral (figura 2) se observa un número mayor de casos atípicos hacia puntajes menores en el 2019 y ningún caso en el 2022, también destaca la menor dispersión de los puntajes de la evaluación oral con respecto a la evaluación escrita.
En el caso del número de sinodales (figuras 3 y 4) se observaron más casos atípicos de puntajes menores en la evaluación oral con respecto a la evaluación escrita.
Los resultados de las pruebas de Kaiser-Meyer-Olkin reportaron lo siguiente:
2.Evaluación Escrita, KMO = 0.93
3.Evaluación Oral, KMO = 0.90
La prueba de Bartlett contrasta la hipótesis nula (Ho) de que la matriz de correlaciones es igual, lo que implica que no existen factores en el modelo (p >0.05).
En este caso, en ambos instrumentos (evaluación escrita y oral) el valor de p fue <0.001, lo que implica el rechazo de la Ho. Con base a los resultados anteriores se continuó con el análisis de componentes principales.
Evaluación escrita: con un autovalor mayor de 1 se observa un 60.77% de varianza total explicada, el método de extracción fue de componentes principales, el cual reportó un solo componente, por lo que no fue factible elaborar su respectivo gráfico.
En el caso de la evaluación oral, por el método de componentes principales se extraen dos componentes, el primero explica el 56.44%, y el segundo explica el 10.09% para dar un acumulado de 66.53% de varianza total, explicada entre los dos componentes.
La matriz de componente rotado (tabla 1) mostró los ítems que presentaron mayor valor, a partir de los cuales se puede inferir la dimensión en la que se pueden agrupar; para el componente 1, los ítems 2, 7, 8, 10, 11, 12, y 13 se agrupan en la dimensión: habilidades de comunicación no verbal y el componente 2, los ítems 1, 3, 4, 5, 6, y 9 representan: habilidades de comunicación verbal.
Tabla 1. Matriz de componente rotado. Método de extracción: análisis de componentes principales. Método de rotación: Varimax. La rotación ha convergido en 3 iteraciones. Se muestran dos componentes del instrumento de evaluación oral, con sus respectivas cargas factoriales
|
Componente |
|||
|
Ítem |
Evaluación oral |
1 |
2 |
|
1 |
Durante la presentación hace contacto visual con los sinodales |
0.31 |
0.79 |
|
2 |
Se nota seguro(a) en la presentación y en sus respuestas |
0.74 |
0.36 |
|
3 |
Sus manierismos, muletillas y lenguaje entorpecen la fluidez de la presentación |
0.14 |
0.72 |
|
4 |
Su tono de voz es claro |
0.31 |
0.88 |
|
5 |
La velocidad del habla es adecuada para que se le entienda |
0.30 |
0.85 |
|
6 |
Controla su nerviosismo |
0.57 |
0.59 |
|
7 |
Las láminas de la presentación son eficaces y ayudan a la comprensión del tema |
0.68 |
0.41 |
|
8 |
El fondo y las fuentes empleadas tienen una calidad visual adecuada para verse con claridad |
0.54 |
0.53 |
|
9 |
La redacción y ortografía de las láminas es correcta |
0.38 |
0.54 |
|
10 |
La presentación incluye todas las secciones del proyecto |
0.72 |
0.34 |
|
11 |
La presentación está balanceada en todas sus secciones |
0.73 |
0.27 |
|
12 |
Responde con sustento académico a las preguntas que se le realizan |
0.86 |
0.18 |
|
13 |
Reconoce sus limitaciones, pero da argumentos académicos para otras posibilidades de solución |
0.82 |
0.20 |
Discusión
Desde su creación en 1998, en el PMDCMOS no se había modificado el instrumento para la evaluación del EC8. Este examen entra en la categoría de examen de altas consecuencias, ya que el resultado define el futuro del estudiante, pudiendo ser positivo o negativo9, como se indica en el RGEP, el que no se le otorgue en dos ocasiones implica la baja definitiva del programa (artículo 30)1.
Como un requisito para la graduación, el estudiante de doctorado debe enviar su trabajo a una revista para que se publique, y en el transcurso de sus estudios debe enviar reportes, así como hacer presentaciones, y finalmente redactar una tesis. La habilidad para comunicarse oralmente o por medio de la escritura hace necesario que estas dos habilidades se evalúen de manera independiente, antes de que el alumno haga la defensa de su tesis. Esto implica que, además de conocer el tema de su trabajo y los métodos que empleará, sepa escribir en su propio idioma y que sus habilidades de comunicación sean adecuadas10. Se reporta que el contar con publicaciones durante el doctorado resulta en una mayor productividad, más citas durante su carrera académica, comparado con los que no lo hacen; además, este grupo tiende a publicar más con grupos en el exterior11. El seguimiento de todas las actividades del estudiante y la revisión de las mismas, tales como: presentaciones en eventos académicos y publicaciones producto del proyecto, son responsabilidad de tutor y del comité tutor1,5.
En aquellos estudiantes que publican durante sus estudios de doctorado ocurre lo que se conoce como el “efecto Mateo”, ya que su mayor exposición les abre más oportunidades de éxito en su carrera, así como un auto refuerzo11.
De las fuentes de validez de Messick
La confiabilidad es un atributo necesario en todas las pruebas que se utilicen para evaluar, y más si esta evaluación tendrá una consecuencia importante para aquel al que se le aplica la evaluación. En algunas ocasiones se requerirá de un valor más alto, y en otras puede no ser tan importante. Si el resultado de las calificaciones obtenidas por los estudiantes es de altas consecuencias, por supuesto que deberá ser lo más alto que se pueda. Los coeficientes de 0.90 y más son los mejores12, lo que aplica para el alfa de Cronbach obtenido en los dos instrumentos usados para evaluación escrita y oral de los estudiantes.
En relación con el sexo de las y los estudiantes, la generación a la que pertenecieron y el número de sinodales presentes en sus respectivos EC, se encontró que las diferencias en los puntajes de las evaluaciones escrita y oral no fueron estadísticamente significativas; es decir, el sexo, la generación y el número de sinodales son independientes de los resultados obtenidos por los estudiantes en las respectivas evaluaciones escritas y orales.
El resultado de análisis de componentes principales reportó un solo componente para la evaluación escrita, lo que implica que los 12 ítems se agrupan en una dimensión que representa la competencia del candidato a doctorado, para ser un futuro investigador independiente.
En la evaluación oral, el análisis de componentes principales reportó dos, es decir, los 13 ítems se agruparon en dos dimensiones que representan las habilidades de comunicación, verbales y no verbales, del candidato a doctor7.
Por lo tanto, se postula que los resultados de los EC de las y los candidatos a doctorado son función de su preparación académica evaluada mediante los dos instrumentos de evaluación escrita y oral.
La mayor parte de los estudiantes que presentaron su EC fueron del campo de conocimiento más grande, Ciencias Médicas. Un dato interesante es la asistencia del número de sinodales, ya que, aunque se invita a cinco, habitualmente acude el mínimo, o sea tres, para que se lleve a cabo el EC. Esto limita las posibilidades de que la evaluación sea más objetiva y hace reflexionar sobre el compromiso de los tutores para apoyar en esta etapa tan importante para los estudiantes y el programa1.
Se esperaba que hubiera diferencias entre las mujeres y los hombres que se evaluaron, ya que al menos en México la mujer tiene carga extra, debido a que muchas de ellas, cuando llegan a estudiar el doctorado, ya tienen una familia a la cual atender, además de sus actividades académicas, situación que será de interés explorar en el posgrado13, porque al menos en la licenciatura de médico cirujano de la UNAM, los promedios son más altos en el caso de los hombres y de igual manera también se gradúan más14.
Un siguiente paso en el desarrollo de instrumento será aplicarlo a una población mayor, lo que permitirá que se cuente con más comentarios y que las rúbricas cuenten con la mayor cantidad de evidencias de validez, por ser un examen de altas consecuencias para el sustentante y el programa15. Ya que el grado de doctor es el más alto que la UNAM otorga, es deseable que los egresados del programa estén adecuadamente evaluados porque representan el futuro del desarrollo científico en nuestro país.
Este trabajo es un reporte preliminar con la finalidad de proponer unas rúbricas para ayudar a que sea más objetiva la evaluación de las habilidades que el futuro doctor haya adquirido durante los cuatro primeros semestres de su trabajo y que definirán su desarrollo posterior.
CONCLUSIONES
Las rúbricas que se exponen sí son herramientas que ayudan a una evaluación más objetiva del alumno que presenta el EC. Con la aplicación ellas se podrán identificar las áreas de oportunidad para apoyar a los futuros sustentantes de este examen de altas consecuencias, y que con antelación se trabajen con el comité tutor y se refuercen en los seminarios de investigación.
Alcances obtenidos y limitaciones observadas
Para el tamaño del PMDCMOS es poca la población en la que se ha aplicado el instrumento, aunque sí lo han empleado todos los campos disciplinarios del programa. La cantidad de EC en el periodo reportado fue elevada comparada con otros semestres, pero es deseable aplicarlo en una población mayor, y hacer el seguimiento de su efecto en los futuros EC.
Este es un estudio transversal, que permite evaluar un momento en el seguimiento de los estudiantes; sin embargo, hay otras variables socioeconómicas que no se consideraron.
CONTRIBUCIÓN INDIVIDUAL
4.TIF: Diseño del estudio, análisis, redacción y revisión de primer borrador y del reporte final.
5.AOC: Diseño del estudio, análisis, redacción y revisión de primer borrador y del reporte final.
6.AMC: Diseño del estudio, análisis, revisión de primer borrador y del reporte final.
PRESENTACIONES PREVIAS
Ninguna.
FINANCIAMIENTO
Ninguno.
CONFLICTO DE INTERESES
Los autores declaran no tener conflicto de intereses.
REFERENCIAS
7.1. UNAM PGdl. Reglamento General de Estudios de Posgrado. Coordinación General de Estudios de Posgrado UNAM; 2023. [Citado: 2023]. Disponible en: https://www.posgrado.unam.mx/comunidad/normatividad/reglamento-general-de-estudios-de-posgrado/
8.2. Carrillo-Avalos BM, Sánchez-Mendiola M, Leenen I. El concepto de validez y su uso en educación médica. Investigación en Educación Médica. 2020;9(33):98-106.
9.3. Sidney UoT. HDR Student Candidature Stages Guideline - Faculty of Science Sidney: University of Technology Sidney; 2018. Disponible en: https://www.uts.edu.au/sites/default/files/2019-08/sci-hdr-student-candidature-stages-guideline.pdf
10.4. Posgrado de Ciencias Bioquímicas U. Plan de estudios del Posgrado de Ciencias Bioquímicas, UNAM Cd. Mx.: Programa de Maestría y Doctorado en Ciencias Bioquímicas, UNAM; 2010. Disponible en: https://bioquimicas.posgrado.unam.mx.
11.5. PMDCMOS. Plan de Estudios de Maestría y Doctorado en Ciencias Médicas Odontológicas y de la Salud. Cd. Mx. UNAM: PMDCMOS, UNAM; 2010. Disponible en: https://www.pmdcmos.unam.mx
12.6. Peeters MJ, Sahloff EG, Stone GE. A standardized rubric to evaluate student presentations. Am J Pharm Educ. 2010;74(9):171.
13.7. Olvera-López A, Pompa-Mansilla M, Maya-López MPJ, Hernández Flores MD, Garcia-Minjares M, Sánchez-Mendiola M, Fortoul TI. El reto de evaluar presentaciones orales: uso de una rúbrica en un posgrado de educación médica. Investigación en Educación Médica. 2021;10:35-42.
14.8. León-Borquez R, Lara-Velez VM, Abreu-Hernández LF. Educación médica en México. Revista de la Fundación Educación Médica. 2018;21(3):119-28.
15.9. AREA. American Educational Research Association, American Psychological Association and National Council on Measurement in Education, and Joint Committee on Standards for Educational and Psychological Testing. Washington, D.C.: American Psychological; 2014. [Citado: 2023]. Disponible en: https://tinyurl.com/2djy4hjr
16.10. Cooksey R, McDonald G. What Skills do I need? 2019. En: Surviving and Thriving in Postgraduate Research [Internet]. Singapure: Springer. pp. 27-53.
17.11. Horta H, J.M. S. The Impact of Publishing during PhD Studies on Career Research Publication, Visibility, and Collaborations. Research in Higher Education. 2016;57(1):28-50.
18.12. Reidl-Martínez LM. Confiabiliddad en la Medición. Investigación en Educación Médica. 2013;2(6):107-11.
19.13. Bosanquet A. Academic, Woman, Mother: Negotiating Multiple subjectivities during early career. En: Rachel Thwaites AP, editor. Being an Early career Feminist academic: global perspectives, experiences, and challenges. Palgrave studies in gender and education. London: Palgrave, Macmillan; 2017. pp. 73-91.
20.14. Campillo-Labrandero M, Martínez-González A, García-Minjares M, Guerrero Mora L, Sánchez-Mendiola M. Desempeño académico y egreso en 25 generaciones de estudiantes de la Facultad de Medicina de la UNAM. Educación Médica. 2021;22:67-72.
21.15. Downing SM. Validity: on meaningful interpretation of assessment data. Med Educ. 2003;37(9):830-7.