Evidencias_de_validez_de_un

Artículo original

eISSN 2007-5057

Investigación educ. médica Vol. 13, no. 51, México, julio-septiembre 2024

https://doi.org/10.22201/fm.20075057e.2024.51.23584

Evidencias de validez de un instrumento para evaluar la competencia digital docente en educación médica

Alain Massieu Paulina,‡, Frida Díaz Barriga-Arceob,§, Melchor Sánchez Mendiolac,Δ, Adrián Martínez Gonzálezd,φ,*

a Departamento de Integración de Ciencias Médicas, Facultad de Medicina, Universidad Nacional Autónoma de México, Cd. Mx., México.

b Psicología de la Educación, Facultad de Psicología, Universidad Nacional Autónoma de México, Cd. Mx., México.

c División de Estudios de Posgrado, Facultad de Medicina, Universidad Nacional Autónoma de México, Cd. Mx., México.

d Departamento de Salud Pública, Facultad de Medicina, Universidad Nacional Autónoma de México, Cd. Mx., México.

ORCID ID:

‡ https://orcid.org/0000-0002-3526-0094

§ https://orcid.org/0000-0001-8720-1857

Δ https://orcid.org//0000-0002-9664-3208

φ https://orcid.org/0000-0002-5021-9639

Recibido: 19-noviembre-2023.

Aceptado: 1-marzo-2024.

* Autor para correspondencia: Adrián Martínez González. Av. Cd. Universitaria 298, Jardines del Pedregal, Álvaro Obregón, 01900, Cd. Mx., México . Correo electrónico: adrianmartinez38@gmail.com

Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).

Resumen

Introducción: Actualmente el papel protagónico de las tecnologías de la información y comunicación (TIC), así como las características de las nuevas generaciones de estudiantes y los retos de salud a nivel mundial, exigen que el profesorado tenga una formación de alto nivel en la competencia digital docente (CDD). El actual trabajo pretende crear un instrumento que mida la CDD de los profesores del área de Educación Médica y encontrar sus evidencias de validez.

Objetivo: Construir un instrumento que evalúe la competencia digital docente y encontrar sus evidencias de validez.

Método: Se construyó un instrumento inicial y para encontrar las evidencias de validez se siguieron recomendaciones internacionales, que incluyen revisión de la literatura, síntesis de la información encontrada, elaboración de reactivos, validación por expertos, entrevistas cognitivas y prueba piloto.

Resultados: Se calculó el grado de acuerdo entre los expertos, sobre la claridad, coherencia y relevancia de los reactivos. Posteriormente se completó un árbol de categorías y se continuó con la codificación, agrupación de testimonios por categorías y subsecuente análisis de las entrevistas cognitivas. Con la prueba piloto se corroboró la validez interna, calculando el alfa de Cronbach, y se obtuvo un resultado de 0.905. Posteriormente, se realizó el análisis factorial exploratorio con método de extracción de componentes principales y rotación Varimax, arrojando un KMO de 0.642 y una prueba de esfericidad de Bartlett de 0.001.

Conclusiones: Se construyó un instrumento para evaluar la CDD de los profesores del área de Educación Médica por auto reporte, que reúne suficientes evidencias de validez para ser utilizado en las escuelas de medicina.

Palabras clave: Competencia digital docente; validez de pruebas; evaluación; educación médica.

Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).

Validity evidence of an instrument to assess the teachers’ digital competence in medical education

Abstract

Introduction: Currently, the leading role of information and communication technologies (ICT), as well as the characteristics of the new generations of students and the health challenges worldwide, require that teachers have the necessary training in digital teaching competence. The current work aims to create an instrument that measures the teachers’ digital competence in Medical Education and find its validity evidence.

Objective: Develop a tool to assess teacher’s digital competence and find its validity evidence.

Method: An initial instrument of 42 items was built and to find the validity evidence, the recommendations and steps proposed by international guidelines were followed, which include literature review, focus groups, synthesis, drafting, validation by experts, cognitive interviews and pilot test.

Results: The degree of agreement was calculated, among 10 experts, regarding the clarity, coherence and relevance of the items. Subsequently, a tree of categories was completed and the coding, grouping of testimonies by categories and subsequent analysis of the cognitive interviews continued. From the pilot test, 65 responses were obtained. Internal validity was confirmed by calculating Cronbach’s alpha, obtaining a result of 0.905. Subsequently, the exploratory factorial analysis with the principal component extraction method and the Varimax rotation method, yielded a KMO of 0.642 and a Bartlett’s sphericity test of 0.001.

Conclusions: An instrument was built that gathers sufficient validity evidence to be used to measure the teachers’ digital competence in Medical Education.

Keywords: Teachers’ digital competence; test validity; assessment; medical education.

This is an Open Access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).

INTRODUCCIÓN

A lo largo de la historia, la educación médica ha necesitado renovarse y adaptarse a diversas necesidades, tendencias o evidencias1-3. También ha enfrentado crisis sanitarias, como la reciente pandemia del COVID-19. Estos eventos mundiales obligaron a mudar varias de las sesiones presenciales a formatos no presenciales online o flipped classrooms mediados por las tecnologías de la información y comunicación (TIC) y replantearse el rol de docentes y estudiantes de medicina en los ciclos básicos y en el ambiente clínico4-6.

En el contexto de la educación médica durante la pandemia algunos autores concuerdan en que la educación que vivimos al principio de la pandemia no fue, estrictamente hablando, educación en línea, sino educación remota de emergencia que tuvo mucho de improvisación y estrategias no ideales7-9.

Siguiendo la línea de investigación de la “educación a distancia” que se vivió en México durante el confinamiento sanitario, otros autores destacan la preocupación de profesores encuestados por desarrollar capacidades pedagógicas para ejercer su práctica mediada por las tecnologías y que su actual conocimiento en el uso de herramientas y plataformas digitales no siempre les permitía desarrollar su práctica docente10. Actualmente el papel protagónico de las TIC que están transformando el ecosistema del aprendizaje, así como las características de las nuevas generaciones de estudiantes11-13 y los retos a nivel de salud mundial exigen que el profesorado deba renovarse y aprovechar las enormes posibilidades tecnológicas14. La Comisión Europea 2018 definió la Competencia Digital como una de las nueve competencias claves que un ciudadano debe de tener para para poder participar en la sociedad actual y uno de los objetivos del Marco Estratégico Educación y Formación 2020 (Unión Europea) señala que el profesorado debe de vincular a su práctica profesional aquellas habilidades acordes a la era digital15. De forma análoga, el Instituto Nacional De Tecnologías Educativas y de Formación del Profesorado (INTEF) señala que la competencia digital docente (CDD) es posiblemente el factor más importante para el desarrollo de una cultura digital en el aula y la sintonía del sistema educativo con la “sociedad red” y, en la misma línea, se sentencia que la adquisición de la CDD es responsabilidad del profesor si pretende mantenerse competitivo en el actual sistema de educación de una sociedad digitalizada16.Distintos autores han definido la CDD como “el uso de las TIC para enseñar y aprender con criterios didácticos y pedagógicos y con conciencia ética y moral”17. En tiempos más recientes, se define como “las capacidades, habilidades y actitudes que un profesor o profesora debe desarrollar con el objetivo de poder incorporar tecnologías digitales en su práctica y desarrollo profesional”15. La relevancia global del tópico ha llevado a varias instituciones y autores a estudiar, cuestionar e investigar el tema de la CDD18. Entre los esfuerzos más destacados se encuentran los realizados por la Comisión Europea con su instrumento DigiCompEdu19; lo trabajado por el INTEF20 en España; trabajos realizados por la UNESCO21 o lo estudiado por el proyecto ENLANCES en el contexto latinoamericano. Aunque se han utilizado algunos instrumentos, incluso a nivel de México22, en el campo de la educación médica, y hasta donde se tiene conocimiento, no hay un instrumento con evidencia de validez que evalúe dicha competencia.

El concepto de validez es un tema en constante evolución, pero autores como Downing23 la definen como “la evidencia que permite apoyar o refutar el significado o la interpretación de los resultados de una evaluación” y describe cinco diferentes fuentes de evidencia de validez: proceso de evaluación, relacionadas con el contenido de la prueba, proceso de respuesta, estructura interna, su relación con otras variables y las consecuencias de quien responde la evaluación.

OBJETIVO

El objetivo de este trabajo es proponer un instrumento en español que permita evaluar la CDD en el contexto actual de la educación médica mexicana y describir el proceso de obtención de sus evidencias de validez.

MÉTODO

Para proporcionar de un mayor rigor metodológico a la elaboración del instrumento y buscar sus evidencias de validez, se siguieron las recomendaciones publicadas24 en la elaboración de cuestionarios que incluyen revisión de la literatura, grupos focales, síntesis, elaboración de reactivos, validación por expertos, entrevistas cognitivas y prueba piloto (figura 1). Es importante señalar que para la creación de este instrumento se omitió la fase de creación de grupos focales, ya que los instrumentos previamente elaborados utilizaron grupos focales conformados por académicos de distintas universidades latinoamericanas para obtener evidencias de validez y poder ser utilizados en América Latina25.El primer paso fue definir las dimensiones iniciales de las que se desprenderían diferentes descriptores (posteriormente factores) y sus respectivos reactivos. Como principal referencia para las dimensiones, se usaron las propuestas por Martínez-Garcés y Garcés-Fuenmayor26 y se decidió por consenso de expertos incluir las siguientes: organización de recursos digitales; creación y gestión de espacios y recursos digitales; evaluación mediada por las TIC; seguridad y ética y formación y dominio en el uso de las TIC.

Como principal referente para la conformación de los descriptores y reactivos, se utilizó el instrumento COMDID creado por Lázaro-Cantabrana y Gisbert-Cervera27. La decisión de utilizarlo deriva en que se alinea casi a la perfección con la propuesta de la Comisión Europea y la amplía, ya que los autores también usaron diversos referentes de distintos proyectos e instituciones y, de igual manera, cuenta con evidencias de validez reportadas, inclusive en el contexto latinoamericano.

Una vez que se definieron las dimensiones y los 19 descriptores iniciales, se prosiguió a la redacción de los reactivos para conformar el instrumento. Se redactaron 42 reactivos con opción de respuesta con método de escalamiento Likert. Para procurar la calidad de los reactivos se remitió a las recomendaciones disponibles en la literatura24-28. Al tener redactado el primer esbozo del instrumento, se prosiguió con la validación por 19 expertos y expertas —quienes contaban con grado de maestría o doctorado en educación en ciencias de la salud o evaluación educativa, experiencia docente ante grupo de diez o más años o experiencia administrativa en cargos de coordinación de diversas áreas educativas—, para encontrar la evidencia de validez de contenido y determinar si los reactivos son relevantes para el constructo que se quiere medir. El acercamiento que se tuvo a la validación fue por el método Delphi modificado de agregados individuales dado que es un método factible de aplicar, eficiente y evita sesgos por contacto entre expertos. Para robustecer el rigor en esta etapa, se recurrió a la guía y recomendaciones elaboradas por Escobar-Pérez y Cuervo-Martínez29. En el inicio de este proceso, se contactó a los expertos y expertas vía WhatsApp o correo electrónico invitándolos a participar en el estudio. Para capturar la información se compartió una encuesta vía Google Forms con los reactivos redactados y opciones de respuesta tipo Likert para medir la claridad, coherencia y relevancia de estos, así como un apartado abierto para emitir opiniones u observaciones —también se compartieron documentos que contenían información complementaria (definición de dimensiones y descriptores, guías de evaluación, entre otros)—. Transcurrido un lapso de dos semanas, se recabaron las respuestas y se calculó el grado de acuerdo entre expertos a través de la operación W de Kendall. Se armó un árbol de categorías (tabla 1) para la codificación axial, la agrupación de testimonios por categorías y análisis cualitativo de las respuestas emitidas en el apartado de “opiniones u observaciones”. Una vez realizado los cambios y ajustes propuestos por los expertos al instrumento inicial, se prosiguió a efectuar una segunda ronda de validación.

Tabla 1. Árbol de categorías construida para el análisis cualitativo

Categoría	Subcategoría
1. Fortalezas	1.1. Relevancia 1.2. Claridad*
2. Debilidades	2.1. Irrelevancia 2.2. Comprensión 2.3. Omisión de elementos
3. Sugerencias	3.1. Redacción 3.2. Orden 3.3. Inclusión de ítems/elemento 3.4. Eliminación de ítem/elemento
4. Formas de uso*

* Las categorías y subcategorías emergentes.

Posterior a esta fase, se realizaron las entrevistas cognitivas, que son un “método cualitativo basado en evidencia diseñado específicamente para investigar si un cuestionario satisface las necesidades para lo que fue creado”30. Para efectuarlas se citó vía Zoom a cinco profesores de pregrado y se les presentó el cuestionario. Se les solicitó responderlo y se utilizó la estrategia de think-aloud interviewing, que consiste en que el entrevistado exprese de forma verbal sus pensamientos mientras responde el cuestionario —el trabajo del entrevistador es lograr que fluya la conversación y evitar largos silencios—. Las sesiones fueron grabadas para su posterior transcripción, tarea que fue facilitada por el servicio de Google Pinpoint. Una vez realizada la tarea, se prosiguió a la codificación axial, la agrupación de testimonios por categorías y análisis cualitativo, para lo que se utilizó un árbol de categorías similar (se incluyó una cuarta categoría: formas de uso) al empleado en la fase de análisis cualitativo de la ronda de validación por expertos.

El último paso por seguir para la validación del instrumento fue el pilotaje. Para la prueba piloto se contactó a las autoridades de la Escuela de Medicina Saint Luke (incorporada a la UNAM). La Dirección, así como diferentes Coordinaciones, se encargaron de la distribución, vía correo electrónico, del instrumento. El universo de la plantilla docente de la Institución fue de 80 profesores (30 de ciclos básicos y 50 de ciclos clínicos). Una vez enviada la encuesta, se dio un espacio de tres semanas antes de cerrarla para proseguir con el subsecuente análisis de datos. De la información obtenida —y utilizando el software SPSS 29— se corroboró la validez interna calculado el alfa de Cronbach y se corrió un análisis factorial exploratorio con método de extracción de componentes principales y rotación Varimax.

CONSIDERACIONES ÉTICAS

El protocolo contó con la aprobación del Comité de Ética del Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud de la UNAM (PMDCMOS/CEI/1/2023), así como del Consejo Técnico de la Escuela de Medicina St. Luke. La participación fue voluntaria y los resultados anónimos.

RESULTADOS

Comenzando con los resultados de las rondas de validación por expertos, se analizó las respuestas de ellos y ellas. Con la evaluación de estos sobre la claridad, coherencia y relevancia de los reactivos se calculó el grado de acuerdo; la operación se hizo a través de la W de Kendall. Todos los niveles de significancia fueron menores a 0.05 por lo que se rechazó la H0 y se concluyó la existencia de concordancia. También se calculó e interpretó la fuerza de concordancia. Parece pertinente recordar que esta prueba sólo demuestra si existió o no acuerdo entre los expertos, mas no señala la calidad de los criterios a evaluar en que coincidieron los evaluadores. Para responder a esta inquietud, se obtuvo la media de la asignación de rangos para la claridad, coherencia y relevancia de los reactivos con una escala (1: no cumple con el criterio; 2: bajo nivel; 3: moderado nivel; 4: alto nivel) y el resultado se interpretó como de alto nivel (tabla 2).

Tabla 2. Resultados de la fase de validación por expertos

	Claridad	Coherencia	Relevancia
W de Kendall	.179	.177	.166
Significancia estadística	.002	.002	.005
Media de asignación de rangos	3.80	3.80	3.90

n = 10.

El árbol de categorías inicialmente construido se completó con tres emergentes y se continuó a la codificación, agrupación de testimonios por categorías y subsecuente análisis cualitativo de las transcripciones de las entrevistas cognitivas. Tras la realización de este ejercicio, el número de reactivos se redujo de 42 a 36.

De la prueba piloto se obtuvieron 65 respuestas: 34 (52.3%) de profesores de ciclos clínicos, 20 (30.8%) de básicos y 11 (16.9%) que imparten en ambos. Con los datos se obtuvieron datos demográficos; se corroboró la validez interna al calcular un alfa de Cronbach de 0.905 y del análisis factorial se obtuvo un KMO de 0.642 y una prueba de esfericidad de Bartlett de 0.001 (tabla 3). Estos resultados fueron satisfactorios para continuar con la extracción y reducción de factores. También se redefinieron las dimensiones y se terminó de agrupar los reactivos por dimensión y factor correspondiente. El resultado final fue un instrumento conformado por cinco dimensiones, 12 factores y 36 reactivos (anexo).

Tabla 3. Resultados de la fase de prueba piloto

Alfa de Cronbach		0.905
Kaiser-Meyer-Olkin		0.642
Prueba de esfericidad de Bartlett		0.001
Datos demográficos
Sexo	Hombre: 39 (60%)
	Mujer: 26 (40%)
Edad	25-34: 9 (13.8%)
	35-44: 23 (35.4%)
	45-54: 19 (29.2%)
	55-64: 7 (10.8%)
	>65: 7 (10.8%)
Máximo grado de estudios	Licenciatura: 3 (4.6%)
	Especialidad: 31 (47.7%)
	Maestría: 24 (36.9%)
	Doctorado: 7 (10.8%)

n = 65.

DISCUSIÓN

Al ser este un instrumento que pretende evaluar la competencia digital docente en el área de la educación médica mexicana, las fuentes de evidencia de validez corresponden a las propuestas en la guía AMEE No. 8724. Estas corresponden a la validez de contenido, proceso de respuesta y estructura interna.

La validez de contenido se fue explorando desde que se revisó la literatura y se sintetizó para elaborar los reactivos. Se terminó de encontrar cuando se realizaron dos rondas de validación por expertos. Las recomendaciones y observaciones realizadas por expertos en el área de educación en ciencias de la salud —y que fueron analizadas cualitativamente— resultaron cruciales para la elaboración de reactivos de calidad, entendibles y aplicables a los docentes. Cabe resaltar que este ejercicio, como señalan diversos autores31, fue adecuado en el número de participantes y el análisis cuantitativo de los resultados demostró la existencia de concordancia entre expertos, aunque la W de Kendall evidenció un bajo nivel de esta (0.179, 0.177 y 0.166 respectivamente para la claridad, coherencia y relevancia).

La evidencia de validez de proceso de respuesta se obtuvo mediante cinco entrevistas cognitivas en las que participaron profesores de pregrado de las Facultades de Medicina y Odontología de la UNAM. Como señalan Willis y Artino30, el número de entrevistados fue suficiente y representativo de la población blanco que los autores de este trabajo pretenden alcanzar con el instrumento: profesores del área de educación médica de pregrado. Durante el análisis de los datos de esta fase del estudio, se obtuvieron respuestas que refuerzan la idea de la importancia de este trabajo e invitan a abrir nuevas líneas de investigación que estudien el fenómeno del uso de las TIC y la formación de la CDD en campo de la educación médica. A continuación, se comparte un fragmento discursivo que responde al reactivo 29. ¿En qué medida considera que los cursos-talleres sobre el uso de las TIC en educación han contribuido a su ejercicio docente? Y que ejemplifica lo antes mencionado:

“Sí, tomamos un curso que dieron, de hecho, en algún departamento, sobre algunos ejemplos que mencionaste Prezi, BlackBoard... me costó mucho trabajo, la verdad. Es que el curso fue como muy complejo. Eran uno que nos dieron dos chicas, que te tenías que inscribir como a Blackboard y así, a un chorro de aplicaciones. Eran como a través de videos, ni siquiera eran como sesiones sincrónicas. Me costaron mucho… me costó mucho trabajo y sentí que me tenía que inscribir como a muchas cosas. Te hacían hacer suscripción a varias cosas y como que nunca ocupé ninguna.”

La prueba piloto, la obtención del alfa de Cronbach y el análisis factorial, aportó la evidencia de validez de estructura interna. Es importante señalar que algunos autores32 aconsejarían tomar con precaución los resultados obtenidos del análisis factorial, ya que la prueba piloto se realizó con una muestra relativamente pequeña (65 participantes). También es importante considerar, como posible limitación, que todos los participantes pertenecían a una misma institución, por lo que se sugiere que para estudios posteriores se extienda a diversas instituciones. El alfa de Cronbach de 0.9 confirmó la fiabilidad del instrumento y un KMO de 0.642, aunque fue un resultado moderado junto con la prueba de esfericidad de Bartlett de 0.001, fueron suficientes para continuar con la extracción de factores. El análisis factorial arrojó 12 factores, de los cuales el último dominio sobre el uso de las TIC (conformado por los reactivos 31 a 36) explicó el 28% de la varianza total. El primer factor se denominó búsqueda y curaduría de recursos digitales e incluyó los reactivos 1, 2 y 3. El segundo fue la preservación y recuperación de recursos digitales y se integró por los reactivos 4 y 5. Los reactivos 6, 7, 8, 9, 10, 11 y 12 se agruparon para formar el factor de didáctica e interacción mediada por las TIC. Los reactivos 13, 14 y 15 construyeron el factor llamado incorporación de la Inteligencia Artificial (IA) en la práctica docente. El factor de creación y difusión de recursos digitales se conformó por los reactivos 16 a 20. La adaptación de recursos digitales incluyó un solo reactivo, el número 21. El reactivo 22 fue el único que obtuvo una carga factorial menor a 0.4, pero los autores de este trabajo deliberaron que de cualquier forma sería incluido. Esta decisión se basó en la premisa de que el reactivo de forma única conforma un factor (evaluación) y la dimensión de evaluación mediadas por las TIC —la pregunta en cuestión resulta fundamental para los propósitos del instrumento—. El reactivo 23 de forma individual conformó el factor de protección de datos personales. El factor de protección a la salud incluyó los reactivos 24 y 25. El factor de ética se construyó a partir de los reactivos 25, 26, 27 y 28. El penúltimo, formación continua, incluyó los reactivos 29 y 30. Esta última fase permitió realizar modificaciones menores y terminar de afinar todos los reactivos.

Respecto a la evidencia de validez con relación a otras variables, los resultados se podrían comparar con los obtenidos en otros estudios. Ejemplo concreto de esto pudiera ser el esfuerzo realizado por el Comité de Tecnologías de la Información de la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), que en 2021 aplicaron el instrumento Check-in DigiCompEdu a 18,934 docentes de 232 instituciones de educación superior mexicanas33. Las consecuencias de quien responda la encuesta dependerían de las coordinaciones de distintas instituciones, que podrían utilizar los resultados para instaurar cursos de la actualización docente en el uso de las TIC o, a nivel individual, los propios docentes para que pudieran trazar su trayectoria personal en el tema.

Una limitante importante para considerar de este trabajo es que el instrumento al ser un auto reporte no puede asegurar que los encuestados respondan con honestidad a los reactivos que revelarían conductas poco desaseadas. De igual manera, la evidencia34,35 sugiere que los profesores se autoevalúan con puntuaciones altas en los autorreportes. Ante esta inquietud, algunos autores sugieren que el desempeño docente puede evaluarse integrando diversas estrategias para obtener una visión más completa36. Algunas estrategias que podrían utilizarse para complementar los resultados arrojados por este instrumento son la opinión de los estudiantes, la evaluación por pares o el aprovechamiento académico.

CONCLUSIONES

El instrumento elaborado en este trabajo permite evaluar la competencia digital docente a través de cinco dimensiones (organización de recursos digitales, creación y gestión de espacios y recursos digitales, evaluación mediada por las TIC, seguridad y ética y formación y dominio en el uso de las TIC) y reúne suficientes evidencias de validez para ser utilizado por escuelas y facultades de medicina.

Se recomienda que este instrumento sea utilizado por diversas instituciones o áreas de las ciencias de la salud para conocer el nivel de competencia digital docente de sus cuerpos académicos y así contemplar novedosas líneas de investigación o diversos cursos y talleres que permitan la actualización docente en el uso de las TIC y su óptimo desempeño en el ecosistema del aprendizaje actual.

CONTRIBUCIÓN INDIVIDUAL

•AMP: Diseño del estudio, desarrollo de la investigación, análisis estadístico, redacción y revisión del manuscrito.

•FDBA: Diseño del estudio y revisión del manuscrito.

•MSM: Diseño del estudio y revisión del manuscrito.

•AMG: Diseño del estudio, desarrollo de la investigación, redacción y revisión del manuscrito.

AGRADECIMIENTOS

Se agradece el invaluable apoyo del Dr. José Luis Matamoros Tapia y a la Escuela de Medicina Saint Luke por permitir realizar el pilotaje del instrumento.

Se agradece al Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud de la UNAM.

PRESENTACIONES PREVIAS

Resultados parciales de este trabajo fueron presentados en formato de cartel en el Congreso Internacional Eppens 2023, UNAM, México.

FINANCIAMIENTO

El primer autor de este trabajo cuenta con beca CONAHCYT (CVU 779606).

CONFLICTO DE INTERESES

Ninguno.

REFERENCIAS

1.Tackett S, Steinert Y, Whitehead CR, Reed DA, Wright SM. Blind spots in medical education: how can we envision new possibilities? Perspect Med Educ. 2022;11(6):365-70. http://dx.doi.org/10.1007/s40037-022-00730-y

2.Ludmerer KM. Learner-Centered Medical Education. [Internet] NEJM. 2004;351(12):1163-4. Disponible en: https://tinyurl.com/2x4grv55

3.Baker LR, Phelan S, Woods NN, Boyd VA, Rowland P, Ng SL. Re-envisioning paradigms of education: towards awareness, alignment, and pluralism. Adv in Health Sci Edu. 2021;26(3):1045-58. https://doi.org/10.1007/s10459-021-10036-z

4.Rose S. Medical Student Education in the Time of COVID-19. JAMA. 2020;323(21):2131-2. http://dx.doi.org/10.1001/jama.2020.5227

5.Patil NG, Yan YCH. SARS and its effect on medical education in Hong Kong. Med Educ. 2003;37(12):1127-8. http://dx.doi.org/10.1046/j.1365-2923.2003.01723.x

6.Servin-Rojas M, Olivas-Martinez A, Dithurbide-Hernandez M, Chavez-Vela J, Petricevich VL, García-Juárez I, et al. Impact of the COVID-19 pandemic on the clinical training of last year medical students in Mexico: a cross-sectional nationwide study. BMC Med Educ. 2022;22(1). https://doi.org/10.1186/s12909-021-03085-w

7.Sánchez Mendiola M, Fortoul van der Goes TI. Zoom y la educación en ciencias de la salud: ¿medio o mensaje? Inv Ed Med. 2021;(38):76-88. http://dx.doi.org/10.22201/fm.20075057e.2021.38.21349

8.Niño Carrasco SA, Castellanos-Ramírez JC, Bermúdez Vivas R. Reacciones de las universidades mexicanas frente al virus SARS-CoV-2. REEC. 2021;(39):180-202. http://dx.doi.org/10.5944/reec.39.2021.28890

9.Bozkurt A, Sharma RC. Emergency remote teaching in a time of global crisis due to CoronaVirus pandemic. AsianJDE. 15(1):2020. https://doi.org/10.5281/zenodo.3778083

10.de Agüero Servín M, Benavides Lara MA, Rendón Cazales J, Pompa Mansilla M, Hernández-Romo AK, Hernández-Martínez AM del P, et al. Los retos educativos durante la pandemia de COVID-19: segunda encuesta a profesoras y profesores de la UNAM.RDU. 2021;22(5). http://doi.org/10.22201/codeic.16076079e.2020.v21n3.a12

11.Jauregui J, Watsjold B, Welsh L, Ilgen JS, Robins L. Generational ‘othering’: The myth of the Millennial learner. Med Educ. 2020;54(1):60-5. http://dx.doi.org/10.1111/medu.13795

12.Bennett S, Maton K, Kervin L. The ‘digital natives’ debate: A critical review of the evidence. BJET. 2008;39(5):775-86. Disponible en: http://dx.doi.org/10.1111/j.1467-8535.2007.00793.x

13.Bennett S, Maton K. Beyond the ‘digital natives’ debate: Towards a more nuanced understanding of students’ technology experiences. J Comput Assist Learn. octubre de 2010;26(5):321-31. http://dx.doi.org/10.1111/j.1365-2729.2010.00360.x

14.Tirado F, Peralta J. Desarrollo de diseños educativos dinámicos. Perfiles Educativos. 2021;43(172). https://doi.org/10.22201/iisue.24486167e.2021.172.59490

15.Lázaro-Cantabrana JL, Usart-Rodríguez M, Gisbert-Cervera M. Assessing Teacher Digital Competence: the Construction of an Instrument for Measuring the Knowledge of Pre-Service Teachers. NAER. 2019;8(1):73-8. http://dx.doi.org/10.7821/naer.2019.1.370

16.Kožuh A, Maksimović JŽ, Zajić JO. Fourth Industrial Revolution and digital competences of teachers. WJET. 2021;13(2):160-77. http://dx.doi.org/10.18844/wjet.v13i2.5651

17.Krumsvik R. Situated learning in the network society and the digitised school. EJTE. 2009;32(2):167-85. http://dx.doi.org/10.1080/02619760802457224

18.Castañeda L, Esteve F, Adell J. ¿Por qué es necesario repensar la competencia docente para el mundo digital? RED. 2018;(56). http://dx.doi.org/10.6018/red/56/6

19.Redecker C, Punie Y. Digital Competence of Educators DigCompEdu. 2019 http://dx.doi.org/10.5220/0007679005410548

20.INTEF. Marco común de competencia digital docente octubre 2017 [Internet]. Disponible en: http://aprende.educalab.es

21.UNESCO. What’s Next? Lessons on Education Recovery. 2021 jul. [Internet]. Disponible en: lessons_on_education_recovery.pdf (unesco.org)

22.Competencias Digitales Docentes MetaRed México, estudio 2021 Resultados de la herramienta de autoevaluación Check-in DigCompEdu. [Internet]. Disponible en: CompDigDocMetaredMexico2021.pdf (anuies.mx)

23.Downing SM. Validity: on the meaningful interpretation of assessment data. Med Educ. 2003;37:830-7. http://dx.doi.org/10.1046/j.1365-2923.2003.01594.x

24.Artino AR, La Rochelle JS, Dezee KJ, Gehlbach H. Developing questionnaires for educational research: AMEE Guide No. 87. Med Teach. 2014;36(6):463-74. http://dx.doi.org/10.3109/0142159X.2014.889814

25.Lázaro-Cantabrana JL, Gisbert-Cervera M, Silva-Quiroz JE. Una rúbrica para evaluar la competencia digital del profesor universitario en el contexto latinoamericano. Edutec. 2018;(63). http://dx.doi.org/10.21556/edutec.2018.63.1091

26.Martínez-Garcés J, Garcés-Fuenmayor J. Competencias digitales docentes y el reto de la educación virtual derivado de la covid-19. Educación y Humanismo. 2020;22(39):1-16. http://dx.doi.org/10.17081/eduhum.22.39.4114

27.Lázaro-Cantabrana JL, Usart-Rodríguez M, Gisbert-Cervera M. Assessing Teacher Digital Competence: the Construction of an Instrument for Measuring the Knowledge of Pre-Service Teachers. JNEAR. 2019;8(1):73-8. https://doi.org/gqf4rm

28.Artino AR, Gehlbach H, Durning SJ. AM Last Page: Avoiding Five Common Pitfalls of Survey Design. Academic Medicine. 2011;86(10):1327. https://doi.org/fg5zfj

29.Escobar-Pérez J, Cuervo-Martínez Á. Validez de contenido y juicio de expertos: una aproximación a su utilización. [Internet] Avances en Medición. 2008;6:27-36. Disponible en: Validez de contenido y juicio de expertos: Una aproximación a su utilización (researchgate.net)

30.Willis GB, Artino AR. What Do Our Respondents Think We’re Asking? Using Cognitive Interviewing to Improve Medical Education Surveys. J Grad Med Educ. 2013;5(3):353-6. http://dx.doi.org/10.4300/JGME-D-13-00154.1

31.Varela-Ruiz M, Díaz-Bravo L, García-Durán R. Descripción y usos de la técnica Delphi. Inv Ed Med. [Internet] 2012;1(2):90-5. Disponible en Descripción y usos del método Delphi en investigaciones del área de la salud (scielo.org.mx)

32.Wetzel AP. Factor Analysis Methods and Validity Evidence. Academic Medicine. 2012;87(8):1060-9. https://doi.org/f373zh

33.Ponce López JL, Vicario-Solórzano CM, López-Valencia F (Coords.). Competencias Digitales Docentes Metared México, estudio 2021. México: Asociación Nacional de Universidades e Instituciones de Educación Superior. 2021. Disponible en: https://tinyurl.com/ynzmuryw

34.Esther Urrutia MA, Barojas JW, Ramón Torres JS, Efrén Ponce RR, Martínez AG. Predictores de autoevaluación del desempeño docente en Ciencias de la Salud. [Internet] Rev Educ Cienc Salud. 2008. Disponible en: Predictores de autoevaluacion del desempeno docente en ciencias de la salud (researchgate.net)

35.Rippey R. The evaluation of teaching in medical schools. New York: Springer Publishing; 1981. https://doi.org/cdgmc3

36.Martínez-González A, Moreno-Altamirano L, Ponce-Rosas E, Martínez-Franco A, Urrutia-Aguilar M. Evaluación del desempeño docente en Salud Pública mediante tres estrategias. [Internet] Gac Med Mex. 2011;147(3):234-43. Disponible en: Evaluación del desempeño docente en Salud Pública mediante tres estrategias (medigraphic.com)

Anexo

Versión final del instrumento: escala digital docente UNAM

Dimensión	Factor	Ítem	Escala de valoración
Organización de recursos digitales	Búsqueda y curaduría de recursos digitales	¿Emplea fuentes confiables (revistas científicas, webs institucionales, etc.) para apoyar sus estrategias de enseñanza?	Nunca – Casi nunca – Frecuentemente – Siempre
		Seleccione los principales motores de búsqueda que emplea cuando requiere recursos digitales (puede seleccionar más de uno):	Google – Yahoo – Bing – DuckDuckGo – Google Scholar – PubMed – SciELO – ScienceDirect – Scopus – Dogpile – Redalyc – ninguno – otra
		¿Evalúa de manera crítica la calidad de los recursos digitales que busca y utiliza en su práctica docente?	Nunca – Casi nunca – Frecuentemente – Siempre
	Preservación y recuperación de recursos digitales	¿Utiliza servicios basados en la nube cuando almacena recursos digitales? (p. ej., Dropbox, Google Drive, iCloud)	Nunca – Casi nunca – Frecuentemente – Siempre
	Preservación y recuperación de recursos digitales	¿Utiliza servicios o aplicaciones de administración y/o recuperación de recursos digitales? (p. ej., Pocket, Evernote, Notion)	Nunca – Casi nunca – Frecuentemente – Siempre
Creación y gestión de espacios y recursos digitales	Didáctica e interacción mediada por las TIC	¿Fundamenta el diseño de sus clases o sesiones de enseñanza basándose en alguna estrategia o modelo didáctico que integra el uso de TIC? (p. ej., TPACK, RAT, PICRAT)	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Incorpora al menos una tecnología de la información y comunicación (TIC) durante el diseño de sus sesiones de enseñanza?	Nunca – Casi nunca – Frecuentemente – Siempre
		De la siguiente lista, señale las TIC que utilice habitualmente en su práctica docente (puede seleccionar más de una):	Educaplay – Rubistar – Rubric Maker – Blubbr – Padlet – PowerPoint – SlideShare – Prezi – Google Forms – YouTube – Quizlet – Nearpod – Kahoot! – WhatsApp – Telegram – Twitter – Facebook – Zoom – Google Meet – Microsoft Teams – Google Classroom – Moodle – Blackboard – ninguno – otra
		¿Incorpora redes sociales en su práctica docente? (p. ej., WhatsApp, Telegram, Facebook)	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Incorpora servicios de teleconferencia en su práctica frente a grupo? (p. ej., Zoom, Google Meet, Microsoft Teams)	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Utiliza plataformas o sistemas de gestión del aprendizaje (LMS) en su práctica docente? (p. ej., Google Classroom, Moodle, Blackboard)	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Utiliza las TIC para favorecer en los estudiantes el aprendizaje autodirigido?	Nunca – Casi nunca – Frecuentemente – Siempre
	Incorporación de la inteligencia artificial (IA) en la práctica docente	¿Utiliza tecnologías de inteligencia artificial (IA) en su práctica docente? (p. ej., ChatGPT, Elicit, Midjourney)	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Incorpora actividades que fomenten el uso de inteligencia artificial (IA) por parte de los estudiantes?	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Utiliza inteligencia artificial (IA) para generar contenido digital original?	Nunca – Casi nunca – Frecuentemente – Siempre
	Creación y difusión de recursos digitales	¿Genera contenido original digital para utilizarlo en su práctica docente? (p. ej., podcast, videos, infografías)	Nunca – Casi nunca – Frecuentemente – Siempre
		Seleccione los servicios o aplicaciones de creación de contenido multimedia que utilice habitualmente en su práctica docente (puede seleccionar más de uno):	PowerPoint – Prezi – Keynote – Piktochart – Canva – Photoshop – PowToon – iMovie – Filmora – Final Cut – Premiere – Audacity – GarageBand – ninguno – otra
		¿Utiliza software libre o recursos educativos abiertos al crear o adaptar contenidos digitales? (p. ej., UNAM-ReTo)	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Qué tanto reconoce los distintos tipos de licenciamiento? (p. ej., copyright, copyleft, creative commons)	Nada – Poco – Regular – Mucho
		¿Comparte recursos digitales con su comunidad profesional, en foros o redes sociales?	Nunca – Casi nunca – Frecuentemente – Siempre
	Adaptación de recursos digitales	¿Adapta contenido digital de otra autoría para su práctica docente?	Nunca – Casi nunca – Frecuentemente – Siempre
Evaluación mediada por las TIC	Evaluación	¿Incorpora las TIC en la evaluación de los estudiantes? (p. ej., Socrative, Google Forms, Quizziz)	Nunca – Casi nunca – Frecuentemente – Siempre
Seguridad y ética	Protección de datos personales	¿Qué importancia le da a la protección de datos personales?	Nada – Poco – Regular – Mucho
	Protección a la salud	¿Es consciente de los riesgos a la salud física y mental que conlleva el uso de diversas tecnologías/servicios/plataformas?	Nada – Poco – Regular – Mucho
	Protección a la salud	¿Comparte con los estudiantes protocolos para prevenir el ciberacoso u otros riesgos de los entornos digitales?	Nunca – Casi nunca – Frecuentemente – Siempre
	Ética	¿Utiliza algún software para verificar que el trabajo de sus estudiantes no sea plagio? (p. ej., iThenticate)	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Cita las fuentes originales (autores, colaboradores, editores, etc.) cuando adapta algún contenido digital?	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Qué nivel de dominio posee en normas de conducta en la red (netiqueta)?	Nulo (novato) – Bajo – Regular – Alto (experto)
Formación y dominio en el uso de las TIC	Formación continua	¿En qué medida considera que los cursos-talleres sobre el uso de las TIC en educación han contribuido a su ejercicio docente?	Nada – Poco – Regular – Mucho
	Formación continua	¿Aplica lo aprendido de las TIC en educación en su práctica docente?	Nunca – Casi nunca – Frecuentemente – Siempre
	Dominio sobre el uso de las TIC	¿Qué nivel de dominio tiene en el uso de servicios o aplicaciones de creación de contenidos multimedia? (p. ej., Canva, iMovie, GarageBand, Filmora)	Nulo (novato) – Bajo – Regular – Alto (experto)
		En qué medida se siente preparado para:
		resolver problemas técnicos, aunque sea recurriendo a tutoriales o instructivos	Nada – Poco – Regular – Mucho
		proponer el uso de diversas TIC para la solución de necesidades educativas	Nada – Poco – Regular – Mucho
		proponer el uso de diversos diseños instruccionales para la solución de necesidades educativas	Nada – Poco – Regular – Mucho
		¿Promueve el uso de las TIC en educación en su área de especialidad?	Nunca – Casi nunca – Frecuentemente – Siempre
		¿Con cuánta facilidad se adapta a las formas de uso de las TIC más novedosas para utilizarlas en su práctica docente?	Nada – Poco – Regular – Mucho