Artículo de revisión

eISSN 2007-5057

Investigación educ. médica vol. 9, no. 34, México abr/jun. 2020

http://doi.org/10.22201/facmed.20075057e.2020.34.20220

Transformaciones en educación médica: innovaciones en la evaluación de los aprendizajes y avances tecnológicos (parte 2) 

Verónica Luna de la Luza,*, Patricia González-Floresa

aCoordinación de Desarrollo Educativo e Innovación Curricular, Subdirección de Innovación Educativa, Universidad Nacional Autónoma de México (UNAM), Cd. Mx., México.

Recibido: 5-diciembre-2019. Aceptado: 10-febrero-2020.

Resumen

En un artículo previo sobre innovación en educación médica, se presentó la revisión crítica de la literatura sobre las perspectivas curriculares y los métodos didácticos considerados como innovadores en el último siglo. En esta segunda parte, se exponen los métodos de evaluación y los planteamientos teóricos que han dado pauta a sistematizar su instrumentación en los diferentes escenarios de educación médica y cuya implementación ha impactado en la acreditación, certificación y mejora de la profesión médica. Asimismo, se analiza de qué manera las herramientas tecnológicas han contribuido a innovar en los procesos de formación de los médicos. 

Palabras clave: Innovación; educación médica; evaluación de aprendizajes; tecnologías.

Changes in medical education: innovations in assessment and technological trends (part 2)

Abstract

A previous research paper discussed the results of a critical literature review that identified innovative approaches in curriculum and teaching for medical education in the post-Flexner era. In this article, a second group of findings are presented: new approaches to assessment, including the theoretical and methodological innovations that have enabled the systematic evaluation of doctors in different contexts, both for accreditation and certification purposes, as well as for the continuous improvement of medical education process and the profession. Advances in technology that have contributed to the transformation of medical education are described and their impact on innovation is analyzed.

Keywords: Innovation; medical education; learning assessment; technology-enhanced education.

INTRODUCCIÓN

Desde la publicación del informe Flexner, se han implementado innovaciones en educación médica para formar médicos que brinden los servicios de salud que requiere la sociedad actual. Con la finalidad de ofrecer una perspectiva de dichas transformaciones, se realizó una revisión crítica de la literatura para identificar las nuevas propuestas curriculares, didácticas y de evaluación en este campo. En un trabajo previo, se presentaron los hallazgos en los dos primeros ámbitos1. Esta investigación comprende las innovaciones identificadas en relación con los métodos de evaluación de los aprendizajes, así como una descripción de los avances tecnológicos que han impulsado y posibilitado la transformación del proceso educativo en medicina.

La información aquí plasmada fue recuperada de cinco bases de datos –PubMed, Scopus, Eric, Redalyc y Scielo– utilizando como palabras clave “innovación”, “innovación educativa”, “innovation educational” o “educational innovation” y “educación médica” o “medical education” y aplicando como filtro la disponibilidad en texto completo. Dada su incidencia en la educación médica, se consultaron también documentos del National Board of Medical Examiners, Best Evidence Medical Education y Carnegie Foundation. Se seleccionaron en los artículos resultantes aquellas innovaciones en cuyo desarrollo e implementación se cumplieran con los siguientes atributos que fueron descritos en el trabajo previo: a) destrucción creativa, es decir, que el proceso, producto o servicio nuevo que es creado reemplaza a otro, que deja de ser utilizado o existir; b) carácter novedoso, significa que aquello que se introduce no existía en el contexto y momento histórico específico; c) impacto positivo de la transformación, que genera un beneficio observable en el logro de las metas y objetivos; y d) instrumentación del cambio, en tanto las innovaciones han sido adoptadas por una comunidad y han resultado en ajustes en las prácticas cotidianas1. Finalmente, se eligieron aquellas representativas de cada ámbito –currículo, didáctica y evaluación del aprendizaje– y se buscó información complementaria para integrar una descripción y un ejemplo de cada innovación.

En la primera sección, después de definir algunos conceptos clave, se describen las nuevas ideas sobre evaluación que han ido conformando los métodos empleados para valorar los aprendizajes de los futuros médicos, tanto durante su trayectoria escolar como al final de esta. En una tabla, se resumen los principales métodos y, a manera de ejemplo, se enuncian algunas de las instituciones educativas donde se han utilizado. La segunda sección inicia con una reflexión sobre la relación entre tecnología e innovación educativa e incluye una explicación sintética de los principales avances tecnológicos que inciden en la enseñanza y el aprendizaje de la medicina, así como ejemplos de aplicaciones de cada herramienta con fines ilustrativos. Se concluye con una reflexión sobre los retos de implementar las innovaciones y la relevancia de seguir buscando nuevas maneras de preparar a los médicos para el futuro.

INNOVACIONES EN EVALUACIÓN DE LOS APRENDIZAJES EN EDUCACIÓN MÉDICA

La implementación de innovaciones curriculares en la formación médica se ha acompañado de transformaciones en los métodos de enseñanza y aprendizaje y, por supuesto, de evaluación. Este último proceso se ha conceptualizado como el conjunto de procedimientos que se utilizan para adquirir información de manera sistemática sobre algo o alguien, con la intención de emitir juicios de valor para la toma de decisiones2. En este apartado nos centraremos en analizar los métodos dirigidos a la valoración de los aprendizajes en la educación médica. Rumbo a procesos de evaluación cada vez más estandarizados, se definieron las características que deben considerarse al desarrollar e implementar un proceso de evaluación: validez, confiabilidad, impacto educativo, aceptabilidad y costo3. Estas características han servido como referente en el análisis del funcionamiento de los distintos instrumentos de evaluación.

Después del Informe Flexner4, la principal preocupación de la comunidad de educadores médicos estaba orientada a sistematizar la evaluación de los futuros médicos en Estados Unidos. En 1915, William L. Rodman funda la National Board of Medical Examiners (NBME) con la intención de definir los estándares de cualificación de la práctica médica, así como para, con base en ellos, reconocer a quienes los han alcanzado y certificarlos para ejercer la práctica médica. Durante más de un siglo la NBME se ha encargado de ambas tareas: definir estándares de desempeño en diferentes áreas de la medicina y aplicar exámenes de certificación. En una primera etapa, las evaluaciones consistieron en exámenes de respuesta corta, ensayos, exámenes orales, prácticas de laboratorio y clínicas. En 1954 se decidió sustituir las preguntas de opción múltiple por preguntas abiertas. Para 1962, se buscó valorar también las habilidades clínicas; por lo que, los procedimientos de evaluación requirieron del apoyo de médicos examinadores que observaban la interacción del médico con el paciente. Eventualmente estos encuentros fueron sustituidos por la presentación de videos de pacientes que se mostraban al evaluado para emitir el diagnóstico presuntivo. Con el surgimiento de equipos de simulación más sofisticados, hacia 1984 se comenzaron a utilizar exámenes por computadora con pacientes simulados para evaluar la toma de decisiones y las habilidades de solución de problemas. En 1992 esta organización, en colaboración con la Federation of State Medical Boards (FSMB), aplicó el Examen de Licencias Médicas de los Estados Unidos (United States Medical Licensing Examination, conocido como USMLE), con el objetivo de evaluar la capacidad de los examinados para aplicar conceptos y principios relevantes de salud y enfermedad. El USMLE también migró a una versión computarizada en 19995. Hasta ahora, la NBME ha sido reconocida como la principal organización independiente que proporciona evaluaciones de alta calidad de profesionales de la salud en Estados Unidos y se ha considerado como un referente a nivel internacional. Sus aportaciones han sido valiosas en tanto han utilizado diversos métodos de evaluación para adaptarse al contexto y necesidades de la época.

Desde la década de los 50 del siglo pasado, los cambios conceptuales en torno a la evaluación han versado sobre sus funciones, y esta discusión ha llevado a categorizarla como formativa y sumativa. La diferencia entre ambos tipos radica en el momento de recolección de la información y sus propósitos. De este modo, la evaluación formativa es aquella que se lleva a cabo durante el proceso de enseñanza para mejorar el aprendizaje del estudiante, mientras que la sumativa ocurre al final de un curso o proceso de enseñanza para determinar el nivel de aprendizaje alcanzado y decidir si el evaluado ha acreditado o si se le otorga una certificación6. Esta categorización permitió tener más clara la dirección e intenciones del proceso de evaluación, así como determinar los métodos a utilizar, por lo que puede ser denominada como una propuesta conceptual innovadora para aquella época. La innovación relacionada con cada tipo de evaluación ha tenido orientaciones distintas. En el caso de la evaluación sumativa, se ha enfocado a lograr juicios más certeros y precisos sobre las capacidades de los profesionales médicos; mientras que la evaluación formativa se ha preocupado por contar con estrategias para realimentar a los estudiantes y a los educadores médicos sobre los logros que se van alcanzando en la formación, para mejorar la enseñanza y el aprendizaje.

Otro planteamiento teórico relacionado con la evaluación que surgió a finales del siglo pasado, a la par de la incorporación de la Educación Médica Basada en Competencias (EMBC), es la denominada pirámide de Miller7 que buscó resaltar la complejidad de las habilidades clínicas y describir cómo los estudiantes transitan en su desarrollo (figura 1). Este autor recomendó utilizar diversos métodos en la evaluación de las capacidades de un médico, pues ninguno por sí solo permitía obtener información suficiente para juzgar el ejercicio de esta profesión. Es así que categorizó los niveles de dominio de las habilidades clínicas con la intención de contribuir a la sistematización. La pirámide constituye un marco teórico que dio pauta a estructurar los métodos de evaluación existentes y definir el nivel de dominio que cada uno valoraba. Significó una innovación conceptual que detonó nuevos abordajes en la valoración de las capacidades del médico y, a la fecha, orienta la selección de los métodos más pertinentes a cada situación8.

 

 

 

 

Los exámenes con preguntas de opción múltiple han sido utilizados con mayor frecuencia para valorar el primer dominio, “saber”, por varias razones: son clave para la valoración de los conocimientos, principalmente cuando es necesario tomar decisiones de elevadas consecuencias, como la acreditación y la certificación, y facilitan examinar a un gran número de personas dado que su calificación puede ser automatizada. Para asegurar la validez y confiabilidad de los resultados, es necesario que al diseñar estas preguntas se sigan lineamientos claros y que se analicen los resultados obtenidos en su aplicación para garantizar que funcionan de manera adecuada. Haladyna & Downing9 retomaron los principios establecidos en la psicología para definir los que se han utilizado como referente para el diseño de reactivos en educación médica. La Teoría Clásica de los Test fue el fundamento de los procedimientos estadísticos para analizar los resultados durante muchos años, pero, dadas sus limitaciones, desde los años 60 se empezaron a utilizar aquellos vinculados con la Teoría de la Respuesta al Ítem (TRI)10. La TRI se ha considerado el método más idóneo para el análisis estadístico de los exámenes adaptativos computarizados, que representaron un gran cambio en las evaluaciones en Ciencias de la Salud desde finales de los 90, por la posibilidad de determinar el nivel de dominio de habilidades en poco tiempo y de manera precisa11.

Por otro lado, para evaluar el nivel de dominio “demostrar cómo” definido por Miller, se diseñaron métodos de evaluación que requerían de equipos de simulación de baja y alta tecnología, y para aportar objetividad a este crítico proceso, se utilizaron instrumentos como listas de cotejo o rúbricas para asignar puntajes en la valoración de acciones específicas. Un ejemplo es el Examen Clínico Objetivo Estructurado (ECOE) desarrollado en los años 70 en la Universidad de Dundee, para evaluar las competencias clínicas de manera sistematizada12. El ECOE ha sido uno de los métodos preferidos por los evaluadores de los aprendizajes para fines sumativos.

A la fecha, diferentes organizaciones encargadas de estandarizar la evaluación de la profesión médica en diferentes países, han propuesto diversos métodos tanto para la evaluación sumativa como la formativa, como la mencionada NBME o la Accreditation Council for Graduate Medical Education (ACGME) y la American Board of Medical Specialities (ABMS) en Estados Unidos o la CanMeds del Royal College of Physicians and Surgeons of Canada que surgió desde los 90. La ACGME y la ABMS colaboraron para proponer una serie de métodos de evaluación de las competencias de los residentes13. La CanMeds surgió en Canadá como apoyo del proyecto de la Educación del Futuro de Ontario, para desarrollar el marco de competencias de los especialistas en el marco de la Educación Basada en Competencias, que hoy constituye un referente para la enseñanza y evaluación de los médicos. Esta organización también publicó en un compendio de herramientas de evaluación de las competencias14.

De este modo, la EMBC continúa siendo un referente para dirigir los métodos de evaluación. Como se ha señalado desde la propuesta de Miller en 1990, se ha pugnado por valorar las competencias con diferentes métodos y evaluadores para brindar realimentación rumbo a la mejora de la atención médica15. Sin embargo, autores como Dauphinee, Boulet y Norcini16, consideran que la evaluación basada en competencias ha dejado de ser sostenible como una innovación puesto que, dada la complejidad de su implementación, no ha llegado a integrarse en la operación de los sistemas de salud y no ha impactado en la calidad de la atención médica.

En el caso de la evaluación formativa, se ha buscado que los instrumentos brinden realimentación sobre el desempeño de los estudiantes por su efecto positivo en el desempeño clínico, lo cual se ha relacionado con la evaluación para el aprendizaje. Se ha reportado la importancia de que los estudiantes conozcan en qué han progresado y que cuenten tanto con la información sobre cómo pueden mejorar, como los recursos para hacerlo, puesto que les motiva a participar en actividades de aprendizaje pertinentes para su desempeño17. Los métodos de evaluación formativa se comenzaron a utilizar de manera sistematizada a finales del siglo pasado18 como el Mini-Clinical Evaluation Exercise, que se introdujo en los 90 por la American Board of Internal Medicine (ABIM)19. Para alinear la evaluación formativa con la EMBC, también, se desarrollaron otros métodos como la evaluación programática en la Universidad de Maastricht, empleada para valorar las competencias a través de diversas fuentes e instrumentos durante la formación médica20,21.

A manera de síntesis, en la tabla 1 se describen algunos de los métodos de evaluación de los aprendizajes y el desempeño que, de acuerdo al análisis, cumplen con los atributos para ser considerados como innovación.

Los métodos de evaluación de la tabla anterior han sido implementados en diversos contextos y momentos críticos. Algunos se han superpuesto a las evaluaciones tradicionales por su valor dados los cambios en las perspectivas curriculares, otros las han reemplazado. Es importante mencionar que para incorporar o sustituir un método de evaluación es necesario que se cuestione sobre los objetivos y alcances que este tiene, sus ventajas y limitaciones, los recursos tecnológicos y humanos que se requieren y, sobre todo, si realmente representa o no una mejora frente a los métodos existentes, en cuanto a su factibilidad, validez y confiabilidad. Seleccionar una estrategia de evaluación de los aprendizajes en el proceso de formación médica tiene implicaciones importantes, pues las estrategias de evaluación que se utilicen transmiten aquello que se valora como importante de la profesión médica. Si se evalúa únicamente con exámenes de opción múltiple con énfasis en el conocimiento declarativo, los estudiantes interpretarán que lo realmente valioso es el conocimiento y podrían descuidar el desarrollo de las competencias clínicas. No resulta sorprendente que, en las propuestas curriculares basadas en competencias donde aún se evalúa con exámenes de opción múltiple26, los profesores se orienten a enseñar a los estudiantes a pasar el examen, en lugar de promover el desarrollo de capacidades.

Por último, ante los retos de evaluar el desempeño y la toma de decisiones y dadas las dificultades de utilizar estrategias de evaluación integral durante el proceso educativo, reiteramos que es necesario emplear diversas estrategias para evaluar al estudiante en diferentes momentos de su formación, así mismo integrar métodos de evaluación para el aprendizaje a través de las cuales se proporcione realimentación para la reflexión sobre la acción y mejora.

 

 

Tabla 1. Innovaciones en evaluación del aprendizaje en la formación médica

Método de evaluación de los aprendizajes	Descripción	Ejemplos de instituciones en las que se ha instrumentado
Miniejercicios de evaluación en la clínica    (Mini-Clinical Evaluation Exercise o Mini-CEX)	Mientras el estudiante atiende a un paciente, el profesor valora su actuación clínica a través de una escala numérica que permite brindar información para la realimentación.	Department of Physiology, NKP Salve Institute of Medical Sciences and Research Center India
Tarjetas de encuentros clínicos    (Teaching Encounter Cards)	Un supervisor observa cómo el estudiante realiza un procedimiento clínico; al terminar registra su evaluación en una tarjeta clínica previamente establecida; el supervisor califica dimensiones del encuentro clínico como: registro de la historia clínica, examen físico, conducta profesional, habilidades técnicas, diagnóstico y terapia, entre otras dimensiones clínicas. Esta información es utilizada principalmente para proporcionar realimentación al estudiante.	University of Toronto  Clinical Skills assesssment & Feedback Tool  Canadá
Evaluación multifuente o Evaluación 360°    (Multi-source feedback)	Método utilizado para la evaluación integral del estudiante a través de recolectar información de diferentes evaluadores, generalmente son: superiores, pares, pacientes y familiares o integrantes del equipo de salud, quienes completan una encuesta o cuestionario sobre el desempeño cotidiano del estudiante (por ejemplo, trabajo en equipo, comunicación o toma de decisiones). Esa información se resume para posteriormente brindar realimentación.	General Medical Council  Reino Unido
Examen objetivo estructurado de habilidades técnicas   (Objective Structured Assessment of Technical Skills, OSATS)	Método en el que el estudiante realiza un procedimiento clínico en un simulador, mientras es evaluado por un experto que utiliza una lista de verificación con una escala de calificación. Es utilizado con frecuencia para la certificación en cirugía.	University of Toronto  Faculty of Dentistry Canadá
Examen clínico objetivo estructurado, o ECOE    (Objective structured clinical examination OSCE)	Los estudiantes rotan por un circuito de estaciones estandarizadas (entre 8 y 10) para realizar una actividad clínica durante un periodo corto de tiempo; en cada consultorio se disponen pacientes estandarizados, evaluaciones orales, información visual, simulación de alta o baja fidelidad, o una tarea de escritura. Los evaluadores observan el desempeño del estudiante y evalúan el desempeño a través de listas de cotejo y/o rúbricas estandarizadas.	Facultad de Medicina, Universidad Nacional Autónoma de México
Evaluación programática   (Programatic assessment)	Método de evaluación holística que se alinea a las tendencias curriculares y didácticas. Combina estrategias cuantitativas y cualitativas de evaluación del desempeño de los estudiantes durante su formación. A partir de este modelo, se especifican ciclos de entrenamiento, evaluación formativa y actividad de apoyo.	Maastricht University  Países Bajos
Evaluación adaptativa computarizada    (Adaptive testing)	Utiliza sistemas computacionales para identificar la competencia de cada sustentante y determinar el nivel de dificultad de las preguntas que se le presentarán. De esta manera, el examen se ajusta a cada sustentante. Es necesario desarrollar un algoritmo que incluya un banco de reactivos, reglas de selección de reactivos, procedimiento de análisis y criterios de término del examen.  De esta manera se obtienen resultados de la prueba de manera más rápida, precisa y justa. Es utilizado principalmente en exámenes de acreditación masivos.	National Council of State Boards of Nursing (NCSBN).  Estados Unidos

 

Fuente: Elaboración propia a partir de Anant22, Paukert23, ACGME & ABMS13, Martin24, Heeneman25 y Gi Seo11.

 

 

TECNOLOGÍA E INNOVACIÓN EN EDUCACIÓN MÉDICA

La tecnología –entendida como la aplicación del conocimiento para el logro de las metas de la humanidad o en la transformación del ambiente donde se desenvuelve el hombre con el fin de facilitar la vida o hacerla más productiva y placentera27– se ha desarrollado a un ritmo muy acelerado en las últimas tres décadas, influyendo en la atención a los pacientes así como en los procesos de enseñanza y aprendizaje de los médicos.

En particular, en el caso de las tecnologías de la información y la comunicación (TIC), hemos sido testigos de grandes cambios en su potencial, mismos que han transformado muchos ámbitos, incluyendo la práctica médica y la educación. Por ejemplo, la evolución del Internet ha pasado por varias “etapas o fases” desde la Web 1.0 –en la cual los usuarios se mantenían como consumidores pasivos que consultaban información–, la Web 2.0 –donde se convierten en productores de contenidos y colaboran en la construcción del conocimiento–, la Web 3.0 que permite conformar redes semánticas, hasta la Web 4.0, en la cual el uso de algoritmos de aprendizaje de máquina y aprendizaje profundo (machine learning y deep learning) hace posible procesar información de manera similar al cerebro humano y ofrece un comportamiento más inteligente y más predictivo: con solo realizar una afirmación o petición, se ponen en marcha un conjunto de acciones que tendrán como resultado aquello que se pidió o se dijo. Así, hoy existen gran cantidad de herramientas y recursos electrónicos que tienden a mejorar el acceso al conocimiento para las personas y ayudan a superar limitaciones de la enseñanza presencial.

La tabla 2 describe algunas tecnologías educativas que han impactado en la educación médica y ofrece ejemplos de cómo se han utilizado, sin pretender que estas herramientas o ejemplos sean los mejores o los únicos.

 

 

Tabla 2. Tecnologías educativas utilizadas en innovación en educación médica

Tecnología	Descripción	Ejemplos de uso
Sistemas de respuesta   (Audience response system o ARS)	Son plataformas que permiten la interacción entre un instructor y los estudiantes en un aula o auditorio transmitiendo las respuestas de estos últimos al docente en tiempo real.	Estudiantes de un curso de evaluación de la salud en un programa de bachillerato en enfermería responden cuestionarios durante la clase y reciben retroalimentación inmediata. Alumnos de medicina realizan diagnósticos de casos presentados en una sesión y discuten las distintas respuestas del grupo.
Simuladores humanos / Modelos o maniquíes   (Part-task models or trainers, manikins)	A través de réplicas de distintos materiales (plástico, tejidos plastificados, plantas u otros materiales), se representan partes anatómicas del cuerpo humano con el fin de que los estudiantes pueden practicar tareas clínicas específicas. Estos modelos pueden estar equipados con tecnologías para simular operaciones mecánicas (i.e. circulación, respiración, pulso) que pueden ser manipuladas desde una computadora.	“Ayudando a los bebés a respirar” (Helping babies breathe) utiliza el modelo de un bebé para entrenamiento de parteras en Tanzania.  En el CECAM de la Facultad de Medicina de la UNAM, se utilizan simuladores humanos que emulan los signos vitales para entrenar a los estudiantes en la toma de decisiones en situaciones de urgencia.
Computadoras o dispositivos móviles para generar contenidos	Los estudiantes pueden utilizar dispositivos y aplicaciones informáticas para realizar actividades de aprendizaje activo y generar materiales con base en información, en vez de emplearlas para recibir información o como parte de estrategias de enseñanza tradicionales.	Estudiantes de medicina de la Universidad de Nueva York participan en el programa “Atención a la salud con números” (Healthcare by numbers) y utilizan una base de datos de 5 millones de hospitalizaciones para indagar sobre los factores sociales que determinan la salud. En una asignatura impartida mediante ABP (aprendizaje basado en problemas), los alumnos crean wikis colaborativamente para aprender en pequeños grupos.
Pizarrones interactivos   (Interactive white boards o smartboards)	Constan de pizarrones conectados a una computadora, en los cuales los docentes pueden escribir, proyectar imágenes o videos y transmitirlos a sitios distantes. De esta manera, permiten la interacción con estudiantes con distintas localizaciones geográficas. Las imágenes se pueden guardar o imprimir.	En una videoconferencia, el profesor realiza anotaciones y dibujos en el pizarrón, y las transmite a los sitios remotos.
Dispositivos móviles y apps	Equipos como las tabletas electrónicas y los celulares inteligentes permiten ingresar información y conectarse a una red de internet (wifi o con proveedores de servicios de internet) para enviar y recibir datos. Manejan software interactivo (conocido como apps) que puede usarse para tareas que apoyan el aprendizaje, tales como, acceder a recursos y plataformas educativas, recopilar datos para evaluación, utilizar sistemas clínicos o herramientas de toma de decisiones, registrar datos fisiológicos y/o resultados de estudios. En tanto estos dispositivos son portátiles, resultan herramientas útiles como apoyo en la formación clínica durante las rotaciones o internados (en inglés este uso de dispositivos es identificado por el término bedside clinical technologies). También sirven de apoyo para la toma de decisiones clínicas en el lugar de atención al paciente (en estos casos, son llamados point-of-care systems of learning).	Hay muchas apps para aprendizaje en ciencias de la salud que pueden consultarse en la tienda de Apple®️ o de Google®️.   Existen apps que ayudan a los estudiantes a prepararse para los exámenes de alto impacto, por ejemplo, el tutorial para el examen de neurología de la Universidad de San Francisco y la app para la preparación del examen de OSMOSIS desarrollado por estudiantes de la Universidad de John Hopkins.   La Universidad del Sur de Carolina entrega dispositivos móviles a los estudiantes para impartir su currículum de radiología.
Entornos virtuales de aprendizaje   (Learning management systems o LMS en Norteamérica; Virtual learning environments o VLE, en Europa)	Comprenden plataformas informáticas que integran los recursos necesarios para impartir un curso en línea: materiales (programa, videos, objetos interactivos, etc.), herramientas para el aprendizaje (wikis, blogs, foros), la evaluación (cuestionarios, exámenes, libreta de calificaciones) y para la gestión docente (reportes, anuncios).	La mayoría de los cursos mixtos y en línea utilizan un entorno virtual de aprendizaje.
Cursos masivos abiertos y en línea   (Massive Open Online Courses o MOOC, por sus siglas en inglés)	Son cursos que se imparten a través de internet (en línea) y pueden ser utilizados por cualquier persona. No requieren demostrar un grado para inscribirse e inicialmente no tenían un costo (abiertos). Atienden de manera simultánea a cientos o miles de estudiantes (masivos). Suelen transmitir información mediante contenidos tradicionales (videos de cátedras) e incluir actividades con retroalimentación automática (cuestionarios de opción múltiple) o de coevaluación (evaluación por pares).	Hay diversos proveedores tanto del ámbito universitario como el sector empresarial que ofrecen estos cursos.   La Universidad de Stanford diseñó el curso “Sistemas de atención a la salud (Health Care Systems)” que se imparte a través de Khan Academy. Según Class Central, en diciembre 2019, había 13,500 MOOC, de 900 universidades, con 110 millones de estudiantes inscritos.
Objetos de aprendizaje y contenidos digitales   (learning objects and course materials)	Comprenden materiales interactivos, orientados a objetivos de aprendizaje específicos, relacionados con la enseñanza de algún tema particular y que son autocontenidos, por lo que pueden reutilizarse para distintos fines. Muchas veces emplean estándares de la industria, tales como SCORM.	Los casos pediátricos CLIPP consisten en módulos para la enseñanza de la pediatría que pueden ser utilizados por distintas universidades.   Hay varios repositorios que incluyen recursos para la enseñanza de ciencias de la salud como MERLOT y AAMC MedPortal.
Visualizaciones médicas	Consisten en ambientes donde los estudiantes están inmersos en escenarios auténticos y realistas, o visualizaciones médicas, donde los estudiantes pueden interactuar con imágenes multimedia.	Existen diversas plataformas con imágenes en 3D para que los estudiantes exploren el cuerpo humano y aprendan anatomía (i.e. Visible Body).   También hay microscopios virtuales como el desarrollado por la Universidad de Nueva York.
Realidad virtual   (Virtual reality o VR)	Crea experiencias inmersivas en las cuales el estudiante se introduce en un entorno virtual (que puede representar un lugar real o imaginario) y puede desplazarse e interactuar con sus elementos. Requiere del uso de dispositivos de dos tipos: unos generan los estímulos visuales, sonoros y táctiles que percibe el usuario; otros actúan como sensores que registran las acciones del usuario (movimiento de la mano, por ejemplo) y permiten al sistema responder a ellas.	La Universidad del Sur de California (USC) desarrolló una plataforma de realidad virtual interactiva llamada Bravemind, utilizada para atender a pacientes con síndrome posttraumático. En este entorno pueden revivir las experiencias vividas bajo la supervisión de un asesor que mide sus reacciones de estrés.
Pacientes u hospitales virtuales   (virtual patients o VP)	Comprenden software que simula escenarios clínicos reales en los cuales los estudiantes desempeñan los roles de un médico, tales como elaborar la anamnesis, realizar el examen físico, proponer un diagnóstico y un tratamiento. Son útiles en particular para practicar y evaluar las habilidades de razonamiento clínico. Pueden tener dos alcances: en el caso de los pacientes, sólo se simula la situación de un enfermo, mientras que aquellos orientados a un hospital, comprenden los distintos espacios de las instituciones que ofrecen servicios de salud.	La Universidad de Indiana creó una unidad de urgencias virtual, en la cual los alumnos pueden practicar con datos reales de pacientes anonimizados.   El “Centro de Aprendizaje Médico” (Center for Advanced Medical Learning) de la Universidad del Sur de Florida y el Centro de Cuidados Virtuales (Virtual Care Center) de la Universidad de California (Davis) son dos ejemplos de hospitales virtuales.
Ambientes virtuales (Virtual environments)	Comprenden programas informáticos que simulan espacios en los cuales los usuarios pueden ingresar, interactuar y colaborar con contenidos digitales y/o con otros usuarios. Utilizan estímulos sensoriales distintos para lograrlo –por lo general, imágenes y sonidos, pero también pueden ser olores y sensaciones táctiles. A través de controles tangibles (pulseras o diademas con sensores de movimientos), los usuarios pueden generar respuestas.	La Universidad de Boston desarrolló una sesión interactiva de una hora en Second Life, para aprender sobre diabetes tipo 2.
Ambientes de realidad aumentada   (Augmented reality o AR)	Permiten enriquecer la experiencia de una personal al sobreponer estímulos sensoriales generados por la computadora (como imágenes, sonidos, presión) sobre la percepción que un sujeto tiene de la realidad. De esta manera combina elementos de la realidad con objetos virtuales.	Usando Kinnect®️, se ha desarrollado un sistema (llamado Miracle) para la enseñanza de anatomía a nivel licenciatura que proyecta imágenes del interior del cuerpo humano sobre una persona.   Esta tecnología se utiliza también para practicar habilidades específicas, como la cirugía laparoscópica.
Evaluación por computadora   (Computer aided assessment)	Comprende software para aplicar cuestionarios, exámenes y otro tipo de instrumentos de evaluación a través de computadores y dispositivos móviles. Pueden ser calificados automáticamente, ofrecer retroalimentación inmediata, incluir elementos multimedia e interactivos en las evaluaciones y utilizar analítica de datos sobre el desempeño de los estudiantes y el funcionamiento de los reactivos.	Los exámenes de residencia en México y aquellos de certificación médica en Estados Unidos utilizan evaluaciones por computadora.   En la Facultad de Medicina de la UNAM, los exámenes sumativos de las asignaturas biomédicas básicas se realizan con esta tecnología.
Portafolios electrónicos y sistemas de entrenamiento (Learner portfolios and coaching systems)	Comprenden plataformas que permiten almacenar, recuperar y anotar información cualitativa y cuantitativa sobre el desempeño y avance de un estudiante. Pueden utilizarse para orientar al alumno, documentar sus competencias y definir planes de acción para la formación.	Los estudiantes de enfermería utilizan dispositivos móviles para registrar sus reflexiones sobre los pacientes que están atendiendo y compartirlos con sus tutores.
Mapas curriculares digitales   (Curriculum mapping tools)	Permiten generar esquemas del currículum con la finalidad de analizar su estructura y las relaciones entre sus componentes e identificar problemas o necesidades de mejoras. Pueden emplearse herramientas con distintos grados de complejidad, desde hojas de cálculo hasta bases de datos sofisticadas en la nube.	Ilios es una herramienta que utiliza la Universidad de California, San Francisco para mapear su currículum de educación profesional en salud.    El Eberly Center for Teacher Excellence and Educational Innovation, utiliza una plantilla de Excel como herramienta para análisis del currículo.
Analíticas del aprendizaje   (Learning analytics)	Implican el uso de herramientas digitales para sistematizar y analizar datos recabados mediante otras tecnologías (i.e. administradores de cursos en línea, portafolios, sensores biométricos, expedientes médicos digitales) con la finalidad de responder preguntas complejas sobre el aprendizaje o la enseñanza, y mejorar las intervenciones educativas. Busca aplicar diversas técnicas de análisis de datos para describir, caracterizar y predecir los aprendizajes de los estudiantes.	Los datos de 8,000 alumnos que presentaron el MCAT (examen de selección para la educación médica aplicado en Estados Unidos) se utilizaron para valorar la utilidad de esta evaluación como predictor del éxito en los estudios de medicina.   En la Universidad de Nueva York, se integró el Registro de Investigación en Educación Médica sobre Cuidados Primeros (ROMEO, por sus siglas en inglés, Research on Medical Education Outcomes), con un equipo interdisciplinar e interdepartamental para responder a la pregunta: ¿Cómo sabemos que la educación médica prepara profesionistas que proporcionan servicios de salud de calidad?, a partir de usar datos para relacionar los resultados de los pacientes con la educación médica.
Inteligencia artificial   (Artificial intelligence o AI)	Hace referencia al uso de software informático para realizar comportamientos que se asemejan y extienden el proceso de pensamiento racional y las acciones del hombre. Comprenden iniciativas orientadas hacia tres áreas: habilidades de procesamiento de lenguaje natural (programas que puedan leer y hablar), procesamiento de estímulos sensoriales (máquinas que procesar estímulos auditivos y visuales, y distinguir ambientes distintos), y sistemas expertos (que simulan el comportamiento de especialistas).	El sistema de paciente virtual DxR usa inteligencia artificial para la enseñanza y la evaluación del pensamiento clínico. Permite a los estudiantes realizar diagnósticos y proponer tratamientos a partir del interrogatorio, exámenes físicos simulados o exámenes suplementarios. Está soportado por una base de cientos de datos de pacientes reales que han sido compilados por expertos en inteligencia artificial.

 

Fuente: Traducido y adaptado a partir de Cook & Triola27, con información de Shah28, Wiecha et al29, Kamphuis et al30, Eberly Center31, Gillespie32, Masters33 y Zhao et al34.

 

El análisis del cuadro anterior hace posible identificar de qué manera las tecnologías han impactado más en la innovación en educación médica:

•Almacenamiento, sistematización, búsqueda y acceso remoto a grandes cantidades de información.

•Interacción y comunicación a distancia, síncrona y asíncrona.

•Colaboración entre personas ubicadas en distintos lugares.

•Creación de recursos digitales multimedia, interactivos e incluso, inmersivos gracias a la realidad virtual y aumentada.

•Análisis de datos estructurados y no estructurados, para identificar patrones.

En el discurso educativo actual, con frecuencia se considera como innovación a la mera introducción de las tecnologías de información y comunicación (TIC), sin que ello implique necesariamente una transformación de las prácticas docentes35. Las innovaciones curriculares, didácticas y de evaluación en educación médica del último siglo, presentadas en esta revisión, muestran cómo, en la educación médica, se concatenan una serie de propuestas con miras a modificar la formación de los médicos para atender mejor las necesidades sociales a las cuales responde esta profesión. La tecnología incide en este proceso de dos maneras; por un lado, los avances tecnológicos transforman la práctica médica y con ello, generan necesidades de integrar al currículo nuevas habilidades y contenidos; es decir, constituye un detonador y un motor del cambio. Al mismo tiempo, la tecnología ofrece herramientas que permiten instrumentar las nuevas ideas de los educadores médicos sobre la formación de los futuros médicos y, con ello, contribuye a hacer realidad las ideas innovadoras27. En el periodo considerado en este artículo, es posible identificar algunas de las aplicaciones de la tecnología en la implementación de innovaciones en educación médica, por ejemplo:

1. Diversificar las modalidades de enseñanza y aprendizaje. Los cursos en línea o híbridos brindan opciones formativas alternativas a la enseñanza presencial y las rotaciones clínicas; en particular se han utilizado para atender nuevas líneas curriculares (como las ciencias en sistemas de salud).
2. Ofrecer recursos digitales multimedia que apoyen el aprendizaje de los estudiantes dentro y fuera del aula para brindar información o facilitar la práctica en entornos lo más parecidos a la realidad. La integración de este tipo de materiales ofrece varias ventajas. Permite que los educadores médicos aprovechen los momentos de interacción con estudiantes para promover el aprendizaje activo y centrado en el estudiante (por ejemplo, sustituyendo la cátedra con aula invertida); así, los docentes podrían concentrarse en desempeñar otros roles distintos a la transmisión de información. También hacen posible que el estudiante realice tareas en contextos similares a los que enfrentaría en la práctica profesional, con el andamiaje y control necesario para desarrollar la pericia sin riesgos para pacientes reales; de esta manera permiten el aprendizaje experiencial y situado36. Finalmente, en tanto estos recursos están disponibles desde cualquier dispositivo conectado a Internet, pueden enriquecer la enseñanza que tiene lugar en los hospitales y centros de salud donde existe conectividad y apoyar el aprendizaje durante la práctica clínica.
3. Brindar a los estudiantes acceso a bases de datos con gran cantidad de información, ya sean artículos de literatura científica que les permiten actualizarse, o información médica sobre pacientes reales para apoyar el aprendizaje de temáticas relacionadas con problemas y necesidades sociales a través de minería de datos. Gracias a la inteligencia artificial, las búsquedas de información pueden automatizarse y contribuir también a la formación continua de los médicos33.
4. Integrar, en la evaluación de los aprendizajes de los estudiantes, una combinación de evidencias sobre los conocimientos y habilidades adquiridos, así como sobre la capacidad de aplicarlos en contextos reales, y ofrecer realimentación oportuna sobre sus logros. Con las TIC, en particular la inteligencia artificial, pueden recabarse evidencias cualitativas de desempeño en contextos clínicos analizadas con procesamiento de lenguaje natural37 y ofrecer realimentación oportuna e inteligente a los estudiantes33.
5. Crear trayectorias de formación personalizadas y flexibles, que permitan a los estudiantes transitar por los programas de acuerdo con sus ritmos de aprendizaje y garantizar que se desarrollan las capacidades consideradas34. El avance está determinado por la demostración de los aprendizajes y apoyado en materiales que pueden ser consultados de manera independiente por los estudiantes. Con ello, se busca lograr una instrumentación de esquemas basados en competencias donde el dominio de las capacidades sea el criterio de avance y no los tiempos de estudio o los créditos.
6. Recopilar información sobre distintos elementos de los sistemas de educación médica cuyo análisis con modelos de minería de datos sirva para identificar problemas que afectan la formación, y sustentar la toma de decisiones académico-administrativa36.

REFLEXIONES FINALES

La educación médica enfrenta retos importantes para preparar a los profesionistas que requieren los sistemas de salud del mundo en la actualidad; por ello, las escuelas de medicina están integrando una o varias de las innovaciones curriculares, didácticas y en evaluación antes descritas. La transformación del proyecto educativo de cada escuela de medicina o centro hospitalario depende de factores relacionados con la institución (misión y cultura organizacional, normatividad académico-administrativa, currículum, planta académica, infraestructura y recursos financieros disponibles); la visión de sus líderes (estilo de liderazgo y prioridades) y el contexto en el cual están insertos (retos y problemáticas vigentes en la práctica médica local, políticas y legislación educativas, características de sus alumnos, relación con otras escuelas). Existen universidades que han instrumentado pequeños cambios, como la inclusión de alguna(s) asignatura(s) nueva(s), o la integración de metodologías didácticas activas en un plan de estudios flexneriano, mientras que otras han modificado radicalmente la mayoría de los elementos de la formación médica. Los programas de la Universidad de Vanderbilt, de Harvard y de la Universidad de Nueva York constituyen ejemplos de innovaciones radicales que replantean la educación médica.

Tanto en el caso de innovaciones puntuales como sistémicas, ponerlas en marcha resulta una tarea compleja, dado que en la formación médica participan no sólo instituciones educativas, sino también hospitales y centros de salud. La modificación de un elemento suele incidir en otros componentes del sistema, y resulta necesario contemplar estas interacciones para lograr que la comunidad académica se apropie de lo nuevo y se alcancen los propósitos deseados. Una de las tendencias dominantes en educación médica, la educación basada en competencias, requiere más que la elaboración de un nuevo plan de estudios: demanda alinear tanto las prácticas docentes para que los estudiantes tengan suficientes oportunidades de desarrollar las competencias establecidas en el currículo, como las estrategias e instrumentos de evaluación para que demuestren su dominio.

Es necesario, por lo tanto, capacitar a los educadores médicos en relación con las características del nuevo currículo y las estrategias didácticas que implica operarlo; cuidar que los espacios faciliten las actividades de aprendizaje previstas, y dotar a profesores y estudiantes de las herramientas y materiales pertinentes; así como generar y aplicar evaluaciones del aprendizaje que realimenten continuamente al personal de salud en cada uno de sus roles; y, ofrecer recursos e información para la mejora. Cualquier omisión en los factores involucrados en la educación médica afecta la probabilidad de conseguir el cambio buscado.

Cabe mencionar que las innovaciones en la práctica médica aquí presentadas surgieron en un determinado contexto y época para atender necesidades o problemáticas particulares de una población, sistema de salud o centro de formación; sin embargo, eventualmente perdieron su carácter de innovación, pues pasaron a formar parte de la práctica cotidiana o bien, fueron sustituidas por otras ideas. Algunas de dichas propuestas continúan consolidándose, como en el caso del Aprendizaje Basado en Problemas de la Universidad de McMaster en Canadá, estrategia que es considerada como innovación en otros contextos de formación médica e incluso en otras disciplinas.

Finalmente, es importante hacer notar que la medicina del futuro dependerá de la educación médica de hoy. Es pertinente seguir construyendo nuevas propuestas teóricas y procedimentales en la formación de médicos de pre y posgrado, que consideren el panorama futuro en los avances científicos y tecnológicos, la práctica médica, los roles del profesional de salud, los sistemas de salud y los problemas sociales que estos últimos deben atender. Solo así, podrán formarse médicos con las cualidades para adaptarse al nuevo panorama de la medicina en un mundo de cambios acelerados.

REFERENCIAS

1. González P, Luna de la Luz V. La transformación de la educación médica en el último siglo: innovaciones curriculares y didácticas (parte 1) 2018 Inv Ed Med. 2019 apr;30(8):95-109.
2. Miller MD, Linn RL, Gronlund NE. Measurement and Assessment in Teaching. 11a ed. USA: Pearson; 2013. 574.
3. van Der Vleuten, C. The assessment of professional competence: developments, research and practical implications. Advances in Health Sciences Education 1996;1:41-7.
4. Flexner A. Medical Education in the United States and Canada: A Report to the Carnegie Foundation for the Advancement of Teaching. Carnegie Foundation for the Advancement of Teaching 1910, editor Carnegie Bulletin. New York; 1910, 364 p.
5. NBME, National Board of Medical Examiners Centennial 1915-2015. [Internet] USA; [consultado 5 febrero 2020] Disponible en: https://www.nbme.org/
6. Alkin M, Vo TA. Evaluation Essentials. 2d ed. New York: Guilford Press; 2018.
7. Miller GE. The assessment of clinical skills/competence/performance. AcadMed. 1990;65(Suppl):S63-S67.
8. Shumway JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569-84.
9. Haladyna TM, Downing SM, Rodríguez MC. A review of multiple-choice item writing guidelines for classroom assessment. Appl Meas Educ. 2002;15(3):309-33.
10. Downing S. Item response theory: applications of modern test theory in medical education Med Ed. 2003;37:739-45.
11. Seo DG. Overview and current management of computerized adaptive testing in licensing/certification examinations. J Educ Eval Health Prof. 2017;14:17.
12. Harden RM, Stevenson M, Downie WW. Assessment of clinical competence using objective structured examination. Medical Education. 1975;1:447-51.
13. ACGME and ABMS. Toolbox of assessment methods. [Versión electrónica] En: A product of the joint initiative of the ACGME Outcome Project of the Accreditation Council for Graduate Medical Education (ACGME) and the American Board. 2000; Versión 1.1.
14. CANMEDS. Assessment tools handbook: an introductory guide to assessment methods for the CANMEDs Competencies. 1a e. Canada, 2006.
15. Lockyer J, Carraccio C, Chan M, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR. Core principles of assessment in competency-based medical education. MedTeach. 2017;39(6):609-616.
16. Dauphinee W, Boulet J, Norcini J, Considerations that will determine if competency-based assessment is a sustainable innovation Adv in Hearth Sci Educ. 2018.
17. Shepard LA. The Role of assessment in a learning culture. Educ Res. 2000;29(7):4-14.
18. Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Tech. 2007:855-71.
19. Mortaz S, Mohammad J, Rasoul M, Mandana S, Saharnaz N, Nornici J. The utility of mini-clinical evaluation exercise in undergraduate and postgraduate medical education: A BEME review: BEME Guide No. 59. Med Teach. 2019.
20. Tekian A, Watling C, Roberts T, Steinert Y, Norcini J. Qualitative and quantitative feedback in the context of competency-based education. Med Teach. 2017;9(12):1245-9.
21. Schuwirth L, Van der Vleuten C. Programmatic assessment: from assessment of learning to assessment for learning. MedTeach. 2011;33(6);478-85.
22. Gade SA, Chari SN, Chalak A. Use of mini-CEX as a teaching learning method in physiology for undergraduate medical students. Natl J Physiol Pharm. 2017;7(4):482-5.
23. Paukert JL, Richards ML, Olney C. An encounter card system for increasing feebback to students. Am J Surg. 2002;183:300-4.
24. Martin, Regehr, Reznick, Macrae, Murnaghan, Hutchison & Brown Objective structured assessment of technical skill (OSATS) for surgical residents. Br J Surg. 1997;84(2)273-8.
25. Heeneman S, Oudkerk A, Schuwirth L, van del Vleuten E, Driessen E. The impact of programmatic assessment on student learning: theory versus practice. Med Educ. 2015;49(5);487-98.
26. Riley B, Riley G. Innovation in graduate medical education –using a competency based medical education curriculum. International Journal of Osteopathic Medicine. 2017;23:36-41.
27. Cook D, Triola M. Educational Technologies in Health Professions Education: Current State and Future Directions. In: Stuart G, Triola M. 2015 Enhancing Health Professions Education through Technology: Building a Continuously Learning Health System. Proceedings of a conference sponsored by the Josiah Macy Jr. Foundation. 2015;71-111. Disponible en https://macyfoundation.org/assets/reports/publications/macy_foundation_monograph_oct2015_webpdf.pdf
28. Shah D. By The Numbers: MOOCs in 2019. Class Central. MOOC Report [Internet]. 2019 [consultado el 5 de febrero de 2020] Disponible en: https://www.classcentral.com/report/mooc-stats-2019/
29. Wiecha J, Heyden R, Sternthal E, Merialdi. M Learning in a Virtual World: Experience with Using Second Life for Medical Education. J Med Internet Res. 2010;12(1):e1.
30. Kamphuis, C, Barsom E, Schijven M, Christoph N. Augmented reality in medical education? Perspect Med Educ. 2014;3:300-11.
31. Eberly Center. Teaching Excellence & Educational Innovation [Internet]. Pittsburgh. PA: Carnegie Mellon University c2020. Curriculum Mapping Tool; 2020 [consultado el 2020 Feb 06]. Disponible en: https://www.cmu.edu/teaching/assessment/assessprogram/tools/Curriculum%20Mapping%20Tool.html
32. Gillespie C, Zabar S, Altshuler L, Fox J, Pusic M, Xu J, Kalet A. The Research on Medical Education Outcomes (ROMEO) Registry: Addressing Ethical and Practical Challenges of Using “Bigger,” Longitudinal Educational Data, Acad Med. 2016 May;91(5):690-5.
33. Masters K. Artificial intelligence in medical education. Med Teach. 2019 Sep;41(9):976-80.
34. Zhao H, Guijie L, Feng W. Research on Application of Artificial Intelligence in Medical Education. International Conference on Engineering Simulation and Intelligent Control. 2018. [Internet] IEEE Xplore [Consultado el: 2020 Feb 7]. Disponible en: https://ieeexplore.ieee.org/document/8530428
35. Tierney WG, Lanford M. Conceptualizing innovation in higher education. Vol. 25, Higher Education: Handbook of Theory and Research. Springer, Cham; 2010 [citado 2019 Jan 18]. 425-48 p. Disponible en: http://link.springer.com/10.1007/978-3-319-26829-3_1
36. Chan T, Sebok-Syer S, Thoma B, Wise A, Sherbino J, Pusic M. Learning Analytics in Medical Education Assessment: The Past, the Present, and the Future. AEM Education and Training. 2018 Ap;2(2):178-87.

     

     

    *Autor para correspondencia: Verónica Luna de la Luz.

    Innovación Educativa, Universidad Nacional Autónoma de México (UNAM). Ciudad Universitaria,
    Cto. Centro Cultural, Insurgentes Cuicuilco, Cd. Mx., México. Teléfono: 5622 6666, ext.: 82310.

    Correo electrónico: veronica.luna@codeic.unam.mx 

     

     

    La revisión por pares es responsabilidad de la Universidad Nacional Autónoma de México. 2007-5057/© 2020

    Universidad Nacional Autónoma de México, Facultad de Medicina.

    Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).