Artículo Original

eISSN 2007-5057

Investigación educ. médica vol. 9, no. 34, México abr/jun. 2020

http://doi.org/10.22201/facmed.20075057e.2020.34.19197

Validez y confiabilidad del DREEM en español colombiano y su adaptación a un currículo integrador

Diana Marcela Laverde Robayoa,*, Martha Ortiz Fonsecaa, John Alexander Vergel Guerreroa, Vladimir Mauricio Ospina Maldonadoa, Gustavo Adolfo Quintero Hernándeza

aEscuela de Medicina y Ciencias de la Salud, Universidad del Rosario, Bogotá, Colombia.

Recibido: 28-febrero-2019. Aceptado: 19-agosto-2019.

Resumen

Introducción: En la evaluación de los currículos médicos ha sido importante medir el ambiente educativo con la ayuda de algunos instrumentos como el DREEM. Sin embargo, varios estudios han identificado problemas con sus propiedades psicométricas. La consistencia interna de sus 5 dominios es bastante variable y, en ciertos casos, la confiabilidad es baja. Para tomar decisiones sobre cambios curriculares en nuestro contexto es necesario validar este instrumento.

Objetivo: Validar el DREEM en español colombiano y su adaptación a un currículo integrador.

Método: Estudio cuantitativo, no experimental, exploratorio, transversal. La validación del contenido se realizó con juicio de 12 expertos. Participaron 308 estudiantes de medicina respondiendo el DREEM. La validación de constructo y la confiabilidad se determinaron con Análisis Factorial Exploratorio (AFE) y α de Cronbach.

Resultados: Se adecuaron sintáctica y semánticamente los ítems y se movilizaron 7 ítems de un dominio a otro. El puntaje total del DREEM mostró un nivel de confiabilidad excelente (a = 0.91), pero 2 de sus dominios tuvieron un nivel cuestionable de consistencia interna. La validez de constructo indicó que 26 ítems serían suficientes para medir el ambiente educativo. Los ítems del dominio 5 y el ítem 17 quedaron excluidos del AFE.

Conclusiones: El DREEM adaptado en español colombiano es un instrumento confiable y válido, pero algunos de sus dominios son cuestionables, lo que pone en duda sus soportes teóricos. Excluir el análisis independiente de estos dominios puede dificultar la comprensión de los resultados del DREEM y obstaculizar la toma de decisiones en áreas concretas del currículo. Por tanto, es necesaria una reconstrucción teórica del ambiente educativo y, en consecuencia, una reconceptualización de las subescalas de este constructo.

Palabras clave: Ambiente educativo; medicina; currículo integrado; DREEM; validez y confiabilidad.

Validity, Reliability and Adaptation of the DREEM in Colombian Spanish and an Integrated Curriculum

Abstract

Introduction: Measurement of the educational environment has become of key importance in medical curriculum evaluation. The DREEM has been developed for this purpose. However, a number of studies have identified issues with the psychometric properties of the DREEM. The internal consistency of the 5 domains is rather variable and, in some cases, the reliability is low. Since information obtained from the DREEM can be used to change the curriculum in our context, it is necessary to validate this instrument.

Objective: To validate the DREEM in Colombian Spanish considering an integrated curriculum.

Method: Quantitative, non-experimental, exploratory, cross-sectional study. 12 experts in education validated the DREEM content. 308 medical students participated. Exploratory Factorial Analysis (EFA) and Cronbach’s a determined construct validity and reliability.

Results: Syntactic and semantic adaptations were made to the items. Seven items were mobilized from one domain to another. Although the total DREEM score had an excellent reliability level (a = 0.91), domain analysis showed 2 questionable domains. The analysis indicated that 26 items may be enough for measuring the educational climate. Domain V items and item 17 were excluded.

Conclusions: The adapted DREEM to Colombian Spanish is reliable and valid. However, some of the domains were questionable. Findings suggest the original theory of the DREEM domains embodies debatable assumptions. Excluding the independent analysis of the domains may harden scores understanding, which in turn may obstruct decision making in specific areas of the curriculum. Therefore, A new theory of the educational climate domains is needed. 

Keywords: Educational setting; medicine; integrated curriculum; DREEM; validity and reliability.

INTRODUCCIÓN

Medir el ambiente educativo ha sido un tema de interés en la educación médica1. Aunque en la literatura se define el ambiente educativo de diferentes maneras, y se utilizan sinónimos como atmósfera académica o clima de aprendizaje, aquí se entiende como la percepción que tienen los estudiantes acerca de la naturaleza de sus experiencias educativas, contrastándola con sus expectativas, creencias, actitudes, necesidades y objetivos del aprendizaje2. En otras palabras, es la manifestación y conceptualización más significativa y amplia de la calidad y cualidad del currículum —si se entiende este como experiencias de aprendizaje— desde la perspectiva del estudiante en su contexto particular3.

En la década de los noventa se exploraron distintas formas de medir el ambiente educativo en medicina. En la Universidad de Dundee, Roff et al.4 construyeron el Dundee Ready Educational Environment Measure (DREEM), un cuestionario compuesto por 50 preguntas5,6. Sus creadores se basaron en una teoría que conceptualiza el ambiente educativo como la composición de 5 dominios: enseñanza, docentes, autopercepción académica, ambiente y autopercepción social. Para cada dominio se diseñó, mediante método Delphi, un conjunto de ítems para medirlo. Se asume que los 5 dominios del instrumento original son independientes.

Esta herramienta ha sido traducida a varios idiomas y utilizada en América Latina5,7-9, Australia6, Europa10, Oriente11-16; y América del Norte17. Ha sido aplicada también para comparar programas tradicionales con currículos basados en problemas 18 y currículos emergentes con integración horizontal y vertical19; para comparar estudiantes que alcanzan las metas académicas con los que fracasan20, y para contrastar metodologías de enseñanza-aprendizaje2,7,21.

En el programa de Medicina de la universidad de interés en Colombia se ha usado una traducción propia del DREEM con ajustes al español colombiano y al tipo de currículo, luego de la implementación de una reforma, en la cual se pasó de un currículo tradicional a uno integrador. Un currículo integrador se refiere, en este caso, a la conexión, dentro de la experiencia educativa, entre resultados de aprendizaje o competencias derivadas de diferentes ciencias o disciplinas22,23.

Aunque los resultados han brindado información para tomar decisiones, no se han precisado las propiedades psicométricas del DREEM. Existen casos similares, por ejemplo, Domínguez et al.7 determinaron la consistencia interna del DREEM en un estudio que comparó el impacto de la estrategia de aula invertida con la clase magistral, pero no realizaron la validación del instrumento. Esto es problemático porque las decisiones que se tomen para mejorar los ambientes educativos deben estar soportadas en instrumentos válidos y confiables. En consecuencia, el propósito del presente estudio fue determinar la validez y confiabilidad del DREEM en español colombiano, con ajustes a un currículo integrador.

OBJETIVO

Validar el DREEM en español colombiano y su adaptación a un currículo integrador.

MÉTODO

Estudio cuantitativo, no experimental, exploratorio, transversal. Se revisaron 2 cuestionarios del DREEM, la versión original en inglés de Roff et al.4 y la traducción al español de Riquelme et al.1. Esta última versión se utilizó porque es una traducción validada al español chileno en un currículo integrador de una universidad de Chile. Con base en estas 2, se realizaron adaptaciones lingüísticas al español colombiano y las requeridas para un currículo integrador. Los 50 ítems se organizaron en los 5 dominios originales propuestos por Roff y se definieron operativamente (tabla 1).

 

 

Tabla 1. Dominios del DREEM

Dominio

Definición operativa

1. Percepción del estudiante acerca de la enseñanza

Conjunto de significados que tiene el estudiante sobre acciones y estrategias de enseñanza que se implementan en el aula.

2. Percepción que tiene el estudiante acerca de los docentes

Conjunto de significados que tiene el estudiante sobre metodologías, habilidades, conocimientos y actitudes de sus docentes.

3. Autopercepción académica del estudiante

Conjunto de significados que tiene el estudiante sobre sus propias habilidades para el aprendizaje, que incluyen las estrategias de aprendizaje, la autoconfianza para aprender, las habilidades cognitivas, apropiación del conocimiento.

4. Percepción del estudiante acerca del ambiente de aprendizaje

Conjunto de significados que tiene el estudiante sobre las condiciones propias de los contextos de aprendizaje, incluye actitudes, principios o valores que median el proceso de aprendizaje.

5. Autopercepción social del estudiante

Conjunto de significados que tiene el estudiante sobre sus propias habilidades interpersonales e intrapersonales para la interacción social en el aula.

 

Esta tabla presenta la definición conceptual, para los fines del presente estudio, de cada uno de los dominios del DREEM
propuestos por Roff 21 originalmente.

 

 

Para la validación de contenido, se usó el análisis por jueces expertos. Veinte jueces fueron escogidos con base en estos criterios: ser profesor universitario con más de 3 años de experiencia, tener formación postgradual en educación y haber realizado investigación en validación de instrumentos de medición. Cada uno recibió una carta de presentación, un instructivo y una rejilla para calificar estructura gramatical, coherencia semántica, pertinencia y suficiencia de cada ítem en una escala de 1 a 3, correspondiendo 1 al bajo nivel de cumplimiento, 2 a un nivel moderado y 3 a un alto nivel. La rejilla contenía un espacio reservado para observaciones (tabla 2).

 

 

Tabla 2. Rejilla de calificación para jueces expertos

Dominio

Definición operativa

Pregunta

Estructura

Coherencia

Pertinencia

Suficiencia

Observaciones

1

Percepción del estudiante acerca de la enseñanza

Conjunto de significados que tiene el estudiante sobre acciones y estrategias de enseñanza que se implementan en el aula.

1

Me motivan para participar en las clases

7

La enseñanza es frecuentemente estimulante

13

La enseñanza está centrada en el estudiante

16

Las estrategias de enseñanza me ayudan a desarrollar competencias

20

Las estrategias de enseñanza están bien enfocadas

22

Las estrategias de enseñanza me ayudan a desarrollar confianza en mí mismo

24

El tiempo destinado a la enseñanza es bien utilizado

 

Ejemplo del formato de rejilla de calificación entregada a los jueces expertos para su revisión y valoración a fin de cumplir con la validación
de contenido del DREEM. Cada juez calificó numéricamente (1, 2 o 3) cada uno de los ítems de acuerdo con los criterios de Estructura, Coherencia, Pertinencia y Suficiencia; y realizó las observaciones descriptivas de su consideración.

 

 

Se recibieron 17 rejillas de calificación, pero solo se tuvieron en cuenta 12 rejillas debidamente diligenciadas. Se obtuvieron las medias aritméticas para cada ítem por cada criterio y se analizaron las observaciones. Se realizaron los ajustes sugeridos tanto en la estructura, como en la coherencia y en la ubicación por dominio, atendiendo a la pertinencia y la suficiencia de cada ítem. El nuevo instrumento se aplicó en noviembre de 2017, posterior a la aprobación del Comité de Ética Institucional (#DVNO21-2-011). Se obtuvo el consentimiento informado de 308 estudiantes de Medicina de primero a quinto año (figura 1), 196 mujeres y 112 hombres.

 

 

 

 

Los resultados se consolidaron en una base de datos de Excel, versión 2016 de Microsoft Office®, y se procedió a la anonimización de la información de acuerdo con lo recomendado por la Declaración de Helsinki y la Resolución 8430 de 1993 del Ministerio de Salud y Protección Social de Colombia.

La validación del constructo se realizó mediante un Análisis Factorial Exploratorio (AFE) utilizando SPSS, versión 24. Para que este fuera adecuado respecto al grado de interacción entre los ítems, se utilizaron las pruebas de esfericidad de Bartlett y la medida de adecuación muestral de Kaiser-Mayer-Olkin (KMO). Se obtuvo el índice de confiabilidad mediante α de Cronbach.

Consideraciones éticas

Se preservó la confidencialidad mediante un ejercicio de codificación de datos personales archivados en el computador del investigador principal, al cual se accedía únicamente con contraseña. Debido a que los participantes se encontraban en situación de subordinación respecto a los investigadores, se aclaró que las acciones de la investigación no influirían en sus pruebas académicas ni calificaciones. La convocatoria del estudio se divulgó públicamente.

RESULTADOS

Validación de contenido por jueces expertos

Las medias aritméticas obtenidas de las calificaciones y las observaciones de los jueces para los ítems, por cada uno de los criterios, permitieron la realización de cambios gramaticales y semánticos en los ítems, y se movilizaron ítems entre dominios, así: los ítems 4, 14 y 36 pasaron del dominio 5 al 3, los ítems 3 y 46 pasaron del dominio 5 al 4, los ítems 30 y 33 pasaron del dominio 4 al 5. La tabla 3 muestra el cuestionario consolidado. El consenso entre expertos mostró que el contenido del instrumento es válido para el español colombiano en un currículo integrador.

 

 

Tabla 3. Ítems del DREEM resultantes del juicio de expertos

Dominio

No.

Ítem

Percepción de los estudiantes acerca de la enseñanza

1

Las estrategias de enseñanza me motivan a participar en las clases

7

La enseñanza frecuentemente es estimulante

13

El estudiante participa activamente en el proceso de enseñanza-aprendizaje

16

Las estrategias de enseñanza me ayudan a desarrollar competencias definidas por el programa

20

Las estrategias de enseñanza están bien enfocadas

22

El proceso de enseñanza-aprendizaje me ayuda a desarrollar confianza en mí mismo

24

El tiempo destinado a las actividades académicas programadas está bien utilizado

25

La enseñanza hace énfasis en el aprendizaje de situaciones reales

38

Tengo claros los objetivos de aprendizaje de mis cursos

44

Las actividades de enseñanza me animan a aprender activamente

47

En la Escuela de Medicina se enfatiza en el aprendizaje a largo plazo más que en el inmediato

48

En el proceso de enseñanza-aprendizaje el principal protagonista es el profesor

Percepción de los estudiantes acerca de los docentes

2

Los profesores son expertos en las materias que enseñan

6

Los profesores son tolerantes con los pacientes en la clínica

8

Los profesores ridiculizan a los estudiantes

9

Los profesores son autoritarios

18

Los profesores tienen buenas habilidades comunicativas con los pacientes en la clínica

29

Los profesores retroalimentan apropiadamente a los estudiantes

32

Los profesores hacen críticas constructivas

37

Los profesores dan ejemplos claros

39

Los profesores se molestan sin razón en las clases, afectando el proceso

40

Los profesores preparan bien las actividades académicas

50

Los profesores se irritan con el comportamiento de los estudiantes

Autopercepción académica del estudiante

4

Estoy demasiado cansado para disfrutar de las actividades académicas (se movió desde el dominio 5)

5

Las estrategias de estudio que he utilizado, todavía me sirven

10

Tengo confianza en que voy a aprobar este semestre

14

Rara vez me aburro en las actividades académicas (se movió desde el dominio 5)

21

Considero que me están formando bien para mi profesión

26

Lo aprendido en semestres pasados ha sido una buena base para el trabajo este semestre

27

Soy capaz de aprender lo necesario para ejercer mi profesión

31

He desarrollado la habilidad para ser empático en mi profesión

36

Soy capaz de concentrarme durante las actividades académicas (se movió desde el dominio 5)

41

En la Escuela de Medicina me ayudan a desarrollar habilidades para resolver problemas

45

Mucho de lo que me enseñan me parece relevante en mi carrera como médico

Percepción acerca del ambiente de aprendizaje

3

Hay un buen sistema de apoyo para los estudiantes cuando sufren estrés (se movió desde el dominio 5)

11

En la clínica, el ambiente de aprendizaje es agradable

12

El calendario académico de la Escuela de Medicina es claro y está bien planeado

17

En la Escuela de Medicina, la copia en los exámenes es un problema

23

El ambiente durante las clases magistrales es agradable

34

El ambiente durante las actividades académicas diferentes a las clases magistrales es agradable

35

Me siento decepcionado con mis experiencias de aprendizaje en la Escuela de Medicina

42

El placer de estudiar medicina es mayor que el estrés que este me produce

43

El ambiente de la Escuela de Medicina me motiva a aprender

46

Los ambientes físicos de la Universidad son agradables (se movió desde el dominio 5)

49

Soy capaz de preguntar todo lo que quiero

Autopercepción social del estudiante

15

Tengo buenos amigos en la Escuela de Medicina

19

Mi vida social es buena

28

Rara vez me siento solo

30

Tengo oportunidades para desarrollar habilidades interpersonales (se movió desde el dominio 4)

33

Me siento cómodo con las personas con quienes comparto en las actividades académicas (se movió desde el dominio 4)

 

Este es el instrumento completo del DREEM, con 50 ítems, a partir del análisis de las calificaciones y observaciones de los jueces expertos.
Fue utilizado para realizar el estudio piloto con los estudiantes.

 

 

Validación de constructo

Se realizaron 3 pruebas de AFE, sin y con rotación Varimax. El primer AFE se ejecutó sin límite de componentes, el siguiente con 5 y el último con 4. En todos los casos, el índice de esfericidad de Bartlett fue de 0.00 y el promedio del KMO fue de 0.93, lo cual indicó adecuación muestral e interacción entre los ítems, posibilitando la ejecución del AFE.

El primer AFE mostró una agrupación de los 50 ítems en 11 componentes con autovalores mayores que 1. El primer componente tuvo un autovalor de 14.762 (aportando el 29.525 de la varianza), y los siguientes 10 tuvieron autovalores entre 2.909 y 1.045. Los 11 componentes en conjunto aportaron una varianza del 61.374%. En el gráfico de sedimentación, la curva de inflexión se ubicó en el componente 5 (figura 2). Por tanto, se decidió realizar un segundo AFE con límite de 5 componentes.

 

 

 

 

En el segundo AFE, los 5 componentes tuvieron autovalores mayores que 1. El primero, un autovalor de 14.762 (aportando el 29.525% de la varianza) y los siguientes 4, obtuvieron autovalores entre 2.909 y 1.482. Los 5 componentes aportaron una varianza del 47.038%. En los 5 componentes se evidenció que la carga factorial de cada uno de los ítems constitutivos fue mayor a 0.3, lo que indicó parsimonia. En la tabla 4 se presenta la distribución de los ítems de acuerdo con cada componente.

 

 

Tabla 4. Distribución de los ítems en cada componente

Componente

Ítems

Componente 1

20 (0.799), 21, 24, 43, 45, 25, 16, 41, 44, 47, 7, 38, 1, 40, 13, 22, 23, 27, 29, 46, 37, 12, 34, 14, 3, 2 (0.410)

Componente 2

19 (0.747), 15, 28, 33, 31, 30 (0.432)

Componente 3

36 (0.627), 42, 10, 5, 49 (0.357)

Componente 4

6 (0.723), 18, 11, 32, 26 (0.420)

Componente 5

39 (0.704), 8, 50, 35, 9, 48, 4 (0.416)

 

Esta tabla presenta la distribución de ítems por componente de acuerdo con el Análisis Factorial Exploratorio. Como puede observarse, el componente 1
alberga 26 ítems que corresponden al 52% del DREEM. Entre paréntesis se presenta la carga factorial para los ítems ubicados en los extremos.
El ítem 17 está excluido de la distribución por obtener una carga factorial inferior a 0.3.

 

 

Los resultados obtenidos del segundo AFE fueron consistentes con el cuestionario de Roff et al. en su composición por 5 dominios; sin embargo, la carga factorial de los ítems fue mayor para el componente uno, el cual recogió 35 de los 50 ítems (70%), sin la rotación Varimax, pero el ítem 15 fue el único constituyente del quinto componente. Posterior a la rotación Varimax, 26 de los 50 ítems (52%) se ubicaron en el componente uno lo que mostró correlaciones más altas entre los ítems para este solo componente. Al revisar solamente la matriz de componentes, sin la rotación Varimax, los ítems 5, 10, y 17 presentaron cargas factoriales inferiores a 0.3. En la matriz de componentes rotada estos ítems obtuvieron valores mayores a 0.3, pero continuaron siendo los más bajos dentro de cada componente. La información de las tablas 5 y 6 corresponde a los datos obtenidos del segundo AFE antes y después de la rotación Varimax.

 

 

Tabla 5. Análisis factorial 2, sin rotación Varimax

Ítem

Componente o Factor

1

2

3

4

5

43

0.778

0.026

–0.094

–0.073

0.102

44

0.764

0.006

–0.037

–0.120

–0.035

20

0.746

0.029

–0.316

0.091

0.077

22

0.737

0.011

0.061

–0.104

–0.141

41

0.737

–0.023

–0.142

–0.070

–0.157

21

0.733

0.026

–0.333

–0.076

–0.078

16

0.701

–0.042

–0.168

0.062

0.138

7

0.696

0.023

–0.086

0.264

0.083

38

0.683

0.001

–0.133

–0.166

–0.288

47

0.676

0.094

–0.096

–0.157

0.149

24

0.675

0.099

–0.307

–0.070

0.087

25

0.674

–0.035

–0.270

–0.051

–0.018

37

0.673

–0.036

0.041

0.036

–0.033

30

0.667

–0.021

0.284

–0.119

–0.021

33

0.655

–0.070

0.281

–0.234

0.172

1

0.653

0.098

–0.090

0.228

0.187

27

0.652

0.010

–0.063

–0.052

–0.311

13

0.650

–0.031

–0.083

0.081

0.083

29

0.648

0.004

–0.024

0.193

–0.058

45

0.645

–0.008

–0.319

–0.095

–0.014

34

0.644

0.007

0.160

–0.221

0.116

23

0.638

0.067

–0.016

–0.098

0.155

32

0.607

–0.062

0.155

0.253

–0.052

40

0.599

0.025

–0.166

0.127

0.184

46

0.552

0.083

–0.092

–0.111

0.114

31

0.551

–0.032

0.347

–0.200

–0.012

42

0.527

0.028

0.134

–0.143

–0.405

14

0.523

0.111

0.018

0.136

0.007

2

0.480

–0.178

–0.012

0.159

0.178

3

0.458

0.153

–0.034

0.101

0.065

12

0.455

0.105

–0.203

0.027

–0.011

49

0.453

0.118

0.186

–0.130

–0.112

26

0.451

0.007

0.121

0.281

–0.071

36

0.435

0.128

0.298

–0.127

–0.398

5

0.391

0.051

0.208

–0.001

–0.341

39

–0.058

0.704

–0.024

–0.105

0.035

8

–0.104

0.701

–0.068

–0.038

–0.123

50

–0.011

0.664

0.000

–0.138

0.070

9

–0.121

0.628

0.072

0.076

–0.076

35

–0.196

0.599

0.253

0.068

0.165

48

0.166

0.563

–0.047

–0.022

0.097

4

–0.182

0.405

–0.101

0.261

0.098

19

0.392

–0.013

0.547

–0.239

0.304

28

0.333

–0.020

0.469

–0.182

0.193

10

0.174

–0.005

0.360

–0.105

–0.345

17

–0.146

0.210

0.303

0.151

–0.017

18

0.426

–0.022

0.214

0.591

–0.083

6

0.355

–0.081

0.282

0.585

–0.003

11

0.381

0.062

0.317

0.522

–0.004

15

0.378

–0.142

0.350

–0.213

0.439

 

Esta tabla presenta la distribución en cinco componentes y la carga factorial de cada
ítem antes de aplicar la rotación Varimax. La línea resaltada en gris indica al ítem 17 que en este nivel alcanzó una carga factorial de 0.303.

 

 

Tabla 6. Análisis Factorial 2, con rotación Varimax

Item

Componente

1

2

3

4

5

20

0.799

0.033

0.047

0.172

–0.032

21

0.785

–0.006

0.206

0.014

–0.047

24

0.748

0.079

0.064

0.012

0.043

43

0.719

0.266

0.166

0.119

–0.022

45

0.710

0.021

0.132

–0.022

–0.070

25

0.704

0.045

0.152

0.044

–0.095

16

0.687

0.165

0.042

0.190

–0.086

41

0.675

0.078

0.341

0.090

–0.089

44

0.662

0.241

0.305

0.094

–0.047

47

0.650

0.287

0.117

0.015

0.055

7

0.629

0.106

0.067

0.397

–0.019

38

0.615

0.029

0.459

–0.007

–0.071

1

0.615

0.157

–0.019

0.352

0.065

40

0.608

0.131

–0.043

0.220

–0.010

13

0.593

0.167

0.098

0.224

–0.071

22

0.575

0.232

0.417

0.136

–0.043

23

0.572

0.310

0.113

0.086

0.036

27

0.545

0.008

0.465

0.111

–0.058

29

0.540

0.080

0.208

0.343

–0.041

46

0.537

0.214

0.093

0.022

0.049

37

0.534

0.208

0.260

0.236

–0.078

12

0.493

–0.014

0.084

0.075

0.063

34

0.481

0.457

0.244

0.046

–0.017

14

0.432

0.122

0.149

0.273

0.080

3

0.417

0.110

0.072

0.204

0.126

2

0.410

0.192

–0.039

0.274

–0.195

17

–0.274

0.075

0.053

0.204

0.236

19

0.091

0.747

0.157

0.105

0.016

15

0.187

0.686

–0.048

0.052

–0.114

28

0.065

0.594

0.182

0.108

0.000

33

0.429

0.582

0.247

0.083

–0.084

31

0.286

0.474

0.380

0.107

–0.047

30

0.413

0.432

0.383

0.187

–0.049

36

0.176

0.152

0.627

0.116

0.089

42

0.331

0.080

0.600

0.068

–0.026

10

–0.080

0.140

0.506

0.088

–0.019

5

0.181

0.067

0.494

0.183

0.015

49

0.284

0.246

0.357

0.079

0.091

6

0.117

0.077

0.073

0.723

–0.084

18

0.207

0.004

0.138

0.721

–0.039

11

0.134

0.124

0.121

0.686

0.059

32

0.405

0.171

0.238

0.452

–0.093

26

0.294

0.074

0.184

0.420

–0.018

39

0.028

–0.015

0.010

–0.124

0.704

8

–0.011

–0.173

0.088

–0.095

0.690

50

0.056

0.050

0.013

–0.131

0.664

35

–0.233

0.138

–0.088

0.095

0.635

9

–0.103

–0.098

0.064

0.054

0.631

48

0.221

0.051

–0.003

0.005

0.553

4

–0.069

–0.193

–0.226

0.140

0.416

 

Esta tabla presenta la distribución en cinco componentes y la carga factorial de cada
ítem, después de aplicar la rotación Varimax. La línea resaltada en gris indica al ítem 17
que, una vez aplicada la rotación, en los AFE 2 y 3, obtuvo una carga factorial inferior a 0.3.

 

 

Debido a que, tanto en el primero como en el segundo AFE, el ítem 17 obtuvo una carga factorial inferior a 0.3, y no quedó incluido en ninguno de los componentes, se realizó un tercer AFE, con límite de 4 componentes. Los resultados mostraron que todos tuvieron un autovalor superior a 1 con una varianza total acumulada de 44.074%. Nuevamente el ítem 17 quedó excluido de los componentes, mostrando una carga factorial máxima de 0.237.

Confiabilidad

Se obtuvo un valor α de Cronbach de 0.914 para la totalidad del instrumento que, de acuerdo con la escala de George y Mallery 24, significa un nivel de confiabilidad excelente, que indica homogeneidad entre los ítems. Para cada uno de los dominios, se hallaron los valores α (tabla 7). Los datos indicaron confiabilidad de 0,887 para el dominio uno, equivalente a un nivel bueno. Los dominios 3 y 5 se ubicaron en un nivel aceptable de confiabilidad con valores de 0.712 y 0.732, respectivamente. Finalmente, los dominios 2 y 4 mostraron valores de 0.602 y 0.626 por lo que se clasificaron en un nivel cuestionable en la escala mencionada.

 

 

Tabla 7. a de Cronbach por dominio

Dominio

α de Cronbach

Recomendación según la escala de George y Mallery

Dominio 1: Percepción del estudiante acerca de la enseñanza

0.887

Bueno

Dominio 2: Percepción que tiene el estudiante acerca de los docentes

0.602

Cuestionable

Dominio 3: Autopercepción académica del estudiante

0.712

Aceptable

Dominio 4: Percepción del estudiante acerca del ambiente de aprendizaje

0.626

Cuestionable

Dominio 5: Autopercepción social del estudiante

0.732

Aceptable

 

En esta tabla se presentan los valores α de Cronbach para cada uno de los dominios y su respectiva
clasificación según la escala de George y Mallery22. Una calificación igual o superior a 0.7 corresponde
a un nivel aceptable de fiabilidad dentro del instrumento, igual o superior a 0.8 corresponde a un nivel
bueno e igual o superior a 0.9 a un nivel excelente.

 

 

DISCUSIÓN

Esta investigación buscó determinar la confiabilidad y validez del DREEM para el español colombiano y para un currículo integrador. Por una parte, la confiabilidad del DREEM fue definida por el α de Cronbach con un valor de 0.914 correspondiente a un nivel de recomendación excelente para el instrumento de 50 ítems, de acuerdo con la escala de George y Malery24, por lo que se puede considerar que los ítems del DREEM son confiables. Este hallazgo coincide con los resultados de otros investigadores como Riquelme et al. cuyo hallazgo fue de 0.9119 y Aguilar-Barojas, Jiménez-Sastré y Castillo-Orueta quienes obtuvieron un coeficiente de 0.9325. La obtención del α de Cronbach por dominio mostró resultados variables entre ellos, lo cual indica que no son independientes —como lo asumieron teóricamente sus creadores— y que los dominios 2 y 4 (docentes y ambiente) no pueden usarse de manera fiable. Estos hallazgos se encuentran relacionados con los de Riquelme et al., quienes encontraron un α inferior a 0.7 en 2 dominios, el 3 y el 519; con el de Aguilar-Barojas, Jiménez-Sastré y Castillo-Orueta que encontraron un coeficiente α de 0.56 en el dominio 525. Se observa mayor coincidencia con los resultados de Ortega et al., quienes encontraron un coeficiente α de 0.50 en el factor IV, relacionado con las percepciones de los estudiantes sobre los docentes26.

En relación con la validez, el consenso entre expertos permitió: (a) concluir que el contenido del instrumento es válido, (b) realizar ajustes gramaticales y semánticos a los ítems, y (c) movilizar 7 ítems de un dominio a otro, para obtener una versión final con 50 ítems para realizar el piloto con los estudiantes. Este proceso es compatible con los estudios de adaptación lingüística y cultural realizados por investigadores como Díaz et al. en Argentina5 y Riquelme et al. en Chile1.

Respecto a la validez de constructo, luego del estudio piloto, y una vez realizado el AFE, se obtuvo una versión de 5 componentes, en la que el primer componente albergó 26 de los 50 ítems. La interpretación de este AFE corroboró que estos 26 ítems están relacionados con los dominios originales 1, 2, 3 y 4, y se descartó el 5, relacionado con la autopercepción social. Lo anterior significa que el constructo “ambiente educativo” podría evaluarse solo con estos 26 ítems. No obstante, dicho instrumento no podría ser considerado un DREEM ya que excluye el quinto dominio del instrumento original y varios ítems de otros dominios. Lo anterior permite cuestionar los dominios que los creadores del DREEM usaron como marco teórico. Dichos hallazgos coinciden con los de Herrera et al. quienes encontraron en el AFE un límite de 5 factores, con el 80% de los ítems en el primero27. Ortega et al. ubicaron un AFE con límite de componentes de 4, con una mayor carga factorial en el componente uno con un total de 18 ítems26.

Adicionalmente, el AFE excluye el ítem 17 del instrumento porque se encontró que su carga factorial es inferior a 0.3. Aunque este hallazgo no se encuentra reportado en la literatura, el estudio más aproximado es el de Ortega et al.26 que, si bien no descarta el ítem, si muestra una carga factorial límite de 0.352. Se hipotetiza que este resultado puede deberse a que el ítem no está redactado claramente o a que no ha sido valorado adecuadamente por los estudiantes. Respecto a la primera hipótesis, es posible que su redacción haya generado dificultades de comprensión en los estudiantes, aunque el de Herrera et al.27 es muy similar al de este estudio (v.g., En la Escuela, la copia en los exámenes constituye un problema). En cuanto a la segunda hipótesis, se considera que los estudiantes no identifican esta situación como una realidad propia del programa de Medicina o a que no reconocen que esta realidad constituya un problema en su proceso de formación, ni en el desarrollo curricular y/o en el ambiente educativo. En este sentido, Parmar, Shah y Parmar28 consideraron, como limitación de su estudio, el riesgo de que los estudiantes no sean honestos al responder el cuestionario, debido a que quieren protegerse a sí mismos, a sus pares o para evitar hablar en contra de los profesores.

Aunque el DREEM (al medir “ambiente educativo” como un constructo único) demuestra excelente confiabilidad, la variabilidad en la confiabilidad de sus dominios tiene algunas implicaciones en la evaluación del ambiente educativo. Primero, se refuerzan las dudas acerca de la validez de constructo que también han sido planteadas en otros estudios realizados en Irlanda, Portugal, Grecia y Suecia29-32, es decir, la evidencia empírica no soporta el marco teórico del DREEM, que categoriza el ambiente educativo en 5 dominios independientes. Hammond et al. proponen 2 rutas para solucionar este problema: reformular los ítems que el análisis factorial demuestra que son débiles o reconstruir los fundamentos teóricos del ambiente educativo29.

Segundo, es posible que la teoría utilizada por los creadores del DREEM no sea transferible a otras culturas diferentes a aquella en la fue concebido (v.g., la británica). Auerbach y Silverstein afirman que una teoría debe ser lo suficientemente abstracta para que los patrones que la componen se identifiquen en diferentes culturas, es decir, que pueda transferirse a otra cultura sin perder su significado33. Por esta razón, reformular los ítems cuestionables —como lo propone Hammond— podría ser infructuoso si el problema teórico de los dominios del DREEM es cultural.

Nuestros hallazgos nos conducen a recomendar el uso del DREEM para medir el ambiente educativo, como un solo constructo sin dominios. Sin embargo, la falta de estas categorías puede dificultar la comprensión de los resultados y obstaculizar la toma de decisiones en áreas concretas del currículo. En tal sentido, es necesaria una reconstrucción teórica del ambiente educativo y, en consecuencia, una reconceptualización de las categorías de este constructo. Se hipotetiza que las debilidades teóricas de los dominios del DREEM pudieron emerger del método con el que fue teorizado originalmente, mediante un consenso entre expertos, y no de la interpretación de los significados que los estudiantes le atribuyen al ambiente educativo. Si se entiende el ambiente educativo como las percepciones de los estudiantes, entonces es necesario construir una teoría fundamentada en sus comprensiones. Además, se requiere crear un instrumento distinto cuyos nuevos dominios demuestren confiabilidad de manera independiente. Este reto supone la oportunidad de desarrollar futuras investigaciones que combinen distintos paradigmas de investigación. Por ejemplo, estudios hermenéuticos que permitan crear una nueva teoría del ambiente educativo para transferirla a diversas culturas, en combinación con estudios cuantitativos que prueben su validez y confiabilidad.

Una limitación del estudio fue que la mayor representatividad estuvo concentrada en los primeros 3 años del programa, cuando los estudiantes tienen menor contacto con pacientes y escenarios hospitalarios. Los estudiantes de los últimos años de carrera tuvieron una menor participación. Por tanto, se tuvo una menor representatividad de la percepción de los estudiantes que llevaban más tiempo cursando el programa.

CONCLUSIONES

El DREEM adaptado al español colombiano es un instrumento confiable que posee validez de contenido y validez de constructo, si se considera que mide el ambiente educativo de manera general, sin dominios. Esto significa que, dada la variabilidad en el α de Cronbach y el AFE, algunos de los dominios del DREEM de 50 ítems, de manera independiente, no son confiables ni válidos para medir algunas subcategorías en nuestro contexto particular.

El AFE mostró que es posible medir el ambiente educativo de manera válida con solo 26 de los ítems del instrumento, que corresponden a los 4 primeros dominios del DREEM. Aunque este instrumento, más corto, podría facilitar la implementación logística para encuestar a los estudiantes, no podría seguir llamándose DREEM ya que no se sustenta en la teoría utilizada por Roff y colaboradores, al excluir un dominio completo (autopercepción social) y varios ítems de otros dominios.

Los hallazgos sugieren que la teoría original del DREEM no se adapta a nuestra cultura, por lo que es necesario construir una nueva teoría sobre las categorías del ambiente educativo mediante la realización, a futuro, de otros estudios. Otro camino sería evaluar las propiedades psicométricas del instrumento de 26 ítems con una nueva muestra de estudiantes. Sin embargo, al seguir esta ruta se tendría el mismo problema teórico que con el instrumento original, es decir, no tener dominios independientes, válidos y confiables, porque su marco conceptual no es transferible a nuestra cultura.

CONTRIBUCIÓN INDIVIDUAL

Todos los autores certificamos que hemos participado en el diseño de la investigación; en la recolección, la obtención, el análisis y la interpretación de resultados; en la redacción, revisión y aprobación de la versión final de este manuscrito; en el aporte de material de estudio; en las sesiones de asesoría estadística.

AGRADECIMIENTOS

Agradecemos a los estudiantes que participaron en esta investigación consintiendo el uso de los datos producto de sus evaluaciones del ambiente de aprendizaje en el programa de Medicina de la Universidad del Rosario, así como a los estudiantes becarios que colaboraron en las acciones de compilación y organización de información en tablas de Excel facilitando su posterior procesamiento y análisis. Igualmente, agradecemos a los profesores que asumieron el rol de jueces expertos para analizar y calificar el instrumento.

PRESENTACIONES PREVIAS

Ninguna.

FINANCIAMIENTO

Para la realización de este estudio no se tuvo financiamiento externo.

CONFLICTO DE INTERESES

Certificamos que no existe ningún conflicto de intereses en este manuscrito.

REFERENCIAS

  1. Riquelme A, Padilla O, Herrera C, Olivos T, Roman JA, Sarfatis A, Solís N, Pizarro M, Díaz LA, Torres P, Roff S. Measuring the educational environment in ambulatory settings. Educ Med. 2015;16(2):131-40. doi.org/10.1016/j.edumed.2015.09.007
  2. Roff S. The Dundee Ready Educational Environment Measure (DREEM)—a generic instrument for measuring students’ perceptions of undergraduate health professions curricula. Med Teach. 2005;27(4):322-25. doi: 10.1080/01421590500151054
  3. Genn JM. AMEE Medical Education Guide No. 23 (Part 1): Curriculum, environment, climate, quality and change in medical education–a unifying perspective. Med Teach. 2001;23(4):337-44. doi: 10.1080/01421590120063330
  4. Roff S, McAleer S, Harden RM, Al-Qahtani M, Ahmed AU, Deza H, Groenen G, Primparyon P. Development and validation of the Dundee Ready Education Environment Measure (DREEM). Med Teach. 1997;9(4):295. doi.org/10.3109/01421599709034208
  5. Díaz-Véliz G, Mora S, Bianchi R, Gargiulo PA, Terán C, Gorena D, Lafuente-Sánchez JV, Escanero-Marcen JF. Medical students’ perception of the educational environment in a faculty developing a traditional curriculum (UCH-Chile) and another with a problem based learning curriculum (UNC-Argentina). Educacion Medica. 2011;14(1):27-34.
  6. Vaughan B, Carter A, Macfarlane C, Morrison T. The DREEM, part 1: measurement of the educational environment in an osteopathy teaching program. BMC Med Educ. 2014;14(1):99. doi:10.1186/1472-6920-14-99
  7. Domínguez LC, Vega NV, Espitia EL, Sanabria AE, Corso C, Serna AM, Osorio C. Impacto de la estrategia de aula invertida en el ambiente de aprendizaje en cirugía: una comparación con la clase magistral. Biomédica. 2015;35(4):513-21. doi.org/10.7705/biomedica.v35i4.2640
  8. Cerón M, Garbarini A, Parro J, Lavín C. Impact of curricular change on the perception of the educational environment by nursing students. Invest Educ Enferm. 2015;33(1):63-72. doi: 10.17533/udea.iee.v33n1a08
  9. Vergel J, Ospina V, Ortiz M, Álvarez B, Quintero G. La evaluación del ambiente educativo en la reforma curricular de Medicina de la Universidad del Rosario mediante del DREEM. En: Trigos-Carillo L, Carreño C, García C, Álvarez I, editores. Innovación y prácticas pedagógicas en la educación superior. Bogotá. Editorial Universidad del Rosario; 2017.
  10. Cocksedge ST, Taylor DCM. The National Student Survey: is it just a bad DREEM? Med Teach. 2013;35(12):e1638-43. doi.org/10.3109/0142159X.2013.835388
  11. Bakhshialiabad H, Bakhshi M, Hassanshahi G. Students’ perceptions of the academic learning environment in seven medical sciences courses based on DREEM. Adv Med Educ Pract. 2015;6:195-203. doi.org/10.2147/AMEP.S60570
  12. Varun K, Upreet D. Medical students’ perception of the educational environment in a medical college in India: a cross-sectional study using the Dundee Ready Education Environment questionnaire. J Educ Eval Health Prof. 2013;10:5. doi.org/10.3352/jeehp.2013.10.5
  13. Gade S, Chari S. Students Perception of Undergraduate Educational Environment in Multiple Medical Institutes Across Central India Using DREEM Inventory. Natl J Integr Res Med. 2013;4(5):125-31.
  14. Soliman MM, Sattar K, Alnassar S, Alsaif F, Alswat K, Alghonaim M, Alhaizan M, Al-Furaih N. Medical students’ perception of the learning environment at King Saud University Medical College, Saudi Arabia, using DREEM Inventory. Adv Med Educ Pract. 2017;8:221-27. doi: 10.2147/AMEP.S127318
  15. Shehnaz SI, Sreedharan J. Students’ perceptions of educational environment in a medical school experiencing curricular transition in United Arab Emirates. Med Teach. 2011;33(1):e37-e42. doi. 10.3109/0142159X.2011.530312
  16. Mojaddidi MA, Khoshhal KI, Habib F, Shalaby S, El-Bab MEF, Al-Zalabani AH. Reassessment of the undergraduate educational environment in College of Medicine, Taibah University, Almadinah Almunawwarah, Saudi Arabia. Med Teach. 2013;35(Suppl 1):S39-46. doi. 10.3109/0142159X.2013.765554
  17. Bakhshi H, Bakhshialiabad MH, Hassanshahi G. Students’ perceptions of the educational environment in an Iranian Medical School, as measured by the Dundee Ready Education Environment Measure. Bangladesh Med Res Counc Bull. 2014;40(1):36–41. doi: https://doi.org/10.3329/bmrcb.v40i1.20335
  18. Díaz-Véliz G, Mora S, Escanero-Marcén J. Análisis del ambiente educacional tras la implantación del Plan de Bolonia en la Facultad de Medicina de la Universidad de Zaragoza, España: comparación con la Facultad de Medicina de la Universidad de Chile FEM. 2013;16(3):167-79. doi: http://dx.doi.org/10.4321/S2014-98322013000300008
  19. Riquelme A, Chianale J, Oporto M, Oporto J, Méndez JI, Salech F, Chianale J, Moreno R, Sánchez I. Measuring students’ perceptions of the educational climate of the new curriculum at the Pontificia Universidad Católica de Chile: Performance of the Spanish translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health (Abingdon). 2009;22(1):112.
  20. Mayya SS, Roff S. Students’ perceptions of educational environment: A comparison of academic achievers and under-achievers at Kasturba Medical College, India. Educ Health (Abingdon). 2004;17(3):280-91. doi: 10.1080/13576280400002445
  21. Zawawi AH, Elzubeir M. Using DREEM to compare graduating students´ perceptions of learning environments at medical schools adopting contrasting educational strategies. Med Teach. 2012;34(Suppl 1):S25-31. doi: 10.3109/0142159X.2012.656747
  22. Quintero G, Vergel J, Arredondo M, Ariza MC, Gómez P, Pinzón-Barrios AM. Integrated Medical Curriculum: Advantages and Disadvantages. JMECD. 2016;3:133-37. doi:10.4137/JMECD.S18920.
  23. Vergel J, Stentoft D, Montoya J. Extending the theoretical framework for curriculum integration in pre-clinical medical education. Perspect Med Educ. 2017;6(4):246-55. doi:10.1007/s40037-017-0348-y
  24. George D, Mallery P. SPSS for Windows step by step: a simple guide and reference, 17.0 Update. Boston: Allyn & Bacon; 2010.
  25. Aguilar-Barojas S, Jiménez-Sastré A, Castillo-Orueta ML. Validación de la traducción al idioma español del Dundee Ready Education Environment Measure. Inv Ed Med. 2017. http://dx.doi.org/10.1016/j.riem.2017.03.001
  26. Ortega J, Pérez C, Ortiz L, Fasce E, McColl P, Torres G, Wright A, Márquez C, Parra P. Estructura factorial de la escala DREEM en estudiantes de medicina chilenos. Rev Méd Chile. 2015;(5):651. doi: http://dx.doi.org/10.4067/S0034-98872015000500013
  27. Herrera C, Padilla O, Solís N, Pizarro M, Kattan E, Díaz L, Riquelme A. Análisis psicométrico del cuestionario DREEM para medir el ambiente de aprendizaje en Chile. Rev Educ Cienc Salud. 2015;12:134-41.
  28. Parmar D, Shah C, Parmar R. Students’ Perception of Educational Environment in an Indian Medical School Using DREEM Inventory. Ann Comm Health. 2015;3(1):4-12.
  29. Hammond SM, O’Rourke M, Kelly M, Bennett D, O’Flynn S. A psychometric appraisal of the DREEM. BMC medical education. 2012;12(1):2. doi:10.1186/1472-6920-12-2
  30. De Oliveira Filho GR, Schonhorst L. Problem-based learning implementation in an intensive course of anaesthesiology: a preliminary report on residents’ cognitive performance and perceptions of the educational environment. Med teach. 2005;27(4): 382-84. doi: 10.1080/01421590500151021
  31. Dimoliatis IDK, Vasilaki E, Anastassopoulos P, Ioannidis JPA, Roff S. Validation of the Greek Translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health (Abingdon). 2010;23(1):348.
  32. Jakobsson U, Danielsen N, Edgren G. Psychometric evaluation of the Dundee Ready Educational Environment Measure: Swedish version. Med Teach. 2011;33(5):267-74. doi: 10.3109/0142159X.2011.558540.
  33. Auerbach C, Silverstein LB. Qualitative data: An introduction to coding and analysis. NYU press; 2003.

     

     

    *Autor para correspondencia: Diana Marcela Laverde Robayo.

    Carrera 24 No. 63C-74, Barrio Siete de Agosto, Bogotá, Colombia. Teléfono: 57(1) 2970200, ext.: 3556

    Correo electrónico: dianam.laverde@urosario.edu.co

     

     

    La revisión por pares es responsabilidad de la Universidad Nacional Autónoma de México. 2007-5057/© 2020

    Universidad Nacional Autónoma de México, Facultad de Medicina.

    Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).