Artículo original
eISSN 2007-5057
Investigación educ. médica vol. 9, no. 35, México jul/sep. 2020
https://doi.org/10.22201/facmed.20075057e.2020.35.20235
La revisión por pares: análisis cualitativo de la experiencia de un grupo de revisores latinoamericanos
José Daniel Morales-Castilloa,†, Teresa I. Fortoulb,‡,*, Melchor Sánchez Mendiolac,§
aPrograma de Maestría y Doctorado en Pedagogía, UNAM, Cd. Mx., México.
bDepartamento de Biología Celular y Tisular, Facultad de Medicina, UNAM, Cd. Mx. México.
cCoordinación de Desarrollo Educativo e Innovación Curricular, UNAM, Cd. Mx., México.
ORCID ID:
† https://orcid.org/0000-0002-7268-4283
‡ https://orcid.org/0000-0002-3507-1365
§ https://orcid.org/0000-0002-9664-3208
Recibido: 15-febrero-2020. Aceptado: 4-abril-2020.
Resumen
Introducción: El arbitraje por pares es uno de los ejes fundamentales para el avance de la ciencia. El proceso ha sido poco estudiado en revistas latinoamericanas.
Objetivo: Analizar cualitativamente la percepción sobre el proceso de revisión por pares en una revista latinoamericana de investigación en educación médica.
Método: Estudio cualitativo interpretativo cuya muestra recuperó la experiencia narrada por un grupo focal de revisores, respecto al proceso de revisión por pares de la revista “Investigación en Educación Médica” de la Facultad de Medicina, Universidad Nacional Autónoma de México.
Resultados: Un grupo de siete revisores identificó cuatro temas relevantes: 1) la formación como revisor, 2) motivaciones, 3) utilidad de la revisión por pares, y 4) propuestas para mejorar el arbitraje.
Aunque generalmente no existe un entrenamiento formal para revisores de artículos científicos, quienes participan en este proceso recurren principalmente a su experiencia profesional y utilizan diversas estrategias que les permiten realizar evaluaciones que procuran la producción de conocimiento científico confiable. Pese a la ausencia de un pago por la actividad que realizan, los revisores encuentran en el aprendizaje personal la principal motivación para dedicar horas de trabajo a dictaminar los manuscritos de sus colegas. Por último, los participantes señalaron que el proceso de revisión por pares es poco reconocido por la comunidad académica, y rara vez considerado en las evaluaciones académicas.
Conclusiones: La revisión por pares constituye una actividad fundamental en el proceso de publicación de artículos científicos; sin embargo, aún no consigue el suficiente reconocimiento por parte de la comunidad científica y académica. Los revisores se motivan principalmente por el aprendizaje inherente a la tarea, no obstante, es deseable fortalecer la calidad de las revisiones mediante la evaluación, realimentación y reconocimiento de otros revisores y de los autores. Es necesario hacer visibles las acciones de los equipos editoriales y así considerar el trabajo editorial en su totalidad.
Palabras clave: Arbitraje; Revisión por pares; Revisión por expertos; Publicación científica; México.
Peer Review: Qualitative Analysis of a Latin American Group of Reviewers’ Experience
Abstract
Background: Peer-review is one of the fundamental pillars for the advancement of science. This process has been scarcely studied in Latin American scientific journals.
Objective: We performed a qualitative analysis about the perception of the process of peer review in a Latin American research journal of medical education.
Method: Qualitative interpretative study that recovered the experience narrated by a focus group of reviewers, regarding the process of peer review in the journal “Research in Medical Education”, published by the National Autonomous University of Mexico Faculty of Medicine.
Results: A group of seven reviewers identified four relevant peer review topics: 1) training as a reviewer, 2) motivations, 3) usefulness of peer review, and 4) proposals to improve arbitration.
Although usually there is little or no formal training for reviewers of scientific papers, those who participate in this process rely mainly on their professional experience and use strategies to perform evaluations that seek the production of reliable scientific knowledge. Despite the lack of payment for this activity, reviewers find their main motivation to devote hours of work to peer-review is their own personal learning. Finally, participants noted that the peer review process is poorly recognized by the academic community and seldom considered in academic evaluations.
Conclusions: Peer review is a fundamental activity in the process of scientific publication; however, it does not obtain enough recognition from the scientific and academic community. Peer reviewers are motivated primarily by the task’s inherent learning, however, it is desirable to continuously increase the quality of reviews through evaluation, feedback and recognition of reviewers and authors. It is necessary to make the actions undertaken by the publishing teams visible and thus consider editorial work in its totality.
Keywords: Arbitration; Peer review; Expert review; Scientific publication; Mexico.
INTRODUCCIÓN
La publicación de artículos de investigación constituye una de las vertientes más relevantes en torno a la comunicación y diseminación del conocimiento. En este sentido, la revisión cotidiana de la literatura especializada constituye una práctica ineludible para todos los involucrados en los más diversos campos del saber. De ahí la importancia de la tarea que desempeñan las revistas científicas, pues a través de ellas, los trabajos teóricos, empíricos, y aquellas reflexiones en torno a los más diversos temas, abandonan el ámbito personal o institucional en el que se originaron, y se insertan en la web donde las posibilidades de exposición y descubrimiento son colosales1.
La publicación periódica y constante de artículos científicos supone entonces la difusión de un corpus de conocimiento reciente, novedoso, confiable y original. Acorde con ello, cada vez se refiere con mayor frecuencia y consenso el término comunicación de la ciencia, el cual denota algo más que la sola difusión del conocimiento; implica intercambio, diálogo, discusión de lo tratado, y sugerencias para su mejoría, amén de una comprensión del conocimiento científico2. Alejado del establecimiento de una relación dispar o desigual experto-inexperto, Estrada define la comunicación de la ciencia como: “una acción activa, un ir y venir de conocimientos, opiniones críticas y aclaraciones”3.
Ahora bien, recordemos el último artículo científico que consultamos y pensemos: ¿cuáles fueron las razones por las que lo leímos en su totalidad (o no)?, ¿estaba adecuadamente escrito?, ¿sus argumentos eran sólidos y sustentados en la literatura actual?, ¿hubo creatividad en la construcción del documento? y, quizá una pregunta más dura ¿aportaba algo nuevo al conocimiento del tema? Probablemente la cotidianidad e inmediatez del mundo actual conduzca a los lectores a pensar: ¿me sirve el artículo? Y con base en ello, decidir leer o no el documento.
Desde luego, el hecho de que un artículo no resulte de utilidad o interés para nosotros, no significa necesariamente que sea una aportación intrascendente, quizá solo hemos hecho una búsqueda inadecuada y, en realidad, esté dirigido a otro tipo de lector. Por ello, antes de que un artículo sea publicado, los editores, así como los evaluadores del manuscrito, se encargan de que los autores den respuesta a aquellas preguntas y otras más. De hecho, cada vez que consultamos un artículo científico, en realidad estamos frente a una versión que tuvo diversos cambios, ajustes o correcciones; es poco frecuente que un manuscrito se publique tal como lo envió el autor, sin modificación alguna.
En este artículo nos centraremos particularmente en el trabajo realizado por los revisores, evaluadores o árbitros de artículos científicos. Actividad poco conocida y valorada: el proceso de revisión por pares (PRPP). Con al menos 300 años de antigüedad, constituye un método en el que la comunidad científica confía, pues implica el compromiso, reciprocidad y responsabilidad académica de quienes son elegidos pares evaluadores del trabajo de sus colegas4. Desde luego, el proceso no es infalible. A lo largo del tiempo también se han abierto resquicios en el procedimiento, lo que deja al descubierto prácticas inadecuadas que tergiversan la finalidad principal de la tarea: incrementar la calidad de la investigación científica.
Algunas de las más fuertes críticas al proceso se anclan en la poca evidencia de que las evaluaciones por pares garanticen la calidad de investigación5 o la incapacidad de los revisores para identificar inconsistencias conceptuales, metodológicas o de carácter estadístico en los manuscritos evaluados6. Sin embargo, no se han realizado estudios cualitativos en Latinoamérica que aborden la cuestión desde el punto de vista de los propios revisores. ¿Por qué deciden participar del proceso?, ¿cuáles son sus motivaciones?, ¿cuáles consideran que son las fortalezas y debilidades de esta evaluación? Por ello, este artículo tiene como objetivo analizar cualitativamente la percepción sobre el PRPP en una revista de investigación en educación médica latinoamericana.
MÉTODO
Estudio cualitativo-interpretativo recuperó la experiencia narrada por siete revisores de una revista de educación médica mexicana a través de un grupo focal. De acuerdo con Kitzinger7, la técnica del grupo focal permite un acercamiento colectivo entre los participantes y el moderador, con la finalidad de conocer sentimientos, vivencias y pensamientos en torno a un tema en particular. Los grupos focales son factibles cuando interesa estudiar actitudes, creencias y opiniones en interacción con otros sujetos, además, el trabajo grupal propicia el debate y discusión de problemáticas compartidas8.
Se envió un correo electrónico a catorce revisores de la revista “Investigación en Educación Médica” editada en México por la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), en el que se les invitó a participar en un grupo focal para conocer sus percepciones y experiencias en torno al PRPP. Se eligieron revisores de las áreas clínicas y biomédicas cuya participación fuera recurrente en el arbitraje de manuscritos para esa revista (más de cuatro manuscritos por año). Se les convocó en una sala de juntas de una dependencia académico-administrativa de la UNAM. Acudieron al encuentro siete revisores: cinco hombres y dos mujeres.
De acuerdo con el objetivo del estudio se elaboró una guía de entrevista, y esta fue conducida por uno de los autores, quien tiene experiencia en investigación cualitativa, moderación de grupos focales, y en la gestión editorial de revistas arbitradas.
Antes de comenzar el grupo de enfoque, el moderador explicó los motivos de la reunión, así como la forma en la que se llevaría a cabo la conversación. Se solicitó la autorización de los participantes para audiograbar la entrevista, y se les indicó también que la información obtenida sería transcrita y posteriormente analizada. Se procuró la participación equitativa en cada una de las preguntas. La sesión duró dos horas con 15 minutos.
Basado en la guía de entrevista se construyó un primer árbol categorial, con nueve categorías que orientaron la codificación de los testimonios, así “a partir de los códigos se forman unidades, categorías y patrones, con el fin de explicar contextos, situaciones, hechos y fenómenos”9. La codificación indica la categoría con la que el testimonio tuvo mayor coincidencia, el sexo del participante y el lugar de adscripción institucional.
Después de la codificación se reelaboró el árbol inicial y se redujo a solamente a cuatro grandes categorías (tabla 1).
Tabla 1. Árbol de categorías inicial y final
Categorías iniciales |
Categorías finales |
Experiencias como revisor |
La formación como revisor |
Formación como revisor |
Motivaciones |
Tiempo dedicado al arbitraje |
Utilidad de la revisión por pares |
Estrategias para la revisión |
Propuestas para mejorar el arbitraje |
Errores frecuentes en los manuscritos |
|
Motivaciones para ser revisor |
|
Utilidad del arbitraje |
|
Falta de realimentación al evaluador |
|
Sugerencias para mejorar el arbitraje |
A través del correo electrónico de invitación, se informó el propósito del estudio y se enfatizó en la participación voluntaria. Se garantizó el anonimato de las opiniones expresadas y la confidencialidad de los datos de los revisores.
RESULTADOS
Se identificaron cuatro temas relevantes: 1) la formación como revisor, 2) motivaciones, 3) utilidad de la revisión por pares, y 4) propuestas para mejorar el arbitraje.
“Yo aprendí sobre la marcha. La primera vez no tenía la menor idea de lo que era un arbitraje. Buscando información, preguntando, pero sin ninguna formación. Y fue sobre la marcha tratar de ver cómo se podía mejorar y cómo hacer el arbitraje. Creo que es difícil cuando lo haces por primera vez, no tienes la menor idea. Lo lees y lo vuelves a leer. Tratas de ver por dónde mejorarlo. Con experiencia, totalmente sobre la marcha”. 1/F/FM.
“Yo tomé un curso en línea, Annals of Emergency Medicine fabricó uno en línea para aprender a arbitrar. Pero no es nada sencillo, porque implica que tengas en tu mente que hay que estar vigente en la literatura del punto que está tocando el artículo”. 1/M/FM.
Bajo este mismo tenor, declararon también que el arbitraje suele ser una muy buena oportunidad para mantenerse actualizados respecto de la investigación científica en otras latitudes distintas a su contexto cotidiano.
Habría que decir también que algunos asistentes declararon cierta contrariedad respecto del poco valor, en términos curriculares, que el arbitraje les aporta. Pese a ser una actividad que implica dominio e inversión de tiempo del experto, el trabajo de revisor es poco reconocido por las instituciones educativas, de investigación, o de salud a las que pertenecen:
“(El arbitraje) nadie lo toma en cuenta. No tiene un valor extra para quienes nos evalúan, por lo menos en México. Mucho trabajo, poco reconocimiento institucional”. 2/F/FM.
“Es un sello de calidad…si hay otra visión, una revisión de pares, de gente que también está en el campo, creo que es una garantía de seguridad para los lectores (…) hay procesos que creo que dan esa confianza y, uno de ellos es la revisión por pares”. 3/M/FM.
“Yo creo que es muy importante la parte ética. Tengo una dimensión ética muy fuerte, porque arbitrar es la responsabilidad de filtrar y mejorar qué se publica y qué no”. 3/M/FM.
“A mí lo que me pasa es que aprendo. Cada nuevo artículo que yo reviso, aprendo. Y ahora tengo hasta un pool de artículos porque voy buscando bibliografía para poder entender, realimentar, etc. Y voy teniendo un pool de información que después me sirve para mí mismo, para poder generar cosas”. 3/M/FM.
En este punto, los participantes tocaron otro aspecto relevante y controvertido: la identidad de los autores y revisores. Aunque lo común en las revistas suele ser la evaluación doble ciego, aún persisten ciertas dudas respecto de la efectividad de este método:
“Revisando la literatura del tema, sí resulta que entre la tercera y cuarta parte de las gentes logran identificar con bastante veracidad quién es el que lo revisó. Sobre todo, en campos de alta especialidad. Y a mí lo que me molesta de esto es que la gente tiende a ser mucho más agresiva cuando se esconde”. 3/M/FM.
“Después de haber recibido algunos arbitrajes, veo que hay demasiada agresión. No conozco ningún estudio hecho en hispanos o latinos (…), que documente si esto sirve o no sirve. Porque lo que hay en la literatura anglosajona es que el doble ciego no mejora la calidad del arbitraje. Y sí propicia mal rendición de cuentas, yo siento que habría más rendición de cuentas si supiéramos quién es el árbitro”. 3/M/FM.
“…a mí me gustaría saber de quién es, quién es el autor del artículo. Pero no sé qué tan convencida estaría de que supieran que soy yo la que les está haciendo la revisión”. 3/F/FM.
¿Cómo mejorar el PRPP? Todos los participantes mostraron acuerdo respecto a la gran responsabilidad que se les confiere cuando son elegidos revisores, y son conscientes de que el arbitraje implica un compromiso que pretende el incremento de la calidad de los manuscritos, para ello, expresaron algunas propuestas para mejorar el proceso:
“Yo creo que sí nos serviría un taller. En los congresos de editores científicos internacionales, siempre hay talleres de cómo hacerlo. Creo que podríamos hacer intervenciones cortas, presenciales. O se puede hacer un taller más largo en línea”. 4/M/FM.
“Sería muy útil que recibiéramos, en algún momento, realimentación de nuestro arbitraje. Yo creo que eso no existe. O no sé si exista. Pero a mí me parece que sería muy bueno, en algún momento, que alguien nos realimentara cómo estamos haciendo el arbitraje. Porque seguramente hay muchas cosas que podríamos mejorar y que se nos escapan”. 4/F/FM.
“Se siente esa necesidad (la realimentación). Porque antes de enviar mis comentarios, da la sensación de querer explicar por qué está haciendo uno esa opinión. Y sí se siente esa necesidad de estar estableciendo una discusión con la otra persona. Es algo deseable”. 4/M/FM.
“A lo mejor realizar alguna actividad más bien de tipo motivante, afectiva, con el grupo de árbitros de la revista. Donde la misma revista dé algún tipo de reconocimiento a los árbitros. No sé, alguna reunión de agradecimiento”. 9/F/FM.
DISCUSIÓN
Actualmente es difícil concebir el avance de la ciencia sin recurrir a las publicaciones científicas. ¿Aceptar o rechazar un manuscrito para su publicación? La pregunta concierne a tres actores: autores, editores y revisores. Del artículo se espera una aportación original, pertinente y con credibilidad relacionada con cierto campo de estudio10. Por parte de los editores, su trabajo consiste en discernir de la mejor manera posible aquellas contribuciones cuyas características coincidan con la temática de la revista, resulten de utilidad para la audiencia, y contribuyan al desarrollo del medio en el que se ubican; también coordinan y supervisan el PRPP. Finalmente, la actividad de los revisores pretende el incremento de la calidad de los manuscritos propuestos por los autores.
Por lo general, la revisión de manuscritos no tiene una remuneración económica, pues la mayoría de las entidades editoras de revistas de investigación conservan un estrecho vínculo con instituciones educativas, de salud, organismos descentralizados o autónomos y organizaciones sin fines de lucro. Las formas más comunes de reciprocidad con los árbitros son: emisión de constancias de participación, inclusión de su nombre en una lista de reconocimiento por volumen (o al final del año) y, en otros casos, se conceden descuentos en los cargos de publicación de las revistas que trabajan bajo ese esquema.
Justamente la filiación institucional de los revisores parece ser un elemento que motiva su participación más allá de la remuneración económica; conocen el entorno académico y asumen el PRPP como un compromiso y responsabilidad con sus colegas pares11. Sin embargo, aunque prevalece una relación muy cercana entre las publicaciones científicas y las instituciones antes mencionadas, el reconocimiento oficial a los revisores es muy poco frecuente, al menos en el caso latinoamericano. Paradójicamente, en la mayoría de las instituciones se incentiva y estimula la publicación constante de artículos científicos en revistas indizadas en el Journal of Citation Reports, Arts & Humanities Citation Index y/o en Scopus, pero se ignora que la publicación depende de la colaboración de los propios investigadores, lo cual desdeña e invisibiliza el esfuerzo de la propia comunidad académica y científica.
Por otro lado, aunque el trabajo pormenorizado de los equipos editoriales tampoco es conocido del todo, implica diversas etapas y procesos que exceden por mucho la simple recepción y publicación de manuscritos12. Canal de comunicación entre autores y revisores, el conjunto editorial procura presentar a los árbitros un documento de calidad aceptable, pero también criba las evaluaciones con el afán de entablar siempre un diálogo respetuoso y constructivo.
En este aspecto existe un acalorado debate, pues, aunque se pretende objetividad en el PRPP, hay resquicios por los que la imparcialidad o poco profesionalismo de los revisores aparecen12. Ello se relaciona con la identidad de los revisores y autores. Si bien el formato común en las revistas es la evaluación doble ciego (revisores y autores desconocen sus respectivas identidades) esta situación es aprovechada por algunos evaluadores para realizar arbitrajes poco constructivos, en los que el énfasis se perfila incisivo hacia los aspectos negativos y se minimiza el esfuerzo de los autores. En este sentido, también son frecuentes las revisiones superficiales que denotan desinterés y poco sentido de colaboración, o desánimo de incrementar la calidad del manuscrito evaluado, p. ej. cuando un árbitro sugiere “cambiar la metodología”, sin indicar mayor detalle, o aquel evaluador que se enfoca obsesivamente en la sintaxis y ortografía del documento, sin que abone comentarios sustanciales. Esto es coincidente con estudios como el de Resnik13, en el que se documentaron como principales deficiencias en los revisores: parcialización, solicitar la inclusión de referencias innecesarias (a veces de los propios revisores), ataques personales a los autores, y retraso en la publicación de artículos para priorizar los de los revisores con temas semejantes, o de los propios editores.
Ahora bien, también es cierto que el desempeño de los revisores puede incidir indirectamente en prácticas editoriales poco recomendables, pero en las que quizá se incurre sin intención. Los “buenos revisores”, aquellos que realizan evaluaciones constructivas, de fondo, con respeto al trabajo de los autores, pueden recibir envíos múltiples o demasiado frecuentes de manuscritos, lo cual lejos de motivar al experto, significará agobio y estrés, ya que, como se ha dicho, las revisiones consumen mucho tiempo. Para los editores, encontrar “buenos revisores” significa una encrucijada, si se les considera recurrentemente puede ocasionarse hastío y negación para posteriores revisiones. Una de las estrategias que ha dado buenos resultados estriba no solo en aumentar constantemente el número de revisores, sino que estos tengan perfiles adecuadamente definidos12. Por el contrario, se ha documentado que no existe correlación entre los años de experiencia profesional y el desempeño como evaluador, esto depende más bien de la formación y oportunidades en torno al arbitraje con los que la persona cuente14. También es común que los revisores novatos rechacen con mayor frecuencia los manuscritos, o centren su atención en deficiencias de carácter técnico11.
Por otra parte, no son menores las críticas que refieren la detección de plagio como una de las debilidades del proceso. Un aspecto serio e intrincado en el que desde hace al menos 20 años se han desarrollado softwares que permiten la “identificación de similitudes” en los documentos ingresados a dichos sistemas. Entre los más recurrentes se encuentran: iThenticate, PlagScan, Plagius, Viper, etc. También hay opciones gratuitas como Duplichecker, Articlechecker, Paper Rater, etc. En este aspecto es pertinente decir que, aunque los revisores son expertos en un campo específico, esto no es garantía de que logren identificar un documento con semejanzas preocupantes. Por ello, la detección de similitudes y posible plagio recae propiamente en los equipos editoriales, quienes deben procurar en la medida de lo posible, y con ayuda de las herramientas antes señaladas, que el documento a revisar sea confiable y original.
El tamaño de la muestra del estudio es relativamente pequeño, aunque consideramos que es suficiente para obtener información relevante de un grupo focal. Los árbitros son de una sola revista mexicana, aunque todos ellos participan como revisores en varias revistas nacionales e internacionales, no solamente de educación en ciencias de la salud. La colaboración de revisores de otros países, o residentes en provincia dificulta su participación presencial en un grupo focal, por lo que el grupo se integró solo con revisores de la Ciudad de México. Esto podría subsanarse en posteriores estudios implementando estrategias que permitan la participación remota de los evaluadores.
CONCLUSIONES
La revisión por pares constituye una actividad fundamental en el proceso de publicación de artículos científicos, sin embargo, aún no consigue el suficiente reconocimiento por parte de la comunidad científica y académica. Quienes participan en esta labor suelen motivarse principalmente por el aprendizaje inherente a la tarea, no obstante, es deseable fortalecer y aumentar continuamente la calidad de las revisiones mediante la evaluación, realimentación y reconocimiento –no solo de los equipos editoriales–, sino de otros revisores y de los autores. Finalmente, las acciones emprendidas por los equipos editoriales figuran aún menos en el proceso de revisión por pares, por lo que es necesario también hacerlas visibles y así considerar el trabajo editorial en su totalidad.
JDMC: Conducción del grupo focal, análisis e interpretación de los datos, escritura del manuscrito.
TF: Análisis e interpretación de los datos, escritura y revisión del manuscrito.
MSM: Diseño del estudio y revisión del manuscrito.
A los revisores que participaron en el grupo focal.
Ninguna.
Ninguno.
REFERENCIAS
*Autor para correspondencia: Teresa I. Fortoul. Tercer piso, Edificio «A», Facultad de Medicina,
Universidad Nacional Autónoma de México. Cd. Mx. México. Teléfono: 55 56232182.
Correo electrónico: fortoul@unam.mx
La revisión por pares es responsabilidad de la Universidad Nacional Autónoma de México. 2007-5057/© 2020
Universidad Nacional Autónoma de México, Facultad de Medicina.
Este es un artículo Open Access bajo la licencia CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).