All types of review should be systematic. Being systematic helps you to reduce the likelihood of bias and is a way of ensuring that you identify a comprehensive body of knowledge on your chosen subject. You will encounter many definitions for literature reviews, but you will find that the word ‘systematic’ often features as a critical element within the description of a literature review. (Booth, Sutton, Papaioannou, 2016)
Versión 1.2. Edición Abril 2018
Las revisiones sistematizadas proporcionan un marco de trabajo riguroso y sistemático (de aquí su nombre) para llevar a cabo revisiones bibliográficas, las cuales son (o deberían ser) una fase obligada de toda nueva investigación académica.
Los productos de una revisión bibliográfica pueden formar parte de hasta cinco tipos de trabajos académicos, entre los que destacan por su importancia en la formación de nuevos investigadores (1) las tesis de máster y (2) las tesis doctorales.
También son un componente imprescindible en (3) las memorias para solicitar financiación para proyectos competitivos, de importancia decisiva para consolidar carreras de investigación y para la propia existencia de los de grupos de investigación.
Adicionalmente, los resultados de una revisión bibliográfica suelen formar parte de (4) artículos científicos, ya que los evaluadores (y los lectores) esperan encontrar debidamente citados y atribuidos los antecedentes de la investigación que se va a presentar en el artículo.
De hecho, una de las principales causas de rechazo editorial de artículos científicos es la falta de citación de los fundamentos teóricos y metodológicos en los artículos sometidos a revisión, puesto que tal carencia es entendida por los evaluadores como señal de una pobre fundamentación del trabajo.
Por último, pero no menos importante, las revisiones bibliográficas pueden consistir en (5) un género académico-científico en sí mismo, a saber, los así llamados trabajos de revisión (de amplio y reconocido prestigio en diversas disciplinas, entre las que destacan las ciencias biomédicas y otras disciplinas de la salud).
La cuestión es que una revisión bibliográfica se compone de, entre otras cosas, dos elementos fundamentales: los documentos elegidos para tal revisión (generalmente, artículos científicos) y el resultado de la agregación/interpretación de los mismos. Por tanto, una revisión bibliográfica equivale a una investigación en la cual los documentos seleccionados son los datos primarios y su agregación/interpretación el método de análisis.
Ahora bien, en toda investigación necesitamos que tanto la obtención de los datos, como los métodos empleados sean rigurosos y fiables. Finalmente, necesitamos que todos los procesos anteriores sean llevados a cabo de forma transparente y verificable.
El punto clave Una revisión bibliográfica equivale a una investigación en la cual las referencia bibliográficas toman el lugar de los datos, si todas las fases se desarrollan con rigor y transparencia, desde la selección de las fuentes hasta la presentación de resultados, pasando por el análisis de los documentos. |
Revisiones tradicionales vs revisiones sistemáticas
El punto que nos interesa aquí es que las revisiones bibliográficas pueden llevarse a cabo de una forma tradicional o por el contrario, pueden llevarse a cabo adoptando todos o parte de los principios metodológicos de las revisiones sistemáticas (Grant, Booth, 2009). Vamos a comparar ambas aproximaciones en lo que sigue.
Aproximación tradicional
La aproximación tradicional no tiene porqué producir malas revisiones bibliográficas. Algunos autores son lo suficientemente brillantes y concienzudos como para hacer buenos trabajos incluso sin un método bien ajustado. Por tanto, este no es el problema. La malo es que no hay forma de estar seguros de su validez, y obviamente las apariencias no son suficientes.
Un estado de la cuestión desarrollado de forma tradicional puede ser brillantísimo, debido a la capacidad y buen hacer de su autor, pero él mismo puede no estar seguro de haber identificado todos los trabajos relevantes que debiera incorporar si no ha seguido un protocolo para la búsqueda, por mencionar una fase decisiva.
Por eso, lo más característico de la aproximación tradicional es que, aunque puede producir buenos trabajos, no garantizan ni el rigor ni la eficacia por cuanto:
- Carece de métodos explícitos. En su lugar se basa en la intuición de sus autores, de modo que no es posible saber hasta qué punto la selección de los trabajos ha sido completa o ha estado sometida a posibles sesgos del autor, incluso inintencionados. Por ejemplo, no hay forma de saber si han utilizado procedimientos sistemáticos de búsqueda (bases de datos).
- Puede sufrir de falta de fiabilidad si el autor no ha considerado la necesidad de dar cuenta ni de las fuentes ni de los métodos utilizados para incluir y excluir los trabajos ni de la forma en la cual procedió al análisis de los mismos para asegurarse que supo extraer los resultados de forma sistemática.
- Por las razones precedentes tienen un déficit de transparencia y pueden ser imposibles de verificar.
Lo peor, con todo, es que las revisiones tradicionales al no estar basadas en protocolos, pueden dejar en la indefensión a sus autores.
En primer lugar, como hemos señalado antes, nunca pueden estar seguros de haber omitido trabajos clave, lo cual, además de implicar una peligrosa ignorancia que, sobre todo atenta contra ellos mismos, conlleva el riesgo del rechazo de sus trabajos si los evaluadores detectan tales carencias.
En segundo lugar, esta imposibilidad de asegurar la detección de trabajos clave hará que los suyos sean siempre vulnerables a las críticas de sus colegas y, por ende, escasamente competitivos.
Con todo, el motivo principal para aplicar una aproximación sistemática es egoísta, porque son los propios autores y más aún en los casos en los que nosotros nos centramos, a saber, autores de trabajos académicos que arriesgan la obtención de su título e investigadores que pueden ver denegada su solicitud de financiación, los principales interesados en asegurar su eficacia.
Aproximación sistemática
Lo mejor que puede decirse de las revisiones sistemáticas es que solucionan el déficit de rigor de las aproximaciones tradicionales mediante una cuádruple aportación:
- En primer lugar establecen de forma clara las fases de trabajo. De este modo, los aspectos sobre los que es necesario que el autor ponga su atención crítica, no pasan desapercibidos, o no sucede que en algunos casos se hayan tomado en cuenta y en otros, no.
- En segundo lugar, para cada fase, prevén (y proveen) algún método o procedimiento específico para su resolución, en lugar de dejarlo a la intuición o la capacidad de improvisación.
- En tercer lugar, disponer de fases y de procedimientos, asegura la sistematicidad, que es una de las señales más potentes de un buen trabajo académico.
- En cuarto lugar, promueven la transparencia. Al disponer de los elementos, anteriores, el autor puede registrar los pasos seguidos y ofrecer la información correspondiente o ponerla a disposición de otros investigadores interesados.
En una de las aproximaciones más utilizadas, se considera que las revisiones sistematizadas constan de, al menos, cuatro fases. Cabe decir que, en alguna propuestas estas fases pueden desagregarse en otras y producir así un número mayor, pero el núcleo siempre está formado por las cuatro que se señalan a continuación (Grant, Booth, 2009):
- Búsqueda
- Evaluación
- Análisis
- Síntesis
Revisiones sistematizadas vs sistemáticas
Ahora bien, las revisiones sistemáticas surgen en un contexto muy específico, a saber, investigaciones sobre la eficacia de una determinada intervención en el ámbito de la salud a poblaciones concretas (después se amplió a investigaciones cualitativas, pero siempre en el marco de la salud, por lo cual los conceptos de población e intervención se mantienen). La red independiente de investigadores en la salud denominada Cochrane Collaboration es una de sus más famosas instituciones, y una de las más importantes promotoras de los trabajos de revisión.
A partir de aquí, a pesar de la conveniencia de trasladar los beneficios de las revisiones sistemáticas a las investigaciones cualitativas y en ámbitos distintos de la salud, donde no necesariamente hay tratamiento ni pacientes, hacen al menos dudoso utilizar el término tal cual porque puede producir malentendidos.
En realidad, no es ni necesario ni conveniente que todas las revisiones sean sistemáticas, en cambio, es a la vez necesario y conveniente que todas las revisiones se conduzcan aplicando criterios sistematizadores y de calidad (Hart, 2008).
Autores como Grant y Booth (2009) acuñaron el término de revisiones sistematizadas (sistematized reviews) y otros como Booth, Sutton y Papaioannou (2016) propusieron la expresión aproximaciones sistematizadas (systematic approach) a las revisiones bibliográficas para poder ampliar su alcance,
Por tanto, la siguiente dicotomía que vamos a tratar es la diferencia entre revisiones sistemáticas y las revisiones sistematizadas, cosa de la que se ocupa la siguiente tabla.
Tabla 1: Sistemática vs sistematizada
| Sistemáticas | Sistematizadas |
| Biomedicina y Salud | Ciencias Humanas y Sociales |
Centradas en la evaluación de la eficacia de un tratamiento o de una intervención mediante el análisis de los resultados publicados en estudios previos. Su función es apoyar una medicina basada en la evidencia, así como determinar la eficacia de determinados tratamientos sin necesidad de repetir ensayos. Por este motivo, los análisis suelen preferir artículos basados en investigaciones cuantitativas que han utilizado una determinada metodología, en concreto los así llamados randomized controlled trials, también denominado el gold standard. En los últimos años, las revisiones sistemáticas se han extendido a investigaciones cualitativas, en cuyo caso se suelen utilizar aproximaciones etnográficas y/o basadas en la grounded theory, centradas igualmente en el ámbito de la salud. | Centradas en el análisis y exploración de áreas de conocimiento y de ámbitos de investigación. Su función es la identificación de las tendencias y corrientes principales en un área, así como la detección de huecos y oportunidades de investigación. También cumplen la función de demostrar que los autores han examinado de forma rigurosa y sistemática las investigaciones previas, dado el carácter acumulativo de la ciencia. No pueden limitarse, a priori, a una metodología concreta, sino que cada revisión debe establecer criterios específicos. |
Producen trabajos de revisión. Suelen ser trabajos autocontenidos. | Producen estados de la cuestión. Suelen formar parte de trabajos más amplios, en especial tesis de máster o de doctorado y memorias de investigación. También pueden ser trabajos autocontenidos. |
Fases principales COMUNES SUJETAS A VARIACIÓN | |
Las cuatro fases pueden estar altamente protocolarizadas ya que los estudios de evaluación de intervenciones son fácilmente homogenizables Para sintetizar los resultados de investigaciones cuantitativas se utilizan técnicas estadísticas conocidas como meta-análisis. Para investigaciones cualitativas se utilizan técnicas etnográficas conocidas como meta-síntesis. | Las revisiones bibliográficas se pueden aplicar a una amplia variedad de estudios, por lo cual la homogenización de las cuatro fases no solo es problemática, sino que seguramente es inconveniente. Las dos primeras fases, Búsqueda y Evaluación, son las que mejor admiten los principios de la sistematización. Afortunadamente, son las más importantes, porque proporcionan la base de la evidencia: «is a way of ensuring that you identify a comprehensive body of knowledge on your chosen subject». El acuerdo sobre los procedimientos para las otras dos fases, Análisis y Síntesis, es mucho menor en el caso de las investigaciones cualitativas que no se refieren a tratamientos, aunque sin duda es a la vez posible y aconsejable adoptar algunas aproximaciones metodológicas, por más que estas deberán ir en función de las características y los objetivos del trabajo en el que se integren (tesis o memorias) o de las características de la revisión (autocontenidos). |
| Fuente: elaboración propia | |
Resumen
|
Framework ReSiste-CHS
Con el fin de proponer un marco de trabajo que pueda servir de guía a investigadores predoctorales para sus trabajos de tesis, pero también a investigadores que deseen planificar de modo cuidadoso artículos de revisión y la solicitud de proyectos, presentamos un Framework que se apoya en dos bases.
La primera (como no podía ser menos) es el análisis atento y (esperamos) crítico de la mejor producción académica sobre el tema. La segunda (inevitable) es nuestra propia experiencia como tutor de trabajos de fin de máster, como director de tesis doctorales y como investigador principal de proyectos financiados competitivos. Si el lector piensa que esta segunda es demasiado subjetiva, por favor, piense otra vez. Ninguno de los elementos de experiencia indicados pueden llegar a ningún lado sin instancias externas e independientes que los validen.
De todos modos, volviendo a la primera base, nuestra propuesta es deudora de la obra de Booth, Sutton y Papaioannou (2016), por el conjunto de sus aportaciones, pero muy concretamente por la idea de la aproximaciones sistemáticas (que hemos destacado en la cabecera de este artículo), así como adoptamos la terminología del análisis seminal de Grant y Booht (2009) para la expresión sistematized reviews. No obstante, hemos analizado (aún) un corpus mucho mayor que se presenta en el apartado siguiente.
En lo que sigue, presentaremos un marco de trabajo o framework para llevar a cabo revisiones bibliográficas que denominaremos ReSiste-CHS, acrónimo de Revisiones Sistematizadas en Ciencias Humanas y Sociales.
Características
Las principales características del Framework ReSiste-CHS son las siguientes:
- Su contexto son los estados de la cuestión y los marcos conceptuales destinados a apoyar nuevos proyectos y en concreto, tesis de máster, tesis doctorales y memorias para obtener financiación para proyectos de investigación.
- Se centra en el ámbito de las Ciencias Humanas y Sociales y en investigaciones cualitativas o conceptuales.
- Adopta el Framework SALSA para determinar las fases principales, centrando sus propuestas específicas en las dos primeras fases: Búsqueda y Evaluación, ya que son las proveen la base de la evidencia (banco de documentos).
- Adopta los principios generales de las Ciencias Humanas y Sociales para las otras dos fases: Análisis y Síntesis, ya que son dependientes de cada investigación en concreto, sin dejar de proporcionar orientaciones sobre las mismas.
- Contempla una fase adicional, la Presentación, que es una extensión de la última, la Síntesis, con el fin de poner énfasis en la conveniencia de complementar el resultado final con tablas y diagramas.
El gráfico precedente muestra las relaciones de los componentes clave en el Framework ReSiste-CHS: las revisiones sistematizadas son un clase de revisiones bibliográficas. Éstas, a su vez, son necesarias para producir estados de la cuestión, que pueden formar parte, o bien de los tres tipos de trabajos académicos para los que el Framework ha sido específicamentre conceptualizado, o bien de artículos para revistas evaluadas. Finalmente, pueden servir para generar trabajos autocontenidos, en ocasiones denominados trabajos de revisión.
Fundamentos académicos: principales obras y autores
Presentamos a continuación los fundamentos académicos del Framework ReSiste-CHS, en forma de los autores y las obras sobre el tema que hemos utilizado principalmente:
Bloomberg, Linda D.; Volpe, Marie. «Developing and Presenting Your Literature Review». En: Completing your Qualitative Dissertation: A Road Map From Beginning to End. London: Sage, 2016. Una de las dos obras de este grupo que no está centrada exclusivamente en las revisiones bibliográficas, pero la incluimos porque contiene el capítulo completo sobre ellas destinadas a tesis doctorales que hemos citado, así como una interesantísima rúbrica para evaluar revisiones bibliográficas.
Boland, Angela; Cherry, M. Gemma; Dickson, Rumona. Doing a Systematic Review: A Student’s Guide. London: Sage, 2014.
Una guía orientada a estudiantes que están llevando a cabo su tesis doctoral, por tanto, es un texto universitario claramente enfocados en las revisiones sistemáticas como parte de los estados de la cuestión. Incluye apartados tanto para investigaciones cualitativas como cuantitativas.Booth, Andrew; Sutton, Anthea; Papaioannou, Diana. Systematic Approaches to a Successful Literature Review. London: Sage 2016 (2n. ed.)
En nuestra opinión, uno de los tratados más completos y rigurosos sobre las revisiones bibliográficas llevadas a cabo mediante la aplicación o la aproximación de las revisiones sistemáticas. Además de describir de manera detallada y operativa los componentes de una revisión sistemática, los autores establecen el principio del approach, es decir, el de que toda revisión bibliográfica puede (y debe) aplicar tales principios, adaptándolos según el contexto y los objetivos.Fink, Arlene. Conducting Research Literature Review. London: Sage, 2014.
Orientado a estudiantes de segundo y tercer ciclo (tesis de máster y tesis de doctorado), se centra sobre todo en los apartados de búsqueda. Proporciona amplias explicaciones con ejemplos sobre aspectos de fuentes de información y las operaciones relacionadas de búsqueda. Incluye igualmente apartados para redactar los resultados.Gouch, David; Oliver, Sandy; Thomas, James (eds.) An Introduction to Systematics Reviews. London: Sage, 2012.
Una importante obra colectiva, con cada uno de los capítulos escritos por especialistas en las diferentes dimensiones de una revisión sistemática. Como buena parte de los textos universitarios reunidos en este apartado, se centra en tesis doctorales y trabajos académicos similares.Grant, Maria J.; Booth, Andrew. “A typology of reviews: an analysis of 14 review types and associated methodologies”. Health Information and Libraries Journal, 26, pp.91–108, 2009. Acceso: onlinelibrary – wiley
Un excelente análisis (un trabajo de revisión, de hecho) sobre los 14 tipos de revisiones bibliográficas que los autores pudieron identificar con el uso del framework SALSA. Su análisis deja establecido que las mejores revisiones son aquellas que utilizan en todas sus dimensiones (las que determina el framework SALSA) los principios característicos de las revisiones sistemáticas. Acuña, entre otros, el término de revisiones sistematizadas para aquellas que se adhieren parcialmente a los principios de sistematicidad.- Hart, Chris. Doing a Literature Review: Releasing the Social Science Research Imagination. London: Sage, 2008
La obra de Hart es una de las más citadas (y respetadas) en el ámbito de las revisiones bibliográficas que podemos denominar tradicionales, pero con muchos matices. Hart no utiliza específicamente el término de revisiones sistemáticas, pero sus propuestas se adaptan totalmente a la idea de lo que debe ser una revisión de calidad llevada a cabo de forma muy rigurosa. Además, es una obra especialmente bien planificada y escrita. Es una de las que mejor explican y captan la importancia de las revisiones bibliográficas en una investigación. Aunque el conjunto de la obra es de gran calidad, los capítulos 6: Mapping and analysing ideas, y 7: Writing the review, se adaptan especialmente bien a las necesidades de sistematización de una revisión bibliográfica en el ámbito de las Ciencias Sociales y con destino a trabajos tales como tesis doctorales. Jesson, Jill K.; Matheson, Lydia; Lacey, Fiona M. Doing your Literature Review: Traditional and Systematic Techniques. London: Sage, 2011.
Como indica muy bien su título, una obra centrada tanto en las revisiones bibliográficas tradicionales como en las de tipo sistemático. Muy centrada en las fases de búsqueda y análisis de la información. Incluye también procedimientos para llevar a cabo el análisis y la síntesis tanto para el caso de las aproximaciones tradicionales como las basadas en aproximaciones sistemáticas.Machi, Lawrence A.; McEvoy, Brenda T.. The Literature Review: Six Steps to Success. Thousand Oaks, California: Corwin, 2012.
Una obra de un marcado carácter metodológico-práctico que articula las revisiones bibliográficas en un total de seis pasos. Con gran influencia de las revisiones sistemáticas, pretende ir más allá y convertirse en un método general válido para cualquier clase de trabajo de revisión bibliográfica.Onwuegbuzie, A.; Frels, R. 7 Steps to a Comprehensive Literature Review: A Multimodel & Cultural Approach. Sage: London, 2016.
Una de las obras más ambiciosas sobre el tema, con un tratamiento muy amplio y muy detallado de las 7 fases en las cuales los autores articulan una sistematic review. Muy centrada en las metodologías cuantitativas aporta informaciones y procedimientos muy valiosos para cualquier tipo de aproximación sistemática.Petticrew, Mark; Roberts, Helen. Systematic Reviews in the Social Sciences. Malden: Blackwell, 2006.
Las revisiones sistemáticas de tipo cuantitativo llevadas al terreno de las Ciencias Sociales. Constituye una extrapolación de los métodos propios de las ciencias experimentales a las Sociología y disciplinas afines.Ravitch, Sharon; Mittenfelner, Nicole C. «Using Conceptual Frameworks in Research». En: Qualitative Research: Bridging the Conceptual, Theoretical, and Methodological. London: Sage, 2016
Una de las dos obras de este apartado que no está dedicada íntegramente a las revisiones sistemáticas, pero la incluimos aquí por el capítulo dedicado a la producción de los marcos conceptuales y su relación con nuevas investigaciones, especialmente, de tipo doctoral.Ridley, Diana. The Literature Review: A step bt step Guide for Students. London: Sage, 2012.
Una de las aproximaciones más clásicas a las revisiones bibliográficas. Como indica muy bien su título, orientada a estudiantes universitarios y presentada como una guía paso a paso.Sandelowski, Margarete; Barroso, Julie. Handbook for Synthesizing Qualitative Research. New York: Springer, 2007 .
Probablemente, la obra más autorizada, y más citada, sobre los procedimientos para realizar la síntesis de resultados de investigaciones cualitativas. Con una fuerte orientación a los trabajos de tipo etnográfico y basadas en la grounded theory, sus aportaciones no obstante pueden ser útiles para cualquier tipo de investigación cualitativa.
Aparato conceptual
A continuación, el grupo principal de conceptos con el cual hemos elaborado este framework.
Tabla 2: Conceptos
Estados de la cuestión y marcos conceptuales (state of art, conceptual frameworks) Tanto los estados de la cuestión como los marcos conceptuales son productos resultantes de una revisión bibliográfica. Este resultado asegura su calidad, rigor, transparencia y replicación si se lleva a cabo mediante una revisión sistematizada. Los estados de la cuestión son característicos de tesis doctorales, trabajos de final de máster y memorias de proyectos de investigación. Suelen consistir en una revisión más o menos amplia y detallada del estado del conocimiento y de las últimas tendencias en un ámbito científico-académico concreto. Identifican conceptos, ideas, tendencias, modelos, etc., así como las principales propuestas teóricas y las hipótesis más aceptadas. Según Hart (2008) debe dar respuesta a todas o algunas de las preguntas como las siguientes:
Nosotros añadiríamos, al menos una más:
Los marcos conceptuales son característicos de cualquier nueva investigación y se suelen utilizar como una primera guía para la misma. Se componen del marco teórico (teorías y escuelas) y del marco metodológico (aproximaciones metodológicas y técnicas de obtención de datos) que han guiado la investigación. Las diferencias entre los estados de la cuestión y los marcos conceptuales pueden ser un tanto borrosas. No obstante, los primeros se supone que tienen un alcance más amplio, ya que debe dar cuenta de un ámbito completo, incluyendo posiblemente teorías y métodos que son criticados y por tanto, descartados por el investigador. En cambio, los marcos conceptuales están constituidos por las teorías y los métodos que se han adoptado efectivamente para llevar a cabo la investigación. En los dos casos, las revisiones bibliográficas constituyen el procedimiento imprescindible para fundamentarlos y elaborarlos. |
Banco de documentos El concepto de banco de documentos (Yin, 2010) se refiere al hecho de que las revisiones sistematizadas se llevan a cabo sobre un grupo de trabajos bien identificado, preferentemente (pero no únicamente) artículos de revistas científicas, seleccionados en las fases de búsqueda y evaluación. |
Framework SALSA Un framework es un marco o procedimiento de trabajo. En el seno de las revisiones sistematizadas se utilizan diversos frameworks, siendo el denominado SALSA uno de los más importantes. SALSA es el acrónimo de Search, AppraisaL, Synthesis y Analysis. Utilizado y dado a conocer por Grant y Booth (2009) permite articular una revisión sistemática en los cuatro componentes anteriores, así como permite también comparar tipos de revisiones, que es el uso que los autores citados dieron a este framewok. Ello les permitió identificar y categorizar 14 tipos distintos de revisiones bibliográficas en función de cómo resuelven cada uno de los apartados. El framework SALSA, cuyos componentes consideraremos seguidamente en el caso de su adaptación a nuestra propuesta, es importante porque ayuda a establecer: (1) las fases de una revisión sistemática, y (2) los procedimientos que se han aplicado a cada fase. |
| Fuente: elaboración propia |
Fases
El Framework ReSiste-CHS adopta, tomándolas del Framework SALSA, las siguientes fases:
Búsqueda: la fase de búsqueda debe llevarse a cabo con las garantías de rigor, sistematicidad y transparencia que afecta a todo el framework. Para ello, se deben utilizar las bases de datos académicas más importantes, concretamente, Scopus y Web of Science, eventualmente complementadas con bases de datos académicas especializadas. Por ejemplo, Communication Sources y Humanities Sources en el caso de investigaciones del ámbito de la comunicación social. Para explotar estas fuentes es necesario diseñar ecuaciones de búsqueda que correspondan a la lógica y a la semántica de los objetivos de la revisión sistematizada. Otras fuentes de información pueden (y deben) ser utilizadas en función del ámbito de estudio, por ejemplo, informes, reports o libros blancos producidos por centros de investigación u organismos de la Administración, por lo cual sistemas de información como Google Scholar son también necesarios.
Evaluación: una vez se dispone de una primera colección de documentos (artículos, informes, etc.) es necesario desarrollar un sistema de evaluación que, eventualmente, descarte los documentos que queden por debajo de ciertos umbrales de calidad. Por ejemplo, los autores de la revisión pueden especificar como criterio de inclusión de los trabajos que los mismos se adapten a la estructura IMRyD (Introducción, Metodología, Resultados y Discusión). Otros requerimientos de inclusión (o exclusión) se pueden referir al alcance geográfico o de otro tipo, marco teórico utilizado, etc. Por ejemplo, los autores de la revisión pueden decidir que únicamente analizarán trabajos centrados en determinados áreas geográficas (Europa o Latinoamérica) o que traten determinados medios (televisiones públicas), o tal vez determinados efectos (agenda setting, recepción), etc.
Análisis: para analizar el banco de documentos resultante se requiere igualmente un procedimiento sistemático que asegure que cada artículo o informe ha sido tratado de forma similar. Los autores del trabajo de revisión deben especificar un formato para tal análisis que puede consistir en extraer de todos ellos una ficha (que luego puede integrarse total o parcialmente en una o más tablas unificadas) con apartados como: metodología utilizada, objeto de estudio, aportaciones principales, resultados más destacados, etc. No obstante, los anteriores son criterios de análisis generales. Cada proyecto puede requerir criterios adicionales específicos (o en lugar de).
Síntesis: una síntesis debe producir un producto nuevo como resultado de la unión en un todo de las partes analizadas. Ahora bien, en el ámbito que nos afecta esta unión puede adoptar diversas formas en función del objeto de estudio y de los objetivos del trabajo, ya que, a diferencia de las revisiones sistemáticas no hay una forma determinada de presentación al estar basada en resultados cualitativos. La más habitual, en tesis doctorales, trabajos de final de máster y solicitudes de proyectos, es la síntesis narrativa acompañada eventualmente de tablas y diagramas. Idealmente, pueden identificar patrones y tendencias, promover y apoyar recomendaciones, incluso generar explicaciones que den soporte a teorías o hipótesis que pueden generar a su vez, nuevas investigaciones. No obstante, es frecuente que la heterogeneidad de los estudios analizados impida poco más que identificar y caracterizar con rigor un ámbito de estudio y establecer de este modo sus fronteras así como los huecos y oportunidades de investigación. En cualquier caso, estas síntesis siempre deben combinar la presentación de resultados de una forma descriptiva con la de interpretarlos de una forma crítica.
Conclusiones
Hemos presentado las características de las revisiones bibliográficas, así como hemos caracterizado los tipos de trabajos académicos que impactan, de los que hemos identificado cinco clases: tesis de máster, tesis doctorales, memorias de proyectos de investigación, artículos (papers) de revistas científicas y trabajos de revisión.
Hemos presentado las diferencias entre las revisiones sistemáticas y las revisiones bibliográficas tradicionales, así como la idea de trasladar las aproximaciones sistemáticas a cualquier clase de revisión bibliográfica. En este sentido, hemos presentado el marco o Framework ReSiste-CHS que aplica las aproximaciones sistemáticas a tres de los trabajos académicos considerados: tesis de máster o de doctorado y memorias de proyectos.
Para establecer el alcance del Framework ReSiste-CHS hemos presentado las obras principales en las que se basa, así como hemos propuesto un grupo de conceptos relacionados, especificando las fases del Framework SALSA y su adaptación.
En próximas entregas revisaremos los componentes que adopta ReSiste-CHS siguiendo el mencionado Framework SALSA.
P+F
1. ¿Todas las revisiones bibliográficas deben ser revisiones sistemáticas?
No.
Para que una revisión sea sistemática debe centrarse en el análisis de los resultados de intervenciones, tratamientos, programas o políticas, debe utilizar exclusivamente estudios que hayan publicado resultados con tomas de datos que afecten a colectivos humanos o poblaciones afectadas por las intervenciones o programas y, finalmente, deberá aplicar los criterios de sistematicidad recomendados por la Cochrane Collaboration o equivalentes a la totalidad de las fases de la revisión.
2. ¿Todas las revisiones bibliográficas deberían ser sistematizadas o adoptar aproximaciones sistematizadas en algunos aspectos?
Sí.
Sin duda, al menos para las fases de Búsqueda y Evaluación. Utilizar criterios idiosincrásicos, intuitivos o improvisados para la selección de los documentos que van a ser revisados va en contra, en primer lugar, del propio autor de la revisión, máximo en los tres supuestos en los que nos centramos: tesis de máster, tesis de doctorado y memorias de investigación. Además, en otros casos, como en artículos académicos, si los evaluadores detectan insuficiencias, puede ser rechazado. Si se trata de un trabajo de revisión (autocontenido), será muy difícil justificar su validez si no se invoca el uso de alguna metodología, al menos para la selección y la evaluación de los trabajos.
3. ¿Solamente se pueden producir buenas revisiones si son sistematizadas?
No.
La bibliografía académica abunda en revisiones bibliográficas tradicionales (no sistematizadas) de alta calidad debida a la capacidad de autores experimentados. Ahora bien, ¿justifica esto confiar solamente en la suerte, habilidad, intuición, etc., para producir buenas revisiones bibliográficas?Por el contrario, ¿no parece más lógico, si sabemos de la existencia de una metodología bien testada, intentar mejorar nuestros procedimientos? Además, si un autor ha demostrado una buena capacidad para hacer revisiones bibliográficas, ¿qué motivo puede tener para no desear que su trabajo pase de ser bueno a ser excelente? O dicho aún de modo más crudo: ¿porqué queremos arriesgarnos a la peor evaluación que le pueden hacer a un autor?: «usted ha ignorado a tales y tales trabajos clave en su campo, y por el tanto, el suyo carece de garantías». A diferencia de otras objeciones que pueden hacernos, esta es, simplemente, inapelable.
4. ¿Todas las revisiones sistematizadas son buenas revisiones?
No.
La aplicación de metodologías, por probadas y eficaces que sean, no pueden garantizar que los resultados vayan a ser (siempre) maravillosos porque entran en juego otros factores en el momento de su ejecución. La calidad final de las revisiones sistematizadas puede ir de la mediocridad a la excelencia, sin olvidar que en todos sitios se pueden cometer errores, de modo que puede haber revisiones sistematizadas fallidas debido a errores de aplicación, incluso es imposible descartar la mala praxis. el fraude, etc.
5. ¿Es necesario hacer una revisión sistematizada antes de cada trabajo académico?
Depende.
No hay una respuesta única. Por un lado, las revisiones sistematizadas tienen un lugar muy bien determinado: son una parte obligada de nuevos proyectos, dado el carácter acumulativo de la ciencia, y especialmente, en el caso de tesis de máster, tesis de doctorado y memorias de investigación. Naturalmente, también en el caso de trabajos de revisión, porque en este caso, simplemente estaríamos relacionando objetivos con metodología: «¿vamos a hablar de las características principales de un ámbito determinado?», entonces: «¿cómo sabemos que lo hemos explorado de forma sistemática?», nos deberíamos preguntar. Otros posibles casos de aplicación los deben decidir los autores del trabajo. Lo que siempre esperarán los evaluadores es que seamos capaces de reseñar, generalmente en las partes iniciales de un trabajo, las obras anteriores en las que apoyamos nuestras premisas, los puntos de partida o los marcos metodológicos y teóricos que adoptamos, etc. Por otro lado, autores experimentados que ya han escrito sobre los mismos ámbitos pueden no necesitar aplicar cada fase de una revisión sistematizada, cada vez que necesiten volver sobre los mismos temas. No obstante, si ha transcurrido mucho tiempo desde la última vez que hicimos una búsqueda sistematizada, evitaremos correr riesgos si repetimos la fase de búsqueda. Los sistemas de alerta de las bases de datos, por cierto pueden ayudar mucho.
Referencias
A continuación, volvemos a ofrecer las referencias ya vistas en el apartado anterior, junto con otras de tipo complementario. Todas ellas constituyen parte de los trabajos que se han tomado en consideración para nuestra propuesta.
Barnett-Page, E.; James Thomas, J. «Methods for the synthesis of qualitative research: a critical review». BMC Medical Research Methodology 2009, 9:59 doi:10.1186/1471-2288-9-59 [http://www.biomedcentral.com/1471-2288/9/59]
Bloomberg, Linda D.; Volpe, Marie. «Developing and Presenting Your Literature Review». En: Completing your Qualitative Dissertation: A Road Map From Beginning to End. London: Sage, 2016.
Boland, Angela; Cherry, M. Gemma; Dickson, Rumona. Doing a Systematic Review: A Student’s Guide. London: Sage, 2014.
Booth, Andrew; Papaionnou; Sutton, Anthea. Systematic Approaches to a Successful Literature Review. London: Sage, 2012.
France, E.F. et al. «Protocol-developing meta-ethnography reporting guidelines (eMERGe)». BMC Medical Research Methodology. 2015, 15:103. [https://bmcmedresmethodol.biomedcentral.com/articles/10.1186/s12874-015-0068-0]
Fink, Arlene. Conducting Research Literature Review. London: Sage, 2014.
Guirao, Silamani J. Adolf. «Utilidad y tipos de revisión de literatura». Ene: Revista de Enfermería. Enero 2015 v. 9, n. 2 https://dx.doi.org/10.4321/S1988-348X2015000200002
Gouch, David; Oliver, Sandy; Thomas, James. An Introduction to Systematics Reviews. London: Sage, 2012.
Grant, Maria J.; Booth, Andrew. “A typology of reviews: an analysis of 14 review types and associated methodologies”. Health Information and Libraries Journal, 26, pp.91–108, 2009. Acceso: onlinelibrary – wiley
Hart, Chris. Doing a Literature Review: Releasing the Social Science Research Imagination. London: Sage, 2008
Jesson, Jill K.; Matheson, Lydia; Lacey, Fiona M. Doing your Literature Review: Traditional and Systematic Techniques. London: Sage, 2011.
Machi, Lawrence A.; McEvoy, Brenda T.. The Literature Review: Six Steps to Success. Thousand Oaks, California: Corwin, 2012.
Noblit, George; Hare, Dwight R. Meta-Ethnography: Synthesizing Qualitative Studies. London: Sage, 1988
Onwuegbuzie, A.; Frels, R. 7 Steps to a Comprehensive Literature Review: A Multimodel & Cultural Approach. Sage: London, 2016.
Pan, M. L. Prepating Literature Reviews. Qualitative and Quantitative Approaches. London: Routlegde, 2017.
Petticrew, Mark; Roberts, Helen. Systematic Reviews in the Social Sciences. Malden: Blackwell, 2006.
Ridley, Diana. The Literature Review. London: Sage, 2012.
Sandelowski, Margarete; Barroso, Julie. Handbook for Synthesizing Qualitative Research. New York: Springer, 2007 .
Urquhart, C. «Systematic reviewing, meta-analysis and meta-synthesis for evidence-based library and information science» Information Research, 2010, 15(3). [http://InformationR.net/ir/15-3/colis7/colis708.html]
Yin, Robert K. Qualitative Research from Start to Finish. New Uork: Guilford Press, 2010.
Yin, Robert K. Case Study Research: Design and Methods. London: Sage, 2014.
Descargar las tres entregas de la serie en un informe unificado:
Icon made by Freepik from www.flaticon.com
