Revisiones de la literatura y cómo llevarlas a cabo con garantías: systematic reviews y SALSA Framework

Edición original junio 2017. Revisión junio 2022

La metodología lo es casi todo en un trabajo académico, y las revisiones llevadas a cabo con una aproximación sistemática proporcionan el método para llevar a cabo las revisiones de la literatura (literature review), o revisiones bibliográficas, con las máximas garantías.

Lo que hacemos, cuando hacemos tales trabajos, es llevar a cabo un análisis de los resultados, o de las características de la corriente principal, en un cierto ámbito o sector de la producción científica. Esta producción, necesariamente tenemos que llevada a cabo a través de la comunicación académica, esto es, de la revisión de una determinada producción bibliográfica.

Pero, y aquí hay un punto esencial, en ciencia, cuando hacemos el análisis de algún objeto de estudio, necesitamos garantías. Las revisiones de la literatura convencionales no aportan tales garantías ya que carecen de un método trazable. No es posible saber si la producción o los autores seleccionados obedecen a algún sesgo, ni tampoco si tal producción ha sido analizada de una forma consistente.

Dos contextos

En algunos casos, esta revisión de la literatura se concreta en unos pocos párrafos dedicados a mencionar algunos antecedentes significativos en documentos tales como los artículos científicos. Estos antecedentes tal vez forman parte de la introducción, o constituyen una sección independiente, pero en todo caso menor del documento.

Pero otras veces, la totalidad del documento está consagrada a presentar un determinado estado de la cuestión (state of the art). O puede constituir uno o más capítulos de peso en trabajos académicos tales como tesis doctoral. En ocasiones, la totalidad del trabajo en si mismo consiste en un estado de la cuestión.

En otras palabras, en la comunicación académica, con frecuencia, la revisión de la literatura, lejos de consistir en una simple mención de antecedentes, se constituye en un trabajo completo y singular en sí misma.

Es en este segundo contexto, cuando las garantías con las cuales se llevó a cabo el trabajo de revisión se convierte en un problema epistemológico relevante. Y es el que reclama el uso de las revisiones utilizan aproximaciones sistemáticas.

Revisiones de la literatura y revisiones sistemáticas

Antes de entrar de lleno en nuestro tema, un poco de antecedentes. Los así llamados trabajos de revisión, es decir, los que se han obtenido como resultado de una revisión bibliográfica, o de una literature review por su expresión en inglés, tienen una gran aceptación en el ámbito académico anglosajón.

Veamos que señalan, a este respecto Onwuegbuzie y Frels (2016: 3):

Because science results in an accumulation of knowledge over time, science can be seen as cumulative. Thus, it behoves us always to find what we know about a topic of interest and then to use what we know as a starting point. Indeed, failure to do so could lead us unnecessarily to «re-invent the wheel» (…) Moreover, a lack of awareness of existing knowledge might lead us to utilize practices that have been found previously to be ineffective. (…) The best way to do so is via what has been traditionally called a literature review or review of the literature. In fact, regardless of the academic discipline, the most common way of acquiring knowledge is by searching out what has already been done through the literature review (Onwuegbuzie; Frels, 2016:  3).

Por ello, no es extraño que existan revistas consagradas a este género de la literatura científica, y algunos de sus mejores autores llevan año discutiendo la mejor forma de llevarlos a cabo de forma que sus resultados sean lo más fiable posible. 

Desde los años noventa, concretamente en el ámbito de la Salud, se lleva a cabo un tipo de trabajos de revisión que recibe el nombre de systematic reviews. Estos trabajos siguen un protocolo preciso y su prestigio creciente ha hecho que cada vez sean más aceptados en la comunidad científica como artículos científicos con valor por sí mismos.

La cuestión es que últimamente  se están reivindicando cada vez más la utilización de estas revisiones sistemáticas originadas, como hemos señalado, en el ámbito de las Ciencias de la Salud) para llevar a cabo las revisiones bibliográficas en otros ámbitos, como el de las Humanidades y las Ciencias Sociales, y para otros objetivos, por ejemplo para llevar a cabo estados de la cuestión para Tesis Doctorales o Trabajos de Final de Máster.

La diferencia de denominaciones: revisiones sistemáticas versus sistematizadas (como término equivalente a aproximación sistemática), se debe a que el protocolo que quedó fijado en ciencias de la salud utiliza resultados de investigaciones que (1) analizan la eficacia de intervenciones; (2) han utilizado los denominamos randomized controlled trials y (3) aplican métodos estadísticamente significativos.

Cuando trasladamos este protocolo a (1) otros campos distintos de la salud, o (2) no analizan la eficacia de intervenciones, sino cómo es un determinado ámbito académico o (3) los trabajos analizados no necesariamente usan análisis estadístico, usamos el término largo: revisiones con aproximación sistemática o el equivalente, revisiones sistematizadas. En resumen (ver más en el Anexo):

• Systematics reviews: término utilizado en estudios de revisión en el ámbito de las ciencias de la salud y para la eficacia de intervenciones a través de investigaciones cuantitativas. Aplican la totalidad de los componentes de un trabajo de revisión, tal como quedan expresados en un Framework conocido como SALSA, por Search, AppraisaL, Analysis y Synthesis.
• Systematized reviews: término preferente para otros ámbitos, incluyendo humanidades y ciencias sociales, cuando se lleva a cabo una revisión de la literatura para caracterizar un área de conocimiento o un área temática determinada, Aplican los mismos criterios del Framework SALSA, pero necesariamente adaptados. No se analizan intervenciones, sino áreas de conocimiento y los trabajos analizados no usan métodos homogéneos, lo que incluye métodos cualitativos y cuantitativos.

Seguramente, el mérito en la promoción de esta metodología de análisis fuera de su ámbito original se debe a un trabajo muy citado de dos profesores de ciencias de la salud, Maria J. Grant y Andrew Booth, publicado en el 2009 y titulado A typology of reviews: an analysis of 14 review types and associated methodologies (ver apartado de Referencias).

Resulta oportuno señalar que no es sorprendente que sean investigadores del ámbito de la salud los que estén innovando en este terreno, porque ellos tienen desde hace tiempo la denominado Medicina Basada en la Evidencia, que se apoya en los estudios de revisión, y por tanto en las revisiones bibliográficas de forma principal, por no decir, única para llevar a cabo sus aportaciones.

Otra buena parte del mérito en el asentamiento de esta filosofía a favor de la sistematicidad en las revisiones bibliográficas se debe sin duda a la labor de algunas editoriales, con un papel muy destacado por parte de Sage, que ha publicado varios títulos importantes dedicados a esta clase de sistemas de análisis en los últimos años (ver Referencias).

En particular, hace tiempo que esta editorial inglesa de revistas y libros mantiene una línea importantísima dedicada a las metodologías de investigación. Y no solo en formato impreso, como demuestra su portal Sage ResearchMethods.

El tercer actor en esta importante operación de otorgar carácter de validez científica a las revisiones es la organización denominada Cochrane Collaboration con su imponente complejo de actividades alrededor de los estudios de revisión en el campo de las ciencias de la salud, siempre basados en los principios de la systematic review.

La poderosa influencia de las revisiones sistemáticas nacidas en las ciencias experimentales para llevar a cabo estudios de revisión, han acabado influenciado, para bien, a las que se llevan a cabo en ámbitos como los estados de la cuestión.

Revisiones Sistematizadas

Pero, ¿en qué consiste y en qué se diferencia una revisión sistematizada de una revisión bibliográfica «normal»? Para muchos académicos que siempre han seguido las mejores prácticas p.e. usar bases de datos, hacer explícitos los criterios de búsqueda y de selección, etc., tal vez no haya una enorme diferencia.

El principal cambio procede de la necesidad de dar cuenta de todo el procedimiento que se ha seguido, de modo que respete uno de los principios de las revisiones sistematizadas, el de la transparencia y la sistematización. La transparencia nos fuerza, a su vez, a utilizar el rigor en todos los pasos. La sistematización nos lleva a determinar bien cada uno de los pasos, desde la definición del problema, a la redacción de los resultados, pasando por las fases de valoración y análisis de los documentos inluidos en la revisión.

En este sentido, Onwuegbuzie y Frels  (2016) señalan lo siguiente:

A literature review should be rigorous. By rigorous, we mean conducting a literature review that is (a) defensible (i.e. integrates a rationale for decisions of inquiry, strategies, and designs), (b) systematic (i.e. follows a set of guideliness such as the model that we outline in subsequents chapters), (c) evaluative (i.e wherebay every step of the process is evaluated for relevance and credibility), and (d) transparent (i.e. documenting beliefs, values, and philosophical assumptions and stances pertaining to decisions). (Onwuegbuzie; Frels, 2016:  16).

La ventaja de usar esta aproximación es que nos permite adherirnos a un método que tiene detrás una sistemática explícita y bien documentada. Otra virtud de esta aproximación es que sirve para exhibir nuestro alejamiento de las malas prácticas, en concreto de revisiones bibliográficas sesgadas o que no utilizan fuentes aceptadas por la comunidad científica. Sin aplicar tales principios, es imposible saber si se han manejado solamente las obras que se acomodan a los gustos o inclinaciones personales del autor, o a las que, por simple casualidad, han caído en manos del mismo.

De este modo, las revisiones sistematizadas se caracteriza por cuatro dimensiones muy bien determinadas por la filosofía de la que procede (las systematic reviews). En concreto, se caracteriza por ser:

• Sistemática (y de aquí su nombre)
• Completa
• Explícita
• Reproducible

Veamos esto con un poco más de detalle:

• Sistemática significa que no es arbitraria: ni sesgada ni subjetiva, sino que, por el contrario, hemos examinado la mejor producción científica disponible utilizando las mejores fuentes de información.
• Completa que se han usado sistemas de información de los que se presume que facilitan el acceso virtual a la totalidad de la producción de calidad de una disciplina. Que no hemos descartado ni incluido nada sin seguir otros criterios que los que hemos hecho explícitos, lo que conecta con los dos siguientes puntos.
• Explícita implica que se dan a conocer tanto las fuentes utilizadas como los criterios de búsqueda y de inclusión y (en su caso) exclusión de los artículos.
• Reproducible es en realidad una consecuencia de todo lo anterior: dado que hemos sido sistemático y explícitos, permitimos a otros investigadores comprobar nuestro trabajo y, si lo desean, seguir los pasos y contrastar nuestros resultados para determinar su exactitud o su grado de acierto

Qué es el Framework SALSA

Es evidente que con un poco de salsa, algunas cosas mejoran. El Framework SALSA, es un marco que considera cuatro componentes en una revisión sistemática (o sistematizada) y son los siguientes:

• Search
• AppraisaL
• Synthesis
• Analysis

Estos componentes actúan a la vez como fases. Primero nos dice que los trabajos objeto de análisis deben proceder de (1) una búsqueda bien planificada. Después, los artículos así obtenidos deberán ser (2) evaluados y, en su caso, se rechazarán los que no cumplan los criterios de calidad con los cuales hemos decidido hacer esta evaluación. Por último,los resultado de cada artículo serán (3) sintetizados de acuerdo con algún esquema, y los resultados globales (4) analizados o valorados para poder ser presentados en alguna forma coherente. Esto tomará la forma de un artículo de revisión o de un estado de la cuestión. Vamos a verlo por separado.

Search = búsqueda

Esta fase se refiere al modo de planificar la búsqueda de los trabajos que serán objeto de revisión. La systematic review prevé que tal búsqueda se realice principalmente utilizando bases de datos de referencia, como WoS o Scopus en el ámbito multidisciplinar o como Communication Source o Sage en el de la Comunicación y las Humanidades.

La S del framework se refiere también a que la búsqueda debe hacerse con criterios transparentes y bien definidos, tanto de inclusión como de exclusión de los trabajos a analizar. Normalmente, estos criterios se expresarán con la elección de las palabras clave, las ecuaciones de búsqueda correspondientes y posiblemente aplicando filtros de algún tipo. Por ejemplo, documentos publicados en los últimos 5 o 10 años, o en determinados idiomas, etc.

Algunas referencias para la fase de Búsqueda

• Estados de la cuestión: su papel en trabajos académicos
• Bases de datos académicas: Estructura y utilización avanzada
• Ecuaciones de búsqueda
• Framework para derivar palabras clave de un proyecto de investigación

El objetivo final de esta fase es conseguir un banco de artículos formado por un número variable que puede oscilar entre unas decenas y un centenar, dependiendo del tipo de estudio, los objetivos y los criterios de selección y exclusión aplicados.

Entre estos últimos, se suelen especificar criterios que deben cumplir los documentos encontrados para formar parte del banco de documentos. Por ejemplo, puede ser necesario que tales documentos utilicen el formato IMRyD para ser aceptados, etc.

Appraisal = evaluación

Esta fase se refiere a la evaluación de los trabajos obtenidos a través de las diversas búsquedas, con qué criterios se considerarán las contribuciones de cada uno de los componentes del banco de artículos inicial para decidir si finalmente formarán parte de la revisión.

Suelen utilizarse criterios que establecen un doble filtro: criterios pragmáticos, como la fecha de publicación de los trabajos, los ámbitos geográficos o temático, etc.; y criterios de calidad de los trabajos, como la calidad de la investigación, las metodologías utilizadas, los resultados, etc.

En esta fase servirá para excluir por tanto los trabajos del corpus final y asegurarse que los que formen parte de la revisión tienen suficiente calidad y pertinencia para formar parte de la misma.

Synthesis y Analysis

Estas dos fases se refieren a aquellas que nos permitirán reunir y comparar los resultados de cada uno de los componentes del banco de artículos. En el caso de investigaciones cuantitativas, se hará mediante técnicas estadísticas.

En el caso de investigaciones cualitativas, se puede presentar en diversas formas, entre ellas, la revisión o la narración crítica y el estado de la cuestión (state of the art).

Mediante la Synthesis se lleva a cabo una representación de cada trabajo basándose en un esquema o síntesis que permite la extracción de las características de cada artículo considerado. En el caso de las investigaciones cuantitativas se referirá a aspectos numérico-estadísticos mediante técnicas de metasíntesis.

En el caso de investigaciones de tipo cualitativo se pueden utilizar tablas o fichas para sintetizar las dimensiones comunes con las que se han estudiado los diferentes artículos o trabajos seleccionados.

Por su parte, Analysis se refiere a la descripción y valoración global de los resultados encontrados. Por eso decimos que, en el caso de los estados de la cuestión, son las dos fases que nos permiten presentar un discurso global sobre la situación del campo de estudios considerado, a través del análisis de los mismos.

Cabe insistir que algunos aspectos del marco SALSA se entienden mejor si consideramos que procede de estudios de revisión donde se analizan resultados cuantitativos de tipo clínico o experimental. De este modo, por ejemplo, el doble filtro (pragmático y de calidad) serviría para establecer si se admiten o no trabajos en función de la metodología aplicada o del tipo de diseño experimental utilizado, etc.

No obstante, tanto la filosofía como los principios operativos del marco SALSA y de las revisiones sistemáticas son no solamente válidos, sino absolutamente necesarios también en investigaciones cualitativas, como tantas de las que se llevan a cabo en el ámbito de las Humanidades y las Ciencias Sociales en general.

Terminología: ¿sistemática o sistematizada?

En el artículo de Grant y Booth (2009), se utiliza el término Systematic Review de una forma  muy precisa. Mediante este término se refieren a trabajos de revisión que cumplen estas condiciones:

1. Se llevan a cabo en el ámbito de las ciencias de la salud, por tanto, incluyen el concepto de población y el de tratamiento.
2. Son llevados a cabo para comparar y resumir resultados cuantitativos de decenas o centenares de estudios referidos a técnicas o a tratamientos de salud bien determinados por estos dos parámetros señalados: población y tratamiento utilizado.
3. Utilizan procedimientos de evaluación de la metodología de cada trabajo, según la cual pueden quedar excluidos, por ejemplo, los que no utilicen métodos de muestreo perfectamente aleatorios.
4. Suelen llevarse a cabo por parte de, al menos, dos autores, y pueden ser de larga duración: un año o más.
5. No suelen ser parte de un trabajo mayor, tal como una tesis o un TFM, sino que sirven para producir artículos o informes independientes, ya que las systematics reviews se consideran un género científico en sí mismo.

Por tanto, en el artículo de Grant y Booth (y en otros trabajos de la bibliografía) una systematic review es una clase de trabajo de revisión específica, tal como los estados del arte, los meta-análisis o el mapeo de teorías son otros tantos tipos específicos, y así hasta 14 tipologías en total, siempre según el estudio mencionado.

Es decir, según este enfoque, no todas las revisiones, aunque sean llevadas a cabo de forma sistemática, son revisiones sistemáticas, y disculpen el juego de palabras. De aquí, la conveniencia de hablar entonces de revisiones, si no sistemáticas, al menos sistematizadas.

Precisamente, lo que podemos hacer en las revisiones bibliográficas llevadas a cabo en el seno de las Humanidades y Ciencias Sociales, las cuales caen en alguno de los otros tipos de revisión, como los que ellos denominan qualitative systematic review, state-of-the-art review, etc., revisiones que pueden formar parte de la categoría más general de Systematized review cuando aplican todos los principios de las revisiones sistemáticas originales que son pertinentes.

Algunas definiciones a partir del estudio llevado a cabo por Grant y Booth (2009):

Systematic review

The best known type of review, a systematic review seeks to systematically search for, appraise and synthesis research evidence, often adhering to the guideliness on the conduct fo a review provided by Cochrane Collaboration or the NHS Centre for Reviews and Dissemination. It is transparent in the reporting of its methods to facilitate others to replicate the process. (Grant & Booth, 2009)

Qualitative systematic review

Qualitative systematic review  is a method for integrating or comparing the findings from qualitative studies. The accumulated knowledge resulting from this process may lead to the developement of a new theory, an overarching «narrative», a wider generalization or an «interpretative translation», It looks for «themes» or «constructs» that lie in or across individual qualitative studies. The goal… is not aggregative in the sense of «adding studies toghether», as wirh a meta-analysis. On the contrary, it is interpretative in broadening understanding of a particular phenomenon. (Grant & Booth, 2009)

Systematized review

Systematized reviews attempt to include one or more elements of the systematic review process while stopping short of claiming that the resultant output is a systematic review. They may identify themselves parenthetically as a «systematic» review. Systematized reviews are typically conducted as a postgraduate student assignement, in recognition that they are not able to draw upon the resources required for a full systematic review (such as two reviewers). (Grant & Booth, 2009)

La propuesta de (Booth, Andrew; Papaionnou; Sutton, Anthea, 2012)

Definición de revisión sistematizada

Propuesta de definición de revisión sistematizada a partir de Grant y Booth 2009, y de Booth et al. 2012.

Conclusiones

Lo que conseguiremos si nos adherimos a la filosofía de las revisiones sistematizadas y al framework SALSA asociado cuando debamos afrontar un estudio de revisión, es no solamente garantizar unos resultados mucho mejores al obligarnos a un protocolo mucho más exigente, sino la posibilidad de invocar en el apartado de metodologías de nuestra tesis o TFM, un método que está ampliamente aceptado y que cuenta con una buena base de literatura científica detrás. Así, solucionamos dos problemas a la vez: garantizamos un mejor resultado, como hemos señalado, pero también dotamos de mayor credibilidad y solvencia a nuestro trabajo.

Es más, la potencia de las revisiones sistematizadas (insisto: siempre que merezcan este nombre) es tal que justifican aportaciones basadas únicamente en trabajos de revisión. En el mundo académico anglosajón, mucho menos acomplejado que el nuestro, y en campos como las ciencias de la salud, obviamente aún menos acomplejado que las Humanidades, hace mucho tiempo que se aceptan trabajos científicos cuya aportación principal, si no la única, son estudios de revisión.

Recuerde: no le llame análisis bibliográfico, llámelo revisión sistematizada. O, si lo prefiere, llámelos análisis de la producción científica por revisión sistematizada si no le importa usar una denominación un poco más larga, pero mucho más explícita. Y, claro, el protocolo obliga, aplique los 4 principios: sistematicidad, completud, explicación y reproducibilidad para poder justificar el uso de esta magnífica expresión de rigor y auto exigencia en el trabajo.

Referencias

• Boland, Angela; Cherry, M. Gemma; Dickson, Rumona. Doing a Systematic Review: A Student’s Guide. London: Sage, 2014.
• Booth, Andrew; Papaionnou; Sutton, Anthea. Systematic Approaches to a Successful Literature Review. London: Sage, 2012.
• Fink, Arlene. Conducting Research Literature Review. London: Sage, 2014.
• Gouch, David et al. An Introduction to Systematics Reviews. London: Sage, 2012.
• Grant, Maria J.; Booth, Andrew. «A typology of reviews: an analysis of 14 review types and associated methodologies». Health Information and Libraries Journal, 26, pp.91–108, 2009. Acceso: onlinelibrary – wiley
• Jesson, Jill K.; Matheson, Lydia; Lacey, Fiona M. Doing your Literature Review: Traditional and Systematic Techniques. London: Sage, 2011.
• Machi, Lawrence A.; McEvoy, Brenda T.. The Literature Review: Six Steps to Success. Thousand Oaks, California: Corwin, 2012.
• Onwuegbuzie, A.; Frels, R. 7 Steps to a Comprehensive Literature Review: A Multimodel & Cultural Approach. Sage: London, 2016.
• Petticrew, Mark; Roberts, Helen. Systematic Reviews in the Social Sciences. Malden: Blackwell, 2006.
• Ridley, Diana. The Literature Review. London: Sage, 2012.
• Sandelowski, Margarete; Barroso, Julie. Handbook for Synthesizing Qualitative Research. New York: Springer, 2007