Revisiones sistematizadas y cómo llevarlas a cabo con garantías: systematic reviews y SALSA Framework

sage journals

Sage Journals es una de las editoriales más destacada en la publicación de metodologías de investigación, entre ellas, las revisiones sistematizadas.

La metodología lo es casi todo en un trabajo académico, y las revisiones sistemátizadas (o sistematicas) nos ayudan en una de sus fases esenciales: la preparación del estado de la cuestión, o del theoretical framework como lo denominan algunos autores anglosajones.

Lo que hacemos en tal caso es llevar a cabo un análisis de la producción científica, necesariamente llevada a cabo a través de una revisión bibliográfica (literature review por su equivalente en inglés). 

Pero, y aquí hay un punto esencial, ¿cómo podemos estar seguros que nuestra revisión bibliográfica ha sido llevada a cabo con las necesarias garantías? Dicho de otro modo, ¿existe alguna metodología reconocida por parte de la comunidad científica que podamos aplicar para llevar a cabo este tipo de actividades?

acceso a un artículos sobre revisiones sistematizadas y salsa framework

Artículo de Grant y Booth sobre tipología de revisiones

Revisiones Sistemáticas

Antes de entrar de lleno en nuestro tema, un poco de antecedentes. Los así llamados trabajos de revisión, es decir, los que se han obtenido como resultado de una revisión bibliográfica, tienen una gran aceptación en el ámbito académico anglosajón.

Por ello, no es extraño que existan revistas consagradas a este género de la literatura científica, y algunos de sus mejores autores llevan año discutiendo la mejor forma de llevarlos a cabo de forma que sus resultados sean lo más fiables posible. 

Desde los años noventa, concretamente en el ámbito de la Salud, se lleva a cabo un tipo de trabajos de revisión que recibe el nombre de systematic reviews. Estos trabajos siguen un protocolo preciso y su prestigio creciente ha hecho que cada vez sean más aceptados en la comunidad científica como artículos científicos con valor por sí mismos.

La cuestión es que últimamente  se están reivindicando cada vez más la utilización de estas revisiones sistemáticas originadas, como hemos señalado, en el ámbito de las Ciencias de la Salud) para llevar a cabo las revisiones bibliográficas en otros ámbitos, como el de las Humanidades y las Ciencias Sociales, y para otros objetivos, por ejemplo para llevar a cabo estados de la cuestión para Tesis Doctorales o Trabajos de Final de Máster.

La diferencia de denominaciones: sistemáticas versus sistematizadas se debe a que el protocolo que quedó fijado en el Ciencias de la Salud utiliza exclusivamente resultados de investigaciones que, a su vez, han utilizado muestreo de tipo aleatorio y métodos cuantitativos. Cuando trasladamos este protocolo a otros campos distintos de la salud o que no usan análisis estadístico, usamos el segundo término. En resumen (ver más en el Anexo):

  • Systematics reviews: término reservado para estudios de revisión en el ámbito de las Ciencias de la Salud y para sintetizar resultados de investigaciones cuantitativas. Aplican criterios específicos de calidad a la totalidad de los componentes de un Framework conocido como SALSA (por Search, AppraisaL, Analysis y Synthesis).
  • Systematized reviews: término preferente para otros ámbitos, incluyendo Humanidades y Ciencias Sociales y para sintetizar resultados de investigaciones cualitativas. Aplican todo o parte de los criterios del Framework SALSA, adaptado en su caso a investigaciones cualitativas.

Posiblemente, una parte del mérito en la promoción de esta técnica de análisis fuera de su ámbito original se deba a un trabajo muy citado de dos profesores de Ciencias de la Salud, Maria J. Grant y Andrew Booth, publicado en el 2009 y titulado A typology of reviews: an analysis of 14 review types and associated methodologies (ver apartado de Referencias).

Resulta oportuno señalar que no es sorprendente que sean investigadores del ámbito de la salud los que estén innovando en este terreno, porque ellos tienen desde hace tiempo la denominado Medicina Basada en la Evidencia, que se apoya en los estudios de revisión, y por tanto en las revisiones bibliográficas de forma principal, por no decir, única para llevar a cabo sus aportaciones.

Otra buena parte del mérito en el asentamiento de esta filosofía a favor de la sistematicidad en las revisiones bibliográficas se debe sin duda a la labor de algunas editoriales, con un papel muy destacado por parte de Sage, que ha publicado varios títulos importantes dedicados a esta clase de sistemas de análisis en los últimos años (ver Referencias).

En particular, hace tiempo que esta editorial inglesa de revistas y libros mantiene una línea importantísima dedicada a las metodologías de investigación. Y no solo en formato impreso, como demuestra su portal Sage ResearchMethods.

cochrane

Cochrane Collaboration

El tercer actor en esta importante operación de otorgar carácter de validez científica a las revisiones es la organización denominada Cochrane Collaboration con su imponente complejo de actividades alrededor de los estudios de revisión en el campo de las ciencias de la salud, siempre basados en los principios de la systematic review.

La poderosa influencia de las revisiones sistemáticas nacidas en las ciencias experimentales para llevar a cabo estudios de revisión, han acabado influenciado, para bien, a las que se llevan a cabo en ámbitos como los estados de la cuestión.

Revisiones Sistematizadas

Pero, ¿en qué consiste y en qué se diferencia una revisión sistematizada de una revisión bibliográfica “normal”? Para muchos académicos que siempre han seguido las mejores prácticas p.e. usar bases de datos, hacer explícitos los criterios de búsqueda y de selección, etc., tal vez no haya una enorme diferencia.

El principal cambio procede de la necesidad de dar cuenta de todo el procedimiento seguido, de modo que respete uno de los principios de las revisiones sistematizadas, el de la transparencia.

La ventaja de usar esta aproximación es que nos permite adherirnos a un método que tiene detrás una sistemática explícita y bien documentada. Otra virtud de esta aproximación es que sirve para exhibir nuestro alejamiento de las malas prácticas, en concreto de revisiones bibliográficas sesgadas o que no utilizan fuentes aceptadas por la comunidad científica. Sin aplicar tales principios, es imposible saber si se han manejado solamente las obras que se acomodan a los gustos o inclinaciones personales del autor, o a las que, por simple casualidad, han caído en manos del mismo.

De este modo, las revisiones sistematizadas se caracteriza por cuatro dimensiones muy bien determinadas por la filosofía de la que procede (las systematic reviews). En concreto, se caracteriza por ser:

  • Sistemática (y de aquí su nombre)
  • Completa
  • Explícita
  • Reproducible

Veamos esto con un poco más de detalle:

  • Sistemática significa que no es arbitraria: ni sesgada ni subjetiva, sino que, por el contrario, hemos examinado la mejor producción científica disponible utilizando las mejores fuentes de información.
  • Completa que se han usado sistemas de información de los que se presume que facilitan el acceso virtual a la totalidad de la producción de calidad de una disciplina. Que no hemos descartado ni incluido nada sin seguir otros criterios que los que hemos hecho explícitos, lo que conecta con los dos siguientes puntos.
  • Explícita implica que se dan a conocer tanto las fuentes utilizadas como los criterios de búsqueda y de inclusión y (en su caso) exclusión de los artículos.
  • Reproducible es en realidad una consecuencia de todo lo anterior: dado que hemos sido sistemático y explícitos, permitimos a otros investigadores comprobar nuestro trabajo y, si lo desean, seguir los pasos y contrastar nuestros resultados para determinar su exactitud o su grado de acierto

Qué es el Framework SALSA

Es evidente que con un poco de salsa, algunas cosas mejoran. El Framework SALSA, es un marco que considera cuatro componentes en una revisión sistemática (o sistematizada) y son los siguientes:

  • Search
  • AppraisaL
  • Synthesis
  • Analysis

Estos componentes actúan a la vez como fases. Primero nos dice que los trabajos objeto de análisis deben proceder de (1) una búsqueda bien planificada. Después, los artículos así obtenidos deberán ser (2) evaluados y, en su caso, se rechazarán los que no cumplan los criterios de calidad con los cuales hemos decidido hacer esta evaluación. Por último,los resultado de cada artículo serán (3) sintetizados de acuerdo con algún esquema, y los resultados globales (4) analizados o valorados para poder ser presentados en alguna forma coherente. Esto tomará la forma de un artículo de revisión o de un estado de la cuestión. Vamos a verlo por separado.

Search = búsqueda

Esta fase se refiere a cómo se lleva a cabo la búsqueda de los trabajos que serán objeto de revisión. La systematic review prevé que tal búsqueda se realice principalmente utilizando bases de datos de referencia, como WoS o Scopus en el ámbito multidisciplinar o como Communication Source o Sage en el de la Comunicación y las Humanidades.

La S del framework se refiere también a que la búsqueda debe hacerse con criterios trasnparentes y bien definidos, tanto de inclusión como de exclusión de los trabajos a analizar. Normalmente, estos criterios se expresarán con la elección de las palabras clave y las ecuaciones de búsqueda correspondientes.

 


Algunas referencias para la fase de Búsqueda


El objetivo final de esta fase es conseguir un banco de artículos formado por un número variable que puede oscilar entre unas decenas y unos pocos centenares, dependiendo del tipo de estudio y de los criterios de selección y exclusión. 

Appraisal = evaluación

Esta fase se refiere a cómo se evaluarán los trabajos obtenidos a través de las diversas búsquedas, con qué criterios se considerarán las contribuciones de cada uno de los componentes del banco de artículos inicial para decidir si finalmente formarán parte de la revisión.

Suelen utilizarse criterios que establecen un doble filtro: criterios pragmáticos, como la lengua y fecha de publicación de los trabajos, tipología de los mismos, etc.; y criterios de calidad de los trabajos, como las metodologías utilizadas, los ámbitos geográficos o temáticos, así como las garantías generales de validez de la investigación. En esta fase servirá para excluir por tanto los trabajos del corpus final y asegurarse que los que formen parte de la revisión tienen suficiente calidad y pertinencia para formar parte de la misma.

Synthesis y Analysis

Estas dos fases se refieren a aquellas que nos permitirán reunir y comparar los resultados de cada uno de los componentes del banco de artículos. En el caso de investigaciones cuantitativas, se hará mediante técnicas estadísticas.

En el caso de investigaciones cualitativas, se puede presentar en diversas formas, entre ellas, la revisión o la narración crítica y el estado de la cuestión (state of art).

Mediante la Synthesis se lleva a cabo una representación de cada trabajo basándose en un esquema o síntesis que permite la extracción de las características de cada artículo considerado. En el caso de las investigaciones cuantitativas se referirá a aspectos numérico-estadísticos. En el caso de las cualitativas, por ejemplo, a la metodología utilizada, los resultados obtenidos, si confirman o no algunas hipótesis, etc.

En el caso de investigaciones de tipo cualitativo se pueden utilizar tablas o fichas para sintetizar las dimensiones comunes con las que se han estudiado los diferentes artículos o trabajos seleccionados. En el caso de las cualitativas se pueden utilizar tablas o fichas de resumen de cada artículo.

Por su parte, Analysis se refiere a la descripción y valoración global de los resultados encontrados. Por eso decimos que, en el caso de los estados de la cuestión, son las dos fases que nos permiten presentar un discurso global sobre la situación del campo de estudios considerado, a través del análisis de los mismos.

Cabe insistir que algunos aspectos del marco SALSA se entienden mejor si consideramos que procede de estudios de revisión donde se analizan resultados cuantitativos de tipo clínico o experimental. De este modo, por ejemplo, el doble filtro (pragmático y de calidad) serviría para establecer si se admiten o no trabajos en función de la metodología aplicada o del tipo de diseño experimental utilizado, etc.

No obstante, tanto la filosofía como los principios operativos del marco SALSA y de las revisiones sistemáticas son no solamente válidos, sino absolutamente necesarios también en investigaciones cualitativas, como tantas de las que se llevan a cabo en el ámbito de las Humanidades y las Ciencias Sociales en general.

Conclusiones

Lo que conseguiremos si nos adherimos a la filosofía de las revisiones sistematizadas y al framework SALSA asociado cuando debamos afrontar un estudio de revisión, es no solamente garantizar unos resultados mucho mejores al obligarnos a un protocolo mucho más exigente, sino la posibilidad de invocar en el apartado de metodologías de nuestra tesis o TFM, un método que está ampliamente aceptado y que cuenta con una buena base de literatura científica detrás. Así, solucionamos dos problemas a la vez: garantizamos un mejor resultado, como hemos señalado, pero también dotamos de mayor credibilidad y solvencia a nuestro trabajo.

Es más, la potencia de las revisiones sistematizadas (insisto: siempre que merezcan este nombre) es tal que justifican aportaciones basadas únicamente en trabajos de revisión. En el mundo académico anglosajón, mucho menos acomplejado que el nuestro, y en campos como las ciencias de la salud, obviamente aún menos acomplejado que las Humanidades, hace mucho tiempo que se aceptan trabajos científicos cuya aportación principal, si no la única, son estudios de revisión.

Recuerde: no le llame análisis bibliográfico, llámelo revisión sistematizada. O, si lo prefiere, llámelos análisis de la producción científica por revisión sistematizada si no le importa usar una denominación un poco más larga, pero mucho más explícita. Y, claro, el protocolo obliga, aplique los 4 principios: sistematicidad, completud, explicación y reproducibilidad para poder justificar el uso de esta magnífica expresión de rigor y auto exigencia en el trabajo.

Referencias

  1. Boland, Angela; Cherry, M. Gemma; Dickson, Rumona. Doing a Systematic Review: A Student’s Guide. London: Sage, 2014.
  2. Booth, Andrew; Papaionnou; Sutton, Anthea. Systematic Approaches to a Successful Literature Review. London: Sage, 2012.
  3. Fink, Arlene. Conducting Research Literature Review. London: Sage, 2014.
  4. Gouch, David et al. An Introduction to Systematics Reviews. London: Sage, 2012.
  5. Grant, Maria J.; Booth, Andrew. “A typology of reviews: an analysis of 14 review types and
    associated methodologies”. Health Information and Libraries Journal, 26, pp.91–108, 2009. Acceso: onlinelibrary – wiley
  6. Jesson, Jill K.; Matheson, Lydia; Lacey, Fiona M. Doing your Literature Review: Traditional and Systematic Techniques. London: Sage, 2011.
  7. Machi, Lawrence A.; McEvoy, Brenda T.. The Literature Review: Six Steps to Success. Thousand Oaks, California: Corwin, 2012.
  8. Petticrew, Mark; Roberts, Helen. Systematic Reviews in the Social Sciences. Malden: Blackwell, 2006.
  9. Ridley, Diana. The Literature Review. London: Sage, 2012.
  10. Sandelowski, Margarete; Barroso, Julie. Handbook for Synthesizing Qualitative Research. New York: Springer, 2007 

Anexo – ¿Sistemática o Sistematizada?

En el artículo de Grant y Booth, se utiliza el término Systematic Review de una forma  muy precisa. Mediante este término se refieren a trabajos de revisión que cumplen estas condiciones:

  1. Se llevan a cabo en el ámbito de las ciencias de la salud, por tanto, incluyen el concepto de población y el de tratamiento.
  2. Son llevados a cabo para comparar y resumir resultados cuantitativos de decenas o centenares de estudios referidos a técnicas o a tratamientos de salud bien determinados por estos dos parámetros señalados: población y tratamiento utilizado.
  3. Utilizan procedimientos de evaluación de la metodología de cada trabajo, según la cual pueden quedar excluidos, por ejemplo, los que no utilicen métodos de muestreo perfectamente aleatorios.
  4. Suelen llevarse a cabo por parte de, al menos, dos autores, y pueden ser de larga duración: un año o más.
  5. No suelen ser parte de un trabajo mayor, tal como una tesis o un TFM, sino que sirven para producir artículos o informes independientes, ya que las systematics reviews se consideran un género científico en sí mismo.

Por tanto, en el artículo de Grant y Booth (y en otros trabajos de la bibliografía) una systematic review es una clase de trabajo de revisión específica, tal como los estados del arte, los meta-análisis o el mapeo de teorías son otros tantos tipos específicos, y así hasta 14 tipologías en total, siempre según el estudio mencionado.

Es decir, según este enfoque, no todas las revisiones, aunque sean llevadas a cabo de forma sistemáticas, son revisiones sistemáticas, y disculpen el juego de palabras. De aquí, la conveniencia de hablar entonces de revisiones, si no sistemáticas, al menos sistematizadas.

Precisamente, lo que podemos hacer en las revisiones bibliográficas llevadas a cabo en el seno de las Humanidades y Ciencias Sociales, las cuales caen en alguno de los otros tipos de revisión, como los que ellos denominan qualitative systematic review, state-of-the-art review, etc., revisiones que pueden formar parte de la categoría más general de Systematized review cuando aplican todos los principios de las revisiones sistemáticas originales que son pertinentes.

Algunas definiciones a partir del estudio llevado a cabo por Grant y Booth (2009):

Systematic review

The best known type of review, a systematic review seeks to systematically search for, appraise and synthesis research evidence, often adhering to the guideliness on the conduct fo a review provided by Cochrane Collaboration or the NHS Centre for Reviews and Dissemination. It is transparent in the reporting of its methods to facilitate others to replicate the process. (Grant & Booth, 2009)

Qualitative systematic review

Qualitative systematic review  is a method for integrating or comparing the findings from qualitative studies. The accumulated knowledge resulting from this process may lead to the developement of a new theory, an overarching “narrative”, a wider generalization or an “interpretative translation”, It looks for “themes” or “constructs” that lie in or across individual qualitative studies. The goal… is not aggregative in the sense of “adding studies toghether”, as wirh a meta-analysis. On the contrary, it is interpretative in broadening understanding of a particular phenomenon. (Grant & Booth, 2009)

Systematized review

Systematized reviews attempt to include one or more elements of the systematic review process while stopping short of claiming that the resultant output is a systematic review. They may identify themselves parenthetically as a “systematic” review. Systematized reviews are typically conducted as a postgraduate student assignement, in recognition that they are not able to draw upon the resources required for a full systematic review (such as two reviewers). (Grant & Booth, 2009)

 

La propuesta de (Booth, Andrew; Papaionnou; Sutton, Anthea, 2012)

All literature reviews should be systematic. They will mainly differ in the degree to which they are systematic and how explicitly their methods are reported.

Propuesta de definición de Revisiones sistematizadas a partir de Grant & Booth 2009, y de Booth et al 2012.

Las revisiones sistematizadas son aquellas que se han llevado a cabo aplicando aproximaciones sistemáticas (systematic approaches, Booth, Andrew; Papaionnou; Sutton, Anthea, 2012) a los componentes de la misma siguiendo el framework SALSA, en especial los que corresponden a las fases de Búsqueda (Search) y Evaluación (Appraisal) y opcionalmente a la Síntesis (Synthesis) y Análisis (Analysis).

Por tanto, puede haberse aplicado a la totalidad de los componentes del framework, siempre adaptados a la circunstancia del hecho de tratarse de investigaciones de tipo cualitativo; frecuentemente en el contexto de trabajos académicos para la obtención de títulaciones de postgrado (máster o doctorado).


Ediciones:

  • 9 de Noviembre de 2015. Para dar preferencia al uso de revisión sistematizada (en lugar de sistemática) y explicar las diferencias.
  • 20 de abril de 2017. Revisión general con diversos cambios de estructura y edición. Actualización de la bibliografía. Actualización de enlaces.

Finalmente, siempre me gusta recordar en este tipo de entradas, la oferta de nuestro Departamento en Postgrados de Investigación en el ámbito de la Comunicación

deptcom_post_es