Revisiones sistematizadas para trabajos académicos · 2: Búsqueda y Evaluación

Diaqrama de las fases de Búsqueda y de Evaluación de una revisión sistematizada
Las fases de Búsqueda y Evaluación de una revisión bibliográfica sistematizada que conducen a un banco de documentos, y que son guiadas por procedimientos sistemáticos. Fuente: elaboración propia.

La Búsqueda y la Evaluación son las dos primeras fases de una revisión bibliográfica sistematizada. En el  enfoque que aplicamos aquí, esta puede estar destinada a apoyar (mediante un estado de la cuestión) una tesis de final de máster, una tesis de doctorado o una memoria para solicitar financiación de proyectos de investigación (p.e. de planes nacionales de agencias gubernamentales o de programas similares de otros organismos).

No obstante, lo que mostraremos se puede extrapolar fácilmente para el caso de un artículo científico o incluso para un trabajo de revisión autocontenido, aunque en este último se necesitaría una fase previa de definición del proyecto (ver anexo).

Como sea, estas dos fases, Búsqueda y Evaluación, forman parte del Framework ReSiste-CHS que fue presentado en un artículo anterior que puede consultarse aquí

Contexto

Las fases de Búsqueda y Evaluación son las responsables de proveer el banco de documentos final sobre el cual se aplicarán las otras dos fases de una revisión sistematizada, Análisis y Síntesis, que se examinarán en una próxima entrega.

Por último, debemos señalar que adoptamos como marco de trabajo para referirnos a casos y ejemplos concretos, el ámbito de los estudios en Comunicación Social. 

No obstante, consideramos que la buena parte de lo que indiquemos aquí es fácilmente extrapolable a otros ámbitos de las Ciencias Humanas y Sociales.

Como sea, corresponde pasar a examinar los dos apartados que nos ocupan en esta entrega.

BÚSQUEDA


Objetivo

El objetivo de la fase de búsqueda es proporcionar el primer grupo de ítems (artículos, comunicaciones, capítulos de libro, monografías, etc.) que serán candidatos a formar parte del banco de documentos denominado también la base de la evidencia.

Fuentes

Salvo circunstancias especiales, la fuente privilegiada de las revisiones sistemáticas son los artículos publicados en revistas científicas evaluadas, ya que constituyen, en general, la forma preferente (y más fiable, precisamente por ser evaluados) de comunicar los avances de una disciplina científica, sus principales controversias y frentes abiertos, etc..

Ahora bien, siempre es importante expresar algunas cautelas elementales en el ámbito de las Ciencias Humanas y Sociales. Es perfectamente posible que, en algunos ámbitos concretos, en especial en algunas ramas de las Humanidades, los libros, así como los capítulos de libro tengan una gran importancia. En otras disciplinas este papel lo pueden tener las comunicaciones en congresos, etc. Por tanto, debe ser el contexto de cada revisión el que aconseje cómo modular el tipo de fuentes a utilizar.

También es posible que en otros ámbitos, como en el terreno de las innovaciones en ciertos sectores, por ejemplo, en las redes sociales o la web móvil, por mencionar ejemplos cercanos a nuestro ámbito, sean relevantes los estudios (reports, libros blancos, etc.) publicados por agentes importantes del sector o por centros de I+D+i, etc.

No obstante, mientras algunas fuentes pueden formar parte, o pueden no formar parte, de una revisión bibliográfica, los artículos científicos se consideran imprescindibles en casi cualquier revisión bibliográfica estándar.

Por otro lado, son la fuente más difícil de manejar, puesto que se publican regularmente tantos artículos sobre casi cualquier disciplina que se considera que es imposible que un investigador pueda leerlos todos incluso si dedicase el 100 por 100 de su tiempo solamente a esto.

Bases de datos

Por tanto, dada la imposibilidad de examinar toda la producción científica, incluso de una sola disciplina, por la gran cantidad de revistas académicas de todo el mundo, hace tiempo que se considera que son las bases de datos, en realidad, la fuente que debe utilizarse para planificar una revisión bibliográfica.

A partir de aquí, el uso de bases de datos para revisiones bibliográficas sistematizadas presenta dos interrogantes:

  • ¿Qué bases de datos debemos utilizar?
  • ¿Cómo debemos planificar nuestra búsqueda en las bases de datos seleccionadas?

Vamos a dar respuesta a estas dos preguntas en lo que sigue.

¿Qué bases de datos debemos utilizar?: el concepto de grupo óptimo de bases de datos

Dado que, probablemente, no existe LA base de datos óptima, nosotros proponemos en su lugar, el concepto de grupo óptimo de base de datos.

Como ya hemos señalado, pero es muy importante repetir aquí, tomamos como contexto general la investigación en Comunicación Social para considerar las bases de datos candidatas en las que llevar a cabo la fase de búsqueda en una revisión sistematizada.

Para identificar este denominado grupo óptimo, hemos partido del análisis del conjunto de bases de datos que son accesibles en el sistema universitario español que, según nuestras estimaciones, corresponde con lo que podemos considerar el estándar internacional.

Después de la revisión de la cobertura temática de tales bases de datos atendiendo a la descripción que presentan de sus propias colecciones, hemos llegado a la propuesta pragmática de cuáles son las mejores candidatas para formar parte de tales bases de datos.

Nos hemos guiado también por la experiencia de los últimos cuatro años de impartición de una asignatura tipo taller, de utilización de bases de datos en un Máster en el que los estudiantes deben identificar las mejores bases para sus proyectos de investigación.

Por último, antes de presentar la lista de bases de datos candidatas a formar el grupo óptimo, una explicación de cómo hemos llegado a este concepto.

La idea parte de la siguiente consideración: en el caso de la comunicación social (a diferencia, por ejemplo, de la Medicina o de la Física) no disponemos de la base de datos óptima (en Medicina probablemente es Medline, en Jurisprudencia, Aranzadi, etc.).

En su lugar lo máximo que tenemos en el caso de la investigación en Comunicación Social es un grupo óptimo (no una base de datos óptima).

¿Qué bases de datos pueden formar parte de tal grupo? Aquí debemos diferenciar dos subgrupos:

  • El de las bases de datos multidisciplinares con un papel legitimador de la ciencia especial. Es el caso de Web of Science y de Scopus a nivel internacional, y de las bases de datos del CSIC y de Dialnet Plus en España.
  • El de las bases especializadas en Ciencias Humanas y Sociales o multidisciplinares pero con amplia cobertura en Comunicación Social y en Ciencias Humanas y Sociales. Es el caso de Communication and Humanities Source o International Bibliography of Art.

El concepto de grupo óptimo es variable y dinámico. La propuesta que presentamos aquí corresponde al mapeo de bases de datos académicas disponibles en el sistema universitario español en 2018. No es previsible que cambie radicalmente (en realidad, ni mucho ni poco) en los próximos años, pero podría suceder.

Además, utilizamos el background de proyectos de investigación que deben dar sustento a trabajos de final de máster o a tesis doctorales en los que el componente principal es la Comunicación Social. Para otra clase de investigaciones, o donde la Comunicación Social no sea más que uno de los componentes, los miembros del SubGrupo específico deben revisarse.

En el momento de llevar a cabo este trabajo (ya hemos dicho que nuevas bases de datos pueden añadirse en el futuro) el grupo óptimo de bases de datos académicas para investigar en Comunicación Social tenía esta composición:

SubGrupo generalista

En el caso de España es recomendable utilizar:

SubGrupo específico: bases de datos centradas en, o con colecciones de, Humanidades, Ciencias Sociales  y Comunicación

Para que no haya malentendidos: el concepto de grupo óptimo no excluye otras bases de datos. Las bases de datos sobre Ciencias Económicas y Empresariales, Psicología, Derecho, etc., pueden aportar resultados en investigaciones que tengan alguno de estos componentes de forma destacada.

La consulta de una buena guía de bases de datos, como las que suelen ofrecer las mejores bibliotecas universitarias será necesaria para investigadores en tales áreas. En este trabajo, nos centramos en las investigaciones en Comunicación Social y por eso nos enfocamos en las bases de datos señaladas.

Cuántas bases de datos debemos utilizar

A partir de lo anterior, nos podemos preguntar cuántas bases de datos debemos utilizar. Cada proyecto es único, y la respuesta procede por tanto de cada proyecto. Necesitaremos justamente aquellas bases de datos que aporten resultados relevantes a nuestra investigación.

Sin embargo, en caso de necesitar algo parecido a una recomendación general, nosotros entendemos que la siguiente aproximación puede servir como regla general:

  • Utilizar siempre Scopus + Web of Science del grupo general, así como Dialnet Plus y las bases de datos del CSIC si la investigación se va a presentar en un universidad española.
  • Hacer pruebas con las seis bases de datos del subgrupo específico y seleccionar las dos que proporcionen mejores resultados a partir de las ecuaciones de búsqueda de la investigación (ver siguiente apartado).
  • Como precaución añadida, consultar Google Scholar para identificar trabajos académicos relevantes que se puedan haber publicado como work in progress, libro blanco, reports, etc.
  • Cualquier otra fuente que se adecue al tipo de investigación, por ejemplo, una base de datos de Economía si la investigación tiene un fuerte componente en este aspecto. Para ello, deberá consultar las guías temáticas de la biblioteca de su universidad.

 Palabras clave y ecuaciones de búsqueda

En este apartado, y dado que el Framework ReSiste-SHC es en realidad un meta-framework, ya que está compuesto (a la frankeinsteniana manera, pero esperamos con mejores resultados) por otros, presentamos el Framework FDC para asegurar  la eficacia de este componente de la fase de Búsqueda.

Las siglas FDC responden a las tres fases recomendadas por este procedimiento para planificar una búsqueda:

  • Facetar
  • Derivar
  • Combinar

Como las siglas que dan nombre a nuestro Framework corresponde a tres fases sucesivas (que pueden ser reiteradas en caso necesario), también se pueden representar así:

Los componentes del Framework FDC para revisiones sistematizadas en la Fase de Búsqueda. Fuente: elaboración propia
Las tres fases, representadas como rectángulos, que dan nombre al Framework FDC. El diagrama muestra que a la vista de los resultados, y tras un análisi de los mismos, suele ser necesario reconsiderar la derivación de palabras clave

Tabla 1: Los componentes del Framework FDC

Término/
Fase
Explicación
FacetarConsiste en considerar todas las facetas características de una investigación académica, tales como el objeto de estudio, el marco teórico, el marco metodológico, etc., según veremos con detalle en la tabla correspondiente más adelante.
DerivarDe cada faceta corresponde derivar las palabras clave que la representen, incluyendo sinónimos y variaciones en la lengua de trabajo y en inglés.
CombinarUna vez disponemos de un grupo de palabras clave obtenidas en las dos fases anteriores, podemos proceder a combinarlas en un grupo de ecuaciones de búsqueda.
Fuente: elaboración propia para el Framework FDC

La F de Facetas

Para estar seguro de que no obviamos ningún aspecto clave de nuestra investigación, necesitamos considerar una serie de facetas, cada una de las cuales nos proporcionará la manera de derivar un conjunto de palabras clave. ¿De dónde hemos obtenido estas facetas?

Corresponden al examen de las siguientes clases de documentos y fuentes con los que, por otro lado, debe habituarse un investigador:

  • Los componentes de un proyecto de investigación característico, como los que deben presentarse para optar a un proyecto financiado competitivo.
  • Las partes en las que se recomienda articular la rubrica de evaluación de un proyecto de final de máster (ver por ejemplo, el de la Agencia para la Calidad del Sistema Universitario de Cataluña).
  • Las partes en las que se recomienda articular un proyecto de tesis doctoral para su aprobación en la mayor parte de los programas de doctorado.
  • Los componentes de una investigación según la mayoría de tratados académicos sobre el tema (ver bibliografía al final).
  • La propia praxis habitual de comunicación de resultados científicos en los apartados de Introducción y Conclusiones (ver bibliografía al final).

Como sea, en nuestra propuesta procedimental, los componentes de estas facetas son los que indica la tabla siguiente.

Tabla 2: Matriz de Facetas para caracterizar un proyecto de investigación

FacetaExplicación y Ejemplos (del campo de la Comunicación Social)
Objeto de EstudioIdentifica el objeto material o conceptual en el que centramos la investigación. Ejemplos: Televisión, sitios web, twitter, cibermedios, comunicación política, redes temáticas, posicionamiento web, etc.
Tipo de 
Acción
Qué clase de actividad investigadora identifica mejor nuestro proyecto. Ejemplos: Análisis, Síntesis, Testeo, Comparación, Evaluación, etc.
Marco 
Teórico
Teorías o disciplinas que informan y aportan los constructos conceptuales principales de nuestro enfoque. Ejemplos: Teoría de la comunicación, Semiótica, Sociología, Psicología, Antropología, etc.
Técnicas de Obtención de DatosTécnicas concretas con las que pensamos obtener datos para nuestra investigación. Ejemplos: Focus group, Delphi, Entrevistas, Encuestas, Minería de datos, Estudios de caso, Análisis comparativos, Análisis experto, Análisis heurístico, Revisiones sistemáticas, Observación participante, Estudios de usuario, Tests, etc.
Estrategias MetodológicasIdentifica cuál(es) de las tres grandes estrategias metodológicas utilizaremos: cuantitativa, cualitativa, conceptual.
TopónimosNombre de lugares, regiones o países que intervengan en el estudio. España, Cataluña, Europa, Portugal, Brasil, México, etc.
Nombres PropiosNombres de autores destacados o representantes de corrientes teóricas que intervengan en el estudio. Nombres propios de empresas o corporaciones que tengan algún relación con el estudio, incluyendo (p.e) nombres o marcas de grupos o de empresas de comunicación.
Software o HerramientasDenominaciones de paquetes de software o de instrumentos o herramientas que pensamos utilizar en nuestra investigación. Ejemplos: NVivo, Eyetracker, Card sorting, Personas y escenarios, wireframes, etc.

Al utilizar una matriz como la anterior nos estamos asegurando de disponer del conjunto de palabras clave que nos permitirá encontrar la mejor producción científica previa a nuestra investigación.

Sin esta matriz podríamos fácilmente centrarnos “solo” en el objeto de estudio, y perder, por ejemplo, buenos trabajos anteriores sobre la metodología que queremos utilizar. Esta pérdida podría jugar un papel negativo clave en nuestra investigación si, por ejemplo, existieran antecedentes de un uso determinado muy importante y alguien que evalúe nuestro trabajo considera que hemos sido negligentes al ignorar esos antecedentes.

Naturalmente, no hace falta utilizar todas las facetas en todas las investigaciones. Al contrario, algunas facetas pueden no tener sentido en según qué investigaciones. La función de la tabla es servir de elemento de chequeo que nos ayuda a ser sistemáticos

La D para Derivar Palabras Clave

Si tratamos de caracterizar nuestro proyecto de investigación con la Tabla 2, obtendremos algo como lo que mostramos a continuación.

Ejemplo: sea una revisión sistemática sobre interactividad en cibermedios (medios de comunicación digitales o en la web). La Matriz de Facetas/Palabras Clave resultante podría ser la siguiente:

Tabla 3. Ejemplo de aplicación de la matriz de facetas a un proyecto concreto

FacetaPalabras Clave
Objeto de EstudioCibermedios, prensa electrónica, diarios digitales, interactividad, interacción
Tipo de AcciónAnálisis, Comparación, Evaluación
Marco TeóricoUsabilidad, Diseño de la Interfaz, Experiencia de Usuario
Técnicas de Obtención de DatosEstudio de caso, Análisis comparativo, Análisis experto
Estrategías MetodológicasInvestigación conceptual
TopónimosNo corresponde en este caso
Nombre PropiosNo corresponde en este caso
Software o HerramientasSistrix, SEMrush

Como observación importante, resaltar que en esta tabla utilizamos la lengua de trabajo de la investigación (hemos supuesto que en este caso es el castellano). Por tanto, necesitaremos también obtener las palabras clave equivalentes en inglés (lengua de trabajo de las bases de datos internacionales), cosa que no siempre es fácil, por cierto, ya que no suele haber una correspondencia directa entre términos especializados.

Por ejemplo, no es posible traducir cibermedios como cibermediums, o periodismo electrónica por electronic press, etc., en su lugar, los candidatos más razonables serían news digital mediaonline journalism, etc., lo que implica que habrá que llevar a cabo una labor de chequeo para estar seguro de la terminología equivalente.

Un ejemplo de operación booleana (AND) en Scopus. Obsérvese que hemos truncado el segundo término, una de las opciones de esta clase de búsquedas avanzadas.
En esta captura del formulario de búsqueda de Scopus hemos incluido una búsqueda booleana para combinar dos conceptos con un AND, al mismo tiempo que hemos parametrizado la búsqueda al restringirla a un grupo de campos que arroja siempre resultados muy precisos. También podríamos haber limitado el rango de fechas a trabajos publicados en los últimos años y, eventualmente, restringir los resultados a un tipo de documentos (artículos, comunicaciones, etc.).

La C para Combinar Palabras Clave

La última parte de este procedimiento consiste en combinar grupos de palabras clave mediante operadores booleanos para disponer de ecuaciones de búsqueda con las cuales llevar a cabo la exploración en las bases de datos. La lógica con la que combinaremos palabras clave vendrá determinada por la naturaleza relacional de tales palabras.

Por ejemplo, con palabras clave que sean sinónimas reales o funcionales (como la pareja televisión, audiovisual) las combinaremos mediante un OR booleano, mientras que las que representen conceptos diferenciados pero con capacidad para cruzarse para formar temáticas sintéticas (como periodismo, interactividad), las combinaremos con un AND booleano. Finalmente, cuando queramos excluir artículos basándonos en algún concepto no deseado, como en el caso de desear encontrar artículos sobre interactividad, pero siempre que no traten sobre juegos, usaremos NOT.

Además, deberemos considerar el uso de búsquedas parametrizadas, casi seguro (y como mínimo), para establecer rangos de fechas. Por ejemplo, probablemente nos interesará encontrar artículos publicados en los últimos 6 años. Otra parametrización habitual puede consistir, para evitar ruido, en restringir los resultados a un grupo de campos (título, resumen y palabras clave, típicamente).

Ejemplo de una de las posibles ecuaciones (en pseudocódigo, sin incluir parametrización y suponiendo una base de datos con la lengua de trabajo en castellano):

(interactividad OR interacción) AND (cibermedios OR “prensa electrónica” OR “diarios digitales”) AND (análisis OR “análisis comparativo” OR “estudio de caso”)

Cuántas ecuaciones como la anterior necesitaremos es una cuestión que solo podemos responder mediante ensayo y error. En esta fase del framework no hay recetas fijas (o si las hay, nosotros las desconocemos). Es cuestión de empezar con una ecuación más o menos ambiciosa como la que hemos usado de ejemplos y examinar y valorar la calidad de los resultados.

Solamente del resultado de tal inspección podremos deducir si hemos estado afortunados con nuestra elección de palabras clave y de operadores o bien hemos de proceder a su revisión y modificación.

Mendeley es uno de los gestores de referencias bibliográficas más utilizados debido a sus prestaciones y su gratuidad. En la captura, vemos las opciones de importación de referencias desde un fichero que, a su vez, ha sido generado por una base de datos. Mendeley dispone de otras opciones de importación más directas en función del contexto pero esta que mostramos aquí siempre es posible.

Documentar el procedimiento

El resultado final del uso de este procedimiento será un conjunto de ecuaciones y la lista de bases de datos que hemos utilizado finalmente para constituir nuestro banco de artículos.

Para documentar el proceso, podemos añadir anexos a nuestro trabajo académico con la información detallada de las ecuaciones y las bases de datos utilizadas, información que podemos proporcionar mediante tablas. Otra posibilidad, en el caso de artículos de revisión es dedicar uno o más párrafos del apartado de metodología para dar cuenta de esta información.

Ejemplo de protocolo de búsqueda para una revisión sistemática en el caso de un artículo de revisión. Fuente: Olarte-Mejía y Ríos-Osorio 2015. Clic para acceder al artículo.

Uso de gestores de referencias bibliográficas

Resulta conveniente utilizar en todo el proceso un gestor de referencias bibliográfico. La mayoría, o todos, incluyen funciones que resultarán de enorme valor en todo el proceso:

  • Pueden importar referencias directamente (y selectivamente) de las principales bases de datos u, opcionalmente, de ficheros de importación con formatos internacionalmente aceptados.
  • Permiten crear carpetas para mantener grupos diferenciados de referencias.
  • Permiten asignar etiquetas (tags) a cada referencia.
  • Se integran con los principales editores de textos para facilitar después su integración en la redacción final del trabajo.

Dos de los más utilizados de tipo gratuito son:

  • Mendeley
  • Zotero

Además, hay otros dos, de pago, muy utilizados:

  • RefWorks
  • EndNote

¿Cuantos documentos necesitamos?

No hay un número a priori de documentos necesarios para una revisión sistematizada. Depende de diversos factores y uno es la producción total de documentos que genera el ámbito de trabajo pero otro también los recursos disponibles para llevar a cabo la revisión, entre ellos, el tiempo.

Los trabajos de revisión para trabajos de final de máster suelen requerir al menos unas pocas decenas, tal vez entre 15 y 30 documentos. Para tesis doctorales, entre 50 y 100. En artículos de revistas científicas, se suelen citar entre 10 y 20 trabajos previos. Las memorias para solicitar financiación de proyectos suelen incluir al menos varias decenas de trabajos.

No obstante, ninguna de las cifras anteriores debe tomarse como un dato certero, puesto que no son más que simples apreciaciones. 

Naturalmente, otra restricción importante, que apunta eventualmente hacia la elevación del número total, es que no podemos dejar fuera ningún estudio que sea clave para la revisión.

Una forma de asegurar a la vez la relevancia de los trabajos seleccionados y de evitar su crecimiento descontrolado es utilizar criterios temporales (p.e. artículos publicados en los últimos años) o definir muy bien el perfil de nuestra revisión,  cosa que podemos hacer mediante los filtros temáticos y de palabras clave de la búsqueda, pero que corresponde también, en parte, al punto siguiente.

Guías publicadas en este sitio sobre el mismo tema:

La fase de evaluación produce el conjunto final de documentos a revisar, analizar y sintetizar. Fuente: elaboración propia.

EVALUACIÓN


Corresponde ahora presentar la fase de Evaluación, que forma una estrecha pareja con la anterior. La racionalidad de la primera era evidente: necesitamos un procedimiento sistemático (recuerden la denominación de esta clase de revisiones bibliográficas) para obtener los documentos sobre los que se harán los análisis.

La fase de evaluación, en cambio, tiene la responsabilidad de asegurar que los documentos recuperados merecen formar parte del banco de documentos final, mediante criterios de inclusión/exclusión,  sobre el cual se procederá a los análisis.

Este merecimiento está basado en dos aspectos:

  • Criterios pragmáticos, o de adecuación de los documentos encontrados a los temas y objetivos de la revisión, ya que pueden haberse producido falsos positivos
  • Criterios de calidad de la investigación, para asegurar que los documentos finalmente seleccionados corresponden a trabajos que han sido llevados a cabo siguiendo procedimientos generalmente admitidos de calidad.

Criterios pragmáticos

Los criterios pragmáticos vendrán definidos por los objetivos y otros aspectos esenciales del trabajo académico para el cual se lleva a cabo la revisión. Los documentos previamente seleccionados se evaluarán en función de estos, determinando si los temas abordados corresponden a los temas de la investigación, o si la metodología corresponde a los objetivos, etc.

Por ejemplo, supongamos una revisión bibliográfica sobre el concepto de espiral del silencio. entonces, los artículos seleccionados que no se hayan centrado en tal concepto, sino que únicamente lo mencionen deberán ser descartados.

Otros criterios pueden referirse a zonas geográficas, por ejemplo, la revisión puede necesitar centrarse en  resultados de investigación que afecten a determinados países, etc.

La fecha de los trabajos revisados puede formar parte de estos criterios, ya que en general se prefieren artículos publicados en los últimos años, por ejemplo, en los últimos 7 u 8  años, incluso en los últimos 5 o 6  años en el caso de ámbitos con mucha producción.

Tabla con criterios de calidad
Tabla original de los criterios de evaluación de la calidad propuestos en el trabajo de Dixon-Woods et al. Fuente: Dixon-Woods et al. 2006.

Criterios de calidad

Los criterios de calidad suelen referirse a la calidad de la investigación y de los resultados que presenta el artículo. El hecho de utilizar como núcleo principal artículos de revistas evaluadas, y bases de datos como Scopus o Web of Science ya implica un primer filtro de calidad muy importante. 

No obstante, el hecho de reclamar que nuestra revisión tenga el adjetivo de sistematizada, nos obliga a considerar la conveniencia de sistematizar la mayor parte, sino todas, las fases que forman nuestra revisión.

Dixon-Woods 2006

Dixon-Woods (2006) proponen un total de 5 criterios en forma de una lista de preguntas que por su amplitud consideramos que puede ser de uso general para aplicar criterios de calidad:

  1. ¿Los propósitos y objetivos de la investigación están claramente establecidos?
  2. ¿El diseño de la investigación está claramente especificado y es apropiado para los fines y objetivos de la investigación?
  3. ¿Los investigadores proporcionan una explicación clara del proceso por el cual obtuvieron los hallazgos que vamos a reproducir?
  4. ¿Los investigadores muestran suficientes datos para respaldar sus interpretaciones y conclusiones?
  5. ¿El método de análisis es apropiado y está adecuadamente explicado?
Fuente: Dixon-Woods et al., 2006

La idea principal, con una lista como la anterior, es que las investigaciones incluidas deberían responder sí a las cinco preguntas ya que todas y cada una de ellas inciden en algún aspecto clave de la validez de la investigación.

CASP

CASP corresponde a las siglas Critical Appraisal Skills Programme. Es parte de un centro de formación y entrenamiento en evaluación sanitaria de Inglaterra denominado Oxford Centre for Triple Value Healthcare (3V).

Los criterios de calidad CASP están formados por una lista de 10 preguntas, estructurados en tres apartados (A, B, C):

A. Are the results of the study valid?
01. Was there a clear statement of the aims of the research?
02. Is a qualitative methodology appropriate?
03. Was the research design appropriate to address the aims of the research?
04. Was the recruitment strategy appropriate to the aims of the research?
05. Was the data collected in a way that addressed the research issue?
06. Has the relationship between researcher and participants been adequately considered?

B. What are the results?
07. Have ethical issues been taken into consideration?
08. Was the data analysis sufficiently rigorous?
9. Is there a clear statement of findings?

C. Will the results help locally?
10. How valuable is the research?

Fuente: CASP Qualitative Checklist

Aunque la lista CASP revela en algún punto concreto su vinculación con temas de salud en los puntos 4 y 6, las preguntas pueden ser válidas para cualquier tipo de investigación cualitativa, simplemente obviando, en el caso de que no intervenga una determinada población humana, las citadas preguntas 4 y 6 o adaptándolas al contexto.

También cabe señalar en relación a las preguntas de la lista CASP que en el formulario que proponen para acompañar la evaluación hay indicadores que ayudan a tomar decisiones, por lo que recomendamos la lectura atenta del documento original en caso de aplicar estos criterios.

Ejemplo de las preguntas y ayudas para la toma de decisiones de la CASP Checklist

Además de los criterios generales anteriores, que parecen válidos para cualquier tipo investigación, a continuación presentamos algunas indicaciones adicionales para el caso de artículos científicos y de monografías y otros.

Artículos

Los dos criterios principales que se pueden aplicar para artículos son los siguientes:

  • ¿El artículo sigue la estructura IMRyC (Introducción, Metodología, Resultados y Conclusiones) o una estructura equivalente con un apartado de introducción donde explique la metodología utilizada y un apartado donde explique  los principales resultados obtenidos?
  • En tal caso, ¿menciona una metodología que es adecuada a los objetivos y los resultados del artículo?

Monografías y otros documentos

Para el caso de libros, el criterio principal consistirá en advertir si la editorial es de tipo académico, es decir, si se trata de una editorial que acostumbra a publicar trabajos de esta índole mediante una evaluación de la calidad de los manuscritos. Algunas exigen, antes de aceptar la publicación, superar un proceso de evaluación muy similar al de los artículos de revista. 

En relación con otros documentos, como informes, working papers (en repositorios), libros blancos, etc., es decir, lo que antes se conocía como literatura gris, el criterio de calidad más importante es la fuente que lo haya publicado, es decir, si se trata de organismos o corporaciones solventes y con autoridad en el ámbito, así como el CV del autor.

Recordemos que, además,  se pueden aplicar los criterios generales que hemos indicado más arriba.

Forma de examen

Naturalmente, la opción ideal sería poder leer los documentos completos para proceder a estos exámenes, pero si hemos preseleccionados muchos documentos, puede ser una tarea que consuma un tiempo excesivo para estas primeras fases.

En este caso, se considera aceptable evaluar los documentos y aplicar los criterios anteriores, pragmáticos y de calidad examinando:

  • Título
  • Resumen
  • Palabras clave

En caso necesario, podemos ampliar el examen atendiendo a:

  • Introducción
  • Resultados
  • Conclusiones

Obviamente, nada nos impide además, utilizar la lectura en diagonal, observando apartados clave y zonas ricas en información como ilustraciones, diagramas, tablas, etc. Finalmente, en algunos casos corresponderá leer el documento completo en cuyo caso, salvo que sea rechazado, aprovecharemos para tomar notas sobre el mismos con destino a las siguientes fases.

Sin evaluación de calidad

A pesar de lo indicado, Booth, Papaionnou y Sutton (2016), en el apartado dedicado a la evaluación de investigaciones cualitativas señalan lo siguiente:

There is considerable debate around the quality assessment of qualitative research as to whether it can, or indeed should, be done.

Se hacen eco así de autores partidarios de no aplicar criterios de exclusión a esta clase de investigaciones por peligros de sesgo.  Aplicar o no la evaluación de la calidad (que no afectaría a los criterios pragmáticos) a los documentos obtenidos quedaría por tanto a criterio de los autores de la revisión. Criterios que, en todo caso, deben estar justificados por el tipo y los objetivos de la investigación.

Nuestra postura es que, si se utilizan fuentes de máxima solvencia, como en el caso de las bases de datos WoS o Scopus, puede ser redundante (y por tanto, innecesario) aplicar, además, evaluaciones de calidad adicionales ya que los artículos en cuestión han tenido que superar típicamente dos evaluaciones para ser publicados. 

Por tanto, la necesidad (o no) de aplicar criterios de calidad se deba relacionar con el tipo de revisión y con el tipo de fuentes utilizadas. Como hemos señalado, si estamos trabajando con artículos publicados en revistas científicas de Scopus o WoS, posiblemente sea innecesario aplicar otros criterios de exclusión que no sean pragmáticos. En otros casos (p.e. informes o lo que antes se denominaba literatura gris) aplicar propuestas como la de Dixon-Woods (2006) parece más que razonable.

Los peligros de subjetividad se pueden reducir considerablemente, en cualquier caso, si la evaluación se lleva a cabo al menos por dos autores. Tanto en el caso de las tesis (autor +director) como en otros casos (memoria de proyectos) es fácil que en la revisión estén implicados varios autores por lo que tampoco debería ser especialmente difícil aplicar intersubjetividad.

Como sea, con los pasos anteriores, llegaremos a constituir el banco de documentos que será objeto de las dos fases siguientes, Análisis y Síntesis, que dejamos para la próxima entrega.

Conclusiones

Hemos presentado las dos fases de una revisión bibliográfica de tipo sistematizada que conducen a la obtención de los documentos (artículos principalmente, pero también capítulos de libro, comunicaciones, informes, etc.) que deberán ser analizados y sintetizados para producir después, típicamente un estado de la cuestión o un estudio de revisión.

Hemos visto los conceptos de grupo óptimo de bases de datos así como un Framework para facetar un proyecto de investigación y del mismo, derivar y combinar palabras clave.

Por último, hemos presentado elementos  para evaluar la calidad de los documentos con criterios de inclusión y exclusión que deben permitir dar forma al banco de documentos final que será objeto de análisis.

Lo que nos muestran estas fases es que es posible llevar a cabo una búsqueda y selección de documentos aplicando criterios y procedimientos característicos de las investigaciones, de modo que todo el proceso merezca la consideración de sistematizado y los resultados tengan las máximas garantías posibles.

Bibliografía

En cada una de las tres partes de esta serie presentamos una bibliografía cuyos componentes se solapan en buena parte, pero reproducimos las partes comunes por facilidad de consulta para el lector. En la entrega final, se unificarán.

  • Alana James E; H. Slater, Tracesea. Writing your Doctoral Dissertation or Thesis Faster. London: Sage, 2014.
  • Bell, Judith ;  Waters, StephenDoing your Research Project: A Guide for first-time Researchers. Berkshire: McGraw Hill, 2014.
  • Blaxter, Loraine; Hugues, Christina ; Tight, MalcolmHow to Research. Berkshire: McGraw Hill, 2010.
  • Boland, Angela; Cherry, M. Gemma; Dickson, RumonaDoing a Systematic Review: A Student’s Guide. London: Sage, 2014.
  • Bloomberg, Linda D.; Volpe,Marie. Completing Your Qualitative Dissertation: A Road Map From Beginning to End. 3r ed. London: Sage Publishing, 2016.
  • Booth, Andrew; Papaionnou; Sutton, AntheaSystematic Approaches to a Successful Literature Review. London: Sage, 2012.
  • Codina, Lluís. “Bases de datos académicas para investigar en Comunicación Social: revisiones sistematizadas, grupo óptimo y protocolo de búsqueda”. Lecciones. Portal de la Comunicación InCom-UAB. Julio 2017. Acceso: http://www.portalcomunicacion.com/lecciones_det.asp?id=96
  • Dixon-Woods, Mary et al. “Conducting a critical interpretive synthesis of the literature on access to healthcare by vulnerable groups”. BMC Medical Research Methodology, July 2006 v. 6, n. 35. https://doi.org/10.1186/1471-2288-6-35
  • Fink, ArleneConducting Research Literature Review. London: Sage, 2014.
  • Gouch, David et alAn Introduction to Systematics Reviews. London: Sage, 2012.
  • Grant, Maria J.; Booth, Andrew. “A typology of reviews: an analysis of 14 review types and
    associated methodologies”. Health Information and Libraries Journal, 26, pp.91–108, 2009.
  • Jesson, Jill K.; Matheson, Lydia; Lacey, Fiona MDoing your Literature Review: Traditional and Systematic Techniques. London: Sage, 2011.
  • Machi, Lawrence A.; McEvoy, Brenda T.The Literature Review: Six Steps to Success. Thousand Oaks, California: Corwin, 2012.
  • Olarte-Mejía, D. V.; Ríos-Osorio, L. “Enfoques y estrategias de responsabilidad social implementadas en Instituciones de Educación Superior. Una revisión sistemática de la literatura científica de los últimos 10 años”. Revista de la Educación Superior. Julio-Septiembre, 2015, pp. 19-40. [http://www.scielo.org.mx/pdf/resu/v44n175/v44n175a2.pdf]
  • Oliver, PaulWriting your Thesis. London: Sage, 2014.
  • Ridley, DianaThe Literature Review. London: Sage, 2012.
  • Rodríguez, Maria Luisa; Llanes, Juan (coords.) Cómo Elaborar, Tutorizar y Evaluar un Trabajo de Fin de Máster. Barcelona:  Agència per a la Qualitat del Sistema Universitari de Catalunya, 2013
  • Sandelowski, Margarete; Barroso, JulieHandbook for Synthesizing Qualitative Research. New York: Springer, 2007 
  • Yin, Robert KQualitative Research from Start to Finish. New Uork: Guilford Press, 2010.
  • Yin, Robert K.  Case Study Research: Design and Methods. London: Sage, 2014.

Otras guías de este sitio


ANEXOS

1. Fase previa en revisiones sistemáticas autocontenidas

Los trabajos de revisión autocontenidos (ya sea que adopten la forma final de artículos de revista, capítulos de libro, monografías, informes, etc.,) se consideran investigaciones en sí mismas. En tal caso, necesitan la fase previa de definición de objetivos, preguntas de investigación, etc.; fase que en el contexto que nos ocupa consideramos que ya se ha llevado a cabo con motivo del trabajo más amplio en el que se inscribirá la revisión.

2. El Framework ReSiste-CHS

Este Framework es, en realidad, un meta-framework, ya que reúne y proporciona un contexto común a otros dos:

  • Framework SALSA
  • Framework FDC

3. Falsos positivos y falsos negativos

Por desgracia, en todo sistema de recuperación tal como las bases de datos académicas, pueden darse tanto falsos positivos como falsos negativos. Y en realidad, la frase pueden darse es un eufemismo. En todo sistema de información suficientemente grande como para no poder ser explorado secuencialmente, se considera seguro que se producirán o bien falsos positivos o bien falsos negativos con toda seguridad. Solo podemos elegir si preferimos exhaustividad, y entonces podemos esperar no tener falsos negativos, pero entonces tendremos inevitablemente falsos positivos, o al revés. La eliminación de ambos, a la vez, se considera imposible (siempre que estemos hablando de fondos de información cuyo examen secuencial queda descartado).

Recordemos que el concepto se entiende así:

  • Falsos positivos: documentos recuperados no relevantes
  • Falsos negativos: documentos relevantes no recuperados

4. Banco de documentos

El concepto de banco de documentos (Yin, 2010) se refiere al hecho de que las revisiones sistematizadas se llevan a cabo sobre un grupo de trabajos bien identificados. De aquí la idea de otorgar un nombre a este grupo de documentos. Otros autores (Booth, Papaionnou y Sutton, 2016, p.e.) lo identifican con el término evidence base.


Descargar las tres entregas de la serie en un informe unificado: