Revisiones sistematizadas para trabajos académicos · Fases de Búsqueda y Evaluación

La Búsqueda y Evaluación son las dos primeras fases de una revisión bibliográfica sistematizada.

Edición Noviembre 2019

En el  enfoque que aplicamos aquí, esta revisión puede estar destinada a apoyar, mediante un estado de la cuestión o un marco teórico:

• una tesis de máster,
• una tesis de doctorado, o
• una memoria para solicitar financiación de proyectos de investigación (p.e. de planes estatales de agencias gubernamentales o de programas similares de otros organismos).

No obstante, todo lo que mostraremos se puede extrapolar fácilmente al menos para otros otros dos casos paradigmáticos, en concreto, para:

• un artículo científico, aportando los antecedentes del mismo, o
• un trabajo de revisión, en cuyo caso se trata de una investigación por méritos propios (ver anexo).

Como sea, estas dos fases, Búsqueda y Evaluación, forman parte del Framework ReSiste-CHS que fue presentado en un artículo anterior que puede consultarse aquí. 

El mencionado framework se apoya a su vez en el marco denominado SALSA, según el cual, las cuatro fases de una revisión sistemática son las siguientes:

• Search
• AppraisaL
• Analysis
• Synthesis

En este trabajo, nos ocupamos de las dos primeras: Search y Appraisal, que traducimos como Búsqueda y Evaluación.

Objetivo

Las fases de Búsqueda y Evaluación son las responsables de proveer el banco de documentos final (o base de la evidencia) sobre el cual se aplicarán las otras dos fases de una revisión sistematizada que ya hemos mencionado, a saber, Análisis y Síntesis.

Por último, debemos señalar que adoptamos como marco de trabajo preferente, sobre todo para referirnos a casos y ejemplos concretos, el ámbito de los estudios en Comunicación Social. No obstante, consideramos que todo lo indicado aquí es extrapolable a otros ámbitos de las Ciencias Humanas y Sociales.

Como sea, corresponde pasar a examinar los dos apartados que nos ocupan en esta entrega.

BÚSQUEDA

Objetivo

El objetivo de la fase de búsqueda es proporcionar el primer grupo de ítems (artículos, comunicaciones, capítulos de libro, monografías, etc.) que serán candidatos a formar parte del banco de documentos denominado o base de la evidencia.

Fuentes

Salvo circunstancias especiales, la fuente privilegiada de las revisiones sistemáticas son los artículos publicados en revistas científicas evaluadas, ya que constituyen, en general, la forma preferente (y más fiable, precisamente por ser evaluados) de comunicar los avances de una disciplina científica, sus principales controversias y frentes abiertos, etc..

Ahora bien, siempre es importante expresar algunas cautelas elementales en el ámbito de las Ciencias Humanas y Sociales. Es perfectamente posible que, en algunos ámbitos concretos, en especial en algunas ramas de las Humanidades, los libros, así como los capítulos de libro tengan una gran importancia. En otras disciplinas este papel lo pueden tener las comunicaciones en congresos, etc. Por tanto, debe ser el contexto de cada revisión el que aconseje cómo modular el tipo de fuentes a utilizar.

También es posible que en otros ámbitos, como en el terreno de las innovaciones en ciertos sectores, por ejemplo, en las redes sociales o la web móvil, por mencionar ejemplos cercanos a nuestro ámbito, sean relevantes los estudios (reports, libros blancos, etc.) publicados por agentes importantes del sector o por centros de I+D+i, etc.

No obstante, mientras algunas fuentes pueden formar parte, o pueden no formar parte, de una revisión bibliográfica, los artículos científicos se consideran imprescindibles en casi cualquier revisión bibliográfica estándar.

Por otro lado, son la fuente más difícil de manejar, puesto que se publican regularmente tantos artículos sobre casi cualquier disciplina que se considera que es imposible que un investigador pueda leerlos todos incluso si dedicase el 100 por 100 de su tiempo solamente a esto.

Bases de datos

Por tanto, dada la imposibilidad de examinar toda la producción científica, incluso de una sola disciplina, por la gran cantidad de revistas académicas de todo el mundo, hace tiempo que se considera que son las bases de datos, en realidad, la fuente que debe utilizarse para planificar una revisión bibliográfica.

A partir de aquí, el uso de bases de datos para revisiones bibliográficas sistematizadas presenta dos interrogantes:

• ¿Qué bases de datos debemos utilizar?
• ¿Cómo debemos planificar nuestra búsqueda en las bases de datos seleccionadas?

Vamos a dar respuesta a estas dos preguntas en lo que sigue.

¿Qué bases de datos debemos utilizar?: el concepto de grupo óptimo de bases de datos

Dado que, probablemente, no existe LA base de datos óptima, nosotros proponemos en su lugar, el concepto de grupo óptimo de base de datos.

Como ya hemos señalado, pero es muy importante repetir aquí, tomamos como contexto general la investigación en Comunicación Social para considerar las bases de datos candidatas en las que llevar a cabo la fase de búsqueda en una revisión sistematizada. Para otras disciplinas, deber llevarse a cabo la extrapolación correspondiente.

Para identificar este denominado grupo óptimo, hemos partido del análisis del conjunto de bases de datos que son accesibles en el sistema universitario español que, según nuestras estimaciones, corresponde con lo que podemos considerar el estándar internacional.

Después de la revisión de la cobertura temática de tales bases de datos atendiendo a la descripción que presentan de sus propias colecciones, hemos llegado a la propuesta pragmática de cuáles son las mejores candidatas para formar parte de tales bases de datos.

Nos hemos guiado también por la experiencia de los últimos cinco años de impartición de una asignatura tipo taller, de utilización de bases de datos en un Máster en el que los estudiantes deben identificar las mejores bases para sus proyectos de investigación.

Por último, antes de presentar la lista de bases de datos candidatas a formar el grupo óptimo, una explicación de cómo hemos llegado a este concepto.

La idea parte de la siguiente consideración: en el caso de la comunicación social (a diferencia, por ejemplo, de la Medicina o de la Física) no disponemos de la base de datos óptima (en Medicina probablemente es Medline, en Jurisprudencia, Aranzadi, etc.).

El caso de Comunicación Social

En su lugar lo máximo que tenemos en el caso de la investigación en Comunicación Social es un grupo óptimo (no una base de datos óptima).

¿Qué bases de datos pueden formar parte de tal grupo? Aquí debemos diferenciar dos subgrupos:

• El de las bases de datos multidisciplinares con un papel legitimador de la ciencia especial. Es el caso de Web of Science y de Scopus a nivel internacional, y de las bases de datos del CSIC y de Dialnet Plus en España.
• El de las bases especializadas en Ciencias Humanas y Sociales o multidisciplinares pero con amplia cobertura en Comunicación Social y en Ciencias Humanas y Sociales. Es el caso de Communication and Humanities Source o International Bibliography of Art.

El concepto de grupo óptimo es variable y dinámico. La propuesta que presentamos aquí corresponde al mapeo de bases de datos académicas disponibles en el sistema universitario español en 2018. No es previsible que cambie radicalmente (en realidad, ni mucho ni poco) en los próximos años, pero podría suceder.

Además, utilizamos el background de proyectos de investigación que deben dar sustento a trabajos de final de máster o a tesis doctorales en los que el componente principal es la Comunicación Social. Para otra clase de investigaciones, o donde la Comunicación Social no sea más que uno de los componentes, los miembros del SubGrupo específico deben revisarse.

En el momento de llevar a cabo este trabajo (ya hemos dicho que nuevas bases de datos pueden añadirse en el futuro) el grupo óptimo de bases de datos académicas para investigar en Comunicación Social tenía esta composición:

SubGrupo generalista

• Scopus
• Web of Science
• Google Scholar
• Microsoft Academic

En el caso de España es recomendable utilizar:

• Dialnet Plus
• Bases de datos del CSIC

SubGrupo específico: bases de datos especializadas o con colecciones significativas de Humanidades, Ciencias Sociales  y Comunicación

• Communication and Humanities Source
• International Bibliography of Art
• Project MUSE
• Sage Journals
• Taylor and Francis Online
• Wiley Online Library

Para que no haya malentendidos: el concepto de grupo óptimo no excluye otras bases de datos. Las bases de datos sobre Ciencias Económicas y Empresariales, Psicología, Derecho, etc., pueden aportar resultados en investigaciones que tengan alguno de estos componentes de forma destacada.

La consulta de una buena guía de bases de datos, como las que suelen ofrecer las mejores bibliotecas universitarias será necesaria para investigadores en tales áreas. En este trabajo, nos centramos en las investigaciones en Comunicación Social y por eso nos enfocamos en las bases de datos señaladas.

Cuántas bases de datos debemos utilizar

A partir de lo anterior, nos podemos preguntar cuántas bases de datos debemos utilizar. Cada proyecto es único, y la respuesta procede por tanto de cada proyecto. Necesitaremos justamente aquellas bases de datos que aporten resultados relevantes a nuestra investigación.

Sin embargo, en caso de necesitar algo parecido a una recomendación general, nosotros entendemos que la siguiente aproximación puede servir como regla general:

• Utilizar siempre Scopus + Web of Science del grupo general, así como Dialnet Plus y las bases de datos del CSIC si la investigación se va a presentar en un universidad española.
• Hacer pruebas con las seis bases de datos del subgrupo específico y seleccionar las dos que proporcionen mejores resultados a partir de las ecuaciones de búsqueda de la investigación (ver siguiente apartado).
• Como precaución añadida, consultar Google Scholar para identificar trabajos académicos relevantes que se puedan haber publicado como work in progress, libro blanco, reports, etc.
• Cualquier otra fuente que se adecue al tipo de investigación, por ejemplo, una base de datos de Economía si la investigación tiene un fuerte componente en este aspecto. Para ello, deberá consultar las guías temáticas de la biblioteca de su universidad.

 Palabras clave y ecuaciones de búsqueda

En este apartado, y dado que el Framework ReSiste-SHC es en realidad un meta-framework, ya que está compuesto (a la frankeinsteniana manera, pero esperamos con mejores resultados) por otros, presentamos el Framework FDC para asegurar  la eficacia de este componente de la fase de Búsqueda.

Las siglas FDC responden a las tres fases recomendadas por este procedimiento para planificar una búsqueda:

• Facetar
• Derivar
• Combinar

Como las siglas que dan nombre a nuestro Framework corresponde a tres fases sucesivas (que pueden ser reiteradas en caso necesario), también se pueden representar así:

Tabla 1: Los componentes del Framework FDC

La F de Facetas

Para estar seguro de que no obviamos ningún aspecto clave de nuestra investigación, necesitamos considerar una serie de facetas, cada una de las cuales nos proporcionará la manera de derivar un conjunto de palabras clave. ¿De dónde hemos obtenido estas facetas?

Corresponden al examen de las siguientes clases de documentos y fuentes con los que, por otro lado, debe habituarse un investigador:

• Los componentes de un proyecto de investigación característico, como los que deben presentarse para optar a un proyecto financiado competitivo.
• Las partes en las que se recomienda articular la rubrica de evaluación de un proyecto de final de máster (ver por ejemplo, el de la Agencia para la Calidad del Sistema Universitario de Cataluña).
• Las partes en las que se recomienda articular un proyecto de tesis doctoral para su aprobación en la mayor parte de los programas de doctorado.
• Los componentes de una investigación según la mayoría de tratados académicos sobre el tema (ver bibliografía al final).
• La propia praxis habitual de comunicación de resultados científicos en los apartados de Introducción y Conclusiones (ver bibliografía al final).

Como sea, en nuestra propuesta procedimental, los componentes de estas facetas son los que indica la tabla siguiente.

Tabla 2: Matriz de Facetas para caracterizar un proyecto de investigación

Al utilizar una matriz como la anterior nos estamos asegurando de disponer del conjunto de palabras clave que nos permitirá encontrar la mejor producción científica previa a nuestra investigación.

Sin esta matriz podríamos fácilmente centrarnos “solo” en el objeto de estudio, y perder, por ejemplo, buenos trabajos anteriores sobre la metodología que queremos utilizar. Esta pérdida podría jugar un papel negativo clave en nuestra investigación si, por ejemplo, existieran antecedentes de un uso determinado muy importante y alguien que evalúe nuestro trabajo considera que hemos sido negligentes al ignorar esos antecedentes.

Naturalmente, no hace falta utilizar todas las facetas en todas las investigaciones. Al contrario, algunas facetas pueden no tener sentido en según qué investigaciones. La función de la tabla es servir de elemento de chequeo que nos ayuda a ser sistemáticos. 

La D para Derivar Palabras Clave

Si tratamos de caracterizar nuestro proyecto de investigación con la Tabla 2, obtendremos algo como lo que mostramos a continuación.

Ejemplo: sea una revisión sistemática sobre interactividad en cibermedios (medios de comunicación digitales o en la web). La Matriz de Facetas/Palabras Clave resultante podría ser la siguiente:

Tabla 3. Ejemplo de aplicación de la matriz de facetas a un proyecto concreto

Como observación importante, resaltar que en esta tabla utilizamos la lengua de trabajo de la investigación (hemos supuesto que en este caso es el castellano). Por tanto, necesitaremos también obtener las palabras clave equivalentes en inglés (lengua de trabajo de las bases de datos internacionales), cosa que no siempre es fácil, por cierto, ya que no suele haber una correspondencia directa entre términos especializados.

Por ejemplo, no es posible traducir cibermedios como cibermediums, o periodismo electrónica por electronic press, etc., en su lugar, los candidatos más razonables serían news digital media,  online journalism, etc., lo que implica que habrá que llevar a cabo una labor de chequeo para estar seguro de la terminología equivalente.

La C para Combinar Palabras Clave

La última parte de este procedimiento consiste en combinar grupos de palabras clave mediante operadores booleanos para disponer de ecuaciones de búsqueda con las cuales llevar a cabo la exploración en las bases de datos. La lógica con la que combinaremos palabras clave vendrá determinada por la naturaleza relacional de tales palabras.

Por ejemplo, con palabras clave que sean sinónimas reales o funcionales (como la pareja televisión, audiovisual) las combinaremos mediante un OR booleano, mientras que las que representen conceptos diferenciados pero con capacidad para cruzarse para formar temáticas sintéticas (como periodismo, interactividad), las combinaremos con un AND booleano. Finalmente, cuando queramos excluir artículos basándonos en algún concepto no deseado, como en el caso de desear encontrar artículos sobre interactividad, pero siempre que no traten sobre juegos, usaremos NOT.

Además, deberemos considerar el uso de búsquedas parametrizadas, casi seguro (y como mínimo), para establecer rangos de fechas. Por ejemplo, probablemente nos interesará encontrar artículos publicados en los últimos 6 años. Otra parametrización habitual puede consistir, para evitar ruido, en restringir los resultados a un grupo de campos (título, resumen y palabras clave, típicamente).

Ejemplo de una de las posibles ecuaciones (en pseudocódigo, sin incluir parametrización y suponiendo una base de datos con la lengua de trabajo en castellano):

Cuántas ecuaciones como la anterior necesitaremos es una cuestión que solo podemos responder mediante ensayo y error. En esta fase del framework no hay recetas fijas (o si las hay, nosotros las desconocemos). Es cuestión de empezar con una ecuación más o menos ambiciosa como la que hemos usado de ejemplos y examinar y valorar la calidad de los resultados.

Solamente del resultado de tal inspección podremos deducir si hemos estado afortunados con nuestra elección de palabras clave y de operadores o bien hemos de proceder a su revisión y modificación.

Documentar el procedimiento

El resultado final del uso de este procedimiento será un conjunto de ecuaciones y la lista de bases de datos que hemos utilizado finalmente para constituir nuestro banco de artículos.

Para documentar el proceso, podemos añadir anexos a nuestro trabajo académico con la información detallada de las ecuaciones y las bases de datos utilizadas, información que podemos proporcionar mediante tablas. Otra posibilidad, en el caso de artículos de revisión es dedicar uno o más párrafos del apartado de metodología para dar cuenta de esta información.

Uso de gestores de referencias bibliográficas

Resulta conveniente utilizar en todo el proceso un gestor de referencias bibliográfico. La mayoría, o todos, incluyen funciones que resultarán de enorme valor en todo el proceso:

• Pueden importar referencias directamente (y selectivamente) de las principales bases de datos u, opcionalmente, de ficheros de importación con formatos internacionalmente aceptados.
• Permiten crear carpetas para mantener grupos diferenciados de referencias.
• Permiten asignar etiquetas (tags) a cada referencia.
• Se integran con los principales editores de textos para facilitar después su integración en la redacción final del trabajo.

Dos de los más utilizados de tipo gratuito son:

• Mendeley
• Zotero

Además, hay otros dos, de pago, muy utilizados:

• RefWorks
• EndNote

¿Cuantos documentos necesitamos?

No hay un número a priori de documentos necesarios para una revisión sistematizada. Depende de diversos factores y uno es la producción total de documentos que genera el ámbito de trabajo pero otro también los recursos disponibles para llevar a cabo la revisión, entre ellos, el tiempo.

Los trabajos de revisión para trabajos de final de máster suelen requerir al menos unas pocas decenas, tal vez entre 15 y 30 documentos. Para tesis doctorales, entre 50 y 100. En artículos de revistas científicas, se suelen citar entre 10 y 20 trabajos previos. Las memorias para solicitar financiación de proyectos suelen incluir al menos varias decenas de trabajos.

No obstante, ninguna de las cifras anteriores debe tomarse como un dato certero, puesto que no son más que simples apreciaciones. 

Naturalmente, otra restricción importante, que apunta eventualmente hacia la elevación del número total, es que no podemos dejar fuera ningún estudio que sea clave para la revisión.

Una forma de asegurar a la vez la relevancia de los trabajos seleccionados y de evitar su crecimiento descontrolado es utilizar criterios temporales (p.e. artículos publicados en los últimos años) o definir muy bien el perfil de nuestra revisión,  cosa que podemos hacer mediante los filtros temáticos y de palabras clave de la búsqueda, pero que corresponde también, en parte, al punto siguiente.

EVALUACIÓN

Corresponde ahora presentar la fase de Evaluación, que forma una estrecha pareja con la anterior. La racionalidad de la primera era evidente: necesitamos un procedimiento sistemático (recuerden la denominación de esta clase de revisiones bibliográficas) para obtener los documentos sobre los que se harán los análisis.

La fase de evaluación, en cambio, tiene la responsabilidad de asegurar que los documentos recuperados merecen formar parte del banco de documentos final, mediante criterios de inclusión/exclusión,  sobre el cual se procederá a los análisis.

Este merecimiento está basado en dos aspectos:

• Criterios pragmáticos, o de adecuación de los documentos encontrados a los temas y objetivos de la revisión, ya que pueden haberse producido falsos positivos
• Criterios de calidad de la investigación, para asegurar que los documentos finalmente seleccionados corresponden a trabajos que han sido llevados a cabo siguiendo procedimientos generalmente admitidos de calidad.

Criterios pragmáticos

Los criterios pragmáticos vendrán definidos por los objetivos y otros aspectos esenciales del trabajo académico para el cual se lleva a cabo la revisión. Los documentos previamente seleccionados se evaluarán en función de estos, determinando si los temas abordados corresponden a los temas de la investigación, o si la metodología corresponde a los objetivos, etc.

Por ejemplo, supongamos una revisión bibliográfica sobre el concepto de espiral del silencio. entonces, los artículos seleccionados que no se hayan centrado en tal concepto, sino que únicamente lo mencionen deberán ser descartados.

Otros criterios pueden referirse a zonas geográficas, por ejemplo, la revisión puede necesitar centrarse en  resultados de investigación que afecten a determinados países, etc.

La fecha de los trabajos revisados puede formar parte de estos criterios, ya que en general se prefieren artículos publicados en los últimos años, por ejemplo, en los últimos 7 u 8  años, incluso en los últimos 5 o 6  años en el caso de ámbitos con mucha producción.

Criterios de calidad

Los criterios de calidad suelen referirse a la calidad de la investigación y de los resultados que presenta el artículo. El hecho de utilizar como núcleo principal artículos de revistas evaluadas, y bases de datos como Scopus o Web of Science ya implica un primer filtro de calidad muy importante. 

No obstante, el hecho de reclamar que nuestra revisión tenga el adjetivo de sistematizada, nos obliga a considerar la conveniencia de sistematizar la mayor parte, sino todas, las fases que forman nuestra revisión.

Dixon-Woods 2006

Dixon-Woods (2006) proponen un total de 5 criterios en forma de una lista de preguntas que por su amplitud consideramos que puede ser de uso general para aplicar criterios de calidad:

La idea principal, con una lista como la anterior, es que las investigaciones incluidas deberían responder sí a las cinco preguntas ya que todas y cada una de ellas inciden en algún aspecto clave de la validez de la investigación.

CASP

CASP corresponde a las siglas Critical Appraisal Skills Programme. Es parte de un centro de formación y entrenamiento en evaluación sanitaria de Inglaterra denominado Oxford Centre for Triple Value Healthcare (3V).

Los criterios de calidad CASP están formados por una lista de 10 preguntas, estructurados en tres apartados (A, B, C):

Aunque la lista CASP revela en algún punto concreto su vinculación con temas de salud en los puntos 4 y 6, las preguntas pueden ser válidas para cualquier tipo de investigación cualitativa, simplemente obviando, en el caso de que no intervenga una determinada población humana, las citadas preguntas 4 y 6 o adaptándolas al contexto.

También cabe señalar en relación a las preguntas de la lista CASP que en el formulario que proponen para acompañar la evaluación hay indicadores que ayudan a tomar decisiones, por lo que recomendamos la lectura atenta del documento original en caso de aplicar estos criterios.

Además de los criterios generales anteriores, que parecen válidos para cualquier tipo investigación, a continuación presentamos algunas indicaciones adicionales para el caso de artículos científicos y de monografías y otros.

Artículos

Los dos criterios principales que se pueden aplicar para artículos son los siguientes:

• ¿El artículo sigue la estructura IMRyC (Introducción, Metodología, Resultados y Conclusiones) o una estructura equivalente con un apartado de introducción donde explique la metodología utilizada y un apartado donde explique  los principales resultados obtenidos?
• En tal caso, ¿menciona una metodología que es adecuada a los objetivos y los resultados del artículo?

Monografías y otros documentos

Para el caso de libros, el criterio principal consistirá en advertir si la editorial es de tipo académico, es decir, si se trata de una editorial que acostumbra a publicar trabajos de esta índole mediante una evaluación de la calidad de los manuscritos. Algunas exigen, antes de aceptar la publicación, superar un proceso de evaluación muy similar al de los artículos de revista. 

En relación con otros documentos, como informes, working papers (en repositorios), libros blancos, etc., es decir, lo que antes se conocía como literatura gris, el criterio de calidad más importante es la fuente que lo haya publicado, es decir, si se trata de organismos o corporaciones solventes y con autoridad en el ámbito, así como el CV del autor.

Recordemos que, además,  se pueden aplicar los criterios generales que hemos indicado más arriba.

Forma de examen

Naturalmente, la opción ideal sería poder leer los documentos completos para proceder a estos exámenes, pero si hemos preseleccionados muchos documentos, puede ser una tarea que consuma un tiempo excesivo para estas primeras fases.

En este caso, se considera aceptable evaluar los documentos y aplicar los criterios anteriores, pragmáticos y de calidad examinando:

• Título
• Resumen
• Palabras clave

En caso necesario, podemos ampliar el examen atendiendo a:

• Introducción
• Resultados
• Conclusiones

Obviamente, nada nos impide además, utilizar la lectura en diagonal, observando apartados clave y zonas ricas en información como ilustraciones, diagramas, tablas, etc. Finalmente, en algunos casos corresponderá leer el documento completo en cuyo caso, salvo que sea rechazado, aprovecharemos para tomar notas sobre el mismos con destino a las siguientes fases.

¿Sin evaluación de calidad?

A pesar de lo indicado, Booth, Papaionnou y Sutton (2016), en el apartado dedicado a la evaluación en el caso de investigaciones cualitativas señalan lo siguiente:

There is considerable debate around the quality assessment of qualitative research as to whether it can, or indeed should, be done.

Se hacen eco así de algunas corrientes partidarias de no aplicar criterios de exclusión a las investigaciones cualitativas por supuestas dificultades de una aplicación libre de prejuicios heredados de las investigaciones cuantitativas.  En concreto, según esta idea, los criterios pragmáticos de exclusión/inclusión (alcance de la investigación, p.e.) siempre se deben aplicar.

En cambio, la evaluación de la supuesta calidad intrínseca de la investigación quedaría a a la consideración de los autores de la revisión, según los objetivos de la misma. Por ejemplo, es posible que tales objetivos consistan en conocer las tendencias entre los investigadores en un ámbito, lo que haría imprescindible tener un criterio muy amplio. En todo caso, si se opta por no excluir trabajos en base a una evaluación de su calidad, esta decisión deben estar justificada por el tipo y los objetivos de la investigación y siempre debe ser transparente.

Tipos de fuentes

Lo cierto es que, si se utilizan fuentes de gran solvencia, como en el caso de las bases de datos WoS o Scopus, puede ser, en parte, redundante aplicar, además, evaluaciones de calidad adicionales ya que los artículos en cuestión han tenido que superar típicamente varias evaluaciones independientes para ser publicados. 

Por tanto, la necesidad (o no) de aplicar criterios de calidad se deba relacionar con el tipo de revisión, pero también y con el tipo de fuentes utilizadas. Como hemos señalado, si estamos trabajando con artículos publicados en revistas científicas de Scopus o WoS, posiblemente sea innecesario aplicar otros criterios de exclusión que no sean pragmáticos.

En otros casos, su usamos, p.e., informes que no han pasado evaluaciones previas, aunque los hayan publicado organismos de prestigio, o utilizamos lo que antes se denominaba literatura gris, aplicar propuestas de evaluación de la calidad, como la de Dixon-Woods (2006) parece necesario.

Subjetividad

Los peligros de subjetividad en la evaluación se pueden reducir considerablemente, en cualquier caso, si la misma se lleva a cabo al menos por dos autores. Tanto en el caso de las tesis (donde ya tenemos la pareja autor + director) como en otros casos (memoria de proyectos) es fácil que en la revisión estén implicados varios autores por lo que no debería ser especialmente difícil aplicar la intersubjetividad.

Como sea, con los pasos anteriores, llegaremos a constituir el banco de documentos que será objeto de las dos fases siguientes, Análisis y Síntesis, que dejamos para la próxima entrega.

Conclusiones

Hemos presentado las dos fases de una revisión bibliográfica de tipo sistematizada que conducen a la obtención de los documentos (artículos principalmente, pero también capítulos de libro, comunicaciones, informes, etc.) que deberán ser analizados y sintetizados para producir después, típicamente un estado de la cuestión o un estudio de revisión.

Hemos visto los conceptos de grupo óptimo de bases de datos así como un Framework para facetar un proyecto de investigación y del mismo, derivar y combinar palabras clave.

Por último, hemos presentado elementos  para evaluar la calidad de los documentos con criterios de inclusión y exclusión que deben permitir dar forma al banco de documentos final que será objeto de análisis.

Lo que nos muestran estas fases es que es posible llevar a cabo una búsqueda y selección de documentos aplicando criterios y procedimientos característicos de las investigaciones, de modo que todo el proceso merezca la consideración de sistematizado y los resultados tengan las máximas garantías posibles.

Bibliografía

En cada una de las tres partes de esta serie presentamos una bibliografía cuyos componentes se solapan en buena parte, pero reproducimos en cada entrega la bibliografía para facilidad del lector.

• Boland, Angela; Cherry, M. Gemma; Dickson, Rumona. Doing a Systematic Review: A Student’s Guide. London: Sage, 2014.
• Booth, Andrew; Sutton, Anthea; Papaioannou, Diana. Systematic Approaches to a Successful Literature Review. London: Sage, 2016
• Codina, Lluís. Revisiones bibliográficas sistematizadas: procedimientos generales y Framework para ciencias humanas y sociales. Barcelona: Universitat Pompeu Fabra, Departamento de Comunicación, Máster Universitario en Comunicación Social; 2018. 87 p. https://repositori.upf.edu/bitstream/handle/10230/34497/Codina_revisiones.pdf
• Cooper, Harris. Research Synthesis and Meta-Analysis: A Step-by-Step Approach. London: Sage, 2016.
• Dixon-Woods, Mary et al. “Conducting a critical interpretive synthesis of the literature on access to healthcare by vulnerable groups”. BMC Medical Research Methodology, July 2006 v. 6, n. 35. https://doi.org/10.1186/1471-2288-6-35
• Fink, Arlene. Conducting Research Literature Reviews: From the Internet to Paper: London: Sage, 2014.
• Gough, David; Oliver, Sandy; Thomas, James. An Introduction to Systematics Reviews. London: Sage, 2012.
• Harris, Robert. Using Sources Effectively: Strengthening your writing and avoiding plagiarism. New York: Routledge, 2017
• Hart, Christopher. Doing a Literature Review: Releasing the Social Science Research Imagination. London: Sage, 2008.
• Jesson, Jill K.; Matheson, Lydia; Lacey, Fiona M. Doing your Literature Review: Traditional and Systematic Techniques. London: Sage, 2011.
• Machi, Lawrence A.; McEvoy, Brenda T.. The Literature Review: Six Steps to Success. Thousand Oaks, California: Corwin, 2012.
• Major, Claire H.; Savin-Baden, Maggi. An introduction to Qualitative Research Synthesis: Managing the Information Explosion in Social Science Research. New York: Routledge, 2010.
• Noblit, George; Hare, Dwight R. Meta-Ethnography: Synthesizing Qualitative Studies. London: Sage, 1988.
• Pan, M. Ling. Preparing Literature Reviews: Qualitative and Quantitative Approaches. London: Routledge, 2017.
• Petticrew, Mark; Roberts, Helen. Systematic Reviews in the Social Sciences: A Practical Guide. Oxford: Blackwell, 2006.
• Ridley, Diana. The Literature Review: A Step-by-Step Guide for Students. London: Sage, 2012.
• Sandelowski, Margarete; Barroso; Julie. Handbook for Synthesizing Qualitative Research. New York:  Springer, 2007.
• Shkedi, Asher. Qualitative Data Analysis. Tel Aviv: Contento De Semrik, 2014.
• Yin, Robert K. Qualitative Research from Start to Finish. New Uork: Guilford Press, 2010.

Otras guías de este sitio

• Bases de datos
• Buscadores académicos
• Ecuaciones de búsqueda
• Investigaciones cualitativas

ANEXOS

1. Trabajos de revisión

Los trabajos de revisión (ya sea que adopten la forma de artículos de revista, capítulos de libro, monografías, informes, etc.,) se consideran investigaciones en sí mismas. La razón es que se basan en una toma de datos (el banco de documentos o base de la evidencia), guiada por una metodología transparente y replicable (las revisiones sistematizadas). Esto es, tenemos así las dos condiciones identificadoras de cualquier investigación que merezca este nombre.

En tal caso, necesitan la fase previa de definición de objetivos, preguntas de investigación, etc., como en cualquier otra investigación; fase que en el contexto que nos ocupa consideramos que ya se ha llevado a cabo con motivo del trabajo más amplio en el que se inscribirá la revisión.

2. El Framework ReSiste-CHS

Este Framework es, en realidad, un meta-framework, ya que reúne y proporciona un desarrollo, así como un contexto común a otros dos:

• Framework SALSA: del que toma las fases
• Framework FDC: que aporta la preparación inicial para las fases de Búsqueda y Evaluación

Lo que aporta entonces el Framework ReSiste-CHS es el desarrollo completo e integrado, adaptado a las Ciencias Sociales y Humanas, del framework SALSA, que enuncia las fases, pero no las desarrolla.

3. Falsos positivos y falsos negativos

Por desgracia, en todo sistema de recuperación tal como las bases de datos académicas, pueden darse tanto falsos positivos como falsos negativos. Y en realidad, la frase pueden darse es un eufemismo.

En todo sistema de información suficientemente grande como para no poder ser explorado secuencialmente, se considera seguro que se producirán o bien falsos positivos o bien falsos negativos con toda seguridad.

Solo podemos elegir si preferimos exhaustividad, y entonces podemos esperar no tener falsos negativos, pero entonces tendremos inevitablemente falsos positivos, o al revés. La eliminación de ambos, a la vez, se considera imposible (siempre que estemos hablando de fondos de información cuyo examen secuencial queda descartado).

Recordemos que el concepto se entiende así:

• Falsos positivos: documentos recuperados, pero que no relevantes
• Falsos negativos: documentos relevantes, pero que no han sido recuperados

4. Banco de documentos o base de la evidencia

El concepto de banco de documentos (Yin, 2010) se refiere al hecho de que las revisiones sistematizadas se llevan a cabo sobre un grupo de trabajos bien identificados. Este conjunto, procede de las fases de búsqueda y evaluación.

Nosotros tomamos el término de Yin por conveniencia, a fin de disponer de una denominación fácil de identificar. Otros autores (Booth, Papaionnou y Sutton, 2016, p.e.) lo identifican con el término base de la evidencia (evidence base), muy potente por su significado pero fácil de confundir.

Descargar las tres entregas de la serie en un informe unificado:

• Informe en pdf
• Ficha del informe en el eRepositorio de la UPF