Metrics Toolkit: fichas descriptivas para entender las métricas de investigación

Cabecera del sitio Metrics Toolkit

Metrics Toolkit es un utilísimo sitio web cuyo objetivo es hacer compresibles a académicos y evaluadores las diversas métricas que se aplican para medir diferentes aspectos de la actividad investigadora.

Para ello, el sitio describe cada métrica mediante un esquema unificado que ayuda, no solamente a su comprensión, sino a conocer sus limitaciones y los casos en los que resulta adecuados aplicarlos, y en cuáles no.

Metrics Toolkit  es una iniciativa de un grupo de documentalistas de bibliotecas universitarias y de investigadores de universidades de EEUU, Europa y América Latina.

Su declaración de objetivos no puede ser más directa: “hemos desarrollado  Metrics Toolkit para ayudar a los académicos y evaluadores a comprender y usar citas, métricas web y altmetrics de manera responsable en la evaluación de la investigación”.

Cabecera de la ficha descriptiva del Journal Impact Factor mostrando los tres primeros campos

Esquema de descripción de métricas

Todas las métricas analizadas en el Metrics Toolkit son descritas siguiendo un mismo esquema, que mostramos a continuación, y que incluye campos tan acertados, por su enorme valor crítico como Casos de uso apropiado, Limitaciones, Casos de uso inapropiado y Transparencia

Además, por supuesto el esquema incluye todos los campos útiles para entender la métrica, como A qué se puede aplicar, Definición, Modo de cálculo, etc.

FieldField Description
NameThe name of the metric (e.g., h-index)
Can apply toIndication of to what the metric is applied (e.g. an individual researcher, a paper, journal, etc).
Metric definitionNarrative definition of what the metric calculates
Metric calculationMathematical/quantitative definition of the metric (when available)
Data sourcesData sources utilized to calculate metric
Appropriate use casesLists the attention/impact related questions the metric can help address
LimitationsDescribes the limitations of the metric, as identified in the literature
Inappropriate use casesDescribes the attention/impact related questions the metric should not be used to address
Available sources
The individuals or organizations that maintain and publish the metric, with links to those sources.
Transparency
The ability to access and verify the source data and algorithms for deriving metrics.
WebsiteLink to the metric’s official website, when appropriate
TimeframeTime scope or coverage used in calculating the metric
Fuente: Metrics Toolkit

La totalidad de las 27 métricas descritas están disponibles desde su página principal:

Además, contiene otras tres páginas complementarias:

  • Choose Metrics Consiste en una pequeña utilidad que facilita la selección de métricas en función de tres facetas distintas.
  • Use Cases Presenta una lista de recomendaciones generales para el uso de las métricas de una forma responsable, así como algunos enlaces a sitios relacionados-
  • Resources Presenta una bibliografía sobre el tema y enlaces a sitios relacionados

Navegación

A continuación, apoyados en capturas de pantalla, presentamos las opciones de navegación y de consulta del Metrics Toolkit.


Conjunto de métricas descritas

Se puede acceder a la descipción de cada métrica mediante un conjunto de iconos representativos de cada una de ellas

Ficha de descripción (vista parcial) de una métrica

Vista de los primeros campos de descripción de una métrica, en este caso, el h-index, utilizando el esquema que hemos reproducido más arriba.

Ejemplo de tres de los campos con tratamiento crítico de una métrica (h-index)

Tres de los campos de tratamiento crítico de una métrica, en este caso hemos elegido el h-index.

Sistema interactivo para seleccionar métricas

Una pequeña utilidad que permite seleccionar métricas en función de tres facetas: Tipo de Impacto, Objeto de análisis y Disciplina

Use Cases

Para finalizar este breve recorrido, reproducimos, por su interés, la lista de consejos generales que aparece en la cabecera de la página Use Cases, donde hay también enlaces a algunos casos concretos y a recursos relacionados.


Recomendaciones globales

  • Utilice una combinación de evidencia cualitativa y cuantitativa para respaldar sus afirmaciones de influencia, compromiso, uso e impacto.
  • Presente datos cuantitativos en contexto y use puntuaciones adecuadamente normalizadas cuando sea posible.
  • Cuando compare evidencias cuantitativas, asegúrese de que compara cosas similares. Por ejemplo, es posible que en las métricas de artículos necesite comparaciones con artículos de la misma disciplina, año de publicación y posiblemente idioma. Del mismo modo, si se compara con otro académico, considere elegir a aquellos en la misma etapa de su carrera y que trabajen en instituciones similares.
  • Elija métricas que se alineen con los valores de la institución, agencia de financiación u otra organización a la que se presente.

Fuente: Metrics Toolkit (traducción propia)


En conclusión, un utilísimo sitio web que recomendamos a todos los académicos que deseen conocer de forma precisa y crítica a la vez las diversas métricas por las cuales puede ser evaluado su trabajo, y por la misma razón es útil para evaluadores que deben conocer no solamente el alcance, sino también las limitaciones de las herramientas analíticas que utilizan,

Anexo
Enlaces a las métricas más significativas