Metrics Toolkit es un utilísimo sitio web cuyo objetivo es hacer compresibles a académicos y evaluadores las diversas métricas que se aplican para medir diferentes aspectos de la actividad investigadora.
Para ello, el sitio describe cada métrica mediante un esquema unificado que ayuda, no solamente a su comprensión, sino a conocer sus limitaciones y los casos en los que resulta adecuados aplicarlos, y en cuáles no.
Metrics Toolkit es una iniciativa de un grupo de documentalistas de bibliotecas universitarias y de investigadores de universidades de EEUU, Europa y América Latina.
Su declaración de objetivos no puede ser más directa: «hemos desarrollado Metrics Toolkit para ayudar a los académicos y evaluadores a comprender y usar citas, métricas web y altmetrics de manera responsable en la evaluación de la investigación».
Esquema de descripción de métricas
Todas las métricas analizadas en el Metrics Toolkit son descritas siguiendo un mismo esquema, que mostramos a continuación, y que incluye campos tan acertados, por su enorme valor crítico como Casos de uso apropiado, Limitaciones, Casos de uso inapropiado y Transparencia.
Además, por supuesto el esquema incluye todos los campos útiles para entender la métrica, como A qué se puede aplicar, Definición, Modo de cálculo, etc.
| Field | Field Description |
| Name | The name of the metric (e.g., h-index) |
| Can apply to | Indication of to what the metric is applied (e.g. an individual researcher, a paper, journal, etc). |
| Metric definition | Narrative definition of what the metric calculates |
| Metric calculation | Mathematical/quantitative definition of the metric (when available) |
| Data sources | Data sources utilized to calculate metric |
| Appropriate use cases | Lists the attention/impact related questions the metric can help address |
| Limitations | Describes the limitations of the metric, as identified in the literature |
| Inappropriate use cases | Describes the attention/impact related questions the metric should not be used to address |
| Available sources | The individuals or organizations that maintain and publish the metric, with links to those sources. |
| Transparency | The ability to access and verify the source data and algorithms for deriving metrics. |
| Website | Link to the metric’s official website, when appropriate |
| Timeframe | Time scope or coverage used in calculating the metric |
| Fuente: Metrics Toolkit | |
La totalidad de las 27 métricas descritas están disponibles desde su página principal:
Además, contiene otras tres páginas complementarias:
- Choose Metrics Consiste en una pequeña utilidad que facilita la selección de métricas en función de tres facetas distintas.
- Use Cases Presenta una lista de recomendaciones generales para el uso de las métricas de una forma responsable, así como algunos enlaces a sitios relacionados-
- Resources Presenta una bibliografía sobre el tema y enlaces a sitios relacionados
Navegación
A continuación, apoyados en capturas de pantalla, presentamos las opciones de navegación y de consulta del Metrics Toolkit.
Conjunto de métricas descritas
Ficha de descripción (vista parcial) de una métrica
Ejemplo de tres de los campos con tratamiento crítico de una métrica (h-index)
Sistema interactivo para seleccionar métricas
Use Cases
Para finalizar este breve recorrido, reproducimos, por su interés, la lista de consejos generales que aparece en la cabecera de la página Use Cases, donde hay también enlaces a algunos casos concretos y a recursos relacionados.
Recomendaciones globales
- Utilice una combinación de evidencia cualitativa y cuantitativa para respaldar sus afirmaciones de influencia, compromiso, uso e impacto.
- Presente datos cuantitativos en contexto y use puntuaciones adecuadamente normalizadas cuando sea posible.
- Cuando compare evidencias cuantitativas, asegúrese de que compara cosas similares. Por ejemplo, es posible que en las métricas de artículos necesite comparaciones con artículos de la misma disciplina, año de publicación y posiblemente idioma. Del mismo modo, si se compara con otro académico, considere elegir a aquellos en la misma etapa de su carrera y que trabajen en instituciones similares.
- Elija métricas que se alineen con los valores de la institución, agencia de financiación u otra organización a la que se presente.
Fuente: Metrics Toolkit (traducción propia)
En conclusión, un utilísimo sitio web que recomendamos a todos los académicos que deseen conocer de forma precisa y crítica a la vez las diversas métricas por las cuales puede ser evaluado su trabajo, y por la misma razón es útil para evaluadores que deben conocer no solamente el alcance, sino también las limitaciones de las herramientas analíticas que utilizan,
Anexo
Enlaces a las métricas más significativas
- Acceso al resto de las 27 métricas: Explore Metrics Toolkit
