¿Quién habla de qué en EUnetHTA?

3 May
Marta Millaret

AQuAS está analizando las actividades de diseminación del proyecto EUnetHTA, Joint Action europea integrada por 81 organizaciones de 29 países y coordinada desde el Zorginstituut Nederland de Holanda. Se trata de la red europea de evaluación de tecnologías sanitarias.

La evaluación, como comentaba Emmanuel Giménez en este post, “puede ayudar directamente a la práctica, a la gestión y a la sostenibilidad de los diferentes sistemas de salud” al facilitar el mejor conocimiento disponible para la toma de decisiones en diferentes niveles.

Justamente sobre este tema, recientemente se ha publicado una propuesta de regulación sobre evaluación de fármacos y productos sanitarios en el marco de la Comisión Europea, que se está debatiendo y perfilando para su puesta en funcionamiento.

El objetivo del proyecto EUnetHTA es facilitar la cooperación entre diferentes instituciones en el ámbito de la evaluación de tecnologías sanitarias para aprovechar conocimiento experto y útil para los sistemas sanitarios y, por tanto, con potenciales beneficios para la salud de la ciudadanía. Se trata de generar conocimiento de calidad utilizando metodologías comunes de una forma sistemática y transparente, y se trata de hacerlo trabajando colaborativamente y evitando duplicidades.

AQuAS tiene una fuerte participación en diferentes grupos de trabajo del proyecto (evaluación, implementación, generación de evidencia, diseminación) y hoy pondremos el foco en el grupo de diseminación, liderado por Iñaki Imaz del Instituto de Salud Carlos III de Madrid. Este grupo de trabajo tiene como reto comunicar más y mejor qué es el proyecto EUnetHTA.

Para hacerlo, hay diferentes estrategias y una de ellas es la evaluación de la propia diseminación, tarea liderada por AQuAS. En este sentido, se están recogiendo las distintas actividades realizadas y se ha realizado un primer análisis que está previsto que se repita cada 4 meses con la idea que de ello se puedan derivar recomendaciones y acciones concretas.

En esta primera fotografía se han recogido casi 100 actividades. El 78% se corresponden con actividades en reuniones científicas (workshops, ponencias, comunicaciones orales y pósters); el 5% son artículos en publicaciones científicas con factor de impacto en el Journal Citation Reports y el resto (17%) son otras publicaciones, e-meetings y actividades en redes sociales.

Este análisis va a permitir estudiar quién difunde, qué se difunde, dónde se difunde, así como el contenido o el público mayoritario al que van destinadas las actividades de diseminación en el marco del proyecto EUnetHTA. Los resultados del primer análisis se presentarán en la próxima asamblea general del proyecto en Colonia (Alemania) a finales de este mes.

Pensamos que es interesantes buscar la forma de implicar y facilitar la diseminación del proyecto por parte de sus participantes para conseguir una comunicación más activa del proyecto EUnetHA. Implicar en la diseminación significa conseguir que las personas que trabajan en un proyecto difundan, al mismo tiempo, su trabajo y el proyecto. De este modo, todos salen ganando.

¿Conseguiremos implicar más a todos los participantes en las actividades de diseminación? ¿Lograremos que nuestra evaluación sirva para mejorar? Lo iremos viendo.

Entrada elaborada por Marta Millaret (@MartaMillaret).

Altmétricas: métricas complementarias centradas en el artículo

19 Abr
Ernest Abadal

El sistema tradicional de evaluación de la calidad de una publicación científica (un artículo de revista, por ejemplo) se ha basado, fundamentalmente, en el recuento de las citas que ha generado. Fue Eugene Garfield (1925-2017), en un artículo publicado en Science (1955), quien propuso los índices de citas como un sistema que serviría a los autores para encontrar artículos de una temática. Fue, sin duda, una gran innovación. Posteriormente, con la creación del Institut for Scientific Information (actual Web of Science) y los Journal Citation Reports este sistema cogío mucho relieve y se orientó hacia la evaluación de las revistas ya que servía a los autores para decidir en qué revista publicar (a partir del factor de impacto que se calculaba para cada una de ellas). Ha sido un sistema criticado desde las humanidades y las ciencias sociales, además de por el hecho que no se centra en el artículo sinó que da el valor de referencia a la revista donde se publica (y da por hecho que un artículo tiene que «heredar» el factor de impacto de la revista).

A partir de 2010 se empieza a hablar de las altmétricas, un conjunto de indicadores (como el número de comparticiones, de redifusiones de un artículo, los comentarios que ha generado, las menciones (likes), etc.) que miden la presencia de una publicación en redes sociales y académicas y que complementan de forma notable los índices de citas. Las altmétricas, por otro lado, valoran el eco a nivel del artículo y no de una revista en su conjunto (como hace el factor de impacto, por ejemplo).

Actualmente son varios los editores científicos que han incorporado esta información. Uno de los primeros ejemplos fue la revista PLOS, y luego la siguieron Nature y otras. También se ha extendido su uso en bases de datos (p.e. Scopus) y en redes académicas (p.e. ResearchGate). Los datos altmétricos que acompañan un artículo suelen tener los apartados que aparecen en las figuras 1 y 2, a pesar que pueda haber pequeñas diferencias en función del programa que se haya utilizado (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Ejemplo de altmétricas de un artículo en PLOS

De este modo, vemos que se incluyen no sólo las estadísticas de presencia en redes sociales (menciones, blogs, etc.) sinó que también constan los datos de uso (visualizaciones y descargas) y también las citas que ha tenido el artículo (en Scopus, CrossRef, PubMed, GoogleScholar, etc.). Se trata de una información cuantitativa muy completa tanto para el lector como para el autor de un artículo.

Figura 2. Ejemplo de altmétricas de un artículo en Nature

En el caso de Nature (figura 2) se muestra también una representación gráfica en forma de rosco en la que cada color es un tipo de canal (twitter, blogs, facebook, wikipedia, etc.), se ofrece una contextualización porcentual en relación a artículos de una antigüedad similar y también se indica cuál es la presencia concreta en medios de comunicación generales (“news articles”) y blogs científicos.

Hagamos una valoración rápida de las altmétricas. Como principales puntos fuertes hay que destacar que miden el impacto de las publicaciones más allá de los ámbitos académicos en sentido estricto, que se pueden aplicar a todo tipo de documentos (sea artículo, libro o tesis doctoral), que los resultados son inmediatos (no hace falta esperar el valor anual del factor de impacto) y que se centran en el artículo (y no en la revista).

En cuanto a los puntos débiles, hay que decir que los indicadores deben recogerse de una forma muy rápida (son muy volátiles), que los indicadores son difíciles de comparar entre si (¿qué vale más, un retweet o un “me gusta”?), que hay muchas dificultades en la normalización y homegeneidad en la recogida de datos (hecho que no ocurre en el caso de las citas) y que normalmente diferentes herramientas de medida ofrecen resultados diferentes (p.e. ImpactStory o Altmetrics).

Las altmétricas, en definitiva, ayudan a medir el impacto de una publicación en concreto en las redes sociales. Es por este motivo que más que métricas alternativas, tenemos que calificarlas como métricas complementarias. Respecto al tradicional factor de impacto –que se aplica en una revista— las altmétricas centran su foco en el artículo y esto es una innovación importante. Aunque tengan algunos puntos débiles, están en fase de consolidación y tendrán recorrido.

Desde el punto de vista del investigador, está claro que actualmente no es suficiente con publicar un artículo en una revista, sinó que hay que implicarse a fondo en su difusión en las redes sociales (en especial, Twitter, blogs, etc.) y también en las redes académicas (Researchgate, Mendeley, etc.) para dar visibilidad a los contendios publicados. En este nuevo escenario, las altmétricas son fundamentales porque tienen la capacidad de medir este impacto en las redes y ofrecer a los autores (y también a los lectores) una visión general sobre la difusión de sus publicaciones.

Entrada elaborada por Ernest Abadal, facultad de Biblioteconomía y Documentación de la Universidad de Barcelona.