Qui parla de què a EUnetHTA?

3 maig
Marta Millaret

AQuAS està analitzant les activitats de disseminació del projecte EUnetHTA, Joint Action europea integrada per 81 organitzacions de 29 països i coordinada des del Zorginstituut Nederland d’Holanda. Es tracta de la xarxa europea d’avaluació de tecnologies sanitàries.

L’avaluació, com comentava Emmanuel Giménez en aquest post, “pot ajudar directament a la pràctica, a la gestió i a la sostenibilitat dels diferents sistemes de salut” al facilitar el millor coneixement disponible per a la presa de decisions en diferents nivells.

Justament sobre aquest tema, recentment s’ha publicat una proposta de regulació sobre avaluació de fàrmacs i productes sanitaris en el marc de la Comissió Europea que s’està debatent i perfilant per a la seva posada en funcionament.

L’objectiu del projecte EUnetHTA és facilitar la cooperació entre diferents institucions en l’àmbit de l’avaluació de tecnologies sanitàries per aprofitar experteses i coneixement útil per als sistemes sanitaris i, per tant, amb potencials beneficis per a la salut de la ciutadania. Es tracta de generar coneixement de qualitat utilitzant metodologies comunes d’una manera sistemàtica i transparent, i es tracta de fer-ho treballant col·laborativament i evitant duplicitats.

AQuAS té una forta participació en diferents grups de treball del projecte (avaluació, implementació, generació d’evidència, disseminació) i avui posarem el focus en el grup de disseminació, liderat per Iñaki Imaz de l’Instituto de Salud Carlos III de Madrid. Aquest grup de treball té com a repte comunicar més i millor què és el projecte EUnetHTA.

Per fer-ho, hi ha diferents estratègies i una d’elles és l’avaluació de la pròpia disseminació, tasca liderada per AQuAS. En aquest sentit, s’estan recollint les diferents activitats i s’ha realitzat una primera anàlisi que està previst repetir cada 4 mesos amb la idea que se’n puguin derivar recomanacions i accions concretes.

En aquesta primera fotografia s’han recollit gairebé 100 activitats. El 78% es corresponen amb activitats en reunions científiques (workshops, ponències, comunicacions orals i pòsters); el 5% són articles en publicacions científiques amb factor d’impacte en el Journal Citation Reports i la resta (17%) són altres publicacions, e-meetings i activitat en xarxes socials.

Aquesta anàlisi permetrà estudiar qui difon, què es difon, on es difon, així com el contingut i el públic majoritari a qui van destinades les activitats de disseminació en el marc del projecte EUnetHTA. Els resultats de la primera anàlisi es presentaran en la propera assemblea general del projecte a Colònia (Alemanya) a finals de mes.

Pensem que és interessant buscar la manera d’implicar i facilitar la disseminació del projecte per part de tots els seus participants per aconseguir una comunicació més activa del projecte EUnetHA. Implicar en la disseminació significa aconseguir que les persones que treballen en un projecte difonguin, al mateix temps, la seva feina i el projecte. Així tots hi surten guanyant.

Aconseguirem implicar més a tots els participants en les activitats de disseminació? Aconseguirem que la nostra avaluació serveixi per millorar? Ho anirem veient.

Entrada elaborada per Marta Millaret (@MartaMillaret).

Les altmètriques: mètriques complementàries centrades en l’article

19 abr.
Ernest Abadal

El sistema tradicional d’avaluació de la qualitat d’una publicació científica (un article de revista, per exemple) s’ha basat, fonamentalment, en el recompte de les citacions que ha generat. Va ser Eugene Garfield (1925-2017), en un article publicat a Science (1955),  qui va proposar els índexs de citacions com un sistema que serviria per ajudar els autors a trobar articles d’una temàtica. Va ser, sens dubte, una gran innovació. Posteriorment, amb la creació de l’Institut for Scientific Information (actual Web of Science) i els Journal Citation Reports aquest sistema va agafar molt de relleu i es va orientar cap a l’avaluació de les revistes ja que servia als autors per decidir en quina revista publicar (a partir del factor d’impacte que es calculava per a cada una d’elles). Ha estat un sistema criticat des de les humanitats i ciències socials i també pel fet que no se centra en l’article sinó que dona el valor de referència a la revista en la qual es publica (i dona per suposat que un article ha d’”heretar” el factor d’impacte de la revista).

A partir de 2010 es comença a parlar de les altmètriques, d’un conjunt d’indicadors (com ara el nombre de comparticions, de redifusions d’un article, els comentaris que ha generat, les mencions (likes), etc.) que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions. Les altmètriques, per altra banda, valoren el ressò a nivell de l’article i no pas d’una revista en el seu conjunt (com fa el factor d’impacte, per exemple).

Actualment són diversos els editors científics que han incorporat aquesta informació. Un dels primers exemples va ser la revista PLOS, i després la van seguir Nature i altres. També s’ha estès el seu ús a bases de dades (p.e. Scopus) i a xarxes acadèmiques (p.e. ResearchGate). Les dades altmètriques que acompanyen un article solen tenir els apartats que apareixen en les figures 1 i 2, tot i que hi pugui haver petites diferències en funció del programa que s’hagi utilitzat (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Exemple d’altmètriques d’un article a PLOS

Així doncs, veiem que s’inclouen no només les estadístiques de presència a les xarxes socials (mencions, blogs, etc.) sinó que també hi consten les dades d’ús (visualitzacions i descàrregues) així com les citacions que ha tingut l’article (a Scopus, CrossRef, PubMed, GoogleScholar, etc.). Es tracta d’una informació quantitativa molt completa tant per al lector com també per a l’autor de l’article.

Figura 2. Exemple d’altmètriques d’un article a Nature

En el cas de Nature (figura 2) hi consta també una representació gràfica en forma de cercle o de “rosco” en la qual cada color és un tipus de canal (twitter, blogs, facebook, viquipèdia, etc.), s’ofereix una contextualització percentual en relació a articles d’una antiguitat similar i també s’indica quina és la presència concreta a mitjans de comunicació generals (“news articles”) i blogs científics.

Fem una valoració ràpida de les altmètriques. Com a principals punts forts cal destacar que mesuren l’impacte de les publicacions més enllà dels àmbits acadèmics en sentit estricte, que es poden aplicar a tot tipus de document (sigui article, llibre o tesi doctoral), que els resultats són immediats (no cal esperar el valor anual del factor d’impacte) i que se centren en l’article (i no pas en la revista).

Pel que fa als punts febles, cal dir que els indicadors s’han de recollir de manera molt ràpida (són molt volàtils), que els indicadors són difícils de comparar entre sí (què val més un retweet o un “m’agrada”?), que hi ha moltes dificultats en la normalització i homogeneïtat en la recollida de dades (cosa que no passa en el cas de les citacions) i que normalment diferents eines de mesura ofereixen resultats diferents (p.e. ImpactStory o Altmetrics).

Les altmètriques, doncs, ajuden a mesurar l’impacte d’una publicació en concret a les xarxes socials. És per això que més que mètriques alternatives, les hem de qualificar de mètriques complementàries. Respecte el tradicional factor d’impacte –que s’aplica a una revista— les altmètriques centren el seu focus en l’article i això és una important innovació. Malgrat que tenen alguns punts febles, estan en fase de consolidació i  tindran recorregut.

Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials (en especial, Twitter, blogs, etc.) i també a les xarxes acadèmiques (Researchgate, Mendeley, etc.) per tal de donar visibilitat als continguts publicats. En aquest nou escenari, les altmètriques són fonamentals perquè tenen la capacitat de mesurar aquest impacte a les xarxes i oferir als autors (i també als lectors) una visió general sobre la difusió de les seves publicacions.

Entrada elaborada per Ernest Abadal, facultat de Biblioteconomia i Documentació de la Universitat de Barcelona.