Les altmètriques: mètriques complementàries centrades en l’article

19 abr.
Ernest Abadal

El sistema tradicional d’avaluació de la qualitat d’una publicació científica (un article de revista, per exemple) s’ha basat, fonamentalment, en el recompte de les citacions que ha generat. Va ser Eugene Garfield (1925-2017), en un article publicat a Science (1955),  qui va proposar els índexs de citacions com un sistema que serviria per ajudar els autors a trobar articles d’una temàtica. Va ser, sens dubte, una gran innovació. Posteriorment, amb la creació de l’Institut for Scientific Information (actual Web of Science) i els Journal Citation Reports aquest sistema va agafar molt de relleu i es va orientar cap a l’avaluació de les revistes ja que servia als autors per decidir en quina revista publicar (a partir del factor d’impacte que es calculava per a cada una d’elles). Ha estat un sistema criticat des de les humanitats i ciències socials i també pel fet que no se centra en l’article sinó que dona el valor de referència a la revista en la qual es publica (i dona per suposat que un article ha d’”heretar” el factor d’impacte de la revista).

A partir de 2010 es comença a parlar de les altmètriques, d’un conjunt d’indicadors (com ara el nombre de comparticions, de redifusions d’un article, els comentaris que ha generat, les mencions (likes), etc.) que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions. Les altmètriques, per altra banda, valoren el ressò a nivell de l’article i no pas d’una revista en el seu conjunt (com fa el factor d’impacte, per exemple).

Actualment són diversos els editors científics que han incorporat aquesta informació. Un dels primers exemples va ser la revista PLOS, i després la van seguir Nature i altres. També s’ha estès el seu ús a bases de dades (p.e. Scopus) i a xarxes acadèmiques (p.e. ResearchGate). Les dades altmètriques que acompanyen un article solen tenir els apartats que apareixen en les figures 1 i 2, tot i que hi pugui haver petites diferències en funció del programa que s’hagi utilitzat (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Exemple d’altmètriques d’un article a PLOS

Així doncs, veiem que s’inclouen no només les estadístiques de presència a les xarxes socials (mencions, blogs, etc.) sinó que també hi consten les dades d’ús (visualitzacions i descàrregues) així com les citacions que ha tingut l’article (a Scopus, CrossRef, PubMed, GoogleScholar, etc.). Es tracta d’una informació quantitativa molt completa tant per al lector com també per a l’autor de l’article.

Figura 2. Exemple d’altmètriques d’un article a Nature

En el cas de Nature (figura 2) hi consta també una representació gràfica en forma de cercle o de “rosco” en la qual cada color és un tipus de canal (twitter, blogs, facebook, viquipèdia, etc.), s’ofereix una contextualització percentual en relació a articles d’una antiguitat similar i també s’indica quina és la presència concreta a mitjans de comunicació generals (“news articles”) i blogs científics.

Fem una valoració ràpida de les altmètriques. Com a principals punts forts cal destacar que mesuren l’impacte de les publicacions més enllà dels àmbits acadèmics en sentit estricte, que es poden aplicar a tot tipus de document (sigui article, llibre o tesi doctoral), que els resultats són immediats (no cal esperar el valor anual del factor d’impacte) i que se centren en l’article (i no pas en la revista).

Pel que fa als punts febles, cal dir que els indicadors s’han de recollir de manera molt ràpida (són molt volàtils), que els indicadors són difícils de comparar entre sí (què val més un retweet o un “m’agrada”?), que hi ha moltes dificultats en la normalització i homogeneïtat en la recollida de dades (cosa que no passa en el cas de les citacions) i que normalment diferents eines de mesura ofereixen resultats diferents (p.e. ImpactStory o Altmetrics).

Les altmètriques, doncs, ajuden a mesurar l’impacte d’una publicació en concret a les xarxes socials. És per això que més que mètriques alternatives, les hem de qualificar de mètriques complementàries. Respecte el tradicional factor d’impacte –que s’aplica a una revista— les altmètriques centren el seu focus en l’article i això és una important innovació. Malgrat que tenen alguns punts febles, estan en fase de consolidació i  tindran recorregut.

Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials (en especial, Twitter, blogs, etc.) i també a les xarxes acadèmiques (Researchgate, Mendeley, etc.) per tal de donar visibilitat als continguts publicats. En aquest nou escenari, les altmètriques són fonamentals perquè tenen la capacitat de mesurar aquest impacte a les xarxes i oferir als autors (i també als lectors) una visió general sobre la difusió de les seves publicacions.

Entrada elaborada per Ernest Abadal, facultat de Biblioteconomia i Documentació de la Universitat de Barcelona.

Implicats en l’avaluació de la recerca al 100%

31 ag.

Des de l’any 2001, l’AQuAS (l’Agència de Qualitat i Avaluació Sanitàries de Catalunya) s’encarrega d’avaluar les propostes de projectes de recerca que opten a rebre finançament de la Fundació La Marató de TV3. Es tracta de prioritzar la recerca de més qualitat segons una metodologia quantitativa i qualitativa en un procés que dura mesos i que conclou amb una reunió presencial d’experts internacionals. Aquesta metodologia es publica cada any i està a disposició de tota la ciutadania. La propera reunió d’experts tindrà lloc aquest proper mes de setembre.

Fotografia de grup de la reunió final amb experts internacionals per a l’avaluació de la convocatòria FMTV3 sobre Diabetis. Barcelona, setembre 2016. D’esquerra a dreta i de dalt a baix: Gerald Tomking (Diabetes Institution of Ireland), Joan MV Pons (AQuAS), Johann Wojta (Medical University of Vienna), Stephan Zipfel (University of Tuebingen), Karlheinz Friedrich (University Hospital Jena), Maite Solans (AQuAS), Harold de Valk (University Medical Centre Utrecht), Hans-Georg Joost (German Institute of Human Nutrition), Juergen Eckel (German Diabetes Center), Ernest Vinyoles (observador extern), Anna Monsó (observadora externa), Gabriel Capellà (observador extern), Jaume Reventós (observador extern), Bea Ortega (AQuAS), Esther Vizcaino (AQuAS), Núria Radó (AQuAS)

L’avaluació de la recerca que es duu a terme des d’AQuAS contempla tres moments diferents del cicle de la recerca. L’avaluació de les propostes de recerca (avaluació ex-ante), l’avaluació durant la recerca (avaluació ongoing) i l’avaluació un cop la recerca ja ha finalitzat (avaluació ex-post). L’AQuAS compta amb experiència de llarg recorregut en tots aquests estadis de la recerca.

El fet que en una mateixa institució es faci avaluació de la recerca i avaluació del sistema de salut té un caràcter totalment excepcional i és una de les fortaleses d’AQuAS. Els dos tipus d’avaluacions es beneficien mútuament d’aquesta situació pels aprenentatges que es generen.

Un altre àmbit de recerca on AQuAS ha estat pionera és l’avaluació de l’impacte de la recerca. Enguany se celebrarà l’escola internacional d’impacte de la recerca (ISRIA, per les seves sigles en anglès) a Dinamarca (més informació aquí).

Des de l’any passat, també s’avalua la convocatòria del PERIS, que representa una novetat important i una bona injecció per a la recerca biomèdica catalana. Sobre aquesta convocatòria, val la pena remarcar la voluntat i la determinació per situar les persones al centre de la recerca, i el fet que justament ara ens trobem en un moment molt potent perquè l’analítica de dades obre moltes oportunitats en recerca.

A més de tot això, hi ha una feina de fons -que necessitarà anys-, i que té a veure amb qüestions de recerca i gènere.

L’article A global call for action to include gender in research impact assessment va assolir molt ràpidament un fort impacte en xarxes socials. Ara fa un any publicàvem un post recomanant-ne la seva lectura.

Evolució Almetrics d’aquest article: 220 (26/8/2016), 258 (31/8/2017).

L’article encapçala les publicacions d’aquesta revista quant a impacte.

Dades destacades:

Sobre qüestions de recerca i gènere, vam reprendre el tema des d’aquest blog amb un altre post amb l’objectiu de convidar a la reflexió i estar atentes a la realitat que ens envolta, dins i fora de l’àmbit de recerca.

Des d’AQuAS la pregunta és com un equip tan petit en nombre però tan gran en implicació tira endavant el complex engranatge de l’avaluació integral de diverses convocatòries de recerca, l’impacte de la recerca i també fa recerca sobre la implicació de la ciutadania en la recerca, la recerca en els mitjans de comunicació i les ja comentades qüestions de recerca i gènere.

Ras i curt, molta feina feta i molta feina en marxa ara mateix amb la implicació al 100% de l’equip de recerca d’AQuAS i de molts altres col·laboradors i experts.

Equip de recerca AQuAS. De dalt a baix i d’esquerra a dreta: Ion Arrizabalaga, Paula Adam, Núria Radó i Esther Vizcaino. No apareixen en aquesta fotografia però són també de l’equip de recerca AQuAS: Bea Ortega i Maite Solans

Entrada elaborada per Marta Millaret (@MartaMillaret)