Impacte de la recerca en perspectiva

26 jul.

Va ser a la tardor passada, amb unes temperatures menys càlides que les actuals de ple estiu, quan vam publicar unes interessants reflexions de Ramon Gomis sobre la recerca biosanitària a Catalunya esmentant el programa CAPRIS (Consell Assessor en Política de Recerca i Innovació) i el programa ICREA (Institució Catalana de Recerca i Estudis Avançats).

“Què fa que una recerca determinada tingui un impacte a la societat més enllà de l’estrictament acadèmic i sigui, realment, tranformadora?”

Aquesta pregunta marcava l’inici d’una potent reflexió de Núria Radó sobre recerca infermera on es combinava l’element de la participació i de l’impacte (multifactorial) de la recerca, i entrava en joc l’element de la implicació. I tot això en el context del SARIS (Sistema d’Avaluació de la Recerca i Innovació en Salut) i el PERIS (Pla Estratègic de Recerca i Innovació en Salut 2016-2020).

Fer recerca i publicar sobre aquesta recerca són accions que sovint van agafades de la mà, ja sigui en contextos científics (articles, comunicacions en congressos) com en contextos més aviat divulgatius (mitjans de comunicació tradicionals, xarxes socials).

Vam veure en aquest estudi una anàlisi sobre el to crític de les notícies sobre innovacions mèdiques publicades en premsa diària escrita. Aquestes són les generoses reflexions de Gaietà Permanyer al voltant de les recances d’un metge a l’hora de publicar en diaris o llibres d’àmbit no professional, els conceptes d’autonomia del pacient, de les decisions informades i de l’alfabetisme sanitari, i com lliga tot plegat, per aterrar cap a un ideal d’informació equilibrada en mitjans de comunicació generalistes.

Seguim posant l’accent en les publicacions. Però ara ens centrem en les publicacions científiques i en l’impacte que se’n pot derivar amb dues temàtiques molt diferents però inspiradores:

D’una banda vam veure el fenomen conegut com les “belles dorments de la ciència” gràcies a en Joan MV Pons i el cas d’un descobriment (publicat) de Francis Mojica (ara fa 25 anys) que ha estat clau en el desenvolupament de la tècnica d’edició genètica CRISPR.

“Belles Dorments són els articles que semblen passar sense reconeixement fins que algú els rescata tardanament i els dona el crèdit que mereixen”.

I d’altra banda, dos dies abans de començar la primavera, des de Newcastle vam comptar amb la col·laboració d’Ernest Abadal explicant les altmètriques i els punts forts i febles dels  sistemes (tradicionals i no tan tradicionals) d’avaluació de la qualitat d’una publicació científica.

“A partir de 2010 es comença a parlar de les altmètriques, un conjunt d’indicadors que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions”

I apareix aquí també l’element de la implicació:

“Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials i també a les xarxes acadèmiques per tal de donar visibilitat als continguts publicats”

Acabem aquest recorregut sobre avaluació i impacte de la recerca de la mà de Ion Arrizabalaga amb el repte de mesurar la participació en aquest context.

“La participació dels actors en recerca és un element clau en la recerca per transformar i generar impacte en la societat”

Si voleu llegir més sobre participació i recerca, us recomanem la lectura d’aquests dos documents publicats des d’AQuAS:

Les altmètriques: mètriques complementàries centrades en l’article

19 abr.
Ernest Abadal

El sistema tradicional d’avaluació de la qualitat d’una publicació científica (un article de revista, per exemple) s’ha basat, fonamentalment, en el recompte de les citacions que ha generat. Va ser Eugene Garfield (1925-2017), en un article publicat a Science (1955),  qui va proposar els índexs de citacions com un sistema que serviria per ajudar els autors a trobar articles d’una temàtica. Va ser, sens dubte, una gran innovació. Posteriorment, amb la creació de l’Institut for Scientific Information (actual Web of Science) i els Journal Citation Reports aquest sistema va agafar molt de relleu i es va orientar cap a l’avaluació de les revistes ja que servia als autors per decidir en quina revista publicar (a partir del factor d’impacte que es calculava per a cada una d’elles). Ha estat un sistema criticat des de les humanitats i ciències socials i també pel fet que no se centra en l’article sinó que dona el valor de referència a la revista en la qual es publica (i dona per suposat que un article ha d’”heretar” el factor d’impacte de la revista).

A partir de 2010 es comença a parlar de les altmètriques, d’un conjunt d’indicadors (com ara el nombre de comparticions, de redifusions d’un article, els comentaris que ha generat, les mencions (likes), etc.) que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions. Les altmètriques, per altra banda, valoren el ressò a nivell de l’article i no pas d’una revista en el seu conjunt (com fa el factor d’impacte, per exemple).

Actualment són diversos els editors científics que han incorporat aquesta informació. Un dels primers exemples va ser la revista PLOS, i després la van seguir Nature i altres. També s’ha estès el seu ús a bases de dades (p.e. Scopus) i a xarxes acadèmiques (p.e. ResearchGate). Les dades altmètriques que acompanyen un article solen tenir els apartats que apareixen en les figures 1 i 2, tot i que hi pugui haver petites diferències en funció del programa que s’hagi utilitzat (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Exemple d’altmètriques d’un article a PLOS

Així doncs, veiem que s’inclouen no només les estadístiques de presència a les xarxes socials (mencions, blogs, etc.) sinó que també hi consten les dades d’ús (visualitzacions i descàrregues) així com les citacions que ha tingut l’article (a Scopus, CrossRef, PubMed, GoogleScholar, etc.). Es tracta d’una informació quantitativa molt completa tant per al lector com també per a l’autor de l’article.

Figura 2. Exemple d’altmètriques d’un article a Nature

En el cas de Nature (figura 2) hi consta també una representació gràfica en forma de cercle o de “rosco” en la qual cada color és un tipus de canal (twitter, blogs, facebook, viquipèdia, etc.), s’ofereix una contextualització percentual en relació a articles d’una antiguitat similar i també s’indica quina és la presència concreta a mitjans de comunicació generals (“news articles”) i blogs científics.

Fem una valoració ràpida de les altmètriques. Com a principals punts forts cal destacar que mesuren l’impacte de les publicacions més enllà dels àmbits acadèmics en sentit estricte, que es poden aplicar a tot tipus de document (sigui article, llibre o tesi doctoral), que els resultats són immediats (no cal esperar el valor anual del factor d’impacte) i que se centren en l’article (i no pas en la revista).

Pel que fa als punts febles, cal dir que els indicadors s’han de recollir de manera molt ràpida (són molt volàtils), que els indicadors són difícils de comparar entre sí (què val més un retweet o un “m’agrada”?), que hi ha moltes dificultats en la normalització i homogeneïtat en la recollida de dades (cosa que no passa en el cas de les citacions) i que normalment diferents eines de mesura ofereixen resultats diferents (p.e. ImpactStory o Altmetrics).

Les altmètriques, doncs, ajuden a mesurar l’impacte d’una publicació en concret a les xarxes socials. És per això que més que mètriques alternatives, les hem de qualificar de mètriques complementàries. Respecte el tradicional factor d’impacte –que s’aplica a una revista— les altmètriques centren el seu focus en l’article i això és una important innovació. Malgrat que tenen alguns punts febles, estan en fase de consolidació i  tindran recorregut.

Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials (en especial, Twitter, blogs, etc.) i també a les xarxes acadèmiques (Researchgate, Mendeley, etc.) per tal de donar visibilitat als continguts publicats. En aquest nou escenari, les altmètriques són fonamentals perquè tenen la capacitat de mesurar aquest impacte a les xarxes i oferir als autors (i també als lectors) una visió general sobre la difusió de les seves publicacions.

Entrada elaborada per Ernest Abadal, facultat de Biblioteconomia i Documentació de la Universitat de Barcelona.