Ernest Abadal – AQuAS Blog

Impacte de la recerca en perspectiva

26 jul.

Va ser a la tardor passada, amb unes temperatures menys càlides que les actuals de ple estiu, quan vam publicar unes interessants reflexions de Ramon Gomis sobre la recerca biosanitària a Catalunya esmentant el programa CAPRIS (Consell Assessor en Política de Recerca i Innovació) i el programa ICREA (Institució Catalana de Recerca i Estudis Avançats).

“Què fa que una recerca determinada tingui un impacte a la societat més enllà de l’estrictament acadèmic i sigui, realment, tranformadora?”

Aquesta pregunta marcava l’inici d’una potent reflexió de Núria Radó sobre recerca infermera on es combinava l’element de la participació i de l’impacte (multifactorial) de la recerca, i entrava en joc l’element de la implicació. I tot això en el context del SARIS (Sistema d’Avaluació de la Recerca i Innovació en Salut) i el PERIS (Pla Estratègic de Recerca i Innovació en Salut 2016-2020).

Fer recerca i publicar sobre aquesta recerca són accions que sovint van agafades de la mà, ja sigui en contextos científics (articles, comunicacions en congressos) com en contextos més aviat divulgatius (mitjans de comunicació tradicionals, xarxes socials).

Vam veure en aquest estudi una anàlisi sobre el to crític de les notícies sobre innovacions mèdiques publicades en premsa diària escrita. Aquestes són les generoses reflexions de Gaietà Permanyer al voltant de les recances d’un metge a l’hora de publicar en diaris o llibres d’àmbit no professional, els conceptes d’autonomia del pacient, de les decisions informades i de l’alfabetisme sanitari, i com lliga tot plegat, per aterrar cap a un ideal d’informació equilibrada en mitjans de comunicació generalistes.

Seguim posant l’accent en les publicacions. Però ara ens centrem en les publicacions científiques i en l’impacte que se’n pot derivar amb dues temàtiques molt diferents però inspiradores:

D’una banda vam veure el fenomen conegut com les “belles dorments de la ciència” gràcies a en Joan MV Pons i el cas d’un descobriment (publicat) de Francis Mojica (ara fa 25 anys) que ha estat clau en el desenvolupament de la tècnica d’edició genètica CRISPR.

“Belles Dorments són els articles que semblen passar sense reconeixement fins que algú els rescata tardanament i els dona el crèdit que mereixen”.

I d’altra banda, dos dies abans de començar la primavera, des de Newcastle vam comptar amb la col·laboració d’Ernest Abadal explicant les altmètriques i els punts forts i febles dels sistemes (tradicionals i no tan tradicionals) d’avaluació de la qualitat d’una publicació científica.

“A partir de 2010 es comença a parlar de les altmètriques, un conjunt d’indicadors que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions”

I apareix aquí també l’element de la implicació:

“Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials i també a les xarxes acadèmiques per tal de donar visibilitat als continguts publicats”

Acabem aquest recorregut sobre avaluació i impacte de la recerca de la mà de Ion Arrizabalaga amb el repte de mesurar la participació en aquest context.

“La participació dels actors en recerca és un element clau en la recerca per transformar i generar impacte en la societat”

Si voleu llegir més sobre participació i recerca, us recomanem la lectura d’aquests dos documents publicats des d’AQuAS:

Altmétricas: métricas complementarias centradas en el artículo

19 abr.

El sistema tradicional de evaluación de la calidad de una publicación científica (un artículo de revista, por ejemplo) se ha basado, fundamentalmente, en el recuento de las citas que ha generado. Fue Eugene Garfield (1925-2017), en un artículo publicado en Science (1955), quien propuso los índices de citas como un sistema que serviría a los autores para encontrar artículos de una temática. Fue, sin duda, una gran innovación. Posteriormente, con la creación del Institut for Scientific Information (actual Web of Science) y los Journal Citation Reports este sistema cogío mucho relieve y se orientó hacia la evaluación de las revistas ya que servía a los autores para decidir en qué revista publicar (a partir del factor de impacto que se calculaba para cada una de ellas). Ha sido un sistema criticado desde las humanidades y las ciencias sociales, además de por el hecho que no se centra en el artículo sinó que da el valor de referencia a la revista donde se publica (y da por hecho que un artículo tiene que “heredar” el factor de impacto de la revista).

A partir de 2010 se empieza a hablar de las altmétricas, un conjunto de indicadores (como el número de comparticiones, de redifusiones de un artículo, los comentarios que ha generado, las menciones (likes), etc.) que miden la presencia de una publicación en redes sociales y académicas y que complementan de forma notable los índices de citas. Las altmétricas, por otro lado, valoran el eco a nivel del artículo y no de una revista en su conjunto (como hace el factor de impacto, por ejemplo).

Actualmente son varios los editores científicos que han incorporado esta información. Uno de los primeros ejemplos fue la revista PLOS, y luego la siguieron Nature y otras. También se ha extendido su uso en bases de datos (p.e. Scopus) y en redes académicas (p.e. ResearchGate). Los datos altmétricos que acompañan un artículo suelen tener los apartados que aparecen en las figuras 1 y 2, a pesar que pueda haber pequeñas diferencias en función del programa que se haya utilizado (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Ejemplo de altmétricas de un artículo en PLOS

De este modo, vemos que se incluyen no sólo las estadísticas de presencia en redes sociales (menciones, blogs, etc.) sinó que también constan los datos de uso (visualizaciones y descargas) y también las citas que ha tenido el artículo (en Scopus, CrossRef, PubMed, GoogleScholar, etc.). Se trata de una información cuantitativa muy completa tanto para el lector como para el autor de un artículo.

Figura 2. Ejemplo de altmétricas de un artículo en Nature

En el caso de Nature (figura 2) se muestra también una representación gráfica en forma de rosco en la que cada color es un tipo de canal (twitter, blogs, facebook, wikipedia, etc.), se ofrece una contextualización porcentual en relación a artículos de una antigüedad similar y también se indica cuál es la presencia concreta en medios de comunicación generales (“news articles”) y blogs científicos.

Hagamos una valoración rápida de las altmétricas. Como principales puntos fuertes hay que destacar que miden el impacto de las publicaciones más allá de los ámbitos académicos en sentido estricto, que se pueden aplicar a todo tipo de documentos (sea artículo, libro o tesis doctoral), que los resultados son inmediatos (no hace falta esperar el valor anual del factor de impacto) y que se centran en el artículo (y no en la revista).

En cuanto a los puntos débiles, hay que decir que los indicadores deben recogerse de una forma muy rápida (son muy volátiles), que los indicadores son difíciles de comparar entre si (¿qué vale más, un retweet o un “me gusta”?), que hay muchas dificultades en la normalización y homegeneidad en la recogida de datos (hecho que no ocurre en el caso de las citas) y que normalmente diferentes herramientas de medida ofrecen resultados diferentes (p.e. ImpactStory o Altmetrics).

Las altmétricas, en definitiva, ayudan a medir el impacto de una publicación en concreto en las redes sociales. Es por este motivo que más que métricas alternativas, tenemos que calificarlas como métricas complementarias. Respecto al tradicional factor de impacto –que se aplica en una revista— las altmétricas centran su foco en el artículo y esto es una innovación importante. Aunque tengan algunos puntos débiles, están en fase de consolidación y tendrán recorrido.

Desde el punto de vista del investigador, está claro que actualmente no es suficiente con publicar un artículo en una revista, sinó que hay que implicarse a fondo en su difusión en las redes sociales (en especial, Twitter, blogs, etc.) y también en las redes académicas (Researchgate, Mendeley, etc.) para dar visibilidad a los contendios publicados. En este nuevo escenario, las altmétricas son fundamentales porque tienen la capacidad de medir este impacto en las redes y ofrecer a los autores (y también a los lectores) una visión general sobre la difusión de sus publicaciones.

Entrada elaborada por Ernest Abadal, facultad de Biblioteconomía y Documentación de la Universidad de Barcelona.

Les altmètriques: mètriques complementàries centrades en l’article

19 abr.

El sistema tradicional d’avaluació de la qualitat d’una publicació científica (un article de revista, per exemple) s’ha basat, fonamentalment, en el recompte de les citacions que ha generat. Va ser Eugene Garfield (1925-2017), en un article publicat a Science (1955), qui va proposar els índexs de citacions com un sistema que serviria per ajudar els autors a trobar articles d’una temàtica. Va ser, sens dubte, una gran innovació. Posteriorment, amb la creació de l’Institut for Scientific Information (actual Web of Science) i els Journal Citation Reports aquest sistema va agafar molt de relleu i es va orientar cap a l’avaluació de les revistes ja que servia als autors per decidir en quina revista publicar (a partir del factor d’impacte que es calculava per a cada una d’elles). Ha estat un sistema criticat des de les humanitats i ciències socials i també pel fet que no se centra en l’article sinó que dona el valor de referència a la revista en la qual es publica (i dona per suposat que un article ha d’”heretar” el factor d’impacte de la revista).

A partir de 2010 es comença a parlar de les altmètriques, d’un conjunt d’indicadors (com ara el nombre de comparticions, de redifusions d’un article, els comentaris que ha generat, les mencions (likes), etc.) que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions. Les altmètriques, per altra banda, valoren el ressò a nivell de l’article i no pas d’una revista en el seu conjunt (com fa el factor d’impacte, per exemple).

Actualment són diversos els editors científics que han incorporat aquesta informació. Un dels primers exemples va ser la revista PLOS, i després la van seguir Nature i altres. També s’ha estès el seu ús a bases de dades (p.e. Scopus) i a xarxes acadèmiques (p.e. ResearchGate). Les dades altmètriques que acompanyen un article solen tenir els apartats que apareixen en les figures 1 i 2, tot i que hi pugui haver petites diferències en funció del programa que s’hagi utilitzat (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Exemple d’altmètriques d’un article a PLOS

Així doncs, veiem que s’inclouen no només les estadístiques de presència a les xarxes socials (mencions, blogs, etc.) sinó que també hi consten les dades d’ús (visualitzacions i descàrregues) així com les citacions que ha tingut l’article (a Scopus, CrossRef, PubMed, GoogleScholar, etc.). Es tracta d’una informació quantitativa molt completa tant per al lector com també per a l’autor de l’article.

Figura 2. Exemple d’altmètriques d’un article a Nature

En el cas de Nature (figura 2) hi consta també una representació gràfica en forma de cercle o de “rosco” en la qual cada color és un tipus de canal (twitter, blogs, facebook, viquipèdia, etc.), s’ofereix una contextualització percentual en relació a articles d’una antiguitat similar i també s’indica quina és la presència concreta a mitjans de comunicació generals (“news articles”) i blogs científics.

Fem una valoració ràpida de les altmètriques. Com a principals punts forts cal destacar que mesuren l’impacte de les publicacions més enllà dels àmbits acadèmics en sentit estricte, que es poden aplicar a tot tipus de document (sigui article, llibre o tesi doctoral), que els resultats són immediats (no cal esperar el valor anual del factor d’impacte) i que se centren en l’article (i no pas en la revista).

Pel que fa als punts febles, cal dir que els indicadors s’han de recollir de manera molt ràpida (són molt volàtils), que els indicadors són difícils de comparar entre sí (què val més un retweet o un “m’agrada”?), que hi ha moltes dificultats en la normalització i homogeneïtat en la recollida de dades (cosa que no passa en el cas de les citacions) i que normalment diferents eines de mesura ofereixen resultats diferents (p.e. ImpactStory o Altmetrics).

Les altmètriques, doncs, ajuden a mesurar l’impacte d’una publicació en concret a les xarxes socials. És per això que més que mètriques alternatives, les hem de qualificar de mètriques complementàries. Respecte el tradicional factor d’impacte –que s’aplica a una revista— les altmètriques centren el seu focus en l’article i això és una important innovació. Malgrat que tenen alguns punts febles, estan en fase de consolidació i tindran recorregut.

Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials (en especial, Twitter, blogs, etc.) i també a les xarxes acadèmiques (Researchgate, Mendeley, etc.) per tal de donar visibilitat als continguts publicats. En aquest nou escenari, les altmètriques són fonamentals perquè tenen la capacitat de mesurar aquest impacte a les xarxes i oferir als autors (i també als lectors) una visió general sobre la difusió de les seves publicacions.

Entrada elaborada per Ernest Abadal, facultat de Biblioteconomia i Documentació de la Universitat de Barcelona.