Altmétricas: métricas complementarias centradas en el artículo

19 abr.
Ernest Abadal

El sistema tradicional de evaluación de la calidad de una publicación científica (un artículo de revista, por ejemplo) se ha basado, fundamentalmente, en el recuento de las citas que ha generado. Fue Eugene Garfield (1925-2017), en un artículo publicado en Science (1955), quien propuso los índices de citas como un sistema que serviría a los autores para encontrar artículos de una temática. Fue, sin duda, una gran innovación. Posteriormente, con la creación del Institut for Scientific Information (actual Web of Science) y los Journal Citation Reports este sistema cogío mucho relieve y se orientó hacia la evaluación de las revistas ya que servía a los autores para decidir en qué revista publicar (a partir del factor de impacto que se calculaba para cada una de ellas). Ha sido un sistema criticado desde las humanidades y las ciencias sociales, además de por el hecho que no se centra en el artículo sinó que da el valor de referencia a la revista donde se publica (y da por hecho que un artículo tiene que “heredar” el factor de impacto de la revista).

A partir de 2010 se empieza a hablar de las altmétricas, un conjunto de indicadores (como el número de comparticiones, de redifusiones de un artículo, los comentarios que ha generado, las menciones (likes), etc.) que miden la presencia de una publicación en redes sociales y académicas y que complementan de forma notable los índices de citas. Las altmétricas, por otro lado, valoran el eco a nivel del artículo y no de una revista en su conjunto (como hace el factor de impacto, por ejemplo).

Actualmente son varios los editores científicos que han incorporado esta información. Uno de los primeros ejemplos fue la revista PLOS, y luego la siguieron Nature y otras. También se ha extendido su uso en bases de datos (p.e. Scopus) y en redes académicas (p.e. ResearchGate). Los datos altmétricos que acompañan un artículo suelen tener los apartados que aparecen en las figuras 1 y 2, a pesar que pueda haber pequeñas diferencias en función del programa que se haya utilizado (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Ejemplo de altmétricas de un artículo en PLOS

De este modo, vemos que se incluyen no sólo las estadísticas de presencia en redes sociales (menciones, blogs, etc.) sinó que también constan los datos de uso (visualizaciones y descargas) y también las citas que ha tenido el artículo (en Scopus, CrossRef, PubMed, GoogleScholar, etc.). Se trata de una información cuantitativa muy completa tanto para el lector como para el autor de un artículo.

Figura 2. Ejemplo de altmétricas de un artículo en Nature

En el caso de Nature (figura 2) se muestra también una representación gráfica en forma de rosco en la que cada color es un tipo de canal (twitter, blogs, facebook, wikipedia, etc.), se ofrece una contextualización porcentual en relación a artículos de una antigüedad similar y también se indica cuál es la presencia concreta en medios de comunicación generales (“news articles”) y blogs científicos.

Hagamos una valoración rápida de las altmétricas. Como principales puntos fuertes hay que destacar que miden el impacto de las publicaciones más allá de los ámbitos académicos en sentido estricto, que se pueden aplicar a todo tipo de documentos (sea artículo, libro o tesis doctoral), que los resultados son inmediatos (no hace falta esperar el valor anual del factor de impacto) y que se centran en el artículo (y no en la revista).

En cuanto a los puntos débiles, hay que decir que los indicadores deben recogerse de una forma muy rápida (son muy volátiles), que los indicadores son difíciles de comparar entre si (¿qué vale más, un retweet o un “me gusta”?), que hay muchas dificultades en la normalización y homegeneidad en la recogida de datos (hecho que no ocurre en el caso de las citas) y que normalmente diferentes herramientas de medida ofrecen resultados diferentes (p.e. ImpactStory o Altmetrics).

Las altmétricas, en definitiva, ayudan a medir el impacto de una publicación en concreto en las redes sociales. Es por este motivo que más que métricas alternativas, tenemos que calificarlas como métricas complementarias. Respecto al tradicional factor de impacto –que se aplica en una revista— las altmétricas centran su foco en el artículo y esto es una innovación importante. Aunque tengan algunos puntos débiles, están en fase de consolidación y tendrán recorrido.

Desde el punto de vista del investigador, está claro que actualmente no es suficiente con publicar un artículo en una revista, sinó que hay que implicarse a fondo en su difusión en las redes sociales (en especial, Twitter, blogs, etc.) y también en las redes académicas (Researchgate, Mendeley, etc.) para dar visibilidad a los contendios publicados. En este nuevo escenario, las altmétricas son fundamentales porque tienen la capacidad de medir este impacto en las redes y ofrecer a los autores (y también a los lectores) una visión general sobre la difusión de sus publicaciones.

Entrada elaborada por Ernest Abadal, facultad de Biblioteconomía y Documentación de la Universidad de Barcelona.

Les altmètriques: mètriques complementàries centrades en l’article

19 abr.
Ernest Abadal

El sistema tradicional d’avaluació de la qualitat d’una publicació científica (un article de revista, per exemple) s’ha basat, fonamentalment, en el recompte de les citacions que ha generat. Va ser Eugene Garfield (1925-2017), en un article publicat a Science (1955),  qui va proposar els índexs de citacions com un sistema que serviria per ajudar els autors a trobar articles d’una temàtica. Va ser, sens dubte, una gran innovació. Posteriorment, amb la creació de l’Institut for Scientific Information (actual Web of Science) i els Journal Citation Reports aquest sistema va agafar molt de relleu i es va orientar cap a l’avaluació de les revistes ja que servia als autors per decidir en quina revista publicar (a partir del factor d’impacte que es calculava per a cada una d’elles). Ha estat un sistema criticat des de les humanitats i ciències socials i també pel fet que no se centra en l’article sinó que dona el valor de referència a la revista en la qual es publica (i dona per suposat que un article ha d’”heretar” el factor d’impacte de la revista).

A partir de 2010 es comença a parlar de les altmètriques, d’un conjunt d’indicadors (com ara el nombre de comparticions, de redifusions d’un article, els comentaris que ha generat, les mencions (likes), etc.) que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions. Les altmètriques, per altra banda, valoren el ressò a nivell de l’article i no pas d’una revista en el seu conjunt (com fa el factor d’impacte, per exemple).

Actualment són diversos els editors científics que han incorporat aquesta informació. Un dels primers exemples va ser la revista PLOS, i després la van seguir Nature i altres. També s’ha estès el seu ús a bases de dades (p.e. Scopus) i a xarxes acadèmiques (p.e. ResearchGate). Les dades altmètriques que acompanyen un article solen tenir els apartats que apareixen en les figures 1 i 2, tot i que hi pugui haver petites diferències en funció del programa que s’hagi utilitzat (ImpactStory, PLUM, Article Level Metrics, altmetrics.com, etc.).

Figura 1. Exemple d’altmètriques d’un article a PLOS

Així doncs, veiem que s’inclouen no només les estadístiques de presència a les xarxes socials (mencions, blogs, etc.) sinó que també hi consten les dades d’ús (visualitzacions i descàrregues) així com les citacions que ha tingut l’article (a Scopus, CrossRef, PubMed, GoogleScholar, etc.). Es tracta d’una informació quantitativa molt completa tant per al lector com també per a l’autor de l’article.

Figura 2. Exemple d’altmètriques d’un article a Nature

En el cas de Nature (figura 2) hi consta també una representació gràfica en forma de cercle o de “rosco” en la qual cada color és un tipus de canal (twitter, blogs, facebook, viquipèdia, etc.), s’ofereix una contextualització percentual en relació a articles d’una antiguitat similar i també s’indica quina és la presència concreta a mitjans de comunicació generals (“news articles”) i blogs científics.

Fem una valoració ràpida de les altmètriques. Com a principals punts forts cal destacar que mesuren l’impacte de les publicacions més enllà dels àmbits acadèmics en sentit estricte, que es poden aplicar a tot tipus de document (sigui article, llibre o tesi doctoral), que els resultats són immediats (no cal esperar el valor anual del factor d’impacte) i que se centren en l’article (i no pas en la revista).

Pel que fa als punts febles, cal dir que els indicadors s’han de recollir de manera molt ràpida (són molt volàtils), que els indicadors són difícils de comparar entre sí (què val més un retweet o un “m’agrada”?), que hi ha moltes dificultats en la normalització i homogeneïtat en la recollida de dades (cosa que no passa en el cas de les citacions) i que normalment diferents eines de mesura ofereixen resultats diferents (p.e. ImpactStory o Altmetrics).

Les altmètriques, doncs, ajuden a mesurar l’impacte d’una publicació en concret a les xarxes socials. És per això que més que mètriques alternatives, les hem de qualificar de mètriques complementàries. Respecte el tradicional factor d’impacte –que s’aplica a una revista— les altmètriques centren el seu focus en l’article i això és una important innovació. Malgrat que tenen alguns punts febles, estan en fase de consolidació i  tindran recorregut.

Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials (en especial, Twitter, blogs, etc.) i també a les xarxes acadèmiques (Researchgate, Mendeley, etc.) per tal de donar visibilitat als continguts publicats. En aquest nou escenari, les altmètriques són fonamentals perquè tenen la capacitat de mesurar aquest impacte a les xarxes i oferir als autors (i també als lectors) una visió general sobre la difusió de les seves publicacions.

Entrada elaborada per Ernest Abadal, facultat de Biblioteconomia i Documentació de la Universitat de Barcelona.

Committed to research assessment 100%

31 ag.

Since 2001, the AQuAS (Agency for Health Quality and Assessment of Catalonia) has been in charge of evaluating the proposals of research projects that are eligible to receive funding from the Fundació La Marató de TV3. It means prioritising the research with the most quality using a quantitative and qualitative methodology in a process that lasts months and that ends in a face-to-face meeting of international experts.

Group photograph of the final meeting with international experts in assessing the FMTV3 call on Diabetes. Barcelona, September 2016. From left to right and top to bottom: Gerald Tomking (Diabetes Institution of Ireland), Joan MV Pons (AQuAS), Johann Wojta (Medical University of Vienna), Stephan Zipfel (University of Tuebingen), Karlheinz Friedrich (University Hospital Jena), Maite Solans (AQuAS), Harold de Valk (University Medical Centre Utrecht), Hans-Georg Joost (German Institute of Human Nutrition), Juergen Eckel (German Diabetes Center), Ernest Vinyoles (external observer), Anna Monsó (external observer), Gabriel Capellà (external observer), Jaume Reventós (external observer), Bea Ortega (AQuAS), Esther Vizcaino (AQuAS), Núria Radó (AQuAS)

 

The assessment of research which is centred at the AQuAS considers three different stages in the cycle of research. The assessment of research proposals (avaluació ex-ante), assessment during research (ongoing assessment) and assessment once the research has been completed (avaluació ex-post). The AQuAS has a long track record and lengthy experience in all these stages of research.

The fact that one and the same institution does assessment of research and assessment of the health system is altogether exceptional and is one of the strong points of the AQuAS. The two types of assessment benefit each other mutually as a result of the knowledge that is generated.

Another area of research in which the AQuAS has been a pioneer is in assessing the impact of research. This year, the International School for Research Impact Assessment (ISRIA) will be held in Denmark (more information here).

Since last year, the PERIS call is also assessed, which is an important new event and a strong boost for Catalan biomedical research. With regards to this call, it is worth highlighting the will and determination in placing people at the centre of research, and that we, in fact, right now find ourselves in a very good period because the analysis of data offers many opportunities in research.

Apart from all this there is a long-term task, which will take years, which has to do with the question of research and gender.

The article A global call for action to include gender in research impact assessment very quickly had a strong impact in social networks. It has been a year since we published a post recommending that it be read.

Almetrics evolution of this article: 220 (26/8/2016), 258 (31/8/2017).

The article heads the publications of this magazine in terms of impact.

Noteworthy facts:

Regarding the question of research and gender, we took the topic up again on this blog with another post as a call for reflection and to be aware of the reality that surrounds us, both within and beyond the area of research.

At AQuAS we ask ourselves how such a small team in number but huge in involvement manages to deal with the complex mechanism of comprehensive assessment of several research calls, research impact and also carry out research on the involvement of citizens in research, research in the media and the already mentioned question of research and gender.

In short, a lot of work done and a lot of work on the go at present with 100% involvement of the research team at the AQuAS and of many other collaborators and experts.

Post written by Marta Millaret (@MartaMillaret)

Implicados en la evaluación de la investigación al 100%

31 ag.

Desde el año 2001, AQuAS (la Agència de Qualitat i Avaluació Sanitàries de Catalunya) se encarga de evaluar las propuestas de proyectos de investigación que optan a recibir financiación de la Fundación La Marató de TV3. Se trata de priorizar la investigación de más calidad según una metodología cuantitativa y cualitativa en un proceso que dura meses y que concluye con una reunión presencial de expertos internacionales. Esta metodología se publica cada año y está a disposición de toda la ciudadanía. La próxima reunión de expertos tendrá lugar en septiembre.

Fotografía de grupo de la reunión final con expertos internacionales para la evaluación de la convocatoria FMTV3 sobre Diabetes. Barcelona, septiembre 2016. De izquierda a derecha y de arriba abajo: Gerald Tomking (Diabetes Institution of Ireland), Joan MV Pons (AQuAS), Johann Wojta (Medical University of Vienna), Stephan Zipfel (University of Tuebingen), Karlheinz Friedrich (University Hospital Jena), Maite Solans (AQuAS), Harold de Valk (University Medical Centre Utrecht), Hans-Georg Joost (German Institute of Human Nutrition), Juergen Eckel (German Diabetes Center), Ernest Vinyoles (observador externo), Anna Monsó (observadora externa), Gabriel Capellà (observador externo), Jaume Reventós (observador externo), Bea Ortega (AQuAS), Esther Vizcaino (AQuAS), Núria Radó (AQuAS)

La evaluación de la investigación que se lleva a cabo desde AQuAS contempla tres momentos diferentes del ciclo de la investigación. La evaluación de las propuestas de investigación (evaluación ex-ante), la evaluación durante la investigación (evaluación ongoing) y la evaluación una vez la investigación ya ha finalizado (evaluación ex-post). AQuAS cuenta con experiencia de largo recorrido en todos estos estadios de la investigación.

El hecho que en una misma institución se haga evaluación de la investigación y evaluación del sistema de salud tiene un carácter totalmente excepcional y es una de las fortalezas de AQuAS. Los dos tipos de evaluaciones se benefician mutuamente de esta situación por los aprendizajes que se generan.

Otro ámbito de investigación donde AQuAS ha sido pionera es la evaluación del impacto de la investigación. Este año se celebrará la escuela internacional de impacto de la investigación (ISRIA, por sus siglas en inglés) en Dinamarca (más información aquí).

Desde el año pasado también se evalúa la convocatoria PERIS, que representa una novedad importante y una buena inyección para la investigación biomédica catalana. Sobre esta convocatoria, vale la pena destacar la voluntad y la determinación para situar las personas en el centro de la investigación y el hecho que justamente ahora nos encontramos en un momento muy potente porque la analítica de datos abre muchas oportunidades en investigación.

Además de todo esto, hay un trabajo de fondo -que necesitará años- y que tiene que ver con cuestiones de investigación y género.

El artículo A global call for action to include gender in research impact assessment alcanzó muy rápidamente un fuerte impacto en redes sociales. El año pasado por estas fechas publicamos un post recomendando su lectura.

Evolución Almetrics de este artículo: 220 (26/8/2016), 258 (31/8/2017).

El artículo lidera las publicaciones de esta revista en impacto.

Datos destacados:

Sobre cuestiones de investigación y género, retomamos el tema desde este blog con otro post con el objetivo de invitar a la reflexión y estar atentas a la realidad que nos rodea, dentro y fuera del ámbito de investigación.

Desde AQuAS la pregunta es cómo un equipo tan pequeño en número pero tan grande en implicación lleva adelante el complejo engranaje de la evaluación integral de diversas convocatorias de investigación, el impacto de la investigación y además hace investigación sobre la implicación de la ciudadanía en la investigación, la investigación en los medios de comunicación y las ya comentadas cuestiones de investigación y género.

En resumen , mucho trabajo hecho y mucho trabajo en marcha en estos momentos con la implicación al 100% del equipo de investigació de AQuAS y de muchos otros colaboradores y expertos.

Entrada elaborada por Marta Millaret (@MartaMillaret)

Implicats en l’avaluació de la recerca al 100%

31 ag.

Des de l’any 2001, l’AQuAS (l’Agència de Qualitat i Avaluació Sanitàries de Catalunya) s’encarrega d’avaluar les propostes de projectes de recerca que opten a rebre finançament de la Fundació La Marató de TV3. Es tracta de prioritzar la recerca de més qualitat segons una metodologia quantitativa i qualitativa en un procés que dura mesos i que conclou amb una reunió presencial d’experts internacionals. Aquesta metodologia es publica cada any i està a disposició de tota la ciutadania. La propera reunió d’experts tindrà lloc aquest proper mes de setembre.

Fotografia de grup de la reunió final amb experts internacionals per a l’avaluació de la convocatòria FMTV3 sobre Diabetis. Barcelona, setembre 2016. D’esquerra a dreta i de dalt a baix: Gerald Tomking (Diabetes Institution of Ireland), Joan MV Pons (AQuAS), Johann Wojta (Medical University of Vienna), Stephan Zipfel (University of Tuebingen), Karlheinz Friedrich (University Hospital Jena), Maite Solans (AQuAS), Harold de Valk (University Medical Centre Utrecht), Hans-Georg Joost (German Institute of Human Nutrition), Juergen Eckel (German Diabetes Center), Ernest Vinyoles (observador extern), Anna Monsó (observadora externa), Gabriel Capellà (observador extern), Jaume Reventós (observador extern), Bea Ortega (AQuAS), Esther Vizcaino (AQuAS), Núria Radó (AQuAS)

L’avaluació de la recerca que es duu a terme des d’AQuAS contempla tres moments diferents del cicle de la recerca. L’avaluació de les propostes de recerca (avaluació ex-ante), l’avaluació durant la recerca (avaluació ongoing) i l’avaluació un cop la recerca ja ha finalitzat (avaluació ex-post). L’AQuAS compta amb experiència de llarg recorregut en tots aquests estadis de la recerca.

El fet que en una mateixa institució es faci avaluació de la recerca i avaluació del sistema de salut té un caràcter totalment excepcional i és una de les fortaleses d’AQuAS. Els dos tipus d’avaluacions es beneficien mútuament d’aquesta situació pels aprenentatges que es generen.

Un altre àmbit de recerca on AQuAS ha estat pionera és l’avaluació de l’impacte de la recerca. Enguany se celebrarà l’escola internacional d’impacte de la recerca (ISRIA, per les seves sigles en anglès) a Dinamarca (més informació aquí).

Des de l’any passat, també s’avalua la convocatòria del PERIS, que representa una novetat important i una bona injecció per a la recerca biomèdica catalana. Sobre aquesta convocatòria, val la pena remarcar la voluntat i la determinació per situar les persones al centre de la recerca, i el fet que justament ara ens trobem en un moment molt potent perquè l’analítica de dades obre moltes oportunitats en recerca.

A més de tot això, hi ha una feina de fons -que necessitarà anys-, i que té a veure amb qüestions de recerca i gènere.

L’article A global call for action to include gender in research impact assessment va assolir molt ràpidament un fort impacte en xarxes socials. Ara fa un any publicàvem un post recomanant-ne la seva lectura.

Evolució Almetrics d’aquest article: 220 (26/8/2016), 258 (31/8/2017).

L’article encapçala les publicacions d’aquesta revista quant a impacte.

Dades destacades:

Sobre qüestions de recerca i gènere, vam reprendre el tema des d’aquest blog amb un altre post amb l’objectiu de convidar a la reflexió i estar atentes a la realitat que ens envolta, dins i fora de l’àmbit de recerca.

Des d’AQuAS la pregunta és com un equip tan petit en nombre però tan gran en implicació tira endavant el complex engranatge de l’avaluació integral de diverses convocatòries de recerca, l’impacte de la recerca i també fa recerca sobre la implicació de la ciutadania en la recerca, la recerca en els mitjans de comunicació i les ja comentades qüestions de recerca i gènere.

Ras i curt, molta feina feta i molta feina en marxa ara mateix amb la implicació al 100% de l’equip de recerca d’AQuAS i de molts altres col·laboradors i experts.

Entrada elaborada per Marta Millaret (@MartaMillaret)