Impacte de la recerca en perspectiva

26 jul.

Va ser a la tardor passada, amb unes temperatures menys càlides que les actuals de ple estiu, quan vam publicar unes interessants reflexions de Ramon Gomis sobre la recerca biosanitària a Catalunya esmentant el programa CAPRIS (Consell Assessor en Política de Recerca i Innovació) i el programa ICREA (Institució Catalana de Recerca i Estudis Avançats).

“Què fa que una recerca determinada tingui un impacte a la societat més enllà de l’estrictament acadèmic i sigui, realment, tranformadora?”

Aquesta pregunta marcava l’inici d’una potent reflexió de Núria Radó sobre recerca infermera on es combinava l’element de la participació i de l’impacte (multifactorial) de la recerca, i entrava en joc l’element de la implicació. I tot això en el context del SARIS (Sistema d’Avaluació de la Recerca i Innovació en Salut) i el PERIS (Pla Estratègic de Recerca i Innovació en Salut 2016-2020).

Fer recerca i publicar sobre aquesta recerca són accions que sovint van agafades de la mà, ja sigui en contextos científics (articles, comunicacions en congressos) com en contextos més aviat divulgatius (mitjans de comunicació tradicionals, xarxes socials).

Vam veure en aquest estudi una anàlisi sobre el to crític de les notícies sobre innovacions mèdiques publicades en premsa diària escrita. Aquestes són les generoses reflexions de Gaietà Permanyer al voltant de les recances d’un metge a l’hora de publicar en diaris o llibres d’àmbit no professional, els conceptes d’autonomia del pacient, de les decisions informades i de l’alfabetisme sanitari, i com lliga tot plegat, per aterrar cap a un ideal d’informació equilibrada en mitjans de comunicació generalistes.

Seguim posant l’accent en les publicacions. Però ara ens centrem en les publicacions científiques i en l’impacte que se’n pot derivar amb dues temàtiques molt diferents però inspiradores:

D’una banda vam veure el fenomen conegut com les “belles dorments de la ciència” gràcies a en Joan MV Pons i el cas d’un descobriment (publicat) de Francis Mojica (ara fa 25 anys) que ha estat clau en el desenvolupament de la tècnica d’edició genètica CRISPR.

“Belles Dorments són els articles que semblen passar sense reconeixement fins que algú els rescata tardanament i els dona el crèdit que mereixen”.

I d’altra banda, dos dies abans de començar la primavera, des de Newcastle vam comptar amb la col·laboració d’Ernest Abadal explicant les altmètriques i els punts forts i febles dels  sistemes (tradicionals i no tan tradicionals) d’avaluació de la qualitat d’una publicació científica.

“A partir de 2010 es comença a parlar de les altmètriques, un conjunt d’indicadors que mesuren la presència d’una publicació a les xarxes socials i acadèmiques i complementen de manera notable els índexs de citacions”

I apareix aquí també l’element de la implicació:

“Des del punt de vista de l’investigador, està clar que actualment no n’hi ha prou amb publicar un article en una revista, sinó que cal implicar-se a fons en la seva difusió a les xarxes socials i també a les xarxes acadèmiques per tal de donar visibilitat als continguts publicats”

Acabem aquest recorregut sobre avaluació i impacte de la recerca de la mà de Ion Arrizabalaga amb el repte de mesurar la participació en aquest context.

“La participació dels actors en recerca és un element clau en la recerca per transformar i generar impacte en la societat”

Si voleu llegir més sobre participació i recerca, us recomanem la lectura d’aquests dos documents publicats des d’AQuAS:

Fem un pas més: Podem mesurar la participació en recerca dels actors del sistema?

21 juny
Ion Arrizabalaga

En aquests darrers anys s’ha insistit molt en la idea que la participació dels actors en recerca és un element clau en la recerca per transformar i generar impacte en la societat. Per als que encara són una mica reticents amb aquesta afirmació, així ho demostren els estudis d’avaluació de l’impacte de la recerca, els quals emfatitzen la participació dels professionals, dels pacients i de la resta d’actors del sistema al llarg de tot el procés de recerca en la millora de l’efectivitat de la recerca en arribar a la societat.

Per això, es va considerar necessari des d’AQuAS -i en col·laboració amb la Fundación Bancaria ”la Caixa”– que si volem que la recerca tingui un major impacte, els sistemes d’avaluació també han d’estar implicats. Amb aquest objectiu, i amb una gran contribució també de Maite Solans i Paula Adam, es va presentar el primer monogràfic sobre Recerca Responsable del SARIS (el Sistema d’Avaluació de la Recerca en Salut). Gràcies a una revisió de la literatura internacional existent, es van poder identificar 47 indicadors que mesuren les activitats de participació dels actors en les institucions de recerca.

Els indicadors trobats cobreixen un ampli abast del ‘procés’ de la recerca, per la qual cosa s’han agrupat en sis dimensions –capacitació, governança, recursos, activitat, disseminació i resultats primaris– que ens permeten veure com es poden implicar els diferents actors del sistema al llarg de tot el procés de recerca (planificació, execució i translació).

Figura 1. Dimensions al llarg del procés de la recerca

Però… precaució, hem d’anar amb compte! D’una banda, els indicadors proposats poden ser útils per estimular i ampliar la reflexió sobre com monitorar les activitats relacionades amb la participació dels actors del sistema dutes a terme en les institucions de recerca. D’altra banda, cal recalcar que qualsevol indicador s’ha d’utilitzar de forma responsable, considerant el seu context, els incentius i les distorsions que pot provocar aquella mesura. Els experts en mesures i indicadors de la ciència saben molt bé que el teixit investigador i el sistema de recerca canvia els seus comportaments en funció del que es mesura, ‘you get what you measure’, deia Cyril Frank, chairman del panel sobre impacte de la recerca en salut de la Canadian Academy of Health Sciences (CAHS).

En participació en recerca, la qüestió de la mesura és encara mes complexa perquè és una activitat incipient. Com va dir el senyor Derek Stewart, director del Patient Involvement del Nottingham Biomedical Research Centre i conferenciant a la Jornada SARIS on es van presentar aquest monogràfic:

“Un dels grans reptes de les mesures és que sovint es mesuren els “inputs” – el nombre de persones que hi participen, el nombre de grups que s’han convocat o amb qui s’ha parlat o el nombre d’estudis en què participen els pacients. Es tracta de fer accions que aportin valor, que ajudin a avançar el coneixement cap a solucions per al pacient”

Les reflexions de Derek Stewart durant la preparació de la seva conferència es poden veure al seu blog ‘Making a difference’.

Els indicadors han d’ajudar a respondre preguntes específiques en funció de cada situació i necessitat, per això és indispensable que s’avaluï la seva rellevància i factibilitat en el seu context. El concepte de rellevància es refereix a la proximitat de l’indicador a la necessitat i pregunta específica que ens posem; per exemple, quin valor real aporta aquesta participació que l’indicador mesura?. El concepte de factibilitat es refereix al grau en què les dades per construir l’indicador estan fàcilment disponibles i assequibles.

Com es pot apreciar en la Figura 1, entre els indicadors localitzats en la literatura hi ha una gran quantitat que són rellevants, la qual cosa era d’esperar perquè són recomanats per entitats de gran prestigi. Tanmateix, la seva factibilitat en el nostre entorn és baixa en la major part d’ells i fa que encara que hàgim identificat diversos indicadors amb limitacions, cap sigui totalment recomanable.

Figura 3. Factibilitat vs. Rellevància dels 47 indicadors

Així doncs, tenint en compte el context de la recerca a Catalunya, a AQuAS hem catalogat els indicadors de la manera següent:

  • 27 indicadors com a no recomanables per a la seva utilització
  • 20 indicadors amb limitacions
  • Cap indicador plenament recomanable

Els resultats assolits ens van permetre treure una bona lliçó: abans de definir indicadors o mesurar la participació en recerca, cal explorar primer què es fa en el nostre entorn per a que, estudiant primer què és factible, anar a cercar les accions més rellevants.

L’èxit dels sistemes d’avaluació depèn de l’acceptació dels seus processos i resultats entre els responsables de la presa de decisions i les comunitats de recerca que s’avaluen. El repte, doncs, és tractar d’entendre, a partir de la guia que ens han ofert els indicadors de la literatura internacional, què es fa a la pràctica en el nostre entorn.

Seguim!

Post elaborat per Ion Arrizabalaga.

(Post publicat conjuntament al blog AQuAS i al blog CaixaCiència)

Implicats en l’avaluació de la recerca al 100%

31 ag.

Des de l’any 2001, l’AQuAS (l’Agència de Qualitat i Avaluació Sanitàries de Catalunya) s’encarrega d’avaluar les propostes de projectes de recerca que opten a rebre finançament de la Fundació La Marató de TV3. Es tracta de prioritzar la recerca de més qualitat segons una metodologia quantitativa i qualitativa en un procés que dura mesos i que conclou amb una reunió presencial d’experts internacionals. Aquesta metodologia es publica cada any i està a disposició de tota la ciutadania. La propera reunió d’experts tindrà lloc aquest proper mes de setembre.

Fotografia de grup de la reunió final amb experts internacionals per a l’avaluació de la convocatòria FMTV3 sobre Diabetis. Barcelona, setembre 2016. D’esquerra a dreta i de dalt a baix: Gerald Tomking (Diabetes Institution of Ireland), Joan MV Pons (AQuAS), Johann Wojta (Medical University of Vienna), Stephan Zipfel (University of Tuebingen), Karlheinz Friedrich (University Hospital Jena), Maite Solans (AQuAS), Harold de Valk (University Medical Centre Utrecht), Hans-Georg Joost (German Institute of Human Nutrition), Juergen Eckel (German Diabetes Center), Ernest Vinyoles (observador extern), Anna Monsó (observadora externa), Gabriel Capellà (observador extern), Jaume Reventós (observador extern), Bea Ortega (AQuAS), Esther Vizcaino (AQuAS), Núria Radó (AQuAS)

L’avaluació de la recerca que es duu a terme des d’AQuAS contempla tres moments diferents del cicle de la recerca. L’avaluació de les propostes de recerca (avaluació ex-ante), l’avaluació durant la recerca (avaluació ongoing) i l’avaluació un cop la recerca ja ha finalitzat (avaluació ex-post). L’AQuAS compta amb experiència de llarg recorregut en tots aquests estadis de la recerca.

El fet que en una mateixa institució es faci avaluació de la recerca i avaluació del sistema de salut té un caràcter totalment excepcional i és una de les fortaleses d’AQuAS. Els dos tipus d’avaluacions es beneficien mútuament d’aquesta situació pels aprenentatges que es generen.

Un altre àmbit de recerca on AQuAS ha estat pionera és l’avaluació de l’impacte de la recerca. Enguany se celebrarà l’escola internacional d’impacte de la recerca (ISRIA, per les seves sigles en anglès) a Dinamarca (més informació aquí).

Des de l’any passat, també s’avalua la convocatòria del PERIS, que representa una novetat important i una bona injecció per a la recerca biomèdica catalana. Sobre aquesta convocatòria, val la pena remarcar la voluntat i la determinació per situar les persones al centre de la recerca, i el fet que justament ara ens trobem en un moment molt potent perquè l’analítica de dades obre moltes oportunitats en recerca.

A més de tot això, hi ha una feina de fons -que necessitarà anys-, i que té a veure amb qüestions de recerca i gènere.

L’article A global call for action to include gender in research impact assessment va assolir molt ràpidament un fort impacte en xarxes socials. Ara fa un any publicàvem un post recomanant-ne la seva lectura.

Evolució Almetrics d’aquest article: 220 (26/8/2016), 258 (31/8/2017).

L’article encapçala les publicacions d’aquesta revista quant a impacte.

Dades destacades:

Sobre qüestions de recerca i gènere, vam reprendre el tema des d’aquest blog amb un altre post amb l’objectiu de convidar a la reflexió i estar atentes a la realitat que ens envolta, dins i fora de l’àmbit de recerca.

Des d’AQuAS la pregunta és com un equip tan petit en nombre però tan gran en implicació tira endavant el complex engranatge de l’avaluació integral de diverses convocatòries de recerca, l’impacte de la recerca i també fa recerca sobre la implicació de la ciutadania en la recerca, la recerca en els mitjans de comunicació i les ja comentades qüestions de recerca i gènere.

Ras i curt, molta feina feta i molta feina en marxa ara mateix amb la implicació al 100% de l’equip de recerca d’AQuAS i de molts altres col·laboradors i experts.

Equip de recerca AQuAS. De dalt a baix i d’esquerra a dreta: Ion Arrizabalaga, Paula Adam, Núria Radó i Esther Vizcaino. No apareixen en aquesta fotografia però són també de l’equip de recerca AQuAS: Bea Ortega i Maite Solans

Entrada elaborada per Marta Millaret (@MartaMillaret)