Fem un pas més: Podem mesurar la participació en recerca dels actors del sistema?

21 juny
Ion Arrizabalaga

En aquests darrers anys s’ha insistit molt en la idea que la participació dels actors en recerca és un element clau en la recerca per transformar i generar impacte en la societat. Per als que encara són una mica reticents amb aquesta afirmació, així ho demostren els estudis d’avaluació de l’impacte de la recerca, els quals emfatitzen la participació dels professionals, dels pacients i de la resta d’actors del sistema al llarg de tot el procés de recerca en la millora de l’efectivitat de la recerca en arribar a la societat.

Per això, es va considerar necessari des d’AQuAS -i en col·laboració amb la Fundación Bancaria ”la Caixa”– que si volem que la recerca tingui un major impacte, els sistemes d’avaluació també han d’estar implicats. Amb aquest objectiu, i amb una gran contribució també de Maite Solans i Paula Adam, es va presentar el primer monogràfic sobre Recerca Responsable del SARIS (el Sistema d’Avaluació de la Recerca en Salut). Gràcies a una revisió de la literatura internacional existent, es van poder identificar 47 indicadors que mesuren les activitats de participació dels actors en les institucions de recerca.

Els indicadors trobats cobreixen un ampli abast del ‘procés’ de la recerca, per la qual cosa s’han agrupat en sis dimensions –capacitació, governança, recursos, activitat, disseminació i resultats primaris– que ens permeten veure com es poden implicar els diferents actors del sistema al llarg de tot el procés de recerca (planificació, execució i translació).

Figura 1. Dimensions al llarg del procés de la recerca

Però… precaució, hem d’anar amb compte! D’una banda, els indicadors proposats poden ser útils per estimular i ampliar la reflexió sobre com monitorar les activitats relacionades amb la participació dels actors del sistema dutes a terme en les institucions de recerca. D’altra banda, cal recalcar que qualsevol indicador s’ha d’utilitzar de forma responsable, considerant el seu context, els incentius i les distorsions que pot provocar aquella mesura. Els experts en mesures i indicadors de la ciència saben molt bé que el teixit investigador i el sistema de recerca canvia els seus comportaments en funció del que es mesura, ‘you get what you measure’, deia Cyril Frank, chairman del panel sobre impacte de la recerca en salut de la Canadian Academy of Health Sciences (CAHS).

En participació en recerca, la qüestió de la mesura és encara mes complexa perquè és una activitat incipient. Com va dir el senyor Derek Stewart, director del Patient Involvement del Nottingham Biomedical Research Centre i conferenciant a la Jornada SARIS on es van presentar aquest monogràfic:

“Un dels grans reptes de les mesures és que sovint es mesuren els “inputs” – el nombre de persones que hi participen, el nombre de grups que s’han convocat o amb qui s’ha parlat o el nombre d’estudis en què participen els pacients. Es tracta de fer accions que aportin valor, que ajudin a avançar el coneixement cap a solucions per al pacient”

Les reflexions de Derek Stewart durant la preparació de la seva conferència es poden veure al seu blog ‘Making a difference’.

Els indicadors han d’ajudar a respondre preguntes específiques en funció de cada situació i necessitat, per això és indispensable que s’avaluï la seva rellevància i factibilitat en el seu context. El concepte de rellevància es refereix a la proximitat de l’indicador a la necessitat i pregunta específica que ens posem; per exemple, quin valor real aporta aquesta participació que l’indicador mesura?. El concepte de factibilitat es refereix al grau en què les dades per construir l’indicador estan fàcilment disponibles i assequibles.

Com es pot apreciar en la Figura 1, entre els indicadors localitzats en la literatura hi ha una gran quantitat que són rellevants, la qual cosa era d’esperar perquè són recomanats per entitats de gran prestigi. Tanmateix, la seva factibilitat en el nostre entorn és baixa en la major part d’ells i fa que encara que hàgim identificat diversos indicadors amb limitacions, cap sigui totalment recomanable.

Figura 3. Factibilitat vs. Rellevància dels 47 indicadors

Així doncs, tenint en compte el context de la recerca a Catalunya, a AQuAS hem catalogat els indicadors de la manera següent:

  • 27 indicadors com a no recomanables per a la seva utilització
  • 20 indicadors amb limitacions
  • Cap indicador plenament recomanable

Els resultats assolits ens van permetre treure una bona lliçó: abans de definir indicadors o mesurar la participació en recerca, cal explorar primer què es fa en el nostre entorn per a que, estudiant primer què és factible, anar a cercar les accions més rellevants.

L’èxit dels sistemes d’avaluació depèn de l’acceptació dels seus processos i resultats entre els responsables de la presa de decisions i les comunitats de recerca que s’avaluen. El repte, doncs, és tractar d’entendre, a partir de la guia que ens han ofert els indicadors de la literatura internacional, què es fa a la pràctica en el nostre entorn.

Seguim!

Post elaborat per Ion Arrizabalaga.

(Post publicat conjuntament al blog AQuAS i al blog CaixaCiència)

Implicats en l’avaluació de la recerca al 100%

31 ag.

Des de l’any 2001, l’AQuAS (l’Agència de Qualitat i Avaluació Sanitàries de Catalunya) s’encarrega d’avaluar les propostes de projectes de recerca que opten a rebre finançament de la Fundació La Marató de TV3. Es tracta de prioritzar la recerca de més qualitat segons una metodologia quantitativa i qualitativa en un procés que dura mesos i que conclou amb una reunió presencial d’experts internacionals. Aquesta metodologia es publica cada any i està a disposició de tota la ciutadania. La propera reunió d’experts tindrà lloc aquest proper mes de setembre.

Fotografia de grup de la reunió final amb experts internacionals per a l’avaluació de la convocatòria FMTV3 sobre Diabetis. Barcelona, setembre 2016. D’esquerra a dreta i de dalt a baix: Gerald Tomking (Diabetes Institution of Ireland), Joan MV Pons (AQuAS), Johann Wojta (Medical University of Vienna), Stephan Zipfel (University of Tuebingen), Karlheinz Friedrich (University Hospital Jena), Maite Solans (AQuAS), Harold de Valk (University Medical Centre Utrecht), Hans-Georg Joost (German Institute of Human Nutrition), Juergen Eckel (German Diabetes Center), Ernest Vinyoles (observador extern), Anna Monsó (observadora externa), Gabriel Capellà (observador extern), Jaume Reventós (observador extern), Bea Ortega (AQuAS), Esther Vizcaino (AQuAS), Núria Radó (AQuAS)

L’avaluació de la recerca que es duu a terme des d’AQuAS contempla tres moments diferents del cicle de la recerca. L’avaluació de les propostes de recerca (avaluació ex-ante), l’avaluació durant la recerca (avaluació ongoing) i l’avaluació un cop la recerca ja ha finalitzat (avaluació ex-post). L’AQuAS compta amb experiència de llarg recorregut en tots aquests estadis de la recerca.

El fet que en una mateixa institució es faci avaluació de la recerca i avaluació del sistema de salut té un caràcter totalment excepcional i és una de les fortaleses d’AQuAS. Els dos tipus d’avaluacions es beneficien mútuament d’aquesta situació pels aprenentatges que es generen.

Un altre àmbit de recerca on AQuAS ha estat pionera és l’avaluació de l’impacte de la recerca. Enguany se celebrarà l’escola internacional d’impacte de la recerca (ISRIA, per les seves sigles en anglès) a Dinamarca (més informació aquí).

Des de l’any passat, també s’avalua la convocatòria del PERIS, que representa una novetat important i una bona injecció per a la recerca biomèdica catalana. Sobre aquesta convocatòria, val la pena remarcar la voluntat i la determinació per situar les persones al centre de la recerca, i el fet que justament ara ens trobem en un moment molt potent perquè l’analítica de dades obre moltes oportunitats en recerca.

A més de tot això, hi ha una feina de fons -que necessitarà anys-, i que té a veure amb qüestions de recerca i gènere.

L’article A global call for action to include gender in research impact assessment va assolir molt ràpidament un fort impacte en xarxes socials. Ara fa un any publicàvem un post recomanant-ne la seva lectura.

Evolució Almetrics d’aquest article: 220 (26/8/2016), 258 (31/8/2017).

L’article encapçala les publicacions d’aquesta revista quant a impacte.

Dades destacades:

Sobre qüestions de recerca i gènere, vam reprendre el tema des d’aquest blog amb un altre post amb l’objectiu de convidar a la reflexió i estar atentes a la realitat que ens envolta, dins i fora de l’àmbit de recerca.

Des d’AQuAS la pregunta és com un equip tan petit en nombre però tan gran en implicació tira endavant el complex engranatge de l’avaluació integral de diverses convocatòries de recerca, l’impacte de la recerca i també fa recerca sobre la implicació de la ciutadania en la recerca, la recerca en els mitjans de comunicació i les ja comentades qüestions de recerca i gènere.

Ras i curt, molta feina feta i molta feina en marxa ara mateix amb la implicació al 100% de l’equip de recerca d’AQuAS i de molts altres col·laboradors i experts.

Equip de recerca AQuAS. De dalt a baix i d’esquerra a dreta: Ion Arrizabalaga, Paula Adam, Núria Radó i Esther Vizcaino. No apareixen en aquesta fotografia però són també de l’equip de recerca AQuAS: Bea Ortega i Maite Solans

Entrada elaborada per Marta Millaret (@MartaMillaret)