Paula Adam, Responsable d’Avaluació de la Recerca AQuAS
Mentre va proliferant el nombre global d’agents que s’interessen per l’avaluació de l’impacte de la recerca dels organismes d’R+D, sobresurt repetidament una inquietud comú: la declaració de la necessitat de definir una bateria d’indicadors de resultats o d’impacte comparable i internacionalment acceptada. Una de les propostes amb vocació global la dugué a terme l’any 2009 un panel d’experts canadenc amb un conjunt d’indicadors acompanyat d’un model teòric i una crida a la comunitat global per avançar en la millora i refinament dels mateixos. Des d’aleshores, altres organismes han declarat interessos similars. Tanmateix, no coneixem cap iniciativa reeixida d’ampli abast. Més aviat, han destacat en la literatura les posicions a favor d’una visió mixta d’indicadors mètrics quantitatius combinat amb aproximacions qualitatives.
Una manera de mesurar la recerca és considerant-la com procés productiu, amb inputs, variables de procés, outputs resultats i beneficis. L’activitat i recursos abocats en fer R+D als centres és mesurable en termes quantitatius (recursos humans, fons captats competitius i no competitius, etc). El procés de recerca també comprèn aspectes relativament fàcils de mesurar quantitativament (assaigs clínics, patents, guies de pràctica clínica, spin-off i start-ups, etc), igualment com els resultats primaris (publicacions, cites, etc). A Catalunya hi ha el sistema d’informació UNEIX (sistema d’informació de les universitats de Catalunya) que des de l’any 2000 ençà integra dades de gestió de dotze universitats públiques i privades de Catalunya, i que permet fer un seguiment quantitatiu de les necessitats, medis i alguns resultats en l’àmbit de la docència i l’àmbit de la recerca. El SIRECS (sistema d’informació de recerca en ciències de la salut) complementa la informació recollida per UNEIX al incorporar també les dades de 19 centres de recerca biomèdica que reben subvenció pública de la Generalitat.
La Central de Resultats de l’Àmbit de la Recerca en Ciències de la Salut recull les dades crues del SIRECS-UNEIX per a cada centre i presenta indicadors per a tipificar la recerca biomèdica que es duu a terme en quant a recursos, procés i resultats científics amb mesures i indicadors quantitatius. La qüestió és com prosseguir i completar l’anàlisi amb indicadors d’impacte no acadèmics (o d’impacte social) a nivell nominal (centre per centre). És a dir, impacte en la capacitació del sistema, dels professionals i dels pacients i familiars, impacte en la presa de decisions informades, impacte en millores de la salut i impacte econòmic i social.
Si anem cap a Gran Bretanya, el projecte Research Excellence Framework (REF) aplicat a universitats és potser el sistema d’informació que recull més impactes no acadèmics de manera sistemàtica i nominal. Això es fa afegint a les dades quantitatives un elevadíssim nombre d’estudis de casos duts a terme periòdicament a través de revisió per parells per totes universitats i disciplines científiques. L’impacte no acadèmic en aquest cas es defineix així: “qualsevol efecte, canvi o benefici més enllà de l’acadèmic, per la economia, la societat, la cultura, les polítiques o serveis públics, la salut, el medi ambient o la qualitat de vida”. En el REF, cada estudi de cas és un document de 4 pàgines amb descripció narrativa d’impactes no acadèmics descrits utilitzant dos criteris: l’abast i la significança. L’ impàs entre aquestes fitxes narratives i uns objectius mètrics recentment s’ha abordat en un informe de King’s College London i Digital Science fent ús de les possibilitats metodològiques que ofereix la ‘big data’ (o anàlisi de gran volum de dades que permeten les computadores de noves generacions): s’han utilitzat 6.679 estudis de casos d’universitats britàniques (sotmesos a la metodologia REF 2014) per aplicar un mètode mixt d’aproximació quantitativa a un elevat volum de dades qualitatives. Aquest mètode s’anomena ‘text-mining’ i serveix per a sintetitzar el ‘cos’ d’un elevant volum d’informació narrativa qualitativa. Crida l’atenció una de les conclusions de l’estudi: “l’evidència quantitativa sobre impactes es prou diversa i inconsistent com per concloure que el desenvolupament d’indicadors quantitatius robustos no és viable”. Per tant, es suggereix de nou que els indicadors mètrics combinats amb aproximacions qualitatives és potser la millor manera de capturar una avaluació global.
Tornant a Catalunya, la prova pilot que es va fer per dos centres a partir de la metodologia sectorial de taules input-output apunta la possibilitat d’ampliació de les mètriques quantitatives en l’àmbit econòmic. A nivell mes qualitatiu, l’avaluació dels 47 centres CERCA duta a terme el 2012-13 a través d’un qüestionari revisat per panells d’experts internacionals ofereix dades i mètriques quantitatives i qualitatives molt valuoses sobre l’acompliment de les missions i estratègies de cada centre. Quin és doncs el següent pas? Com avançar cap a un mètode mixt quanti-quali per avaluar en la seva globalitat l’impacte dels centres de recerca biomèdica de Catalunya?