Paula Adam, Responsable de Evaluación de la investigación AQuAS
Mientras proliferando el número global de agentes que se interesan por la evaluación del impacto de la investigación de los organismos de I+D, sobresale repetidamente una inquietud común: la necesidad de definir una batería de indicadores de resultados o de impacto comparable e internacionalmente aceptada. Una de las propuestas con vocación global la llevó a cabo en 2009 un panel de expertos canadiense con un conjunto de indicadores acompañado de un modelo teórico y un llamamiento a la comunidad global para avanzar en la mejora y refinamiento de los mismos. Desde entonces, otros organismos han declarado intereses similares. Sin embargo, no conocemos ninguna iniciativa exitosa de amplio alcance. Más bien, han destacado en la literatura las posiciones a favor de una visión mixta de indicadores métricos cuantitativos combinado con aproximaciones cualitativas.
Una forma de medir la investigación es considerándola como proceso productivo, con inputs, variables de proceso, outputs y resultados o beneficios. La actividad y recursos volcados en hacer I+D en los centros es medible en términos cuantitativos (recursos humanos, fondos captados competitivos y no competitivos, etc). El proceso de investigación también comprende aspectos relativamente fáciles de medir cuantitativamente (ensayos clínicos, patentes, guías de práctica clínica, spin-off y start-ups, etc), igualmente como los resultados primarios (publicaciones, citas, etc). En Cataluña hay el sistema de información UNEIX (sistema de información de las universidades de Cataluña) que desde el año 2000 hasta ahora integra datos de gestión de doce universidades públicas y privadas de Cataluña, y que permite hacer un seguimiento cuantitativo de las necesidades, medios y algunos resultados en el ámbito de la docencia y el ámbito de la investigación. El SIRECS (sistema de información de investigación en ciencias de la salud) complementa la información ecogida por UNEIX al incorporar también los datos del SIRECS para los 19 centros de investigación biomédica que reciben subvención pública de la Generalitat de Cataluña.
La Central de Resultados del Ámbito de la Investigación en Ciencias de la Salud recoge los datos crudos de SIRECS-UNEIX para cada centro y tipifica la información específica sobre investigación en cuanto a recursos, proceso y resultados científicos con medidas e indicadores cuantitativos. La cuestión es cómo proseguir y completar el análisis con indicadores de impacto no académicos (o de impacto social) a nivel nominal (centro por centro). Es decir, impacto en la capacitación del sistema, de los profesionales y de los pacientes y familiares, impacto en la toma de decisiones informadas, impacto en mejoras de la salud e impacto económico y social.
Si vamos a Gran Bretaña, el proyecto Research Excellence Framework (REF) aplicado a universidades es quizás el sistema de información que recoge más impactos no académicos de manera sistemática y nominal. Esto se hace añadiendo a los datos cuantitativos un elevadísimo número de estudios de casos realizados periódicamente a través de revisión por pares para todas universidades y disciplinas científicas.
El impacto no académico en este caso se define así: «cualquier efecto, cambio o beneficio más allá del académico, por la economía, la sociedad, la cultura, las políticas o servicios públicos, la salud, el medio ambiente o la calidad de vida«. En el REF, cada estudio de caso es un documento de 4 páginas con descripción narrativa de impactos no académicos descritos utilizando dos criterios: el alcance y la significancia. El impaso entre estas fichas narrativas y unos objetivos métricos recientemente se ha abordado en un informe de King’s College London y Digital Science haciendo uso de las posibilidades metodológicas que ofrece la ‘big data‘ (o análisis de gran volumen de datos que permiten las computadoras de nuevas generaciones): se han utilizado 6.679 estudios de casos de universidades británicas (sometidos a la metodología REF 2014) para aplicar un método mixto de aproximación cuantitativa a un elevado volumen de datos cualitativos. Este método se denomina ‘text-mining’ y sirve para sintetizar el ‘cuerpo’ de un elevado volumen de información narrativa cualitativa. Llama la atención una de las conclusiones del estudio: «la evidencia cuantitativa sobre impactos es bastante diversa y suficientemente inconsistente como para concluir que el desarrollo de indicadores cuantitativos robustos no es viable«. Por lo tanto, se sugiere de nuevo que los indicadores métricos combinados con aproximaciones cualitativas es quizás la mejor manera de capturar una evaluación global.
Volviendo a Cataluña, la prueba piloto que se hizo para dos centros a partir de la metodología sectorial de tablas input-output apunta la posibilidad de ampliación de las métricas cuantitativas en el ámbito económico. A nivel más cualitativo, la evaluación de los 47 centros CERCA llevada a cabo el 2012-13 a través de un cuestionario revisado por paneles de expertos internacionales ofrece datos y métricas cuantitativas y cualitativas muy valiosas sobre el desempeño de las misiones y estrategias de cada centro. ¿Cuál es el siguiente paso? ¿Cómo avanzar hacia un método mixto cantidad-calidad para evaluar en su globalidad el impacto de los centros de investigación biomédica de Cataluña?