En estos últimos años se ha insistido mucho en la idea de que la participación de los actores en investigación es un elemento clave en la investigación para transformar y generar impacto en la sociedad. Para los que todavía son un poco reticentes con esta afirmación, así lo demuestran los estudios de evaluación del impacto de la investigación, los cuales enfatizan la participación de los profesionales, los pacientes y del resto de actores del sistema a lo largo de todo el proceso de investigación en la mejora de la efectividad de la investigación para llegar a la sociedad.
Por ello, se consideró necesario desde AQuAS, y en colaboración con la Fundación Bancaria ”la Caixa”, que si queremos que la investigación tenga más impacto, los sistemas de evaluación también deben estar implicados. Con este objetivo, y con una gran contribución también de Maite Solans y Paula Adam, se presentó el primer monográfico sobre investigación responsable del SARIS (el Sistema de Evaluación de la Investigación en Salud). Gracias a una revisión de la literatura internacional existente, se pudieron identificar 47 indicadores que miden las actividades de participación de los actores en las instituciones de investigación.
Los indicadores encontrados cubren un amplio alcance del proceso de la investigación, por lo que se han agrupado en seis dimensiones —capacitación, gobernanza, recursos, actividad, diseminación y resultados primarios— que nos permiten ver cómo se puede implicar a los diferentes actores del sistema a lo largo de todo el proceso de investigación (planificación, ejecución y traslación).
Figura 1. Dimensiones a lo largo del proceso de la investigación
Pero… ¡precaución! ¡Debemos tener cuidado! Por un lado, los indicadores propuestos pueden ser útiles para estimular y ampliar la reflexión sobre cómo se pueden monitorizar las actividades relacionadas con la participación de los actores del sistema llevadas a cabo en las instituciones de investigación. Por otro, hay que recalcar que cualquier indicador debe utilizarse de una manera responsable, considerando el contexto y los incentivos y las distorsiones que puede provocar esa medida. Los expertos en medidas e indicadores de la ciencia saben muy bien que el tejido investigador y el sistema de investigación cambia sus comportamientos en función de lo que se mide —«You get what you measure», decía Cyril Frank, chairman del panel sobre impacto de la investigación en salud de la Canadian Academy of Health Sciences (CAHS).
En participación en investigación, la cuestión de la medida es aún más compleja porque es una actividad incipiente. Como dijo Derek Stewart, director del Patient Involvement del Nottingham Biomedical Research Centre y conferenciante en la jornada SARIS donde se presentó este monográfico:
«Uno de los grandes retos de las medidas es que a menudo se miden los “inputs” —el número de personas que participan, el número de grupos que se han convocado o con los que se ha hablado o el número de estudios en que participan los pacientes. Se trata de realizar acciones que aporten valor, que ayuden a avanzar el conocimiento hacia soluciones para el paciente.»
Las reflexiones de Derek Stewart durante la preparación de su conferencia se pueden ver en su blog «Making a difference».
Los indicadores deben ayudar a responder preguntas específicas en función de cada situación y necesidad; por ello es indispensable que se evalúe su relevancia y factibilidad en contexto. El concepto de relevancia se refiere a la proximidad del indicador a la necesidad y pregunta específica que nos planteamos —por ejemplo, ¿qué valor real aporta esta participación que el indicador mide? El concepto de factibilidad se refiere al grado en que los datos para construir el indicador están fácilmente disponibles y son asequibles.
Como se puede apreciar en la Figura 1, en los indicadores localizados en la literatura hay una gran cantidad que son relevantes, lo que era de esperar porque son recomendados por entidades de gran prestigio. Sin embargo, la factibilidad en nuestro entorno es baja en la mayor parte de ellos y hace que aunque hayamos identificado varios indicadores recomendables con limitaciones, no hay ninguno que sea totalmente recomendable.
Figura 3. Factibilidad vs. Relevancia de los 47 indicadores
Así pues, teniendo en cuenta el contexto de la investigación en Catalunya, en AQuAS hemos catalogado los indicadores de la siguiente manera:
- 27 indicadores no recomendables para su utilización
- 20 indicadores con limitaciones
- Ningún indicador completamente recomendable
Los resultados alcanzados nos permitieron extraer una buena lección: antes de definir indicadores o medir la participación en investigación, hay que explorar primero qué se hace en nuestro entorno para, estudiando primero qué es factible, ir a buscar las acciones más relevantes.
El éxito de los sistemas de evaluación depende de la aceptación de los procesos y resultados entre los responsables de la toma de decisiones y las comunidades de investigación que se evalúan. El reto, pues, es tratar de entender, a partir de la guía que nos han ofrecido los indicadores de la literatura internacional, qué se hace a la práctica en nuestro entorno.
¡Seguimos!
Post elaborado por Ion Arrizabalaga.
(Post publicado conjuntamente en el blog AQuAS i en el blog CaixaCiència)