Evaluación: Back to the Basics

22 set.

La cultura evaluativa de AQuAS viene de lejos y la compartimos en redes estatales como REDETS e internacionales como INAHTA, HTAi y EUnetHTA. Esta evaluación hace referencia a la evaluación de tecnologías sanitarias (esto incluye la evaluación de productos sanitarios, medicamentos, programas, modelos organizativos en el ámbito de la salud y un largo etcétera que puede a su vez incluir la evaluación de cribados, tests diagnósticos e eHealth, entro otros) y  también la evaluación de la calidad de la atención asistencial.

La metodología que se usa es robusta y genera debate aún actualmente y es positivo que sea así porque este debate implica un cuestionamiento constante sobre qué hacemos y cómo lo hacemos. Cuando aparecen nuevas tecnologías, nuevas necesidades, nuevas realidades, se requieren también nuevas metodologías evaluativas o su adaptación.

“Evaluar para mejorar” es la idea básica de la evaluación pero … ¿de qué hablamos exacatamente cuando hablamos de evaluación?

No existe una respuesta simple para esta cuestión.

En este post de Mireia Espallargues, Noemí Robles y Laia Domingo hay una buena definición sobre indicadores para la evaluación clínica y de la calidad asistencial.

“Un indicador es un instrumento de medida que se utiliza para evaluar o medir aspectos concretos de la calidad de la atención a través de diversas estrategias de análisis”

En este otro post de las mismas autoras hay un ejemplo de evaluación de programas de cronicidad.

“Los resultados obtenidos de la implementación de los indicadores permitirá a los profesionales disponer de unos criterios objetivos sobre la calidad de sus intervenciones, facilitando la identificación de las fortalezas de los programas de atención a la cronicidad, y también de las áreas de mejora”

En esta línea de evaluación de la cronicidad, puede ser muy útil la aplicación de herramientas para medir multimorbilidad, tal como se puede leer en este post de Emili Vela.

“La presencia multimorbilidad está asociada a una mayor utilización de recursos asistenciales (sanitarios y sociales) y a una peor calidad de vida. En este contexto, se hace necesario medir la multimorbilidad para poder de este modo determinar su impacto en el sistema sanitario”

Otra línea de trabajo muy relacionada con evaluación la encontramos en este post de Miquel Pons, Daniel Chaverri y Luis Lobo sobre prótesis de cadera. Se trata de un estudio que muestra de forma muy clara la utilidad de los registros para la evaluación de tecnologías sanitarias.

“En el contexto actual de innovaciones y avances tecnológicos contínuos y ante una gran presión por parte de los fabricantes, el abanico de prótesis a disposición de los cirujanos ortopédicos es cada vez más grande. Esta situación hace necesario que las prótesis que se utilicen presenten evidencia científica basada en estudios clínicos o bien en datos de registros de artroplastias”

Las iniciativas que estudian la variabilidad en la práctica médica tienen un fuerte componente evaluativo también. Para introducirnos en esta cuestión, Enrique Bernal Delgado y Sandra García Armesto publicaron un post sobre cómo se trata  y cómo ha evolucionado esta cuestión a nivel internacional.

“Las experiencias más significativas se han desarrollado en contextos con una profunda cultura evaluativa y en sistemas donde la elección de aseguradoras y competencia entre proveedores constituye una de sus características fundamentales”

Desde AQuAS, Laura Muñoz presentaba en este otro post dos líneas de trabajo muy potentes: el estudio de la variabilidad en el contexto catalán y la presentación dinámica de estos resultados, una novedad absoluta por lo que a visualización de datos se refiere.

Elementos tecnológicos nuevos implican -para la evaluación- un reto intelectual y un reto por el alcance o volumen de las intervenciones a evaluar. Es reciente la publicación de un marco conceptual de evaluación de mHealth publicado en una revista con un alto factor de impacto, situada en el primer cuartil del Journal Citation Reports.

Los conceptos de eficacia, efectividad, seguridad, eficiencia e impacto organizativo, ético y social son las grandes dimensiones del marco teórico de la evaluación de tecnologías sanitarias y aquí se añade la necesidad de incorporar metodologías de otros campos y el esfuerzo constante para adaptarse a una realidad siempre cambiante.

Para acabar, insistimos en la importancia de la metodología, no como algo estático sinó como un elemento al servicio de la investigación de mejor calidad.

Para seguir avanzando en la evaluación, back to the basics también.

Entrada elaborada por Marta Millaret (@MartaMillaret)

Avaluació: Back to the basics

22 set.

La cultura avaluativa d’AQuAS ve de lluny i la compartim en xarxes estatals com REDETS i internacionals com INAHTA, HTAi i EUnetHTA. Aquesta avaluació fa referència a l’avaluació de tecnologies sanitàries (això inclou l’avaluació de productes sanitaris, medicaments, programes, models organitzatius en l’àmbit de la salut i un llarg etcètera que pot incloure l’avaluació de cribratges, tests diagnòstics i eHealth, entre d’altres) i també l’avaluació de la qualitat de l’atenció assistencial.

La metodologia que s’usa és robusta i genera debat encara actualment i és positiu que sigui així perquè aquest debat implica un qüestionament constant sobre què fem i com ho fem. Quan apareixen noves tecnologies, noves necessitats, noves realitats, es requereixen també noves metodologies avaluatives o la seva adaptació.

“Avaluar per millorar” és la idea bàsica de l’avaluació però de què parlem exactament quan parlem d’avaluació?

No existeix cap resposta simple a aquesta qüestió.

En aquest post de Mireia Espallargues, Noemí Robles i Laia Domingo s’hi pot llegir una bona definició sobre indicadors per a l’avaluació clínica i de la qualitat assistencial.

“Un indicador és un instrument de mesura que s’utilitza per avaluar o mesurar aspectes concrets de la qualitat de l’atenció a través de diverses estratègies d’anàlisi”

En aquest altre post de les mateixes autores hi ha un exemple d’avaluació de programes de cronicitat.

“Els resultats obtinguts de la implementació dels indicadors permetrà als professionals comptar amb uns criteris objectius sobre la qualitat de les seves intervencions, facilitant la identificació de les fortaleses dels programes d’atenció a la cronicitat, així com les àrees de millora”

En aquesta línia de l’avaluació de la cronicitat, pot ser molt útil l’aplicació d’eines per mesurar la multimorbiditat, tal com es pot llegir en aquest post d’Emili Vela.

“La presència de multimorbiditat està associada a una major utilització de recursos assistencials (tant sanitaris com socials) i a una pitjor qualitat de vida. En aquest context, es fa necessari mesurar la multimorbiditat per tal de poder determinar el seu impacte en el sistema sanitari”

Una altra línia de treball molt lligada a l’avaluació, la podem trobar en aquest post de Miquel Pons, Daniel Chaverri i Luis Lobo sobre pròtesis de maluc. Es tracta d’un estudi que mostra d’una manera molt clara la utilitat dels registres per a l’avaluació de tecnologies sanitàries.

“En el context actual d’innovacions i avenços tecnològics continus i davant d’una gran pressió per part dels fabricants, el ventall de pròtesis a disposició dels cirurgians ortopèdics és cada vegada més gran. Aquesta situació fa necessari que les pròtesis que s’utilitzin presentin evidència científica basada en estudis clínics o bé en dades de registres d’artroplàsties”

Les iniciatives que estudien la variabilitat en la pràctica mèdica tenen un fort component avaluatiu també. Per introduir-nos en aquesta qüestió, Enrique Bernal Delgado i Sandra García Armesto van publicar un post sobre com es tracta i com ha evolucionat aquesta qüestió a nivell internacional.

“Les experiències més significatives s’han desenvolupat en contextos amb una profunda cultura avaluativa i en sistemes en què l’elecció d’asseguradors i competència entre proveïdors en constitueix una de les característiques fonamentals”

Des d’AQuAS, Laura Muñoz presentava en aquest altre post dues línies de treball molt potents: l’estudi de la variabilitat en el context català i la presentació dinàmica d’aquests resultats, tota una novetat pel que fa a visualització de dades.

Elements tecnològics nous impliquen -per a l’avaluació- un repte intel·lectual i un repte quant a l’abast o volum de les intervencions a avaluar. És recent la publicació d’un marc conceptual d’avaluació d’mHealth publicat en una revista amb alt factor d’impacte, situada en el primer quartil del Journal Citation Reports.

Els conceptes d’eficàcia, efectivitat, seguretat, eficiència i impacte organitzatiu, ètic i social són les grans dimensions del marc teòric de l’avaluació de tecnologies sanitàries i aquí s’hi afegeix la necessitat d’incorporar metodologies d’altres camps i l’esforç constant d’adaptar-se a una realitat sempre canviant.

Per acabar, insistim en la importància de la metodologia, no com a quelcom estàtic sinó com un element al servei de la recerca de millor qualitat.

Per continuar avançant en l’avaluació, back to the basics també.

Entrada elaborada per Marta Millaret (@MartaMillaret)

Scientific evidence and clinical practice: the case of hip prostheses in Catalonia

9 març
Daniel Chaverri, Miquel Pons, Luis Lobo

A total hip replacement is one of the surgical procedures which provide greatest satisfaction among patients due to the significant improvement in the quality of life they experience.

So much so, that it has been defined by some authors as the surgery of the 20th Century. It is a procedure which consists in substituting the hip joint with an artificial joint or prosthesis.

The most common reason for surgical intervention is arthrosis, a disease caused by the wear-and-tear of the cartilage which leads to a malfunction of the joint. It is especially common in older people, older than 65, who live with pain and which can limit their day-to-day activities considerably.

In today’s context of continuous technological innovations and advances and facing the enormous pressure from manufacturers, the range of prosthesis available to orthopaedic surgeons is wider than ever. This situation demands that the prostheses used have supporting scientific evidence based on clinical studies or on data from arthroplasty registries.

The legislation which regulates the commercialisation of medical devices, such as prostheses, is more lax than that which regulates drugs which means that not the same type of studies are required for their approval and in consequence, neither is the scientific evidence. In fact, this precise legislation is undergoing a review at present and a new one on this matter will soon be made available.

Several years ago, the prestigious journal BMJ (British Medical Journal) published an article in which it was highlighted that in the UK, 24% of hip prostheses used had no scientific evidence to demonstrate their clinical effectiveness.

As a consequence of that publication and applying the same methodology, at the Hospital Sant Rafael and in collaboration with the Catalan Arthroplasty Registry (RACat) of the Agency for Health Quality and Assessment of Catalonia (AQuAS), we embarked on the task of analysing what the scientific evidence was on hip prostheses used in public hospitals in Catalonia which had sent their data in to the RACat during the period 2005-2013.

We did this via a search on different platforms putting the spotlight on Orthopaedic Data Evaluation Panel (ODEP), as well as Tripdatabase, PubMed and Google acadèmic.

Following the analysis of the 18,816 acetabular or hip cups and 19,546 femoral stems (the main components of the hip prosthesis) collected in the registry, our first surprise was to observe that 123 different models of cups had been used and 138 different models of stems. In the group of participating hospitals in the RACat during the period of the study, it was seen that with many of these models less than 10 units in number of each had been used.

As these models only represent 1% of implants used, they were excluded from the study and in the end 74 models of hip cups and 75 models of femoral stems were studied.

Artroplàsties PTM

The results of the analysis, either recently published or not yet published, now at a pre-publication stage, show that less than 50% of components used had the highest level of scientific evidence in accordance with the ODEP. This top level is achieved when there are studies having 10 years at least of monitoring with a number of prostheses evaluated exceeding 500 units.

What also caught our attention was not finding any evidence for 18 hip cups or 16 femoral stems which represented, respectively, 13.56% and 9.53% of all implants carried out during this period.

Artroplàsties -taula

All scientific studies show limitations and it is not always possible to offer exhaustive results. Aware of this, and of the fact that the data in our study are the results of a research project which might not be able to reflect what the reality of public hospitals in Catalonia is in absolute terms.

We do want to stress that the task of the orthopaedic surgeon needs to be more and more regulated by evidence based medicine and this is, precisely, one of main purposes of arthroplasty registers: to carry out studies like the one we have been able to do at Hospital Sant Rafael with the aim of improving the health care of people.

Post written by Miquel Pons, Danieol Chaverri and Luis Lobo, Hospital Sant Rafael, Barcelona.

Evidència científica i pràctica clínica: el cas de les pròtesis de maluc a Catalunya

9 març
Artroplasties - Equip
Daniel Chaverri, Miquel Pons, Luis Lobo

L’artroplàstia total de maluc és una de les cirurgies que proporciona major satisfacció per la gran millora en la qualitat de vida que genera entre els pacients.

Tant és així que ha estat definida per alguns autors com la cirurgia del segle XX. Es tracta d’un procediment que consisteix en la substitució de l’articulació del maluc per una articulació artificial o pròtesi.

El motiu d’intervenció més comú és l’artrosi, una malaltia causada pel desgast del cartílag que acaba produint un mal funcionament de l’articulació. Es tracta d’un procés especialment comú en persones grans -majors de 65 anys- que cursa amb dolor i que pot limitar de manera important les activitat quotidianes de la persona.

En el context actual d’innovacions i avenços tecnològics continus i davant d’una gran pressió per part dels fabricants, el ventall de pròtesis a disposició dels cirurgians ortopèdics és cada vegada més gran. Aquesta situació fa necessari que les pròtesis que s’utilitzin presentin evidència científica basada en estudis clínics o bé en dades de registres d’artroplàsties.

La legislació que regula la comercialització de dispositius sanitaris (medical devices en anglès), com ara les pròtesis, és més laxa que la que regula els fàrmacs de manera que no cal el mateix tipus d’estudi i, per tant, d’evidència científica per a la seva aprovació. Justament aquesta normativa està en procés de revisió i aviat estarà disponible una nova legislació al respecte.

Fa un parell d’anys, a la prestigiosa revista BMJ (British Medical Journal) es va publicar un article en el qual es mostrava que al Regne Unit el 24% de les pròtesis de maluc utilitzades no tenien cap evidència científica que recolzés la seva efectivitat clínica.

Arran d’aquesta publicació i aplicant la mateixa metodologia, des de l’Hospital Sant Rafael de Barcelona i amb la col·laboració del Registre Català d’Artroplàsties (RACat) de l’Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS), ens vam proposar analitzar quina era l’evidència científica de les pròtesis de maluc utilitzades en els hospitals públics de Catalunya que havien enviat les seves dades al RACat durant el període 2005-2013.

Vam fer-ho mitjançant una cerca en les diferents plataformes destacant l’Orthopaedic Data Evaluation Panel (ODEP), així com Tripdatabase, PubMed i Google acadèmic.

Després de l’anàlisi de les 18.816 còtiles o acetàbuls i de les 19.546 tiges femorals (els components principals de les pròtesis de maluc) recollides en el registre, la primera sorpresa va ser observar que s’havien utilitzat 123 models diferents de còtiles i 138 models diferents de tiges, molts d’aquests models en un nombre inferior a 10 unitats en el conjunt d’hospitals participants en el RACat durant el període d’estudi.

Pel fet de representar menys de l’1% dels implants utilitzats, aquests últims models mencionats van ser exclosos de l’estudi i es van estudiar, finalment, 74 models de còtiles i 75 models de tiges femorals.

Artroplàsties PTM

Els resultats de l’anàlisi -recentment publicats- van mostrar que menys del 50% dels components utilitzats tenien el màxim nivell d’evidència científica segons l’ODEP. Aquest nivell màxim s’obté quan hi ha estudis de més de 10 anys de seguiment amb un nombre de pròtesis avaluades superior a les 500 unitats.

També ens va cridar l’atenció que no es va poder trobar cap evidència de 18 models de còtiles i de 16 models de tiges que representaven el 13.56% i el 9.53%, respectivament, de tots els implants realitzats en aquest període de temps.

Artroplàsties -taula

Tots els estudis científics presenten limitacions i no sempre és possible poder oferir resultats taxatius. Som conscients d’això i del fet que les dades del nostre estudi són els resultats d’un treball de recerca que és possible que no pugui reflectir de manera absoluta com és la realitat dels hospitals públics catalans.

Però sí que volem remarcar que la tasca del cirurgià ortopèdic cada vegada ha de regir-se més en la medicina basada en l’evidència i aquest fet és, justament, una de les principals raons de ser dels registres d’artroplàsties: permetre realitzar estudis com el que hem pogut dur a terme des de l’Hospital Sant Rafael amb la mirada posada en la millora de l’atenció sanitària de les persones.

Entrada elaborada per Miquel Pons, Daniel Chaverri i Luis Lobo, Hospital Sant Rafael de Barcelona.