ARTÍCULO

 

Principales aspectos metodológicos en la Evaluación de Tecnologías Sanitarias^{* **}

The main methodological aspects in Health Technology Assessment

 

Carlos Vallejos^1,a, Luis Bustos^1,b, Catherine de la Puente^1,c, Roberto Reveco^1,d, Mónica Velásquez^1,e, Carlos Zaror^{2,f ***}

¹ Centro de Excelencia CIGES, Facultad de Medicina, Universidad de La Frontera.
² Departamento de Odontopediatría y Ortodoncia, Facultad de Odontología, Universidad de La Frontera.
^a Médico Cirujano, MSc Epidemiología Clínica, Doctorando en Economía de la Salud.
^b Bioestadístico.
^c Enfermera, MSc Epidemiología Clínica.
^d Ingeniero Comercial, MSc Ciencias Económicas, Doctorando en Ciencias Económicas.
^e Fonoaudióloga, MSc Epidemiología Clínica.
^f Cirujano dentista, MSc Epidemiología Clínica.

Correspondencia a:

---

This article reviews the most relevant methodological aspects involved in Health Technology Assessment (HTA). Firstly, it addresses the process of defining the research problem (or scoping). Then it explains some specific aspects of systematic reviews of evidence, as well as indirect and mixed comparisons of the effectiveness of interventions. It covers also the methods for economic evaluation in healthcare and the budget impact analysis of interventions. Finally, the paper provides an empirical insight on the methodological emphasis used by HTA agencies around the world, and reflects on the available capacities in our country in the topics discussed.

Key words: Cost-Benefit Analysis; Decision making; Health technology assessment; Methods.

---

 

Existe un interés creciente de parte de todos los implicados en la atención en salud, en buscar la mayor efectividad y eficiencia, y por ende es cada vez más necesario disponer de evidencia sobre las Tecnologías Sanitarias (TS) que se financian. Sin embargo, en muchas situaciones, existe incertidumbre acerca del impacto real que tiene el uso de TS en la salud de los ciudadanos. Más allá de las consideraciones filosóficas acerca de la incertidumbre implícita en el método científico, y en particular en Medicina, los investigadores en salud usualmente tienen diferencias de opinión; los resultados de sus investigaciones a menudo involucran incertezas, o se focalizan en materias sin directa aplicación o interés poblacional¹.

Otro elemento que dificulta dimensionar el impacto de las TS es la variabilidad observada en la práctica clínica, lo cual, en algunas situaciones puede afectar los costos y los efectos de las intervenciones. Ante esto, y como una forma de estandarizar los procesos de la Evaluación de Tecnologías Sanitarias (ETESA), se han generado diversos documentos metodológicos. Entre todos, se puede señalar como referencia el propuesto por The National Institute for Health and Care Excellence (NICE) del reino Unido, cuyo propósito es que la metodología utilizada apunte a asegurar rigurosidad, calidad, independencia y transparencia. De esta forma se favorece la evaluación crítica, se facilita el acceso a todos los involucrados; se aclaran potenciales conflictos de interés y, finalmente, se asegura de parte de los investigadores una capacidad de respuesta oportuna².

El proceso completo de ETESA implica considerar las evidencias de seguridad, eficacia, efectividad, resultados reportados por pacientes, costos y costo-efectividad, así como también los impactos políticos, organizacionales, sociales, éticos y legales^3,4. A continuación revisaremos los aspectos más fundamentales de las metodologías implicadas en ETESA. Por cierto, no es posible explayarse en detalle en cada metodología, y sólo nos referiremos a aquellos tópicos que, de acuerdo a nuestra experiencia, son de particular interés.

1. Diseño metodológico

Cuando se define la necesidad de llevar a cabo una ETESA, es útil y necesaria la realización de una primera reunión con los solicitantes de la evaluación, para clarificar los objetivos y el alcance. Posteriormente, hay que formular adecuadamente la pregunta de investigación. Esta se compone de un objetivo general o pregunta política, y de objetivos específicos o preguntas científicas. El objetivo general o pregunta política, constituye el motivo inicial que fundamenta la solicitud de una ETESA. Este objetivo debe descomponerse en cuestiones más delimitadas y que puedan responderse con metodología científica⁵.

La formulación de los objetivos específicos va a determinar todo el proceso de evaluación, desde el diseño hasta su posible impacto en la práctica clínica. Durante el proceso de construcción de las preguntas es necesario plantearse cuál es la forma de presentar los resultados, más útil y comprensible para los potenciales receptores del informe. Se recomienda en este momento, realizar una revisión inicial, o exploratoria, de la literatura sobre el tema a evaluar, con el objeto de identificar los elementos de información más relevantes en relación con las preguntas de investigación.

El diseño a elegir depende del foco de la ETESA, entre los cuales destacan: evaluaciones en seguridad, eficacia, efectividad, resultados clínicos, impacto económico (costos, costo-efectividad), impacto presupuestario, impacto organizacional, ético, social. En un estudio ETESA se pueden considerar varios de estos aspectos a la vez.

2. La búsqueda de la información

La búsqueda exhaustiva y sistemática de la información necesaria para responder las preguntas de investigación, constituye la base de toda ETESA. En los últimos tiempos, los sistemas de identificación bibliográfica han progresado con las búsquedas sistemáticas, a la vez que ha aumentado exponencialmente la cantidad de información médica disponible.

La búsqueda en bases de datos bibliográficos es actualmente imprescindible para realizar una buena revisión de la literatura médica. Existen bases de datos electrónicas de amplia cobertura, y otras más específicas, cuyo conocimiento y acceso deben formar parte de las capacidades del investigador. Una de las limitaciones de las bases de datos y de los buscadores es el sistema de palabras clave, por lo cual, diseñar la estrategia de búsqueda es una etapa importante para asegurar que la revisión bibliográfica sea sistemática, exhaustiva y precisa. La exhaustividad y precisión, generalmente son inversamente proporcionales; es decir, a medida que aumenta la exhaustividad de una búsqueda, se reduce su precisión. Por el contrario, una búsqueda que tienda a la precisión puede omitir documentos relevantes.

Por otro lado el período de tiempo cubierto por la búsqueda y la fecha en que se realiza, infuyen en el resultado final y, por tanto, deben considerarse y reportarse⁶.

3. La selección, análisis crítico, validación y síntesis de la evidencia.

Las decisiones sobre cuáles estudios se incluirán en el análisis de la evidencia, son difíciles y muy relevantes. La revisión ecuánime que garantice una selección adecuada de los artículos por parte de los investigadores constituye un gran desafío. La descripción clara de los criterios utilizados para la selección es fundamental para la reproducibilidad. Se han propuesto diversas formas para llevar a cabo el proceso de selección de estudios⁷: Establecer criterios umbrales para la inclusión o exclusión de estudios; asignar pesos a cada estudio en función de criterios explícitos, para posteriormente incluir esos pesos en el análisis cuantitativo de agregación de estudios; valorar los estudios de manera cualitativa, considerando la calidad como el principal criterio de evaluación. Es aconsejable que la selección se haga por más de un investigador, y que los desacuerdos sean discutidos y resueltos.

Los criterios para la evaluación crítica se pueden dividir en aquellos relacionados con la validez, la precisión y los outcomes de los estudios. Un estudio es válido cuando su diseño y realización garantizan la detección y eliminación de errores sistemáticos y sesgos. Existen dos tipos de validez: interna y externa. La primera está relacionada con el diseño y los procedimientos de medición de variables y los métodos de análisis. La validez externa es la potencialidad de generalización de los resultados a personas o poblaciones distintas a los sujetos del estudio. El análisis de la validez es el aspecto que mejor valora la calidad de los estudios y, por tanto, de las evidencias científicas. No es posible establecer una recomendación muy relevante o trascendente a partir de evidencias de baja calidad.

Un concepto importante que no debe ser confundido con la validez es la precisión. Ésta es una medida del error aleatorio que puede afectar al resultado de un estudio, y que generalmente se representa a través del intervalo de confianza de la estimación del efecto.

El último de los tres criterios, las medidas de resultado o outcomes, se convierte muchas veces, en el criterio más determinante para la selección de los artículos identificados, por cuanto tendemos a seleccionar aquellos estudios con outcomes de nuestro interés.

Existen guías de análisis crítico, útiles para ordenar los aspectos a incluir en la evaluación crítica de los estudios identificados, y que proporcionan un método más objetivo de análisis que la simple lectura crítica, aunque nunca evitan ésta. A partir de las pautas establecidas por el Evidence-Based Medicine Working Group (McMaster University, Ontario), surgió en Inglaterra un programa para facilitar la evaluación de la literatura científica: Critical Appraisal Skills Programme (CASP) (Programa de Habilidades en Lectura Crítica). En España se llama "Critical Appraisal Skills Programme España" (CASPe) y se localiza en http://www.redcaspe.org/. Existen otras guías y cuestionarios como los criterios CONSORT (http://www.CONSORT-statement.org/) para evaluar ensayos clínicos controlados, los criterios QUORUM para revisiones sistemáticas y los criterios AGrEE para evaluar guías de práctica clínica.

La ayuda de un formulario de extracción de datos, que contenga los criterios utilizados en la evaluación crítica de los estudios, suele ser beneficiosa.

La síntesis de la evidencia resultante de la revisión de la literatura es el centro de la Medicina Basada en Evidencias y de la ETESA. La evidencia debería estar centrada en la efectividad, es decir, qué tan bien la tecnología se desarrolla en condiciones de rutina o condiciones habituales de uso. Los estudios de efectividad se refieren a la efectividad comparativa, la cual evalúa qué tan bien funciona la tecnología en condiciones de rutina, en comparación con una o más tecnologías que se usan con el mismo propósito⁸.

La elección del comparador adecuado es crucial para la ETESA. El comparador debe ser usado ampliamente en la práctica, lo cual no quita que se incluyan otros comparadores. Sin embargo, hay que considerar que a veces la práctica habitual no es fácil de establecer, o no es uniforme ni óptima. En algunas ocasiones, el comparar contra no hacer nada, puede ser una opción válida. Ello requiere conocer, o ser capaz de simular, la historia natural de las enfermedades. Sin embargo, la evidencia disponible no siempre es la adecuada, y en algunas ocasiones se requiere de comparaciones indirectas. Existen varios métodos de comparaciones indirectas, y ya está demostrado que las de tipo informal (naives) no son suficientes para establecer conclusiones válidas, en tanto que sí lo son las ajustadas, que obtienen evidencia a partir de la comparación de dos tratamientos frente a un comparador común, o también las que hacen comparaciones múltiples entre distintos tratamientos. Algunos autores indican que de las comparaciones indirectas se obtienen resultados más cercanos a la realidad^9,10.

También a veces hay que aceptar evidencia proveniente de datos no randomizados, para poder estimar algún tipo de eficacia. Otra dificultad habitual es tratar de llevar los outcomes intermedios a outcomes finales y de interés de las políticas públicas. La simple extrapolación puede llevar a error y en este contexto los supuestos usados y forma de modelamiento debe quedar claramente establecidos.

4. La evaluación económica

Para muchos, la evaluación económica (EE) de las tecnologías sanitarias es la máxima expresión de la evaluación, pues integra, además de la efectividad y seguridad, los costos y los outcomes sanitarios, y es capaz de simular diferentes escenarios.

La metodología de los estudios de costo-efectividad (genéricamente se incluye en este concepto los diferentes tipos de evaluaciones económicas), se ha ido estandarizando en el tiempo. En nuestro país, destacamos los lineamientos emitidos por el Departamento de Economía de la Salud del Ministerio de Salud de Chile, en esta materia^11,12. El reporte de una EE debe considerar los aspectos desarrollados por The International Society for Pharmacoeconomics and Outcomes Research (ISPOR), definidos en una lista de cotejo que incluye 24 puntos¹³. Dependiendo de la perspectiva de la EE, algunos costos pueden o no ser considerados. Muchos (académicos especialmente) promueven la perspectiva más amplia o social, que considera costos sociales. Sin embargo, con frecuencia, se promueve la perspectiva del sistema de salud^2,14.

El horizonte temporal de una EE debería reflejar el curso natural de la enfermedad y ser lo suficientemente extenso como para capturar todos los eventos y costos relacionados. Todas las tecnologías en comparación deberían evaluarse en el mismo horizonte temporal. Idealmente se debería hacer el esfuerzo de medir los costos con base cero, con técnica de micro-costeo, pero ello, a veces resulta difícil, extenso y oneroso, y debemos recurrir a costos disponibles de otros estudios o, menos idealmente, de listados arancelarios. En el micro-costeo, uno de los desafíos metodológicos es evaluar los costos de asignación indirecta o costos compartidos, que pueden llegar a representar hasta un 30% o más del costo final¹⁴.

Es fundamental, en el informe de ETESA, señalar con detalle los costos unitarios de las prestaciones y las cantidades de recursos medidas, y no sólo indicar los costos finales. Ello favorece la transferabilidad.

En relación a los outcomes de las EE, muchos países promueven el uso de los años de vida ajustados por calidad (QALY en inglés) como la medida esencial de un resultado en salud. El NICE en este contexto, señala que la mejor manera de dimensionar el factor de utilidad de cada estado de salud es usando el instrumento europeo de calidad de vida de cinco dimensiones (EQ-5D), el cual se encuentra ya validado en nuestro país¹⁵. Sin embargo, en otros países, esta medida es discutible.

Existen varios tipos de modelos que se pueden utilizar en una EE, tales como los árboles de decisiones; los modelos de Markov o de transición de estados, con simulaciones individuales o de cohortes; la simulación de eventos discretos; los modelos de transmisión, y otros. Un modelo debe cumplir con los siguientes requisitos²: justificación de todos los parámetros y asunciones; profundidad suficiente como para representar todos los aspectos clínicos y epidemiológicos de la enfermedad, así como los costos en todos los escenarios relevantes; flexibilidad para evaluar diferentes escenarios; posibilidad de evaluar incertezas con el análisis de sensibilidad, el cual debe ser de tipo determinístico uni o multivariado, y probabilístico multivariado.

A diferencia de la eficacia de las intervenciones, la costo-efectividad es por lo general contexto específica, siendo muchas las razones por las cuales sus resultados pueden variar de lugar a lugar (o entre países). Por ejemplo, la incidencia y severidad del problema en cuestión, la disponibilidad de los recursos de atención en salud, las características de la prácticas clínica, y los precios relativos¹⁶. Una EE es generalizable cuando sus resultados se pueden aplicar, sin ajustes, a otros lugares. Mientras que es transferible si los datos pueden ser adaptados para aplicar la evaluación a otras realidades. Existen diversas formas y métodos de evaluar la transferabilidad de las EE de un lugar a otro¹⁷.

Las reglas de decisión en las EE se basan, a veces, en el umbral de costo-efectividad, que refleja la disposición máxima a pagar por unidad de outcome (QALY ganado por ejemplo). Así el umbral representa el costo-oportunidad de adoptar y financiar la nueva tecnología. Se discute cómo determinar el umbral, y si debiese variar en el tiempo. NICE utiliza, aunque no explícitamente, un umbral entre 20 y 30 mil libras por QALY ganado, en tanto que algunos países latinoamericanos han adoptado la recomendación de la Organización Mundial de la Salud de que una TS es financiable si se obtiene un QALY a menos de un Producto Interno Bruto per cápita (PIBpc), y que derechamente no se financie si supera 3 PIBpc por QALY ganado o DALY evitado¹⁸.

Finalmente, en el proceso de ETESA hay que tener presente que en todos los sistemas los recursos son escasos, y que además hay decisiones políticas sobre ellos. Dentro de las consideraciones que van más allá de la eficacia y la EE, estriba la importancia del análisis del impacto presupuestario (AIP) que las nuevas tecnologías han de tener en el sistema de salud. El AIP busca calcular los resultados financieros de adoptar y difundir una tecnología en un programa de cobertura específica. En particular, predicen cómo el cambio impactará en los costos¹⁹. Considerando que son muchos los factores que influyen en las recomendaciones (la gravedad de la condición de salud, si es autolimitante, el tipo de intervención: preventiva, curativa, paliativa, de una sola vez, en curso, periódico; la población afecta, la perspectiva y el horizonte temporal, los costos considerados), la determinación del impacto presupuestario implica en muchas ocasiones simular diversos escenarios posibles, por lo cual es habitual recurrir a modelos predictivos²⁰.

Conclusiones

La ETESA se basa en el principio de que el mercado por sí solo no es el medio óptimo de asignación de recursos en el cuidado sanitario, y que los principios de justicia y transparencia resultan ser primordiales¹. La ETESA requiere, por tanto, de metodologías sólidas y reproducibles con el fin de tomar decisiones robustas. Las RS y las EE son los estudios que consumen la mayor parte de los recursos/tiempo de una ETESA, aun cuando, en muchos países, los procesos están orientados por lineamientos nacionales para llevar a cabo estos análisis y emitir recomendaciones, dentro de las cuales, el análisis de impacto presupuestario es muy importante.

Si bien el artículo no profundiza sobre el estado de avance de las metodologías de ETESA en nuestro país, estimamos que aun tenemos desafíos importantes en esta materia: aumentar la masa crítica de investigadores capacitados en las metodologías revisadas; disponer de mejores datos nacionales y mejorar el acceso a ellos. Se requiere además desarrollar un mayor dialogo con los tomadores de decisiones políticas públicas. Para ello, adherimos a la propuesta que posiciona la evaluación comparativa (benchmarking) de proyectos y resultados de ETESA, como una política efectiva para facilitar los procesos de toma de decisiones consultivos y participativos, y para fomentar el desarrollo del recurso humano²¹.

Referencias

1. Kelly M, Moore T. The judgement process in evidence-based medicine and health technology assessment. Soc Theory Health 2012; 10 (1): 1-19.

2. The National Institute for Health and Clinical Excellence (NICE), Guide to the methods of technology appraisal 2013. Disponible en: http://www.nice.org.uk/media/D45/1E/GuideToMethodsTechnologyAppraisal2013.pdf [Consultado el 25 de julio de 2013] .

3. O'Donnell J, Pham S, Pashos C, Miller D, Smith M. Health technology assessment: lessons learned from around the world-an overview. Value Health 2009; 12 Suppl 2: S1-5.

4. EUnetHTA. The HTA Core Model Online. 2013. Disponible en : http://meka.thl.fi/htacore/. [Consultada el 25 de julio 2013] .

5. Conde J, Evaluación de tecnologías médicas basada en la evidencia. Instituo de Salud Carlos Tercero. Disponible en: http://www.isciii.es/ISCIII/es/contenidos/fd-el-instituto/fd-organizacion/fd-estructura-directiva/fd-subdireccion-general-evaluacion-fomento-investigacion/fd-centros-unidades/fd-agencia-evaluacion-tecnologias-sanitarias/fd-publicaciones-aets/evaluacion_tecnologias.pdf. [Consultada el 25 de julio 2013] .

6. Sarría-Santamera A, Schoten E, Coenen T, Gunning-Schepers L, Pauwels A, Allander S, et al. A framework for scientific advice on health: EuSANH's principles and guidelines. Health Res Policy Syst 2013; 22; 11 (1): 6.

7. Agencia de Evaluación de Tecnologías Sanitarias (AETS). Instituto de Salud Carlos III, Ministerio de Sanidad y Consumo, España. Guía para la elaboración de informes de evaluación de tecnologías sanitarias. 1999. Disponible en: http://gesdoc.isciii.es/gesdoccontroller?action=download&id=07/11/2012-8a8470ba07 [Consultada el 25 de julio 2013] .

8. Institute of Health Economics, Alberta, Canada. Comparative Effectiveness: An Overview. febrero 2009. Disponible en: http://www.ihe.ca/documents/ComparativeEffectivenessBriefPrESS.pdf [Consultada el 25 de julio 2013] .

9. Song F, Harvey L, Liiford R. Adjusted indirect comparison may be less biased than direct comparison for evaluating new pharmaceutical interventions. J Clin Epidemiol 2008; 61: 455-63.

10. Song F, Altman D, Glenny A, Deeks J. Validity of indirect comparison for estimating efficacy of competing interventions: empirical evidence from published meta-analyses. BMJ 2003; 326 (7387): 472.

11. Departamento de Economía de la Salud, División de Planificación Sanitaria, Subsecretaría de Salud Pública, MINSAL. Guía para el uso de evidencia de costo efectividad en intervenciones en salud. Julio 2011. Disponible en: http://desal.minsal.cl/DOCUMENTOS/PDf/2011/guia%20editada6.pdf. [Consultada el 25 de julio de 2013] .

12 .Departamento de Economía de la Salud, División de Planificación Sanitaria, Subsecretaría de Salud Pública, MINSAL. Guía Metodológica para la Evaluación Económica de Intervenciones en Salud en Chile. Marzo 2013. Disponible en: http://desal.minsal.cl/DOCUMENTOS/PDf/2013/EE_FINAL_web.pdf [Consultada el 25 de julio de 2013] .

13. Husereau D, Drummond M, Petrou S, Carswell C, Moher D, Greenberg D, et al. CHEERS Task force. Consolidated Health Economic Evaluation reporting Standards (CHEERS) statement. Int J Technol Assess Health Care 2013; 29 (2): 117-22.

14. Ministerio de Salud de Chile. Estudio Costo-efectividad de Intervenciones en Salud. Mayo 2010. En paginas 44 a 50. Disponible en: http://desal.minsal.cl/DOCUMENTOS/PDf/GES/1.2/01CostoEfectividad.pdf. [Consultada el 25 de julio 2013] .

15. Superintendencia de Salud de Chile. Valoración social de los estados de salud de EQ-5D en la población de 20 años y más de la región Metropolitana de Chile. Disponible en: http://www.supersalud.gob.cl/documentacion/569/articles-5213_recurso_1.pdf. [Consultada el 25 de julio 2013] .

16. Drummond M, Barbieri M, Cook J, Glick H, Lis J, Malik F, et al. Transferability of economic evaluations across jurisdictions: ISPOR Good research Practices Task Force report. Value Health 2009; 12 (4): 409-18.

17. Goeree R, He J, O'Reilly D, Tarride J, Xie F, Lim M, et al. Transferability of health technology assessments and economic evaluations: a systematic review of approaches for assessment and application. Clinicoecon Outcomes Res 2011; 3: 89-104.

18. World Health Organization. Macroeconomics and health: investing in health for economic development. Report of the Commission on Macroeconomics and Health. In: Commission on Macroeconomics and Health. World Health organization: Geneva 2001. Disponible en: http://whqlibdoc.who.int/publications/2001/924154550x.pdf. [Consultada el 25 de julio 2013] .

19. Garay O, Caporale J, Pichón-Riviere A, García Martí S. Mac Mullen M. Augustovski F. El análisis de impacto presupuestario en salud: puesta al día con un modelo de abordaje genérico. Rev Peru Med Exp Salud Publica 2011; 28 (3): 540-7.

20. Mauskopf J, Sullivan S, Annemans L, Caro J, Mullins C, Nuijten M, et al. Principles of good practice for budget impact analysis: report of the ISPOR Task Force on good research practices-budget impact analysis. Value Health 2007; 10 (5): 336-47.

21. Drummond M, Neumann P, Jönsson B, Luce B, Schwartz J, Siebert U, et al. Can we reliably benchmark health technology assessment organizations? Int J Technol Assess Health Care 2012; 28 (2): 159-65.

 

---

^* No hay financiamiento de ningún tipo, comprometido para esta publicación.

^** Este artículo fue sometido a revisión por pares

^*** Los autores declaran no tener conflictos de intereses.

Correspondencia a: Dr. Carlos Vallejos V.
Centro de Excelencia CIGES, Facultad de Medicina, Universidad de La Frontera, Montt 112, Temuco.
carlos.vallejos@ufrontera.cl