Gestión pública basada en evidencias y evaluación de impacto Anibal Velásquez, MD, MSc Red EvalPerú

15/05/13 2

Objetivo de la presentación

Presentar el marco conceptual de la gestión pública basada en evidencias

Presentar dos técnicas para obtener evidencias: evaluación de impacto y revisiones sistemáticas

Presentar experiencias relacionadas a la GBE

15/05/13 3

¿Qué es evidencia?

Certeza clara y manifiesta de una cosa, de tal forma que nadie puede dudar de ella ni negarla

Diccionario de la Lengua Española

15/05/13 4

¿Qué es la evidencia?

La evidencia es un conocimiento, hecho o dato que apoya o pone en duda una hipótesis

Es una información sobre el cual basamos nuestras creencias e ideas de cómo el mundo trabaja

Morris (2004)

15/05/13 5

Qué es la Medicina Basada en Evidencias?:

"el uso conciente, explícito y juicioso, de la mejor evidencia vigente para tomar decisiones sobre el cuidado de los pacientes"

Sackett

1997

15/05/13 6

La jerarquía de la evidencia

Rango Revisiones sistemáticas y metanálisis Experimentos controlados aleatorizados Estudios de cohortes Encuestas transversales Reportes de casos Opinión de expertos Anécdotas

Los m

ás rob ustos y obje tivos

15/05/13 7

Crítica a la gestión basada en evidencias

Inapropiado para las ciencias sociales:Experimentos controlados aleatorizadosMeta-análisis de la evidencia de esos

experimentos como medio de identificación de la mejor evidencia para la práctica

15/05/13 8

Crítica a la gestión basada en evidencias

La gestión basada solo en las evidencias estaría deliberadamente divorciada del pensamiento crítico.

Usualmente no responde el “¿porqué?” Por lo tanto es necesario una

combinación del trabajo basado en evidencias y el análisis crítico basado en una teoría

15/05/13 9

La MBE ha evolucionado hacia un proceso que integra la pericia o maestría clínica con la mejor evidencia y las  expectativas del paciente.

15/05/13 10

Expertise c l ínica

Investigación de las evidencias

Preferencias del

paciente

15/05/13 11

Las fuentes de evidencias en salud

Evaluaciones de impacto Evaluaciones de costo-efectividad Evaluaciones de riesgo Estudios de cuentas de salud Estudios de equidad Investigaciones de eficacia de tecnologías Evaluaciones de los sistemas de salud Revisiones sistemáticas Meta-análisis

Evaluación de impacto

15/05/13 13

Evaluación de Impacto

Objetivos:- Determinar el impacto neto del programa en el resultado a nivel de población (o en productos a nivel de programa)

- ¿Cuánto del cambio observado en el resultado es debido, o puede ser atribuido, al programa y no a otros factores?

Características:- Enfasis en productos y resultados- Examina atribución

15/05/13 14

Inicio delprograma

Punto medio o final del programa

Tiempo

Resultado

La pregunta deevaluación:

¿Cuánto de este cambio esatribuible alprograma?

Evaluando el Impacto del Programa

15/05/13 15

Conprograma

Sin programa

Inicio delprograma

Punto medio o final del programaTiempo

Resultado

Impacto netodel programa

Evaluando el Impacto del Programa

15/05/13 16

El problema de evaluación:El segundo término, el contrafáctico, no es conocido pues no podemos observar al mismo individuo expuesto y no expuesto al programa al mismo tiempo

Sin embargo, el segundo término puede ser estimado. Existen diferentes diseños de evaluación disponibles para evaluar el impacto del programa

Diseños de investigación para evaluar el impacto de programas:

Diseño Experimental Diseño Observacional

Impacto del programa =Resultado conel programa -

Resultado que sehubiese obtenido si elprograma no se hubieseestablecido

15/05/13 17

Grupo 1(Tratamiento)

Población

Esquema básico para evaluar el impacto de programas

Grupo 2(Control)

PROGRAMA

Grupo 1(Tratamiento)

Grupo 2(Control)

Si “Asignación Aleatoria”: Grupo 1 = Grupo 2

Si Asignación no aleatoria: (datos de encuestas)

Grupo 1 ≠ Grupo 2

Grupo 1 ≠ Grupo 2Diferencia debida al programa

Group 1 ≠ Group 2 Diferencia debida al programa y a diferencias pre-existentes (observadas y no observadas)

Revisiones sistemáticas

15/05/13 19

Investigación por revisión

Revisión narrativa

Revisión sistemática

Meta-análisis

15/05/13 20

Revisión narrativa

Es una investigación NO sistemática, NO reproducible que permite comparar y analizar los resultados de varios estudios, SELECCIONADOS POR EL AUTOR, sin criterios explícitos

15/05/13 21

Revisión sistemática

Es una investigación sistemática reproducible que permite comparar y analizar los resultados de varios estudios

15/05/13 22

Meta-análisis

Es una investigación sistemática reproducible que permite comparar, analizar y combinar los resultados de varios estudios. Lo que se obtiene es un resultado global que posee mayor peso estadístico

15/05/13 23

15/05/13 24

Colaboración Cochrane

Tiene como funciones preparar, mantener y diseminar revisiones sistemáticas en casi todas las áreas de la salud

Está organizada por Centros

15/05/13 25

La Biblioteca Cochrane

Es la principal fuente de información sobre evidencias para la toma de decisión en salud

Es una colección actualizada de fuentes de información sobre medicina basada en evidencias

15/05/13 26

Colección de 8 bases de datos:

Base de Datos Cochrane de Revisiones Sistemáticas (Cochrane Database of Systematic Reviews - CDSR)revisiones basadas en evidencia preparadas por la Colaboración Cochrane, actualizadas regularmente, a texto completo

Base de Datos de resúmenes de revisiones de Eficacia(Cochrane Database of Abstracts of Reviews of Effectiveness - DARE)

Registros Cochrane de Ensayos Controlados (Cochrane Controlled Trial Register - CCTR CENTRAL)

Base de Datos de Metodología de Revisión de la Cochrane(Cochrane Reviews Methodology Database)sección de ayuda para los que se inician en la metodología de revisión

Acerca la Cochrane Collaboration, Collaborative Review Groups

La Biblioteca Cochrane

15/05/13 27

La Biblioteca Cochrane en la BVS

En Argentina desde http://www.bvs.org.ar

Al sitio regional desdehttp://www.cochrane.bireme.br

15/05/13 28

¿Cómo hacer gestión basada en evidencias?

Formular (qué preguntas/ problemas) InvestigarSeleccionarEvaluar la calidad de la información

(¿qué es buena data?)Sintetizar (¿Cómo integrar?)ReportarUsar

15/05/13 29

Métodos de síntesis - ejemplos

Cualitativos Narrativo Meta-etnografía Meta-síntesis Meta-estudios Análisis lógico Análisis metafórico Análisis de domain Análisis hermenéutico Análisis de discurso Inducción analítica

Cuantitativos Análisis de contenidos Encuestas Análisis comparativo Meta análisis Meta análisis

Bayesiano

15/05/13 30

Llamado de la OMS

Se convoca a los gobiernos para establecer programas sostenibles de salud pública, servicios de salud y políticas basadas en evidencias

World Report on knowledge for better health. Geneva: World Health Organization, 2004

Ejemplo: la Reforma del Sector de Salud de México

15/05/13 32

Ejemplo: La Reforma de Salud de México

“México ha hecho uso de las mejores evidencias disponibles en el diseño, implantación y evaluación de su reforma del sector salud,

Se ha derivado de análisis nacionales y globales, como las comparaciones sistemáticas de las experiencias de otros países, marcos conceptuales y métodos de medición”

Julio Frenk, ExMinistro de Salud

15/05/13 33

Julio Frenk, The Lancet 2006; 368: 954-61

Cada iniciativa de reforma debe verse como un experimento cuyos efectos deben documentarse para beneficio de todas las demás iniciativas

Este esfuerzo requiere de una sólida inversión en investigación y evaluación de los sistemas de salud

Cada innovación constituye una oportunidad de aprendizaje; no aprovecharla nos condena a redescubrir, a un enorme costo, lo que ya se sabía o a repetir los errores del pasado

15/05/13 34

Empoderamiento a través de las evidencias

La reforma del sistema mexicano de salud se diseñó a través de una fuerte inversión en la generación y aplicación de conocimiento pertinente, lo que constituye probablemente un caso sobre las políticas públicas basadas en evidencias (8)

Así, el cálculo de las cuentas nacionales en salud mostró que más de la mitad del gasto total en México era gasto de bolsillo (9) porque cerca de la mitad de la población carecía de un seguro de salud (10)

Estos gastos de bolsillo eran regresivos, ya que representaban una proporción mayor de los ingresos entre los hogares pobres que entre los más ricos (11)

(8) Frenk J, Sepúlveda J, Gómez-Dantés O, Knaul F. Evidence-based health policy: three generations of reform in Mexico. Lancet 2003; 362: 1667–71.

(9) Frenk J, Lozano R, González-Block MA et al. Economía y salud: propuestas para el avance del sistema de salud en México. Mexico City: Fundación Mexicana para la Salud, 1994

(10) Hernández P, Zurita B, Ramírez R, Álvarez F, Cruz C. Las cuentas nacionales de salud. In: Frenk J, ed. Observatorio de la salud. Necesidades, servicios, políticas. Mexico City: Fundación Mexicana para la Salud, 1997: 119–42.

(11) Secretaría de Salud. Hogares con gastos catastróficos por motivos de salud. México 2000. Mexico City: Secretaría de Salud, 2001

15/05/13 35

Estos hallazgos resultaron inesperados, ya que había la creencia generalizada de que el sistema mexicano de salud se financiaba principalmente con fondos públicos

En lugar de eso, el análisis del año 2000 mostró que cada trimestre casi 1.5 millones de hogares enfrentaban una catástrofe económica, caían por debajo de la línea de pobreza o se hundían más en la pobreza como consecuencia de pagar por su salud con gastos de bolsillo (12,13)

Así cada año cientos de millones de personas caen en una trampa de pobreza porque no cuentan con protección social contra las consecuencias financieras de la enfermedad

(12) Knaul FM, Arreola-Ornelas H, Méndez O. Protección financiera en salud: México, 1992 a 2004. Salud Publica Mex 2005; 47: 430–39.

(13) Knaul FM, Arreola-Ornelas H, Mendez O, Miranda M. Preventing impoverishment, promoting equity and protecting households from financial crisis: universal health insurance through institutional reform in Mexico. Working Paper. Mexico City: Fundación Mexicana para la Salud, 2005.http://www.gdnet.org/pdf2/gdn_library/awards_medals/2005/medals_cat3_first.pdf (accessed July 28, 2006).

15/05/13 36

ABECDE de una Reforma Exitosa

AgendaBolsa de recursosCapacidad (infraestructura, evaluación

y recursos humanos)Distribución de beneficios hacia

enfermedades y riesgos prioritariosEvidencias confieren poder para

transformar los sistemas de salud

15/05/13 37

Agenda El primer ingrediente para el éxito es hacer

progresar la agenda de la salud en medio de la competencia por la atención y los recursos públicos.

Especialmente en su interacción con los ministros de finanzas, las autoridades de salud pueden hacer uso de las evidencias mundiales que muestran que un sistema de salud que funciona bien contribuye al bienestar al aliviar la pobreza , mejorar la productividad, aumentar las capacidades educativas, desarrollar el capital humano, generar empleo, proteger los ahorros y los activos, aumentar la competitividad y estimular de manera directa el crecimiento económico con una distribución más justa de la riqueza

15/05/13 38

Capacidad

No existe sustituto para las inversiones de largo plazo en el desarrollo de capacidades

Estos esfuerzos deben enfocarse a la prestación de servicios y al desarrollo de las instituciones que pueden emprender la investigación necesaria para generar evidencias sólidas para las políticas

En México, la reforma actual ha cosechado los beneficios de veinte años de esfuerzos sostenidos para establecer e impulsar organizaciones como el Instituto Nacional de Salud Pública y la Fundación Mexicana para la Salud