salud pública y promoción de la salud -...

1

Reflexiones y posiciones alRededoR de la evaluación de inteRvenciones complejas

Reflexiones y posiciones alrededor de la evaluación

de intervenciones complejas

Salud pública y promoción de la salud

Ligia de Salazar

2

ligia de salazaR

3


Reflexiones y posiciones alrededor de la evaluación

de intervenciones complejas

Salud pública y promoción de la salud

Ligia de Salazar

CEDETESCentro para el Desarrollo y Evaluación dePolíticas y Tecnología en Salud PúblicaEscuela de Salud Pública - Facultad de Salud

Centro Colaborador de la OMS/OPS enEvaluación, Capacitación y Abogacía

en Promoción de la Salud

4

ligia de salazaR

Universidad del Valle Programa Editorial Título: Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas. Salud pública y promoción de la salud.Autora: Ligia de Salazar, Ph.DISBN: 978-958-670-885-2 Primera edición

Rector de la Universidad del Valle: Iván Enrique Ramos CalderónDirectora Programa Editorial: Doris Hinestroza GutierrezCoordinación Editorial: Mónica Andrea Rojas NúñezDiseño carátula y diagramación: Departamento de Arte y Diseño Impresora Feriva S.A.Fotografías: Archivo CEDETESImpresión: Feriva S.A

@ Universidad del Valle@ Ligia de Salazar

Universidad del ValleCiudad Universitaria, MeléndezA.A 025360Cali, ColombiaTeléfono: (+57) (2) 3212227 – Telefax: (+57) (+2) 3392470Email: [email protected]

Esta publicación corresponde a un producto de conocimiento del CEDETES-Universidad del Valle, en el marco de la línea de investigación Evaluación en Salud Pública. Orientada a desarrollar, implementar y validar metodologías de evaluación y producción de evidencias sobre efectividad y costo-efectividad de políticas, programas e intervenciones en salud pública.

Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES. Escuela de Salud Pública, Facultad de Salud, Universidad del Valle. Calle 4B No 36-00 San Fernando edificio 118 [email protected] [email protected] www.cedetes.org

Este libro o parte de él no puede ser reproducido por ningún medio sin autorización escrita de la Univer-sidad del Valle.

Cali, ColombiaAbril de 2011

Malagón de Salazar, Ligia ReflexionesyposicionesalrededordelaevaluacióndeintervencionesComplejas/LigiaMalagóndeSalazar.--SantiagodeCali:ProgramaEditorialUniversidaddelValle,2011. 144p;24cm.--(CienciasNaturalesyExactas). ISBN978-958-670-885-2

1. Saludpública-Evaluación-Metodología.2.Promocióndelasalud.3.Políticadelasalud-Evaluación.4.Programasdesalud-EvaluaciónI.Tít.II.Serie.362.1cd21ed.A1288942

CEP-BancodelaRepública-BibliotecaLuisÁngelArango

5


Centro para el Desarrollo y Evaluación de Políticas y Tecnología

en Salud Pública–CEDETES–

Facultad de Salud – eScuela de Salud Pública univerSidad del valle

cali, colombia

CEDETES fue creado por la Universidad del Valle en 1997, adscrito a la Facultad de Salud , por su naturaleza y campo de trabajo, está articulado a la Escuela de Salud Pública. El centro se define como una unidad inter-disciplinaria, transdisciplinaria e interinstitucional de investigación en el ámbito de la salud pública y la promoción de la salud, que busca articular la investigación evaluativa a la toma de decisiones y la práctica de la salud.

La misión del centro es contribuir a la formulación y cualifica-ción de políticas e intervenciones en salud pública y promoción de la salud,mediante investigación evaluativa, gestión de la información, desarrollo tecnológico y formación de recurso humano, con el fin de promover el bienestar y la calidad de vida de la población.

Desde su creación, CEDETES trabaja en el desarrollo y consolida-ción de tres líneas de investigación: (1) Evaluación en salud pública y

6

ligia de salazaR

promoción de la salud, orientada a desarrollar, implementar y validar

metodologías de evaluación y producción de evidencias sobre efecti-

vidad y costo-efectividad de políticas, programas e intervenciones en

salud pública; (2) Información y vigilancia en salud pública, orientada

a desarrollar, implementar y evaluar sistemas de vigilancia en salud

pública, acordes con el contexto y estructuras territoriales, para hacerlos

efectivos y viables. Profundiza en estrategias para incrementar el uso de

la información en la toma de decisiones y formulación de políticas en

salud pública; y (3) Gestión de políticas públicas, orientada a generar

insumos para desarrollar procesos de formulación, implementación y

evaluación de políticas públicas, y lineamientos de política, basados en

las mejores evidencias disponibles, orientadas al logro de la equidad

en salud.

Como resultado de su labor, CEDETES ha generado tecnología en

salud pública, que ha sido puesta al alcance de otros investigadores,

académicos, estudiantes, autoridades de salud y tomadores de decisión

en diferentes niveles, a lo largo de toda América Latina. Entre ellas,

la metodología para la evaluación de efectividad de políticas e inter-

venciones en salud pública, obtenida por más de seiscientos actores,

individuales e institucionales, en América Latina; la metodología de

evaluación económica en salud pública producida conjuntamente con

la Organización Panamericana de la Salud (OPS), en asocio con otras

universidades a nivel mundial; la metodología para la sistematización

de experiencias en salud pública y promoción de la salud y un modelo

de evaluación de efectividad de intervenciones en salud pública, basado

en el uso de sistemas de vigilancia.

En la línea estratégica de vigilancia CEDETES también tiene im-

portantes desarrollos de reconocimiento internacional. Entre ellos ha

diseñado y validado el Sistema de Vigilancia de Factores de Riesgo de

Comportamiento en Escolares Adolescentes, SIVEA; y el Sistema de

Vigilancia de Factores de Riesgo y Determinantes Sociales, Asociados

a Enfermedades Crónicas, SIFREC.

7


Desde el 2004 fue reconocido como Centro Colaborador de la Organización Mundial de la Salud/Organización Panamericana de la Salud, OMS/OPS en evaluación, capacitación y abogacía en pro-moción de la salud. En 2010 fue clasificado por Colciencias como grupo categoría A.

CEDETES

Escuela de Salud Pública – Facultad de Salud- Universidad del ValleCalle 4B No 36-00 Edificio 118 – San FernandoCali, Colombia, SuraméricaTeléfono: (0572) 557 9005 PBX: (0572) 5585230 – 5581947Telefax: (0572) 5585230 – 5581947 ext. [email protected] – [email protected]

www.cedetes.org

8

ligia de salazaR

9


LA AUTORA

ligia de Salazar, Ph.d

Doctorada en Investigación Evaluativa de McGill University, Cana-dá. Master in Public Health de la Universidad de Liverpool, Inglaterra. Magíster en Administración de Salud y Enfermera, de la Universidad del Valle, en Colombia. Creadora y directora del Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES, y profesora titular de la Escuela de Salud Pública, de la Facultad de Sa-lud de la Universidad del Valle, en Cali, Colombia. Es la directora del Programa Latinoamericano de Evaluación en Promoción de la Salud, apoyado por los Centers for Disease Control and Prevention, CDC, de Estados Unidos, en el marco de un acuerdo de cooperación entre CDC y CEDETES. Así mismo coordinó y fue la líder regional para América Latina del Proyecto Regional de Evidencias de Efectividad en Promoción de la Salud, promovido por la International Union for Health Promotion and Education, IUHPE.

Ha sido la única latinoamericana designada por la Organización Mun-dial de la Salud, OMS, como miembro de un panel mundial de expertos en promoción de la salud (2009-2013); ha participado como miembro

10

ligia de salazaR

del grupo científico de evaluación y producción de evidencias en pro-moción de la salud, de los CDC, y hasta el 2007, miembro del Comité Asesor de Investigaciones en Salud, de la Organización Panamericana de la Salud, OPS.

Es reconocida internacionalmente por su trabajo en evaluación, conferencista internacional y miembro de comités científicos de las conferencias mundiales en torno a temas como la evaluación de efecti-vidad de políticas y programas en salud pública y promoción de la salud; determinantes sociales de la salud y vigilancia enfermedades crónicas no transmisibles y factores de riesgo de comportamiento. Consultora de varias organizaciones internacionales, ministerios de Salud y organiza-ciones no gubernamentales de diferentes países del mundo. Ha escrito diferentes libros y artículos sobre evaluación y vigilancia en salud pública y promoción de la salud.

Ha coordinado la adaptación e implementación latinoamericana del curso de salud pública basada en evidencias, promovido por la Escuela CARMEN, de OPS; así como diferentes proyectos para la documen-tación, sistematización y evaluación de intervenciones sobre enferme-dades crónicas, entre otros. En 2009 fue reconocida por la Universidad del Valle como profesora distinguida. Es la investigadora principal del proyecto multicéntrico latinoamericano, para el diseño y validación de un modelo de evaluación de efectividad de intervenciones en salud pública, basado en el uso de sistemas de vigilancia, cuyos resultados se presentan en esta publicación.

11


CONTENIDO

Agradecimientos y reconocimientos ................................................ 13Presentación ..................................................................................... 15

I. Evaluación en salud pública desde la perspectiva de la promoción de la salud Conceptos, posiciones y controversias .................. 17

Presentación ................................................................................. 17Introducción ................................................................................. 191. Naturaleza de intervenciones en salud pública desde la perspectiva de la promoción de la salud .............................. 212. Evaluación de políticas y programas en salud pública y promoción de la salud ........................................................... 32

II. Identificación y formulación de la pregunta de evaluación .. 61Presentación ................................................................................. 61Introducción ................................................................................. 631. Identificación y formulación de la pregunta de evaluación ..... 652. Tipos de pregunta ..................................................................... 69

12

ligia de salazaR

III. Enfoques metodológicos para la evaluación de políticas y programas en salud pública y promoción de la salud .............. 77

Presentación ................................................................................. 77Introducción ................................................................................. 791. Fundamentación ....................................................................... 802. Desafíos metodológicos y políticos en la evaluación de efectividad ........................................................................... 883. Enfoques metodológicos .......................................................... 89

IV. Comunicación, puente entre la evaluación, la política y la práctica .................................................................................. 121

Presentación ....................................................................................121Introducción ....................................................................................1231. Fundamentación .........................................................................1252. Comunicación de la evaluación, políticas y toma de decisiones ...................................................................................1303. Uso de los resultados en la toma de decisiones .........................1374. Algunas limitantes a tener en cuenta ..........................................1385. Identificación de los decisores y sus intereses de información ................................................................................1406. Definición de los objetivos de comunicación ............................1437. Selección de la estrategia de comunicación ..............................143

13


AGRADECIMIENTOS Y RECONOCIMIENTOS

El CEDETES y la autora agradecen y reconocen a las diferentes

organizaciones, funcionarios, estudiantes de posgrado y usuarios de

sistemas de salud en América Latina, quienes con sus reflexiones, expe-

riencias y aportes prácticos enriquecieron el debate y propuestas sobre

el tema de la evaluación de efectividad de intervenciones orientadas a la

prevención y control de las Enfermedades Crónicas No Transmisibles.

A las diferentes instancias municipales, departamentales y nacio-

nales, como la Secretaría de Salud Municipal, la Secretaría de Salud

Departamental, el Ministerio de la Protección Social y el Departamento

Administrativo de Ciencia, Tecnología e Innovación de Colombia,

Colciencias, quienes a través de estos 13 años de existencia del CE-

DETES han apoyado la ejecución de proyectos, disponiendo para esto

no solo recursos financieros sino también de su recurso humano para

el desarrollo de diferentes actividades.

A las entidades internacionales, como los Centers for Disease Control

and Prevention, CDC, la Organización Panamericana de la Salud, OPS

y a la Unión Internacional de Promoción y Educación para la Salud,

14

ligia de salazaR

por su permanente apoyo y respaldo técnico al CEDETES a la línea de investigación de evaluación de la salud pública y promoción de la salud.

A todos los participantes de los cursos y seminarios-taller de eva-luación y evidencias llevados a cabo en diversos lugares de América Latina, quienes aportaron sus experiencias e intervenciones, contribu-yendo con esto al análisis de las fortalezas y limitantes de la práctica de la promoción de la salud y la salud pública en América Latina.

A las diferentes instancias que promueven la investigación y la difusión de la misma en la Universidad del Valle, especialmente a la Vicerrectoría de Investigaciones, al Vicedecanato de Investigaciones de la Facultad de Salud y al Programa Editorial de la Universidad del Valle. Especial reconocimiento y agradecimiento para todos los pro-fesionales vinculados al CEDETES, quienes participaron activamente en el desarrollo de los proyectos y en la consolidación de la línea de evaluación en salud pública del Centro.

A todos y cada uno de ellos especiales agradecimientos y recono-cimientos.

15


PRESENTACIÓN

Este documento pretende, como su nombre lo indica, suscitar la re-flexión, el debate y la generación de propuestas para evaluar políticas y programas en salud pública y promoción de la salud. En ese sentido, dista de ser prescriptivo para más bien colocar en manos del lector aspectos críticos del debate actual en relación con la evaluación de intervenciones de naturaleza compleja.

Por esto, más que recomendar un único enfoque de evaluación como respuesta a los asuntos críticos del debate, se exponen argumentos para cualificar las decisiones en relación con los diferentes enfoques meto-dológicos para conducir evaluaciones relevantes, de calidad y útiles, al igual que las implicaciones políticas, sociales y técnicas de cada una.

Por considerar la función evaluativa como un proceso investigativo permanente de búsqueda y aprendizaje alrededor del comportamiento, desempeño y resultados de las intervenciones, con el fin de cualificar la formulación de políticas y programas, al igual que coadyuvar con la capacidad para actuar, abogamos porque la evaluación trascienda las fronteras de lo técnico y que este último aspecto esté al servicio de los intereses políticos, sociales, culturales y éticos que la salud de la población demanda.

16

ligia de salazaR

Desde esta perspectiva, la acción evaluativa está inserta en un complejo contexto en el cual valores, principios, intereses, recursos y voluntades se entremezclan con el fin de producir información y co-nocimiento para fortalecer la teoría y práctica de la salud pública y la promoción de la salud y, mas aún, sostener procesos de mejoramiento continuo de las condiciones de salud de las poblaciones.

Con el anterior propósito, pretendemos que esta publicación sea inspiradora y de utilidad para directivos, funcionarios, investigadores, líderes comunitarios y estudiantes de diversas disciplinas y sectores, cuyo ámbito de práctica gire alrededor de la salud pública, de tal forma que esta última se revitalice al acoger los principios y valores de la pro-moción de la salud, como respuesta a los anteriores y nuevos desafíos para crear y mantener condiciones de salud favorables en la población.

17


PRESENTACIÓN

En este capítulo realizamos una revisión

crítica de los conceptos de salud pública y

promoción de la salud a la luz de las teorías y

enfoques metodológicos propuestos para eva-

luar desempeño, efectividad, impacto y costo

efectividad de estas intervenciones.

Esta revisión será insumo para comprender

los planteamientos de los temas abordados en los

siguientes capítulos de esta publicación y para

juzgar si hemos logrado que la evaluación no sólo

sea veraz y creíble, sino también “justa” (Heaney,

et al. 1993).

El contenido del capítulo se orienta a brin-

dar elementos para comprender los conceptos

básicos sobre evidencias, efectividad e impacto

de intervenciones en promoción de la salud y

salud pública para relacionarlos con el diseño,

la implementación y la evaluación de políticas

y programas.

Evaluación en salud pública desde la perspectiva de promoción de salud. Conceptos, posiciones y controversias

I.

18

ligia de salazaR

19


INTRODUCCIÓN

Las iniciativas en salud pública y promoción de la salud implican

inevitablemente acciones en el campo social y político; es así como los

determinantes de la salud, la creación de capacidad para intervenirlos,

y la viabilidad para implementar las intervenciones según diferentes

contextos sociopolíticos se suman a los tradicionales indicadores de

morbilidad, discapacidad, mortalidad y factores de riesgo.

Las teorías, las posiciones y las propuestas para diseñar, operar y

evaluar intervenciones en salud pública y promoción de la salud, serán

tema de estudio a la luz de los principios que soportan esa nueva mi-

rada de la salud pública, la cual acoge los principios orientadores de la

promoción de la salud tales como la equidad, la democracia y la justicia

social; el desarrollo local; la producción social de salud; la autonomía

y el empoderamiento de los sujetos y grupos sociales; y gestión de

políticas públicas, lo que explica el carácter político de la evaluación.

House (1981) y Heaney et al. (1993) sostienen al respecto que la

importancia que la evaluación ha ido adquiriendo, tanto en medios

académicos como institucionales, no reside sólo en su carácter de

investigación científica, como en principio cabría pensar, sino muy

especialmente en sus notables implicaciones políticas. Las evaluaciones

20

ligia de salazaR

se realizan con el propósito -tácito o explícito- de informar e influir,

en un sentido o en otro, en el proceso de toma de decisiones políticas.

De allí que los paradigmas que han prevalecido hasta el momento en

relación con los enfoques de evaluación, deban ser revisados a la luz

de este carácter político de la evaluación, y de la necesidad de que ésta

cumpla con los principios éticos que subyacen a éstos.

Según House (1981), la práctica evaluativa debe fundamentarse en

principios éticos, tales como la igualdad de las distintas audiencias a

la hora de tomar parte en el proceso de evaluativo, el hecho de que las

opiniones puedan ser expresadas libremente y con total autonomía, la

imparcialidad en el juicio y la reciprocidad.

Para dar inicio a este capítulo, es necesario tener en cuenta algunos

hechos relacionados con el alcance y la práctica de intervenciones en

salud pública y promoción de la salud, y su influencia en la evaluación:

• Uso de conceptos "prestados" de países que tienen realidades y contextos diferentes. Uno de los hechos que ha generado

amplios debates es que la promoción de la salud en América

Latina ha sido instituida con base en modelos foráneos. Por

tanto, hay necesidad de identificar los componentes esenciales

de su definición, teoría y práctica para nuestro medio, tomando

en consideración características culturales, sociales, políticas y

económicas propias.

• Avances en salud pública que conceptual y estratégicamente conectan la salud a procesos de desarrollo. Hay necesidad de

recoger en forma crítica y propositiva los fundamentos de estos

procesos de cambio en la región y las razones para su limitado

adelanto.

• Mayoría de intervenciones y evaluaciones están orientadas a la prevención y control, a través de cambios en el comportamiento individual. Poco se sabe sobre la efectividad de las prácticas para

21


aumentar la capacidad para decidir y actuar al modificar situacio-nes adversas y promover estructuras y prácticas saludables en lo colectivo.

• Escaso conocimiento sobre evaluación de intervenciones que incorporan en su práctica indicadores de desarrollo social y territorial. La mayoría de las evaluaciones usan indicadores de morbilidad, mortalidad y factores de riesgo o intervenciones en salud pública orientadas a la prevención y control de enferme-dades.

1. naturaleza de intervencioneS en Salud Pública deSde la PerSPectiva de la Promoción de la Salud

Los teóricos de la promoción de la salud han identificado las bases conceptuales y los principios que fundamentan tanto la teoría como la práctica en este campo. A pesar de este esfuerzo, se encuentran una variedad de expresiones prácticas de ella, mediadas por la influencia de aspectos socioculturales y políticos del contexto.

El uso de términos como promoción de la salud, medicina social, salud pública, y salud colectiva sugieren diferentes alcances del abor-daje a la salud de la población. Es fundamental el esclarecimiento conceptual de estas definiciones, apoyado en las raíces históricas de estos abordajes, tanto para probar y construir teoría alrededor de su evaluación, como para cualificar los procesos de formulación de polí-ticas e intervenciones en salud pública. Es claro que con paradigmas distintos, los modelos de intervención no pueden ser sujetos a un mismo mecanismo de validación.

De acuerdo con una formulación realizada por Waters et al. (2006), la promoción de la salud y la salud pública abarcan la valoración de la salud de las poblaciones y la formulación de políticas para prevenir o res-ponder a los problemas de salud, promocionando la salud y los ambientes saludables a través de un esfuerzo organizado de la sociedad. La salud

22

ligia de salazaR

pública promueve la acción social para invertir en condiciones de vida que mantengan y protejan la salud. Lo anterior cubre un amplio rango de intervenciones orientadas a mejorar la salud, actuando desde varios niveles y tipos de acción.

La promoción de la salud y la salud pública tienen mucho en común. No obstante funcionan a partir de bases teóricas y supuestos de investigación en cierta medida diferentes. En 1996, en un esfuerzo por consolidar la complementariedad de estos dos enfoques, Health Canada produjo un modelo de síntesis “Promoción de la salud de la población”, que combinaba las estrategias de la Carta de Ottawa y una lista de determinantes importantes de la salud y grupos de población.

Este modelo ha sido bien recibido entre los promotores de la salud de Canadá, habiéndose disipado buena parte de la inquietud inicial que suscitaron los enfoques sobre la salud de la población. El término ‘Promoción de la salud de la población̉ es de uso cada vez más general-izado, y es posible que se convierta en el nuevo concepto unificador, aunque para otros autores sea una redundancia.

Promoción de la salud y salud de la población

Los modelos de intervención en promoción de la salud no pueden ser sujetos a un mismo mecanismo de validación (Castro, 2004)

No es lo mismo reconocer evidencias de efectividad de la promoción de la salud enmarcadas en una concepción médico-preventivista enfocada a la enfermedad, que desde una visión ori-entada al consumo individual de estilos de vida saludables, al cambio de conductas, o referidas a “desarrollo a escala humana”, la lucha por la equidad, la calidad de vida y la acción socio-política transectorial.

Los diversos paradigmas de la salud pública y de las ciencias sociales determinan las interpre-taciones y las prácticas de la promoción de la salud y por ende, deben ser referentes explícitos en cada caso, para el estudio de las evidencias de su efectividad.

La promoción de la salud ha tenido especial atención, sobre todo a partir de la década de los años setenta, no sólo por quienes se desem-peñan en el campo de la teoría y la práctica de la salud pública, sino también por quienes se ocupan de las políticas sociales y de salud. Los centros académicos y de investigación, los gobiernos, los ministerios de salud pública y los organismos de colaboración internacional en salud han dedicado importantes espacios de debate a este tema, pronuncián-

23


dose en relación con su concepción e importancia en las estrategias de salud y elaborando y difundiendo declaraciones, siendo la más conocida la Carta de Ottawa.

Carta de Ottawa

La Carta de Ottawa definió cinco áreas operacionales de la promoción de la salud, interco-nectadas de tal forma, que los alcances y resultados que se tengan en cada una de ellas, están determinados por lo que suceda en las otras, comportándose como un sistema complejo:1. Formulación de políticas públicas, que además de orientar la acción en salud poblacional,

den cumplimiento a los principios y valores que impulsan la promoción de la salud.2. Fortalecimiento de las acciones comunitarias y de la participación de la gente en las deci-

siones y acciones relacionadas con su salud -empoderamiento-.3. Creación de ambientes favorables tanto en sus dimensiones físicas como sociales y forta-

lecimiento del sistema de apoyo social de la comunidad.4. Desarrollo de las aptitudes personales para tomar decisiones saludables y soportar presio-

nes negativas para la salud.5. Reorganización de los servicios de salud para hacer hincapié en la equidad en el acceso y

calidad de la atención, al igual que en convertir las instituciones en escenarios desde donde se promueve y construye salud.

Promoción de la salud según la Carta de Ottawa

La promoción de la salud fue definida en la Carta de Ottawa como el proceso para proporcionar a los pueblos los medios necesarios para mejorar su salud y ejercer un mayor control sobre la misma (WHO, 1986). Este proceso alienta a las personas a que mejoren su salud por-que pueden ejercer un mayor control sobre sus determinantes a través del empoderamiento de los grupos y de las comunidades para actuar individual y colectivamente.

Aunque con la promulgación y adopción de la Carta de Ottawa la promoción de la salud fue claramente definida, su operación tiene múltiples expresiones y es moldeada, entre otros, por el pensamiento de las organizaciones que la impulsan, el contexto y el escenario socio po-lítico en el que se concibe e implementa; por resultados de experiencias previas, por el clima social y el equilibrio de las relaciones de poder.

24

ligia de salazaR

Lo anterior explica el por qué la promoción de la salud es visualizada y evaluada con base en su contribución para mejorar las condiciones de salud y su potencial para crear y mantener procesos de cambio social capaces de modificar sus determinantes. Estas perspectivas políticas y sociales explican en parte, la complejidad de estas intervenciones, lo cual se refleja en los criterios para juzgar su éxito y en los enfoques metodológicos para evaluarlas.

La promoción de la salud interviene en la dimensión social de los determinantes de la salud de la población, y es una categoría integradora esencialmente intersectorial y de participación social, por lo que rebasa las fronteras del accionar médico y de lo que comúnmente se conoce como el sector salud.

En ocasiones se confunden los conceptos de promoción y prevención, por que aunque son diferentes, a la vez pueden ser comple-mentarios. De las cuatro grandes estrategias de la salud pública (promoción, prevención, atención y recuperación), la promoción de la salud es la más social, la más integral, la que

más impacto potencial tiene en las raíces de la salud y la que menos depende de la acción de los servicios de salud.

Las acciones de promoción de la salud de mayor impacto son las poblacionales, a diferencia de las acciones de atención y recuperación que se realizan fundamentalmente sobre individuos. Cada problema, en cada contexto, requiere una respuesta social específica que consiste en una combinación de acciones; las de promoción de la salud de mayor impacto potencial, serán aquellas que se realizan sobre comuni-dades y poblaciones enteras con la participación de la mayoría de los sectores y actores sociales. Las acciones poblacionales de promoción (como, por ejemplo, la elevación del nivel educativo; las políticas para

Con alguna frecuencia se ha reducido el concepto de promoción de la salud a educación para la salud, olvidándose que ésta es solo uno de los recursos con que cuenta la promo-ción. Otro reduccionismo es convertir a la estrategia de promoción de la salud en acciones dirigidas a lo-grar cambios en los estilos de vida individuales.

25


garantizar el acceso y la equidad de oportunidades y bienes y servicios; la mejoría de la situación alimentaria y nutricional; el acceso a empleo seguro e ingreso digno; y la construcción de infraestructura sanitaria), intervienen sobre los procesos determinantes del estado de la salud, más que sobre riesgos y daños específicos.

Si bien es cierto que interesa que los individuos adopten estilos de vida sanos, ello está altamente condicionado a la modificación positiva de las condiciones de vida de los grupos humanos. Los estilos de vida individuales responden en gran medida a las condiciones en que los in-dividuos viven, estudian y trabajan. No es lo mismo promover cambios en los estilos de vida en personas con un alto nivel socio económico, que en quienes viven en un barrio marginal en situación de pobreza. Es obligatoria la modificación positiva de las condiciones estructurales de vida y por su conducto, los estilos de vida individuales.

Significados de la práctica de la promoción de la salud

Aunque hay una definición conceptual universal de promoción de la salud, su definición operacional, es decir, la forma como es imple-mentada, difiere, como fue mencionado, según el contexto sociopolítico en el cual es conducida, la disponibilidad de ciertas condiciones para hacer factible la implementación y el enfoque filosófico e interés de los responsables de ponerla en práctica.

La promoción de la salud como proceso social y político es por naturaleza dinámica, y está influenciada por las condiciones específicas de cada lugar, las cuales moldean tanto su esencia como su alcance, al igual que su implementación y su éxito. Estos elementos del contexto no necesariamente son identificados o entendidos al inicio de la inter-vención, de allí que sea necesario la vigilancia permanente del proceso y más importante aún, el uso de esta información para reorientar la intervención.

Las intervenciones en salud pública y promoción de la salud se fun-damentan en teorías del cambio. Éstas describen cómo una intervención

26

ligia de salazaR

supuestamente va a suministrar los resultados deseados y la lógica de causalidad en relación con el cómo y el por qué una intervención parti-cular alcanza sus resultados. Una teoría del cambio puede ser modelada de varias formas: con modelos teóricos, modelos lógicos, estructuras lógicas, modelos de resultados y cadenas de resultados, los cuales deben ser probados en la práctica para producir teoría.

Los principios y valores que soportan las acciones en promoción de la salud no siempre están de acuerdo con el sistema político y la legislación, lo que dificulta en reiteradas ocasiones el encontrar apropiados escenarios para implementar tales intervenciones; es el caso de reformas enfocadas a la provisión de servicios y a la rentabi-lidad económica de las instituciones. Frecuentemente se encuentran dificultades para caracterizar y simplificar intervenciones que por naturaleza son complejas, y esto se torna más difícil por la necesidad de pensar en que las causas de enfermar no son propiamente agentes biológicos fácilmente identificables, sino un sistema abierto de pro-cesos sociopolíticos en el que ocurre el fenómeno salud-enfermedad en la población, al considerar la población como agregados de indivi-duos en lugar de grupos organizados que se relacionan e interactúan siguiendo patrones específicos organizacionales.

¿Quiénes están involucrados?

En 1990, la Organización Mundial de la Salud/Organización Pana-mericana de la Salud, OPS/OMS, propuso una definición que explicita los responsables de la promoción de la salud: “Suma de las acciones de la población, los servicios de salud, las autoridades sanitarias y otros sectores sociales y productivos, encaminados al desarrollo de las mejores condiciones de salud individual y colectiva”.

La anterior definición implica una acción permanente que compro-mete a todos los actores de la sociedad, con una intencionalidad clara de fortalecer habilidades y capacidades de los individuos, las familias y los grupos a través de un proceso político y social. Este proceso se convierte en el centro de la acción y, por tanto, de la evaluación en promoción de

27


la salud. Una estrategia de promoción de la salud efectiva conduce a cambios en los determinantes de la salud y ejerce una influencia directa en la determinación social de la enfermedad. Esta responsabilidad es analizada por Mittelmark (2001), cuando afirma que vincular la salud con los derechos humanos y la equidad no sólo cambia las fronteras de la responsabilidad del gobierno por la salud, sino que implica cambios en la manera como los problemas de salud pública son conceptualizados y analizados; en el proceso para determinar intervenciones relevantes; en el diseño e implementación de las intervenciones, al igual que en los enfoques e indicadores para monitorear y evaluar su éxito al introducir indicadores relacionados con la exclusión y la discriminación, la equidad y la participación de la comunidad en decisiones que la afectan.

En las áreas definidas por la Carta de Ottawa se articulan los ám-bitos institucional, comunitario e individual, y aparecen elementos fundamentales que deben considerar las intervenciones enmarcadas en la promoción de la salud tales como la intersectorialidad, que es entendida como la planificación y cooperación entre sectores para crear mejores oportunidades para la vida saludable, lo que favorece la participación de diversas disciplinas; y el empoderamiento, como un proceso de acción social que promueve la participación de las personas, las organizaciones y las comunidades para lograr un mayor control individual y comunitario, mayor eficacia política, mejoramiento de la calidad de vida y justicia social (Wallerstein, 1992). Estrechamente vinculados a estos conceptos, y como aspectos estratégicos de las inter-venciones en promoción de la salud, se encuentran las alianzas entre diversos actores sociales y la generación de redes sociales.

Es reconocido que un aspecto esencial en promoción de la salud es la política pública que pro-mueva condiciones bajo las cuales las personas vivan de manera saludable, trabajen, aprendan, jueguen y participen en la vida comunitaria. Dado que la política depende del proceso en que se concibe, diseña y sostiene, su evaluación debe dar cuenta de estos aspectos, qué la afecta, de qué forma y cómo usar el conocimiento (Milio, 1987; Minkler, 1997).

Efectividad en la política

28

ligia de salazaR

Las condiciones socioeconómicas en la región han cambiado desde la expedición de la carta de Ottawa. En los países en desarrollo la deuda nacional, el crecimiento económico, el empleo, las políticas de bienestar, la migración a causa de la violencia, la descentralización administrativa y financiera, y la liberalización del mercado, han tenido repercusiones en los determinantes de la salud. A pesar de ello, las intervenciones en salud pública y promoción de la salud continúan focalizándose en la prevención y control de las causas proximales de enfermar y morir.

Si bien no existe un solo camino para mejorar las condiciones de salud de las poblaciones, se han identificado una serie de componentes para orientar la práctica en este campo: empoderamiento y construcción de capacidad local para enfrentar condiciones adversas y promover salud mediante la organización de redes sociales; participación social y comunitaria en la toma de decisiones; reorientación de servicios para garantizar el acceso y calidad; y acción intersectorial soportada en alian-zas para un desarrollo sostenible. Estos son algunos de los componentes comunes en este tipo de intervenciones.

La planificación y la práctica de la promoción de la salud es una actividad compleja como consecuencia de la participación de varios sectores para dar respuesta a las problemáticas que aborda. Si bien estamos acostumbrados a hacer la planificación de programas partiendo de una lógica sectorial en promoción de la salud, el arte de concebir, diseñar, y construir agendas de trabajo se realiza al articular sectores, recursos, disciplinas e instituciones en un esfuerzo coherente de planificación-acción.Para que la intersectorialidad tenga expresión real en los programas y acciones para mejorar y mantener las condiciones de salud de la población, se requiere que la acción de los respon-sables de estos programas sea producto de una concepción integral del desarrollo social con calidad y equidad, con énfasis en lo local y con una conciencia real de que para hacerlo sus-tentable se requiere el respaldo y la cooperación sinérgica y sostenida de los sectores público, privado y comunitario, representado no solo en una intencionalidad sino en agendas de tra-bajo y recursos compartidos, lo cual redundará en ganancias sociales y de salud.

Los desafíos en este caso giran alrededor de las siguientes preguntas: ¿cómo cambiar una lógica de planificación sectorial por una intersectorial?; ¿cómo hacer de ésta una actividad permanente y no sólo coyuntural?; ¿cómo hacer que los planes de desarrollo territoriales se conviertan en medios y mecanismos para cumplir con este objetivo?

Intersectorialidad

29


El concepto de complejidad aplicado a intervenciones en salud pública y promoción de la salud

La complejidad ha sido definida como “una teoría científica, la cual

sostiene que algunos sistemas presentan fenómenos comportamenta-

les completamente inexplicables por cualquier análisis convencional

sobre cualquiera de las partes que constituyen el sistema” (Casti,

1997, citado en Hawe et al., 2004). El argumento es que “entre más

dificultad haya para definir exactamente cuáles son los ingredientes

centrales (activos), de una intervención y cómo se relacionan entre

ellos, es mayor la probabilidad de que estamos al frente de una in-

tervención compleja”. (Medical Research Council, 2000, citado en

Hawe et al., 2004).

El reducir un sistema complejo a la cantidad de componentes que lo

integran sería una pérdida irrecuperable de lo que hace que funcione

como sistema, pues la intervención no es la suma de las partes (Casti,

1997, citado en Hawe et al., 2004). Es esta una de las razones para

reflexionar acerca de la estandarización de intervenciones de este tipo.

Debemos entonces preguntarnos ¿qué es estandarizable?

Una forma alternativa de pensamiento en relación con la estanda-

rización puede ayudar a contestar esta pregunta. Los aspectos fijos

de la intervención son las funciones esenciales y el aspecto variable

es su forma en diferentes contextos. Más que estandarizar la forma

(mecanismos) de la intervención, lo que podría estandarizarse son los

pasos (componentes) en el proceso de cambio para lograr el objetivo,

dado que ellos provienen de la teoría en la que se basa la formulación

de la intervención. Según Hawe et al., (2004), estos mecanismos

podrían tomar diferentes formas de acuerdo con el contexto local. El

punto central es permitir que la forma pueda ser ajustada mientras el

proceso y la función podrían estandarizarse. El nivel de adaptación del

contexto no significa que la integralidad de lo que se está evaluando

en diferentes sitios se pierda. La clave es definir la integralidad basada

en su funcionalidad, más que por sus componentes.

30

ligia de salazaR

Las intervenciones en salud pública deben tratar de entender las comunidades como sistemas complejos, en los cuales los problemas de salud o fenómenos de interés son producidos y manejados por el sistema (Hawe et al., 2004). La integridad de la intervención debería ser definida como la evidencia que encaja con la teoría o principios del proceso de cambio que se ha conceptualizado.

La complejidad según Shield et al., (2008), es propiedad de un sistema, no de una intervención. Un sistema complejo es aquel que se adapta a los cambios en el am-biente local, está compuesto por múltiples subsistemas complejos y se comporta en forma no lineal. Las intervenciones en estos escenarios pueden ser simples o complejas, pero el enfoque de sistemas complejos nos hace considerar el intervenir y estar atentos a las interacciones que ocurren entre compo-nentes de la intervención al igual que entre la intervención y el contexto.

Aunque una intervención sea definida como compleja, en la práctica prevalece el

pensamiento de intervenciones simples cuando se trata de describir la intervención y definir si su integridad está ligada a la estandarización de las formas de implementarla. Un análisis crítico de la lógica de la intervención puede ayudar a construir intervenciones más fuertes y efectivas (Hawe et al., 2004).

La complejidad según Shield et al. (2008), tiene dos significados: el primero como una propiedad de la intervención y el segundo, como propiedad del sistema en el que la intervención es implementada. Se-gún este autor, una intervención compleja es construida por una serie de componentes, los cuales pueden actuar en forma independiente o interdependiente. Esto es lo que hace difícil definir los “ingredientes

La racionalidad de una intervención compleja, los cambios esperados y cómo éstos son alcanzados pue-de que no estén claros al inicio.Una tarea clave es desa-rrollar un entendimiento teórico del probable proce-so de cambio, obteniendo evidencia y teoría, comple-mentado, si es necesario, por investigación primaria.

31


activos” de la intervención y estar seguro de cuáles componentes o combinaciones de componentes son más importantes.

La distinción entre estos dos enfoques (intervenciones complejas vs sistemas complejos) es poco clara, ya que comparten características comunes: por ejemplo, la no estandarización, multiplicidad, e interac-ciones. Más aun, las intervenciones complejas pueden presentar las características de sistemas complejos dado que es imposible separar la intervención de agencias humanas requeridas para su implementación. La investigación en salud frecuentemente usa el término complejo para referirse a intervenciones que tienen múltiples componentes. Una forma alternativa es ver la complejidad desde la perspectiva del sistema en donde se implementa la intervención.

De allí que Craig et al. (2008), argumenten que se requiere de un buen entendimiento de la teoría (cómo la intervención produce un cambio), para lograr que los vínculos débiles en la cadena causal puedan ser identificados y fortalecidos. La ausencia de efectos puede significar fallas de la implementación más que verdadera inefectividad, y un solo resultado puede que no sea suficiente. Finalmente, Craig advierte que asegurar una estricta estandarización puede ser inapropiado; la inter-vención puede funcionar mejor si se especifica en el protocolo el grado de adaptación a diversos escenarios locales.

Hay dos preguntas que debemos respondernos en intervenciones complejas: la primera hace referencia a la efectividad e impacto de la intervención. Es importante comprender la cantidad de efectos y cómo varían entre los recipientes de la intervención o en los diferentes escena-rios en donde se aplique. La segunda se relaciona con la funcionalidad de la intervención, en otras palabras, cuáles son los ingredientes activos y cómo ellos producen efecto.

32

ligia de salazaR

2. evaluación de PolíticaS y ProgramaS en Salud Pública y Promoción

de la Salud

¿Qué es evaluación?

La evaluación es percibida como un campo de investigación multi-

disciplinario y aplicado, el cual intenta estudiar aspectos del mundo real

en forma oportuna (Benjamín, Perfetto y Greene, 1995). Para Smutylo,

T. (2001), la evaluación es parte integral de un programa y de la geren-

cia de un proyecto. Es una herramienta de aprendizaje organizacional

orientada al fortalecimiento de la responsabilidad institucional. Milio,

por otro lado, argumenta que los estudios para evaluación de políticas

buscan identificar las brechas entre lo que es y lo que debiera ser, en

términos de políticas, objetivos y resultados, y entre fines y medios

(Brewer y de León, 1983).

La evaluación también se ha definido como

la “valoración sistemática y objetiva de un pro-

yecto, programa o política que se está desarro-

llando o se ha completado, teniendo en cuenta

el diseño, la implementación y los resultados.

La evaluación debe brindar información creí-

ble y útil, que posibilite la incorporación de

las lecciones aprendidas en el proceso de toma

de decisiones” (OECD, 1998).

Según Hawe, Degeling, Hall y Brierley (2003), la evaluación es el

juicio de valor alrededor de algo, y añaden que la forma como juzgue-

mos depende de las expectativas, las experiencias pasadas, de lo que

pensamos que es importante o no. Lo anterior afecta la forma como se

realiza la evaluación, los intereses que sirven y los métodos que usamos.

Por ello, no hay una forma estandarizada de hacer la evaluación, ni de

los productos que de ella se obtengan.

De otra parte, de acuerdo con Brownson, Baker, Leet y Gillespie

(2003), la evaluación es el proceso de analizar programas y políticas,

En términos generales, la evaluación se define como la comparación y valoración del cambio de un evento en relación con un patrón de referencia y como conse-cuencia de una determinada intervención.

33


así como el contexto en el cual ellas ocurren para determinar si en una implementación se requiere hacer cambios y valorar las consecuencias intencionales y no intencionales; lo anterior incluye, pero no se limita a determinar, si ellos están alcanzando sus metas y objetivos.

Según el Diccionario de Epidemiología (Last, 1983), la evaluación es un “ proceso que intenta determinar, lo más sistemática y objetiva-mente posible, la relevancia, efectividad e impacto de determinadas actividades a la luz de sus objetivos”. Hay una considerable variación en los métodos usados para evaluar programas y, sin embargo, hay mucha más variación en el lenguaje usado para describir cada una de las distintas técnicas de evaluación. Hay métodos y técnicas de eva-luación, de orden cuantitativo y cualitativo, siendo los más fuertes los que combinan los dos.

La evaluación es parte esencial de los programas y políticas basados en evidencia. Mediante la evaluación se puede: (1) orientar correccio-nes y cambios a medio curso de los programas o políticas; (2) ayudar a determinar si el programa o política ha sido efectivo y cuánta de esa efectividad se debe a la intervención o a otras intervenciones simultá-neas; y (3) proveer información para planear el próximo programa o política.

A continuación se presentan algunas definiciones de evaluación de impacto, de resultados y de efectividad, en las cuales se muestra que no hay líneas divisorias definidas o que se contrapongan a los conceptos de diversos autores.

Evaluación de impacto

El Banco Mundial (2000) ha establecido que la evaluación de im-pacto tiene como objetivo determinar si el programa, plan o proyecto “ produjo los efectos deseados en personas, hogares e instituciones, y si esos efectos son atribuibles a la intervención del programa. Las evaluaciones de impacto también permiten examinar consecuencias no previstas en los beneficiarios, ya sean positivas o negativas”. Para

34

ligia de salazaR

algunos evaluadores esto es lo que se conoce como una evaluación de efectividad, la cual se establece una vez que podemos atribuir los cambios o resultados observados a la intervención teniendo en cuenta sus objetivos.

El objetivo de esta evaluación es valorar los efectos más generales y menos inmediatos de la intervención en las necesidades de sus bene-ficiarios. Es un análisis complejo, pues debe indagar en las relaciones de causalidad entre la intervención y los cambios observados (efecto neto) deslindándolos de los efectos producidos por intervenciones dis-tintas a la evaluada o por la propia evolución del contexto. Además, se debe indagar sobre la capacidad de replicar los efectos positivos una vez finalizado el programa, plan o política, es decir, la viabilidad y sostenibilidad de la intervención.

Como puede observarse en las dos definiciones anteriores, hay simi-litudes y diferencias; la primera similitud es que en ambas se trata de atribuir los cambios a la intervención; la segunda es que tienen como criterio de éxito el cumplimiento de los objetivos para los que fueron creadas, pero en diferentes horizontes de tiempo. En cuanto a diferen-cias, la principal es que la evaluación de impacto estudia los cambios a largo plazo, bien sea previstos o no, y segundo, los efectos producidos una vez que el programa se suspende.

Evaluación de resultados.

Es aquella cuyo objetivo principal es valorar hasta qué punto se pue-den conseguir, se están consiguiendo o se han conseguido los objetivos establecidos más inmediatos (efectividad), y examinar a qué costo se alcanzan en términos de tiempo, y recursos humanos, materiales y mo-netarios (eficiencia). Como puede apreciarse la evaluación de resultados es un insumo para las evaluaciones anteriores y brinda información sobre los productos o logros como parte de un proceso y no solo al final de la intervención. Los indicadores intermedios para valorar la implementa-ción y el desempeño de la intervención hacen parte de esta evaluación. Como fue mencionado, este tipo de indicadores en intervenciones

35


cuyos objetivos se logran en un largo plazo, son muy importantes para

mantener a los tomadores de decisiones informados y motivados acerca

de la necesidad de dar continuidad a este tipo de iniciativas.

La evaluación ha ocupado la atención de muchos teóricos, funciona-

rios y académicos, que han reconocido esta actividad como un desafío

político y metodológico. La anterior afirmación se fundamenta en los

debates sobre el tema, la literatura escrita, los esfuerzos realizados y

las limitantes identificadas para desarrollar esta actividad (Speller et

al.,1997; McDonnald, Veen y Tones, 1996; De Salazar, 2002; WHO,

2001).

Evaluación de efectividad.

Como hemos mencionado, la evaluación plantea en sí misma desafíos

técnicos, políticos y culturales. Al concebir la promoción de la salud

como un proceso político de construcción de capacidad para crear, pro-

teger y mantener la salud, al intervenir y modificar sus determinantes, se

entenderá que la evaluación debe centrarse tanto en la evolución de este

proceso como en sus efectos en la salud y el bienestar de la población.

La evaluación de efectividad de intervenciones de naturaleza política

y social, como las que se desarrollan desde la perspectiva de promo-

ción de la salud, deberá considerar entre otros aspectos: el hecho de

que las iniciativas de promoción de la salud responden a procesos

dinámicos y participativos, los cuales son de naturaleza multifactorial

y multidimensional; la existencia en forma concomitante de diversas

intervenciones con objetivos específicos, aunque complementarios;

que son intervenciones en permanente cambio definidas en un proceso

también permanente de reflexión-acción; se orientan a grupos y po-

blaciones, en diversas ocasiones con una alta movilidad; con efectos a

largo plazo, muchas veces difíciles de medir y costear; y de beneficios

frecuentemente intangibles para los tomadores de decisiones; deben

estar articuladas a planes de desarrollo e intersectoriales, más que a

planes sectoriales.

36

ligia de salazaR

Estas características son reflejadas en la evaluación; por tanto, hay necesidad de combinar las ciencias políticas, sociales y biológicas, así como diferentes niveles de acción: individual, familiar y comunitario, tanto en el análisis como en la interpretación de los resultados, tenien-do en cuenta las limitaciones para definir en términos operativos los principales principios y valores que fundamentan este tipo de interven-ciones; dificultad para generalizar y predecir resultados y el impacto; la diversidad y, en algunos casos, los intereses opuestos de los grupos de interés involucrados (evaluadores, financiadores, usuarios y teóri-cos); y la forma en que se conduce la evaluación en circunstancias de escasez de recursos.

En el estudio Estado del arte sobre evidencias de efectividad en promoción de la salud en América Latina (2003) realizado en el marco de un proyecto promovido por la Unión Internacional de Promoción de la Salud y Educación para la Salud, UIPES, se encontró que la evaluación se ha caracterizado por la debilidad y poca relevancia de los diseños metodológicos en relación con los desarrollos teóricos de la salud pública y promoción de la salud, y como consecuencia de ello hay una limitada validez, confiabilidad y uso de la información. En este sentido, muchos esfuerzos carecen de la rigurosidad necesaria para ser tenidos en cuenta como evidencias útiles de apoyo al proceso de tomar decisiones.

Se requiere, por tanto, un replanteamiento en los sujetos y objetos de evaluación, del alcance de la misma, de los métodos para seleccionar las preguntas, de los indicadores para establecer valor al objeto eva-luado, de la definición de criterios sobre relevancia, validez, precisión, confiabilidad, reproductibilidad y utilidad de la información; de las relaciones entre evaluadores y tomadores de decisiones y de los medios para difundir y utilizar los resultados (De Salazar, 2002).

Es por ello que la actividad evaluativa demanda la aplicación de méto-dos apropiados para identificar, comprender y valorar procesos y resultados de las intervenciones en sus dimensiones política, social y económica, y

37


en su contribución a la equidad y la calidad de vida de las poblaciones. Esta doble intencionalidad de la evaluación está orientada tanto a procesos como a resultados y consecuencias, y se relaciona con la construcción de capacidad para lograr efectos positivos en el estado de salud y en los determinantes de la salud y bienestar de la población.

Es por eso que más allá de explicaciones etiológicas obtenidas ante situaciones ideales o controladas, se requiere producir información sobre la efectividad de las intervenciones ante situaciones reales mediante un pro-ceso en el cual, tanto la misma intervención como las variables abordadas, en lugar de ser controladas sean identificadas, analizadas e interpretadas para explicar los cambios. Igualmente, se debe obtener información para comprender el proceso que produjo los resultados y establecer la correla-ción, asociación o atribución entre intervención y resultados.

Evidencias de efectividad en promoción de la salud

Las intervenciones en promoción de la salud son parte de procesos políticos de acción social que permanentemente deben repensarse para hacerlos coincidentes con las necesida-des, intereses y expectativas de los actores, y para que sean producto de interpretaciones colectivas de la realidad y de una visión común para intervenirla.

La evaluación de estas iniciativas se caracteriza por lo sistémico, permanente y circular de la investigación, reflexión y acción, mediante el cual se pretende respon-der a preguntas de diferente complejidad. Implica la aplicación de métodos, técnicas y herramientas para obtener información sobre procesos y beneficios comparativos de intervenciones en este campo.

Tanto evaluadores como in-vestigadores sociales deben abogar para que la agenda investigativa en evaluación no sea definida solamente por agencias financiado-ras, sino que cada día el objeto de las evaluaciones responda a los intereses de los formuladores de políticas y de una sociedad que tradicionalmente se ha visto marginada de los pro-cesos de toma de decisiones que afectan su calidad de vida y bienestar.

38

ligia de salazaR

Por un lado, la evaluación aporta información para juzgar el éxito de los programas y adoptar decisiones para la asignación de recursos (UIPES, 1999); y por otro, es de interés para los profesionales de la promoción de la salud y la comunidad beneficiaria, pues les ofrece información acerca del grado de éxito de una intervención con respecto al logro de los principios, los objetivos y las expectativas, al igual que de las condiciones objetivas que hicieron posible alcanzar los resultados esperados.

Un aspecto esencial en promoción de la salud es la política pública que promueva condiciones con las cuales las personas vivan de manera saludable, trabajen, aprendan, jueguen y parti-cipen en la vida comunitaria. Dado que la política depende del proceso en que se forma y mantiene, su evaluación debe dar cuenta de estos aspectos: qué la afecta, de qué forma y cómo usar el conocimiento (Milio, 1987; Minkler, 1997).

Efectividad de la política

Premisas generales

• La evaluación debe dar cuenta tanto de los cambios en los com-ponentes de la intervención, como de los cambios en la condición de salud, según los determinantes sociales de esta.

• La evaluación debe ser innovadora y aplicar enfoques metodo-lógicos coherentes con su naturaleza; igualmente, debe tener en cuenta la dificultad para atribuir o establecer relaciones causales en torno a la efectividad de intervenciones interdisciplinarias, transdisciplinarias, multienfoque y producto de ambientes com-plejos y en continuo cambio.

• La evaluación debe estar fundamentada en modelos y métodos que den cuenta de su naturaleza cambiante, incierta y multies-tratégica. Las conclusiones deben estar soportadas no sólo en asociaciones estadísticas, sino también en asociaciones lógicas en el contexto social en que se desenvuelve el programa o la intervención. Por tanto, la evaluación debe aplicar una combina-

39


ción de métodos y técnicas cualitativas y cuantitativas apoyadas,

cuando sea posible, en técnicas de triangulación de información.

• Una evaluación, para que sea viable y pueda realizarse con la

periodicidad requerida, tiene que incorporar en su diseño meto-

dológico formas eficientes y confiables para obtener información,

utilizando las fuentes existentes y creando nuevas opciones en

caso necesario, tales como los sistemas de vigilancia epidemio-

lógica, las estadísticas vitales, los registros municipales, las

formas autóctonas de comunicación, los relatos e informes de

progreso de proyectos comunitarios, los informes de monitoreo

y evaluación, y los observatorios epidemiológicos y sociales.

Son fuentes de información importante los sistemas formales e

informales de comunicación e información, que hacen parte de la

cotidianidad de las comunidades e instituciones al igual que los

resultados de ejercicios de evaluación como el promovido por la

Organización Panamericana de la Salud, OPS, con la Evaluación

Participativa en Promoción de la salud (OPS, 2003).

• Si aceptamos la naturaleza cambiante de las iniciativas en pro-

moción de la salud, debemos admitir que el diseño metodoló-

gico de la evaluación debe tomar en cuenta este cambio, y más

importante aun, explicitar las razones que indujeron a él. Esta

actividad se logra si hay un proceso flexible y permanente de

documentación y reflexión sobre la experiencia; o sea, si existe

un proceso de sistematización (De Salazar, 2002).

• Es improcedente evaluar la efectividad de intervenciones cuando

no hay certeza de qué fue lo que se implementó y del contexto

en el cual se llevó a cabo. La sistematización, incorporada al

desarrollo del programa, se convierte en una herramienta efec-

tiva para aportar la información necesaria al proceso evaluativo,

dada su bondad para generar análisis crítico y reflexivo de las

experiencias vividas en un trabajo colectivo-participativo.

40

ligia de salazaR

• La evaluación debe surgir de coaliciones entre los sectores y los actores comprometidos con la intervención, a fin de garantizar su activa y permanente participación, al recoger sus percepciones, intereses, aportes y puntos de encuentro, así como sus puntos de vista en la identificación y explicación de correlaciones entre variables o categorías de estudio. Esta participación debe con-tribuir a la selección de preguntas que se desean responder y a las formas de comunicar y utilizar los resultados.

• La evaluación debe ser integral y con compromiso social. Ésta se reconoce como un proceso sistémico que descompone sus elementos constitutivos para efectos de observación, descripción, relación y valoración, y los integra en el análisis e interpretación de la información para explicar los fenómenos sociales, partiendo de circunstancias y hechos reales. Esta información es clave en los planes de mejoramiento y para la adopción o creación de nuevos programas.

¿Por qué es tan importante la evidencia en promoción de la salud?

Desde la perspectiva de la promoción de la salud se cree que el futuro de la salud pública dependerá de su habilidad para demostrar científicamente que es un campo efectivo para la acción de la salud pública. En contraste, otros creen que la evidencia es inapropiada para el campo de la promoción de la salud. En lo que sí hay consenso, es en la necesidad de que la promoción de la salud demuestre su efecti-vidad y desempeñe un papel cada vez más importante en el conjunto de políticas de salud pública.

En el transcurso de los últimos veinte años de trabajo permanente en promoción de la salud, diversos interrogantes han surgido en torno a la relevancia y el éxito de las políticas e intervenciones en este campo, y acerca de los costos económicos, sociales, políticos y culturales que conlleva alcanzarlos. La necesidad de disponer de información sobre la efectividad y rentabilidad social de intervenciones en promoción de la salud ha sido reconocida en diversos escenarios y cada día crecen las

41


demandas para que se tomen decisiones informadas, fundamentadas en evidencias acerca de la efectividad, relevancia y utilidad de las políticas y programas.

A pesar del reconocimiento público e importancia dada a la articu-lación entre la evidencia científica y la toma de decisiones en salud, en la práctica debemos afrontar diversas limitaciones para hacer esta articulación efectiva. Una de ellas se relaciona con el concepto de evidencia y su aplicación en promoción de la salud. Aunque ambos conceptos se han documentado ampliamente la articulación entre ellos todavía tiene muchos vacíos por cubrir. Es precisamente esta articulación la que define la orientación y alcance de la evaluación de efectividad en promoción de la salud.

Otro obstáculo que ha sido reconocido es la limitada experiencia téc-nica para desarrollar estudios de evaluación en intervenciones complejas como las descritas, al igual que el uso efectivo de sus resultados. Con relación a este último punto, falta conocimiento y comprensión de la racio-nalidad detrás de los procesos de toma de decisiones, elementos centrales en cualquier estrategia de comunicación de resultados y de abogacía para articular la evaluación a la toma de decisiones y política pública.

Si partimos de la necesidad de generar información relevante, opor-tuna y confiable para la toma de decisiones, más allá de explicaciones etiológicas obtenidas ante situaciones ideales o controladas, se requiere producir información sobre efectividad de las intervenciones en situa-ciones reales mediante un proceso en el cual, tanto la intervención como las variables abordadas en contextos específicos sean identificadas para comprender y explicar los cambios.

Dado que los tomadores de decisiones generalmente muestran poco interés en resultados a largo plazo y tienden a valorar lo que pueden presentar como resultado de su gestión, la evaluación debe responder a esta necesidad, pero además, mostrar claramente aquellos beneficios que se podrían conseguir a largo plazo si determinadas condiciones

42

ligia de salazaR

del contexto se sostienen. Para ello, los estudios y las proyecciones basadas en asociaciones establecidas por otros investigadores podrían ser una gran ayuda.

Para mejorar la base de la evidencia en promoción de la salud, adicional al debate sobre tipologías de evidencia, hay otras preocupaciones importantes.En la práctica es válido notar que la evidencia sola no puede ser una práctica efectiva, como es el caso de la medicina basada en evidencia. La evidencia externa puede informar, pero nunca reemplazar la experiencia de los practicantes individuales, ya que éste es el que decide si la evidencia externa aplica en absoluto para el grupo objetivo de una intervención, y si es el caso, cómo debe usarse para lograr la efectividad.

En otros términos, para una intervención efectiva, otras áreas críticas además de la evidencia necesitan ser tomadas en consideración (por ejemplo, las necesidades y expectativas de des-tinatarios directos de los servicios, los intereses de otros grupos de interés importantes, y la competencia de un practicante en la planeación y evaluación). El uso concienzudo y juicioso de la evidencia es sólo un elemento de la competencia de promoción de la salud. Es necesario pero no suficiente para lograr una efectiva promoción de la salud.

(Tang, Ehsani y McQueen, 2003)

La evidencia y su aplicación en promoción de la salud

Desafíos de la evaluación

Durante el desarrollo de la evaluación nos enfrentamos a diferentes y permanentes desafíos, algunos de ellos ya resueltos y otros en proceso; los cuales todavía están esperando una respuesta, y es probable que no sea dada en el corto plazo.

Han sido cuestionadas la relevancia, la complejidad, la utilidad y la viabilidad de aplicar diseños evaluativos cuya validez dependa del rigor científico y de supuestos que soportan los estudios analíticos.

A continuación se mencionan los desafíos más sobresalientes de los diseños evaluativos:

• Responder a intereses y expectativas de diversos actores sociales y socios de la intervención.

• Cumplir con las premisas de la evaluación anteriormente men-cionadas, sin afectar la validez de los resultados. Es el caso del

43


carácter participativo que debe tener la mayoría de las evalua-ciones en contraste con la demanda de algunos estudios para que haya grupos control y se evite la “contaminación” entre los grupos comparados; reglas difíciles de cumplir en intervenciones poblacionales.

• Combinar diversos enfoques y técnicas de evaluación que respondan a racionalidades e intereses diversos en un modelo comprehensivo y relevante con las etapas de la evaluación.

• Ser eficiente durante el proceso evaluativo, logrando la participa-ción de los directamente involucrados y articulando los resultados en la gerencia del programa.

• Incorporar al diseño metodológico los elementos centrales de la intervención en promoción de la salud como la equidad, la intersectorialidad y la interdisciplinariedad, que esté dirigido a grupos e instituciones conectados con procesos políticos y sociales, incorporando a la comunidad como un actor activo.

• Interpretar y comprender integralmente los fenómenos encontrados a partir de un análisis comprehensivo del contexto, del proceso y de los resultados de intervenciones, que son complejas, según ya lo hemos dicho.

• Ser oportuno en la disponibilidad y el acceso de los resultados para la toma de decisiones, articulando tiempos políticos y tiem-pos técnicos. Difusión amplia de los resultados entre todos los públicos interesados en la experiencia, para aplicar mecanismos efectivos.

Enfoques y paradigmas de la evaluación de efectividad

Para Hawe, Degeling, Hall y Brierley (2003), la investigación eva-luativa tiene diferencias con otros tipos de investigación debido a que involucra dos procesos: observación y medida, al igual que compara-ción de lo que se observa con algunos criterios o estándares que son

44

ligia de salazaR

indicadores de buen desempeño y resultado. Los autores sostienen que no hay una forma correcta o incorrecta de evaluar, sino que depende de las diferentes percepciones y exigencias de los usuarios de la información en relación con lo que es considerado como “evidencia” de que algo funciona, al igual que el momento en que se realiza la evaluación.

Es esencial reconocer que las opciones metodológicas que se seleccionen influen-cian la recolección e interpretación de los datos y la utilización de los resultados de la evaluación. Por ejemplo, mientras muchos estarían de acuerdo en que la evaluación en ausencia de los actores involucrados no es muy útil, hay casos en que la evaluación se

realiza después de que el programa ha finalizado y los datos ya han sido reunidos. Esto limita el potencial para poder involucrar a los diferentes interesados en las decisiones sobre los tipos de preguntas y los datos que deben ser recolectados.

Alternativamente, hay casos en que el foco de la evaluación y el tipo de datos recolectados son decididos por los implementadores del programa sin la entrada de un grupo más amplio de actores interesados, debido a la creencia que el involucrarlos, de algún modo, “contamina” los resultados de la evaluación.

Por otro lado, Wilber citado por Labonte (1993), delimita tres ca-tegorías epistemológicas de la investigación; nos referiremos a dos de ellas: la analítica y la hermenéutica.

La analítica estudia hechos reales independientes de nuestra per-cepción; es también llamada positivista. Este paradigma se caracteriza por la creencia en una sola realidad independiente de cualquier interés

Los paradigmas usados para guiar la formulación de preguntas y, por tanto, los diseños para responderlas, son de dos tipos: epistemo-lógicos y ontológicos. Los primeros reflejan diferentes perspectivas en la relación entre quien establece la pregunta y lo que puede conocerse; y los segundos reflejan las diferentes pers-pectivas sobre la naturaleza de la realidad y lo que puede saberse sobre ésta.

45


del observador, las explicaciones de causalidad, su presunción de que una verdad universal puede ser encontrada y su preocupación por la predicción vía la prueba (certeza).

La segunda categoría, la hermenéutica, considera las percepciones individuales de fenómenos que se vuelven modelos de la realidad so-cialmente construidos. Es la epistemología constructivista, la cual inicia con la idea fundamental de que existen múltiples realidades socialmente construidas, las cuales no están gobernadas por leyes universales.

El autor añade que la “verdad” es la más informada y sofisticada declaración de entendimiento del cual hay un consenso razonable. El investigador está interconectado con el aspecto bajo investigación, al mostrar los hallazgos como creación del proceso de investigación, más que los hechos. Su metodología es un proceso de interacción, análisis, crítica, reiteración y síntesis, que lleva a la emergencia de algunos entendimientos compartidos de un caso o conjunto de relaciones. En resumen, la teoría constructivista se ocupa del significado, vía enten-dimiento-comprensión.

Si analizamos la evaluación de efectividad en promoción de la salud bajo estos paradigmas, se entendería que el enfoque constructivista podría ser el más apropiado. La pregunta es si, para los tomadores de decisiones y usuarios de los datos, este tipo de evidencia es suficiente y creíble para fundamentar sus decisiones. Se ha cuestionado la relevancia, la complejidad, la utilidad y la viabilidad de aplicar diseños evaluativos de investigación etiológica considerados óptimos por su capacidad para controlar aspectos que afectan la precisión y validez del estudio, como es el caso de los estudios experimentales (WHO, 2001; Susser, 1994 citado por Borja-Aburto, 2000).

Más que calificar uno u otro tipo de evaluación, se trata de seña-lar las diferencias y la complementariedad entre ellas, sin forzar o desestimar las bases teóricas sobre las que se sustentan. Un aspecto central para lograr esta complementariedad es saber el vínculo entre

46

ligia de salazaR

los resultados intermedios y los finales, según el marco lógico en que se fundamenta la intervención.

La evaluación de efectividad en promoción de la salud debe articular estos enfoques, tanto en su diseño como en la implementación y uso de la información. Por otro lado, el diseño metodológico debe propugnar por una interpretación y comprensión integral de los fenómenos encon-trados a partir de un análisis comprehensivo del contexto, el proceso y los resultados.

Lo anterior ha obligado a evaluadores y tomadores de decisiones a debatir el tema, al tener como referente factores que compiten tales como precisión, validez y oportunidad de la información versus su utilidad para la toma de decisiones; temporalidad de la inves-tigación evaluativa versus proceso político y gerencial; información para promotores del proceso versus información para for-muladores e implementadores de políticas e investigadores interesados en la teoría que fundamenta la promoción de la salud; evidencia de efectividad versus evidencia

de rentabilidad social; factores técnicos y económicos versus factores éticos, entre otros. Por ello, el evaluador se enfrenta a situaciones con-flictivas que debe sortear.

¿Qué cuenta como evidencia para las diferentes audiencias o tomadores de decisiones?

El término evidencia es a menudo restringido a hechos cuantitativos derivados de diseños experimentales aleatorizados, que no capturan la complejidad inherente a la promoción de la salud (McQueen & An-derson, 2000).

Irena Madjar y Jo Ann Walton (2001), argumentan que en una am-plia noción de evidencias también se incluye la evidencia cualitativa

Contestar preguntas como ¿qué queremos saber?, ¿cuál es la información que esperamos obtener con la evaluación?, ¿para qué evaluamos?, ¿qué haremos con la información?, y ¿quién requiere la evalua-ción? es de gran utilidad para definir el diseño más adecuado de evaluación.

47


Hay diferencias importantes de perspectiva y énfasis con respecto a aquello que representa el éxito de un programa de promoción de la salud. Entre dichas perspectivas podemos citar:

Los responsables de elaborar las políticas y los gestores de presupuestos, que deben tener la capacidad de juzgar el éxito (o posible éxito) de los programas, con el fin de adoptar decisiones relativas a cómo asignar recursos y rendir cuentas de sus decisiones. Este éxito suele definirse en términos de la relación que existe entre la inversión y el logro de los resultados de salud a corto plazo.

Los profesionales de la promoción de la salud, que deben ser capaces de juzgar, con una dosis razonable de confianza, el posible éxito en la “vida real” de un programa, con respecto al logro de sus objetivos y el logro de resultados intermedios. Este éxito se podría definir en términos de la factibilidad de implantación de un programa, y de las posibilidades de lograr que las personas y las organizaciones se comprometan con la iniciativa.

La población que se beneficiará de la acción de promoción de la salud, que valore el proceso por medio del cual se lleva a cabo un programa, principalmente si un programa es participa-tivo o no y si aborda o no prioridades que la propia comunidad haya identificado. Este éxito se podría definir en términos de relevancia con respecto a las necesidades percibidas y de las oportunidades de participación de la comunidad.

Los investigadores académicos, que necesitan juzgar el éxito con el fin de mejorar el co-nocimiento y la comprensión de la relación que existe entre las intervenciones y los efectos observados aplicando ‘reglas de evidencia’ científica. Este éxito se podría definir en términos de rigor metodológico, como mantenimiento de la integridad de los programas y el logro de resultados predeterminados.

Si bien las anteriores perspectivas para juzgar el éxito de una intervención son diferentes, no son mutuamente excluyentes. Cada una de ellas tiene por objeto modificar los determinantes de la

Criterios para valorar el éxito o efectividad de una intervención

de experiencias vividas e historias de casos. Este tipo de evidencias es importante porque refuerzan la comprensión del comportamiento hu-mano, promueven el pensamiento holístico, y ofrecen datos de contexto cualitativos que son más que sólo “meras opiniones”.

La calidad de la evidencia se ha juzgado aplicando criterios como el tipo de estudio empleado, la coherencia de los hallazgos con los re-sultados de otras investigaciones, y en general, aspectos relacionados con la estimación de causalidad y atribución.

Para tomadores de decisiones, sin embargo, existen otros criterios para valorar la evidencia de éxito o efectividad de una intervención, los cuales también deben ser tenidos en cuenta.

48

ligia de salazaR

Simon et al. (1986), en su estudio sobre la selección en circunstancias

de incertidumbre, inconsistencia e información incompleta, anuncia-

ron un fenómeno aún vigente. Según los autores, cuando a la gente se

le brinda información acerca de la probabilidad de ciertos eventos y

luego recibe información adicional relacionada con la ocurrencia del

evento (hechos concretos, no probabilidades), tiende a ignorar las pro-

babilidades previas en favor de información muchas veces incompleta

e irrelevante acerca de un evento particular. El caso anterior lo vemos

en la influencia de los medios masivos de comunicación.

En el proceso de reconocimiento de tomadores de decisiones debe-

mos diferenciar entre aquellos que usarán los resultados de la evalua-

ción para reorientar la intervención y los que tienen interés en usar las

recomendaciones para tomar decisiones relacionadas con la continuidad

y la extensión del proyecto. En síntesis, los primeros toman decisiones

más de carácter técnico y los segundos, de tipo político. La participa-

ción de ambos contribuye a la calidad de la evaluación, al igual que a

la viabilidad y factibilidad y el grado de uso de resultados de la misma.

Es probable que haya diferencias entre lo que quieren saber los que

están implementando la intervención y los financiadores o interesados

en extenderla o repetirla en otro lugar. Los primeros podrían estar más

interesados en el desempeño de un programa y en la comprensión de

su proceso de implementación para introducir ajustes; y los segundos

salud y lograr una mejora de ella, pero presentan diferencias marcadas en cuanto al énfasis que ponen en el proceso mediante el cual alcanzan sus resultados y en cuanto a la importancia que atribuyen al coste y a la factibilidad de la implantación.

En consecuencia, hay actualmente un amplio espectro de métodos y medidas que se utilizan en la evaluación y establecimiento de la evidencia. Esta variación refleja no solamente las distintas perspectivas mencionadas, sino también las importantes diferencias de estructura y punto de partida de las intervenciones, al igual que los enfoques metodológicos para responder a las preguntas de evaluación.

Adaptado de: “La evidencia de la eficacia de la promoción de la salud”. Parte II. Libro Evi-dencias. Un informe de la Unión Internacional de Promoción y Educación para la Salud, UIPES.

49


tendrán, tal vez, mayor interés en conocer sus resultados y grupos be-neficiados para justificar la inversión.

Nutbeam et al. (1990) citados por Potvin, Haddad y Frohlich (2001), brindan información que ayuda a definir el tipo de participación de cada uno de los potenciales involucrados en la evaluación. Según los autores, la evaluación puede realizarse en unos pocos días o en muchos meses, conforme el tiempo y recursos para informar a los tomadores de decisiones.

Algunos autores (Nutbeam y Harris, 2004; Weiss, 1999) han reco-nocido que la evidencia y la evaluación son usadas en una variedad de formas para orientar, justificar o apoyar el desarrollo de políticas y estudiar la relación entre evidencia y política (Milio, 1987); y han ex-plicado las diferentes formas en las cuales la evidencia ha sido utilizada para guiar el proceso de formulación de políticas (Lin y Gibson, 2003). Igualmente, si bien es deseable que las decisiones se fundamenten en información confiable acerca de las relaciones causales entre variables, es sabido que en diversas ocasiones la formulación de políticas se basa en el uso de medidas menos precisas. Por tanto, los evaluadores deben reconocer esas limitaciones y dar a conocer la validez, la aplicabilidad y las restricciones de la evaluación y las recomendaciones que de ella se deriven (Dowed y Town, 2002).

Es conveniente indagar y llegar a un consenso si hay muchos interesa-dos en la evaluación, y que no tienen la misma perspectiva o parámetros para valorar el éxito de los resultados de la intervención. La evaluación según la perspectiva de un sólo usuario puede producir resultados “ses-gados” dado que la perspectiva de éste no necesariamente refleja la de otros actores, aunque sí orienta la evaluación y fija el referente para comparar y valorar si algo funciona o es efectivo. A este respecto, Gupta (2001) cuestiona la neutralidad al asignar un valor, señalando que en un mundo de ideologías, es imposible ser completamente neutral cuando se hace un análisis político. Aunque hay normas, valores e ideologías, no debemos permitir que sean obstáculo para aplicar el análisis sistemático.

50

ligia de salazaR

Si reconocemos estas limitaciones externas las podremos incorporar en nuestro razonamiento científico.

La cuestión de la perspectiva se vuelve crítica en el análisis político cuando lo consideramos desde la perspectiva de un sólo “cliente” o usuario de la información, dado que los analistas pueden subordinar la metodología a los intereses de ese cliente. Es indispensable reflexionar sobre dos preguntas que hace Gupta (2001) en relación con la selección de la perspectiva de análisis: ¿cómo la ideología y la percepción afectan la interpretación de los resultados de la evaluación?; y ¿puede resolverse esta disputa con herramientas analíticas objetivas?

Es necesario que tengamos presente que las diferentes perspectivas o enfoques de evaluación, en lugar de contradecirse, son parte de un proceso dialéctico de sucesivas aproximaciones a la verdad, en donde

Por lo general, la evaluación es descrita como un proceso útil que contribuye a la transfor-mación de proyectos. También se define como proveedora de datos científicos que apoya la toma de decisiones. Este uso instrumental de los resultados de la evaluación es el criterio último con el cual gran número de evaluadores describen su función, aunque esto rara vez se logra. Por lo anterior, varios teóricos de la evaluación han propuesto otros usos, tales como “iluminación”, o sea, el aporte de la evaluación para dar explicaciones teóricas acerca del funcionamiento del mundo (Weiss, 1972).

Para Mark, Henry y Junes (2000) se puede decir que todos esos usos específicos de los re-sultados de la evaluación coadyuvan el mejoramiento social, teniendo en cuenta que “aun sin un uso directo, los resultados de la evaluación frecuentemente ayudan a definir los supuestos de la gente, sus creencias y expectativas, y éstos al mismo tiempo parecen influenciar las deci-siones posteriores acerca de programas y políticas, algunas veces distantes en tiempo y lugar de la evaluación original”.

Evidencia y políticaEl factor político y ético de la evaluación de evidencia de efectividad ha sido señalado por Ray,

L. D. & Mayan, M. (2001), al hacer la pregunta quién determina qué se considera como evidencia, cuáles son los indicadores apropiados, y cuáles son los estándares de comparación. Por otro lado. Otra pregunta es ¿cómo lograr consenso de criterios para juzgar la evidencia de efectividad de una política y programa cuando diferentes expectativas y racionalidades se encuentran?

Evidencia de efectividad y uso de resultados

51


el énfasis de la evaluación y los indicadores para valorar la práctica, a través de su efectividad e impacto, con frecuencia dependen del mo-mento o ciclo de vida de la intervención y, por tanto, de la viabilidad de observar los productos de interés.

Según Nutbeam y Harris (2004), la política puede ser influenciada por la evidencia en los siguientes casos: si la evidencia está disponible y es accesible al momento de ser necesitada; si encaja en la visión política; y si se orienta a acciones en las cuales el poder y los recursos están –o pueden estar– disponibles, al igual que si hay sistemas, estructuras y ca-pacidad para actuar. Las anteriores consideraciones marcan claramente la necesidad de relacionar evidencia con toma de decisiones; en otras palabras, evaluación y proceso político. También obliga a considerar en la selección del diseño evaluativo este aspecto y no sólo el técnico, y ser cuidadosos de no afectar la validez del estudio.

Esto nos lleva a entender que de la misma manera que para los implementadores no será suficiente, y es más bien contraproducente, esperar al final de la intervención para evaluar sus resultados, para los financiadores y los planificadores quizás los resultados intermedios, los datos cualitativos y las percepciones centradas en el proceso político, no sean evidencia de éxito y, por tanto, no se pueda influir tan fácilmente en la toma de decisiones. Todo ello plantea la necesidad de ahondar sobre los requerimientos de información de las diferentes audiencias.

Como una respuesta a los anteriores planteamientos se proponen diseños de evaluación que establezcan la asociación entre intervención y resultados (intermedios, proximales y –efectos a más largo plazo –distales); asociaciones explicadas no sólo por los resultados de pruebas estadísticas, sino por análisis relevantes y plausibles, producto de mar-cos lógicos construidos socialmente y que utiliza información sobre la documentación del proceso político y metodológico de implementación de la intervención (estrategias y mecanismos); combinación de métodos e instrumentos de investigación cualitativa y cuantitativa e información de varias fuentes, según momentos del ciclo de la intervención.

52

ligia de salazaR

La evaluación en promoción de la salud debe ser un proceso sistemá-tico, de sucesivas aproximaciones, por lo que no se trata de un ejercicio en un momento único sino de una tarea cuya periodicidad se extiende en el tiempo de la implementación de la intervención y más allá de su finalización. Esto implica integrar la evaluación a la cotidianidad del desarrollo de la intervención y su gerencia.

El enfoque sistémico de la evaluación en promoción de la salud demanda la interrelación lógica entre sus componentes y el contexto en el cual la iniciativa se inscribe. La búsqueda permanente de las interrelaciones entre los componentes dará las bases para la obtención de las señales de efectividad de las intervenciones.

Las evaluaciones en promoción de la salud pueden orientarse a valorar la implementación de la intervención, a reconocer las fortalezas, las frustraciones, el grado de satisfacción de los usuarios, las reacciones de interesados y opositores, entre otros; a valorar la efectividad y el impacto generado, y a producir nuevo conocimiento mediante la prueba de hipótesis.

A este respecto, Speller, Learmonth y Harrison (1997) señalan dos tipos de evidencia: la primera es utilizada para “vender” promoción de la salud y salud pública, se refiere a la validez externa; y la segunda, está orientada a construir teoría, por lo cual debe tener validez interna. Ambos se complementan según el propósito de la evaluación.

Si entendemos que la evaluación en promoción de la salud es in-herente al proceso de implantación de las intervenciones, ésta deberá orientarse a responder a los diferentes intereses y preguntas según su ciclo de vida, los procesos y los resultados esperados en el momento de la evaluación. Desde esta perspectiva, se logrará una construcción sistemática de muestras de efectividad y una reflexión sobre la práctica en diferentes momentos.

El estudio del proceso, además de brindar información para redi-reccionar los programas e intervenciones, se convierte en el insumo más importante para entender y explicar el porqué de un determinado resultado o efecto.

53


Resultados sociales y de salud

• Resultados sociales: calidad de vida, independencia fun-cional, equidad.

• Resultados de salud: reducción de la morbilidad, discapa-cidad, mortalidad evitable.

Resultados inter-medios de la salud (determinantes de la salud modificables)

• Estilos de vida saludables: consumo de tabaco, elecciones alimenticias, actividad física, consumo de alcohol y drogas.

• Servicios sanitarios eficaces: prestación de servicios pre-ventivos, acceso a los servicios sanitarios y su adecuación.

• Entornos saludables: entornos físicos seguros, condiciones económicas y sociales que apoyen la salud, buen suminis-tro de alimentos, acceso restringido al tabaco y al alcohol.

Resultados de la promoción de la salud (medidas del impacto de las intervenciones)

• Alfabetización para la salud: conocimiento relacionado con la salud, actitudes, motivación, intenciones conductuales, habilidades personales, autoeficiencia.

• Acción y eficiencia sociales: participación comunitaria, empoderamiento de la comunidad, normas sociales, opi-nión pública.

• Políticas públicas saludables y prácticas organizativas: declaraciones políticas, legislación, reglamentación, asig-nación de recursos, prácticas organizativas.

Acciones de promo-ción de la salud

• Educación: educación de los pacientes, educación escolar y comunicación con los medios de información, por ejemplo.

• Movilización social: desarrollo de la comunidad, facilita-ción de los grupos y asesoramiento técnico, por ejemplo .

• Abogacía: lobbing, organización y activismo político, superación de la inercia burocrática, por ejemplo.

Cuadro 1: Un modelo de resultados de la promoción de la salud.

Tomado de: UIPES (2000)

El llamado es a evaluar no sólo los resultados e impacto de las in-tervenciones sino el proceso político y social para lograr los objetivos de la promoción de la salud. Según Nutbeam y Harris (2004), las in-tervenciones en promoción de la salud pueden tener diferentes niveles de resultado y diferentes efectos en el tiempo. Para estos autores la evaluación de impacto representa el primer nivel de resultados de un programa.

Ray y Mayan (2001) han abordado la parte política y ética de la eva-luación de efectividad al preguntarse sobre los significados de evidencia, los indicadores correctos y los estándares apropiados. Por ello, no sólo es importante preguntarse por la efectividad de una determinada inter-

54

ligia de salazaR

vención sino por el proceso que fue capaz de producir esos resultados en el corto, mediano y largo plazo (WHO, 2001).

La respuesta a preguntas como ¿qué queremos saber?, ¿qué in-formación esperamos obtener con la evaluación? o ¿quiénes son los interesados en los resultados?, será de gran utilidad para definir las preguntas de evaluación apropiadas, el grado de precisión requerida y el diseño más indicado.

¿Qué evaluar?

Con el fin de establecer una evidencia más convincente del efecto de los programas en el tiempo, es necesario que los planifiquemos en función de una valoración progresiva de la evidencia derivada de la investigación epidemiológica, conductual y social que indique la exis-tencia de asociaciones razonables entre la intervención y los efectos a corto plazo, al igual que cambios posteriores estructurales tanto en los determinantes de la salud, sobre todo los relacionados con la equidad en el acceso y calidad de los servicios.

Es necesario prestar atención a la creación de las condiciones nece-sarias para implantar con éxito un programa. Existen varias teorías y modelos que se usan de forma generalizada como guía del desarrollo y la implantación de programas, que es posible adaptarlos a la mayoría de las intervenciones. Para ello, podría ayudar el garantizar la existencia de una conciencia pública y política suficiente sobre este aspecto y la necesidad de acción; desarrollar capacidad para llevar a cabo el pro-grama, por ejemplo, por medio de la formación de personal; y asegurar que las políticas sean expresadas en reglamentaciones y recursos para implantar y sostener el programa. Finalmente, la intervención debe tener una amplitud, duración y sofisticación suficientes para arrojar cambios y que éstos sean detectables.

Dada esta complejidad, no puede existir un único método o medida considerado más importante o correcto para evaluar la efectividad de estas intervenciones, así como tampoco una manera absoluta de eviden-

55


cia. La evidencia de la efectividad está relacionada de forma inextricable con el punto de entrada (aspecto, población o escenario), la naturaleza y el proceso de implantación de la intervención, las condiciones del con-texto en las cuales se da el proceso de implementación, y la audiencia receptora (responsable de elaborar las políticas, profesional sanitario, investigador académico, etcétera).

56

ligia de salazaR

BIBLIOGRAFÍA

Banco Internacional de Reconstrucción y Fomento / Banco Mundial (2000). Directivas de desarrollo. Evaluación del impacto de los proyectos de desarrollo en la pobreza manual para profesionales. Washington, D.C. Pág 7-15.

Benjamin, K. Perfetto, E. y Greene, R. (1995). “Public policy and the applica-tion of outcomes assessments: paradigms vs. politics”. En: Medical care, vol. 33, núm.4, págs AS299-306.

Brewer, G. y de León, P. (1983). Foundations of policy analysis. Homewood, Dorsey.

Brownson, R., Baker, E., Leet, T. y Gillespie, K. (2003). Evidence-Based Public Health, New York, Oxford University Press.

Craig, P., Dieppe, P., Macintyre, S., Mitchie, S., Nazareth, I. y Petticrew, M. (2008). “Developing and evaluating complex interventions: the new Medical Research Council guidance”. En: Research methods & reporting. vol. 337:a1655.

De Salazar, L. (2002). Municipios y Comunidades Saludables. El reto de la Evaluación. Centro para el desarrollo y evaluación de políticas y tecnología en salud pública. CEDETES. Universidad del Valle, Santiago de Cali, Colombia.

57


De Salazar, L., Vélez, J. y Ortiz, Y. (2003). Estado del arte de evidencias de efectividad en promoción de la salud en América Latina. Proyecto Regional Latinoamericano de Evidencias de Efectividad en Promo-ción de la Salud. Unión Internacional de Promoción de la Salud y Educación para la Salud, UIPES. Santiago de Cali, Colombia.

Gupta, D. (2001). “Analyzing public policy: concepts, tools, and techniques”. Washington D.C., CQ Press a division of congressional quarterly Inc.

Hawe, P.; Degeling, D.; Hall, J. y Brierley, A. (2003). Evaluating Health Promotion: A Health Worker Guide. Sydney, Australia, Maclennan and Petty Ltd.

Hawe, P.; Shiell, A. y Riley, T. (2004). “Complex interventions: how ‘out of control’ can a randomized controlled trial be?” En: British medical journal, vol.328, pp.1561-1563.

House, J. (1981). Work stress and social support. Reading, Massachussetts, Addison-Wesley.

Heaney, C.; Israel, B.; Schurman, S.; Baker, E.; House, J. y Hugentobler, M. (1993) “Industrial relations, worksite stress reduction, and emplo-yee well-being: A participatory action research investigation”. En: Journal of organizational behavior, vol. 14, pp. 495-510.

Labonte, R. (1993). Health Promotion and Empowerment: practice fra-meworks. Issues in Health Promotion. Series hp-10-0102. Centre for Health Promotion. University of Toronto, Canadá.

Last, J. (1983). A dictionary of epidemiology. New York, Oxford University Press.

Lin, V. y Gibson, B. (edits), (2003) Evidence-based health policy: problems & possibilities. Melbourne, Oxford University Press.

Madjar, I. y Walton, J. (2001). “What is problematic about evidence?”. En: J. Morse, J. Swanson & A. Kuzel (edits.) The nature of qualitative evidence. Thousand Oaks: Sage.

Mark, M.; Henry, G. y Julnes, G. (2000). Evaluation. An integrated framework for understanding, guiding, and improving public and non profit policies and programs. San Francisco, Jossey Bass.

58

ligia de salazaR

Mcdonnald, G., Veen, C. y Tones, K. (1996). “Evidence for success in health promotion: suggestions for improvement” En: Health education research, vol. 11, núm.3, pp. 367-376.

McQueen, D. y Anderson, L. (2000) Evaluation in health promotion. Princi-ples and perspectives. WHO Regional publications european series, No 92.

Milio, N. (1987), “Making healthy public policy: developing the science by learning the art”. En: Health promotion international, vol. 2, págs. 263-274.

Minkler, M. (edit.), (1997). Community organizing and community building for health. New Brunswick, Rutgers.

Mittelmark, M. (2001).”Promoting social responsibility for health: health im-pact assessment and healthy public policy at the community level”. En Health promotion international, vol. 16, núm. 3, págs: 269-274.

Nutbeam, D., et al. (1990). “Evaluation in health education: a review of pro-gress, possibilities and problems” En: Journal of epidemiology and community health, vol.44, págs. 83-89.

Nutbeam, D. y Harris, E. (2004). Theory in a nutshell, a practical guide to health promotion theories. Segunda edición. McGraw-Hill.

OECD (1998) Review of the DAC principles for evaluation development assistance. Organization for Economic Co-operation and Develo-pment, OECD.

Organización Panamericana de la Salud/Organización Mundial de la Salud [OPS/OMS], (1990). XXIII Conferencia Sanitaria Panamericana. Washington, D.C.

Organización Panamericana de la Salud [OPS], (2003). Healthy Municipalities Evaluation Group. Evaluation of Healthy Municipalities: A practical toolkit. Draft Version, Washington D.C.

Potvin, L., Haddad, S. y Frohlich, K. (2001), “Beyond process and outcome evaluation: a comprehensive approach for evaluating health promo-tion programmes”. Rootman, M. et al. (edits.), Evaluation in health promotion: principles and perspectives, World Health Organization, WHO, Regional publications, European series, núm. 92.

59


Ray, L. y Mayan, M. (2001), “Who decides what counts as evidence?”. En: Morse, Swanson y Kuzel (edits.). The nature of evidence in quali-tative research. Thousand Oaks: Sage, págs 50–73.

Shiell, A., Hawe, P. y Gold, L. (2008), “Complex interventions or complex systems? Implications for health economic evaluation” En: British medical journal, vol. 336, págs. 1281-1283.

Simon, H., Dantzig, G., Hogarth, R., Piott, C., Raiffa, H., Schelling, T. et al. (1986), Decision making and problem solving. [En línea], dispo-nible en: http: //www.dieoff.org/page163.htm Recuperado: el 2 de septiembre de 2009.

Smutylo, T. (2001). Impacto latente, atribución oculta: Cómo superar las amenazas al aprendizaje en los programas de desarrollo. Unidad de Evaluación, Ottawa, Canadá. Centro Internacional de Investigaciones para el Desarrollo, CIID-IDRC.

Speller, V.; Learmonth, A. y Harrison, D. (1997). “The search for evidence of effective health promotion” En: British medical journal, vol. 315, págs 361-363.

Susser, M. (1994). “The logic in ecological. The logic of análisis”. En: Am J. Public health, vol.84, núm. 5, págs. 825-829.

Tang, K., Ehsani, J., McQueen, D. (2003). “Evidence based health promotion: recollections, reflections, and reconsiderations” En: Journal of epi-demiology & community health, vol. 57, págs 841-843.

Unión Internacional de Promoción de la Salud y Educación para la Salud [UIPES], (1999). La Evidencia de la Eficacia de la Promoción de la Salud: Configurando la Salud Pública en una Nueva Europa. Un Informe de la Unión Internacional de Promoción de la Salud y Educación para la Salud, para la Comisión Europea. Segunda parte. Libro de evidencia.

Wallerstein, N. (1992, enero-febrero). “Powerlessness, empowerment and health: implication for the health promotion programs” En: American journal of health promotion, vol.6, núm.3, págs. 197 – 205.

Waters, E.; Doyle, J.; Jackson, N.; Howes, F.; Brunton, G. y Oakley, A. (2006). “Evaluating the effectiveness of public health interventions: the

60

ligia de salazaR

role and activities of the Cochrane Collaboration”. En: J Epidemiol Community Health, vol.60, págs 285-289.

Weiss, C. (1972). Evaluation research. Methods of assessing program effective-ness. Prentice-Hall Methods of Social Science Series. Prentice-Hall.

Weiss, C. (1999). “The Interface between Evaluation and Public Policy,” En: Evaluation, vol. 5, núm. 4, pp. 468 – 486.

World Health Organization [WHO], (1986, 21 de noviembre). Ottawa Char-ter for Heatlh Promotion. First international conference on 7 health promotion. Ottawa.

World Health Organization [WHO], (2001). Evaluation in Health Promotion. Principles and Perspectives. Editado por: Irving Rootman et al. WHO Regional publications, European Series, No 92.

61


PRESENTACIÓN

En este capítulo hacemos referencia a uno

de los aspectos críticos en la evaluación: la

pregunta que se pretende responder. Los temas

abordados se orientan a brindar insumos para

comprender los conceptos y criterios relacio-

nados con la selección y formulación de la

pregunta de evaluación de políticas y programas.

En este capítulo exploramos los principales

desafíos y las estrategias para formular pregun-

tas relevantes e investigables, reconociendo

que hay un rango amplio de factores políticos,

contextuales y técnicos, que influencian esta

decisión. Debemos considerar que cada inter-

vención puede dar lugar a diferentes preguntas

de evaluación.

Al igual que la definición de la pregunta de

evaluación, otros aspectos relacionados han sido

tema de reflexión y debate: la definición de los

objetos y sujetos de evaluación, las variables e

Identificación y formulación de la pregunta de evaluaciónII.

62

ligia de salazaR

indicadores para comprender, medir o valorar el éxito o efectividad de las intervenciones, los enfoques metodológicos para responder a la pregunta, la articulación entre investigación y política, y la relación entre evaluadores y to-madores de decisiones. En fenómenos sociales complejos, como son la mayoría de intervencio-nes en salud pública y promoción de la salud, donde las adaptaciones a condiciones específicas de cada contexto pueden significar cambios en la estructura conceptual de la intervención y en su implementación, hay un riesgo grande de que no se documenten estos cambios ni se tenga consciencia de ellos y, por tanto, que la pregunta de evaluación se oriente a evaluar lo que no se ha implementado. Todos estos aspectos están íntimamente relacionados, por ello la formula-ción de la pregunta no puede verse aislada de los otros componentes de la evaluación.

63


INTRODUCCIÓN

La pregunta de evaluación está relacionada con el cumplimiento de los objetivos de la intervención, al igual que con la calidad del diseño e implementación y sus resultados. También hay preguntas que no pueden responderse porque no corresponden a los objetivos de la intervención, con el grado de implementación; o con resultados probables de alcanzar al momento de evaluar (horizonte temporal).

Es frecuente que no se tenga interés en resultados intermedios sino resultados finales los cuales a menudo son difíciles de obtener a corto plazo. Un ejemplo de este hecho es que la construcción de capacidad en promoción de la salud y el cumplimiento de principios y valores que la impulsan no sean considerados, bien sea porque no son de interés de los involucrados, o porque son difíciles de medir. Finalmente, es usual que se formulen preguntas de evaluación que responden sólo a intereses de los investigadores.

Hay poco interés por responder a preguntas que contribuyan a crear teoría alrededor de la salud pública y la promoción de la salud, al igual que obtener información sobre condiciones necesarias para hacer exi-tosas y replicables estas intervenciones.

64

ligia de salazaR

la Pregunta de evaluación, máS que un requerimiento técnico

Para muchos la pregunta de evaluación ha sido considerada sólo como un aspecto técnico olvidándose que éste debe estar al servicio y ser coherente con la intencionalidad de la evaluación y con las necesi-dades de los usuarios de la evaluación. Desde esta perspectiva política de la evaluación se identificarán los criterios para juzgar el éxito o efectividad de la intervención.

En ese sentido, habrá que definir y negociar con los usuarios los resultados de la evaluación, cuál es su interés: identificar si la inversión valió la pena a la luz de los objetivos e impactos alcan-zados; establecer asociaciones causales; medir, describir y valorar la asociación entre variables alrededor de indicadores para juzgar de éxito y fracaso; comprender las razones de los cambios del pro-tocolo inicial según el contexto en el cual se implementa y evalúa la intervención.

Hay diversos aspectos por explorar en este sentido, tales como: ¿Quiénes son los usuarios principales de los resultados de la eva-luación?. ¿interesan a los usuarios de la información los resultados intermedios?. Cuando hay varios usuarios, ¿cómo decidir quiénes son los prioritarios?. La evaluación no puede responder al mismo tiempo a varias preguntas con diferente alcance. ¿Cuáles son los criterios para valorar el éxito de la intervención, y quién los define? ¿Se espera que la evaluación contribuya a crear y a mejorar la teoría? ¿Es la evaluación una herramienta de investigación que sirve para apoyar el proceso de toma de decisiones o para apoyar decisiones que ya se han tomado?; ¿nos referimos a efectividad del proceso para construir capacidad o es-tamos interesados en el impacto y efectos de la intervención? ; ¿son las anteriores categorías de análisis parte de un continuo o son categorías de análisis independientes?; ¿qué tan estandarizable, útil y generalizable debe ser la evidencia de efectividad en promoción de la salud? ¿Cómo hacer corresponder las preguntas de evaluación con los intereses de los usuarios, sin perder relevancia y validez?

65


La pregunta de evaluación debe surgir del consenso entre los involu-

crados con el fin de motivarlos para lograr una activa participación en las

diferentes etapas del proceso de evaluación. Este consenso es un proceso

de negociación, para lo cual se han creado diferentes metodologías.

Las preguntas que se refieren al proceso de implementación de la

intervención y resultados intermedios pueden ser identificadas y refina-

das con la información obtenida del análisis de la práctica, para lo cual

se han propuesto técnicas como la documentación y sistematización de

experiencias, el mapeo de resultados, la síntesis realista, la evaluación

participativa, evaluación responsable, entre otros, que serán descritas

en detalle en el siguiente capítulo sobre enfoques metodológicos.

1. identiFicación y Formulación de la Pregunta de evaluación

Una pregunta de evaluación pobremente formulada trae consecuen-

cias no solo en el diseño del estudio y los resultados sino que puede

repercutir negativamente en la salud actual y futura de la población

beneficiaria, por las decisiones que de ella se deriven. Por tanto, las con-

secuencias de su selección son de orden político, social, técnico y ético.

Definición teórica y operativa de la intervención evaluada

Potvin, Haddad and Frohlich (2001), han afirmado que la formula-

ción de la pregunta de evaluación exige una comprensión integral de

la intervención o del programa que se pretende evaluar.

Si bien en el capítulo I se hizo alusión a este tema, es válido

repasar algunos conceptos sobre el alcance de las intervenciones

en salud pública y promoción de la salud. Los nuevos desarrollos

teóricos y propuestas de acción en salud poblacional incorporan la

complejidad de los cambios sociales y refuerzan la importancia de

actuar no sólo en desmedicalización y reorientación de servicios de

salud sino en la esfera del desarrollo local, la equidad, el empode-

ramiento y los derechos humanos.

66

ligia de salazaR

Uno de los aspectos a tener en cuenta cuando evaluamos estas inter-venciones es la naturaleza cambiante del contexto, el cual se entenderá como el escenario en el que la intervención es implementada y donde interactúan las condiciones políticas, sociales y culturales que influen-cian el desarrollo y resultados de la intervención. Es precisamente este carácter dinámico del contexto, y por ende de la intervención, lo que demanda un conocimiento permanente del proceso de implementación a fin de formular preguntas que correspondan a la intervención real en la práctica, y no solo con la que inicialmente se planificó.

Intereses de los usuarios

La pregunta de evaluación debe responder hasta donde sea posible a intereses y preocupaciones de los principales usuarios de la información, incluidos formuladores de políticas, gerentes, proveedores de servicios y beneficiarios con la intervención (Guba y Lincoln, 1981, 1985, 1989; Stake, 1975, Stake y Abma, 2005). Se ha reconocido igualmente, la importancia de la participación de la personas que están cerca de la intervención (Earl et al., 2001; Jara, 2000; Francke y Morgan, 1995; gobierno de Chile, 2004; De Salazar, 2004 ).

Propósito de la evaluación

Adicional a definir y caracterizar la intervención, es necesario que los interesados en la evaluación logren consenso acerca del propósito real de ésta: ¿qué exactamente debe ser evaluado?, ¿debe orientarse la evaluación al diseño, al proceso de implementación, al impacto o a los resultados?, ¿cuáles son las variables e indicadores para valorar el éxito? Las respuestas a estas preguntas facilitarán el proceso de identificación y formulación de la pregunta de evaluación.

Existen muchas razones por las cuales realizamos una evaluación, entre las que están el interés científico, la justificación de una decisión tomada, la necesidad de fundamentar decisiones relacionadas con la suspensión, la extensión o el reemplazo de una intervención, las exi-gencias de agencias financiadoras y el mejoramiento del proceso de implementación de la intervención. Esta última intencionalidad de la

67


evaluación es abordada por Smutylo (2001), al abogar por una evalua-

ción cuyo interés se centra en el mejoramiento de la intervención más

que en probar la asociación entre intervención y resultados.

La pregunta de evaluación se formula según los anteriores intereses

y de ella depende el enfoque metodólogico y el diseño de estudio que

se utilice, tema que será abordado en el capítulo III.

Criterios para juzgar el éxito o el fracaso de las intervenciones

El éxito o efectividad de una intervención se valora con la medición,

la descripción y la valoración de variables (indicadores) y el estable-

cimiento de asociaciones (atribución) entre los cambios o productos

observados como consecuencia de la intervención. Se indaga por in-

formación que dé cuenta del logro de los objetivos de la intervención.

Autores como Ray y Mayan (2001), han discutido aspectos políticos

y éticos relacionados con la evaluación de efectividad con preguntas

como: quién determina qué se cuenta como evidencia de que algo fun-

cionó y cuáles son los indicadores apropiados para juzgar la efectividad.

Otros autores (WHO, 2001) llaman la atención sobre la necesidad

de incluir no sólo indicadores de efectividad sino indicadores que den

cuenta del proceso que dio origen a los resultados. Esta información

reviste gran importancia para comprender las intervenciones para incre-

mentar la relevancia de la información, al igual que la responsabilidad

local para implementar las recomendaciones de la evaluación. Es pro-

bable que una intervención no sea exitosa al momento de ser evaluada

porque no se han cumplido los objetivos; pero produce señales de que

está en el proceso de conseguirlo, lo que se evidencia en indicadores

de construcción de capacidad y otros resultados intermedios.

Contexto de la intervención y viabilidad

Para definir preguntas relevantes, es necesario un profundo cono-

cimiento sobre el contexto en el cual las intervenciones tienen lugar y

son evaluadas. La información del contexto incluye: ciclo de vida de

68

ligia de salazaR

la intervención, grado de aceptación de diferentes interesados (tanto beneficiarios como tomadores de decisiones), la vigencia de los supues-tos y hechos que dieron origen a la intervención, las políticas actuales que influencian el éxito de la intervención, y el interés por continuar el programa.

La literatura muestra un creciente interés por articular conocimiento, política y acción. Los países en desarrollo recientemente han mostrado interés por trabajar más de cerca con los formuladores de políticas y el público en general, a fin de hacer uso de los resultados de las inves-tigaciones. Para el logro de este propósito se recomienda responder a preguntas complementarias de interés para estos públicos.

En promoción de la salud, más que en cualquier otra iniciativa de salud poblacional, el contexto está estrechamente ligado al concepto y la valoración de evidencia y efectividad de intervenciones. Hay diver-

gencia entre diversos autores en la influencia del contexto en la búsqueda de la evidencia y efectividad de intervenciones. Según Lomas (WHO, 2006), la evidencia científica puede ser categorizada como “libre del contexto” (verdad absoluta) y “sensitiva al contexto”. Oxman (WHO, 2005), argumenta que toda evidencia es sensitiva al contexto, dado que todas las observaciones son realizadas en uno específico. Esta publicación adopta esta última posición, además de las razones da-das, por la naturaleza social y política de la promoción de la salud. Este tipo de evidencia es plural y, por tanto, el conocimiento local debe ser triangulado con otros enfoques in-vestigativos.

La racionalidad y las perspectivas con que los evaluadores valoran las intervenciones no necesariamente corresponden a los tomadores de

Otros elementos para el debate: ¿Qué tan útil y relevante es la estandariza-ción de intervenciones que hayan mostrado evidencia de efectividad? ¿Cómo dar cuenta de especificida-des y complejidades de los contextos en los diferentes territorios y poblaciones? ¿Quiénes son los tomado-res de decisión? ¿Cuáles son sus intereses y necesi-dades?

69


decisiones; tampoco el significado de evidencia es el mismo para ellos. Los financiadores y las agencias de financiamiento pueden tener mayor interés en conocer los resultados y los beneficios que trae la intervención para grupos especiales. Las preguntas de los financiadores tienden a concentrarse en los beneficios desde la perspectiva de la sociedad, para así ubicar recursos financieros y humanos (PAHO, 2007).

¿Cómo adaptar las preguntas de evaluación a los intereses de los usuarios sin perder relevancia y validez? La respuesta a esta pregunta es: a través de la negociación. Tanto en la negociación de la pregunta como en el desarrollo de la evaluación, el evaluador asume el papel de facilitador, interpretador y generador de condiciones para la inte-racción y negociación entre participantes en un ambiente de compartir y aprender.

Viabilidad y factibilidad de lograr o alcanzar los objetivos de la evaluación

La evaluación está influenciada, entre otros aspectos, por la dispo-nibilidad y calidad de la información que la orientan, para responder la pregunta, al igual que la disponibilidad de recursos, por la urgencia con que se necesitan los datos, y por el tipo y precisión que se busca con la información. Para aquellos que utilizarán los resultados de la evaluación para tomar decisiones sobre la continuidad, la extensión o la suspensión de la intervención, la información sobre el impacto y sus resultados finales son importantes.

Este no es el caso de aquellos que implementan la intervención, dado que no es recomendable esperar hasta el final para tener resultados. Por ello, las preguntas que den cuenta del desempeño a través de resultados intermedios, son muy importantes para tomar decisiones orientadas a mejorar la viabilidad y calidad de la implementación de la intervención.

2. tiPoS de Pregunta

Como ya se indicó, la pregunta es un insumo crítico para definir el proceso evaluativo, por tanto, esta tarea debe ser producto de la concer-tación y la negociación de intereses entre los usuarios potenciales de la

70

ligia de salazaR

información. Las variables y los indicadores de evaluación convierten la pregunta en aspectos concretos, medibles y específicos. Estas dos tareas son los referentes de análisis para hacer ajustes o propuestas alternos en relación con el alcance de la evaluación y su orientación metodológica.

Hay que tener en cuenta que la cantidad de variables no garantiza la precisión y la representatividad de la información producida. Una vez identificadas las variables, debe descomponerse en características o atributos más simples, lo que hace que sean más fáciles de medir. Esto es lo que se conoce como operacionalización de las variables, lo que im-plica pasar de variables generales a intermedias y de allí, a indicadores.

La pregunta de evaluación responde a diferentes momentos de la vida de un proyecto, al igual que a distintos intereses según los usos que se quiera dar a los resultados. Lo importante es estar claro sobre qué es evaluable en un determinado momento, para qué se quiere la evaluación, quiénes serán los usuarios de la información y qué uso se hará de ella.

Un apropiado marco lógico, al igual que un proceso de documentación y sistematización de la intervención, brindará las bases para soportar la respuesta a esta pregunta, y dará luz sobre el alcance de la evaluación y su contribución al mejoramiento de la teoría y la práctica en promoción de la salud.

Es frecuente que los interesados en la evaluación y los tomadores de decisiones deseen evaluar aspectos que rebasan las intenciones iniciales o el objetivo de la intervención; en este caso hay que aclarar sus alcances reales y recurrir al perfil del programa (marco lógico). El evaluador debe analizar si la pregunta de evaluación es factible de responder; es decir, valorar previamente la viabilidad técnica, los recursos y el tiempo disponible para realizar la evaluación y tener en cuenta que la pregunta deberá ser concertada con los tomadores de decisiones, de manera que la información que se produzca también responda a sus intereses, sea útil para sus propósitos y contemple la exploración de los beneficios que se quieren demostrar.

71


Hay al menos cinco tipos de preguntas interrelacionadas y ligadas a la producción de evidencias para actuar:

• Las que tratan de averiguar el problema para identificar “si algo debe hacerse”.

• Las que tratan de averiguar “qué debe hacerse”: identifican la intervención.

• Las que tratan de averiguar “cómo debe resolverse el problema”: definen el marco lógico de la intervención.

• Las preguntas que tratan de conocer si la intervención funcionó o si fue efectiva: exploran la rigurosidad de los diseños evaluativos para atribuir los resultados a la intervención.

• Las preguntas que tratan de encontrar explicaciones a los resul-tados: ¿qué hizo que la intervención funcionara? Tendencias e interacciones de los factores que influencian los resultados, etc.

• Las dos últimas categorías de preguntas se relacionan con la investigación evaluativa. Se parte del supuesto de que las tres primeras preguntas se apoyan en otros tipos de estudios de investigación que tienen como objetivo definir los problemas,

• Objetivo, recursos, resultados intermedios y finales, e indicadores de evaluación de la intervención (marco lógico).

• Etapa en que se encuentra la intervención, intereses de los involucrados o perspectiva de los interesados

• Disponibilidad y acceso a información de calidad • Factibilidad de responderla: tiempo y recursos • Contexto donde se desarrolla la intervención• Presencia de otras intervenciones con objetivos similares • La población a la que se orienta la intervención • No se podría evaluar el efecto o los resultados sobre poblaciones en las que no se intervino

Aspectos claves para definir la pregunta de evaluación

72

ligia de salazaR

encontrar asociaciones entre variables de interés en condiciones “ideales” controladas, y crear teoría.

En este capítulo se hará énfasis en las dos últimas categorías de preguntas: la primera se refiere al proceso de implantación de la inter-vención y a los resultados de ese proceso en términos del desempeño de la intervención y los productos intermedios relacionados con la construcción de capacidad para lograr el objetivo final. Interesa en este caso identificar las características del ciclo de vida de la intervención, las interrelaciones entre actores, los dinamizadores y limitantes del cambio, los cambios al protocolo inicial, la razón de ellos, la influencia del contexto y los resultados progresivos (construcción de capacidad).

La categoría de preguntas sobre proceso y desempeño de la inter-vención indagan sobre información relacionada con el qué, el cómo y el por qué, todo desde la perspectiva de los involucrados en la inter-vención: usuarios, proveedores de servicios y tomadores de decisiones. Los cambios en esta categoría se relacionan más con la construcción de capacidad individual, colectiva e institucional para responder a los problemas de salud y sus determinantes. Existen varias herramientas como la documentación y sistematización de experiencias, la evaluación participativa y el mapeo de resultados, los cuales ayudan a identificar este tipo de preguntas (Jara, 2000; Francke y Morgan, 1995; Gobierno de Chile, 2004; De Salazar, Díaz y Magaña, 2002).

La segunda categoría de preguntas se refiere a la efectividad de la intervención o programa; hay interés en conocer si la intervención funcionó y si cumplió los objetivos para los que fue creada. La evalua-ción de efectividad debe considerar, entre otros, el interés por conocer si la intervención funcionó y si alcanzó los objetivos para los que fue creada. Ella responde a ¿qué?; ¿qué tanto y cómo?, ¿dónde y a quién? Igualmente da cuenta de la asociación entre intervención y resultados a través de los indicadores de éxito, y el diseño investigativo para definir si los resultados pueden ser atribuidos a la intervención.

73


La formulación de las preguntas de evaluación está orientada por varios criterios estrechamente relacionados:• El consenso: Las preguntas seleccionadas deben ser producto de consenso luego de someter

a consideración del grupo de la evaluación, las preguntas presentadas por cada participante.• La relevancia: Las preguntas deben orientarse a explorar aspectos relevantes y de prioridad

para los grupos de interés y para el programa en general en el contexto de los referentes teóricos, estratégicos y operativos del mismo.

• La factibilidad de investigarlas: Se refiere a la posibilidad de contestarlas, al igual que considera el horizonte temporal de la intervención.

• La integralidad: Capacidad de las preguntas para abordar las situaciones de forma sistémica, lo que permite explorar los insumos, el proceso y los resultados de la situación sujeto de análisis en el ciclo de vida del programa o intervención.

• La coherencia y utilidad para la toma de decisiones: Su contribución para encontrar res-puestas para que los tomadores de decisiones adquieran más y mejores insumos.

Criterios de selección de la pregunta

El paso preliminar para la definición de preguntas es revisar el modelo teórico (marco lógico) del proyecto y explorar con los grupos involucrados sus intereses en la evaluación. Una vez elaborada una relación de resultados esperados para el logro de los objetivos y pro-pósitos del programa, se precisan las primeras listas de aspectos que se deben evaluar.

74

ligia de salazaR

BIBLIOGRAFÍA

Benjamin, K.; Perfetto, E. y Greene, R. (1995). “Public policy and the appli-“Public policy and the appli-cation of outcomes assessments: Paradigms vs politics”. En: Medical care, vol. 33, núm.4, págs AS299-306.

Brewer, G. y de León, P. (1983), Foundations of policy analysis. Homewood, IL:Dorsey. De Salazar, L., Díaz, C., Magaña, A.( 2002), Municipios y Comunidades Saludables. El reto de la Evaluación, Cali, Colombia. CEDETES, Universidad del Valle.

De Salazar, L. (2004). “La Sistematización de Experiencias en Promoción de la Salud”. En: Evaluación de Efectividad en Promoción de la Salud. Guía de Evaluación Rápida, Cali, Colombia. CEDETES – Universidad del Valle.

Earl, S.; Carden, F. y Smutylo, T. (2001). Outcome mapping: building learning and reflection into development programs, IDRC.

Francke, M. y Morgan, M. (1995), La sistematización: Apuesta por la gene-ración de conocimientos a partir de las experiencias de promoción. Lima, Materiales didácticos No 1. Escuela para el desarrollo.

Gobierno de Chile, Programa Orígenes (2004), Estudio sistematización par-ticipativa de experiencias de salud intercultural en las comunidades Mapuche y establecimientos de salud existentes en las comunas foca-lizadas por el programa desarrollo integral de comunidades indígenas.

75


Guba, E. G. y Lincoln, Y. S. (1981). Effective evaluation. Beverly Hills, Sage.

Guba, E. G., y Lincoln, Y. S. (1989). Fourth generation evaluation, Beverly Hills, Sage.

Jara, O. (2000), Tres posibilidades de sistematización: comprensión, aprendi-zaje y teorización, sistematización de experiencias, aportes. Bogotá, Dimensión educativa.

Lincoln, Y. S., y Guba, E. G. (1985), Naturalistic inquiry, Beverly Hills, Sage.

Pan American Health Organization, PAHO, (2007). Guide to Economic Eva-luation in Health Promotion. Washington, PAHO.

Potvin, L.; Haddad, S.; y Frohlich, K.L. (2001). “Beyond Process and Outco-me Evaluation: A Comprehensive Approach for Evaluating Health Promotion Programes”. En: Rootman, I. et al. (edits.). Evaluation in Health Promotion. Principles and Perspectives. Copenhague: WHO Regional publications. European series, núm.92, págs.45-62.

Ray, L. D. y Mayan, M. (2001). “Who Decides What Counts as Evidence?” En: Morse, J. M. ,Swanson, J.M. y Kuzel, A.J. (edits.), The Nature of Evidence in QualitativeRresearch, Thousand Oaks, Sage, págs 50–73.

Smutylo, T. (2001), Impacto latente, atribución oculta: Cómo superar las amenazas al aprendizaje en los programas de desarrollo, Unidad de Evaluación, Ottawa, Canadá. Centro Internacional de Investigaciones para el Desarrollo, IDRC.

Stake, R. E. (1975), “To evaluate an arts program” En: Stake, R.E. (edit.), Evaluating the arts in education: a responsive approach, Colombus Ohio, Merrill, págs 13–31.

Stake, R. E. y Abma, T. A. (2005), “Responsive evaluation” En: Mathison, S. (edit.), Encyclopedia of evaluation. Thousand Oaks,Sage, págs 376–379.

World Health Organization (WHO) (2001), Evaluation in Health Promotion. Principles and Perspectives, WHO Regional publications, European series, No 92, Rootman, I. et al. (edits.).

World Health Organization (WHO) (2005, 10–12 octubre), Bridging the “Know–Do” Gap Meeting on Knowledge Translation in Global Health. Geneva, Switzerland, WHO.

76

ligia de salazaR

77


PRESENTACIÓN

En este capítulo se analizarán el alcance, el desarrollo y la práctica de la investigación evaluativa en el contexto de toma de decisiones, que le permitirán al lector analizar y comprender aspectos críticos para producir, juzgar y usar información sobre el desempeño, el impacto y la efectividad de las intervenciones en salud pública y la promoción de la salud.

Se abordarán enfoques metodológicos para evaluar la efectividad e impacto de intervenciones cuya naturaleza compleja demanda aproximaciones teóricas y abordajes metodológicos que den cuenta de ella, sin detrimento de la calidad y rigurosidad que cada diseño exige.

No sólo es probable, sino deseable, que después de la lectura de este capítulo surjan más preguntas de las que el lector tenía inicialmente, pero se espera que precisa-mente, esto sea el aliciente para continuar en la búsqueda de la teoría para fundamentar la evaluación de dichas intervenciones, al igual que de opciones metodológicas más acordes con la realidad y los desafíos que plantea la práctica de la salud pública desde la perspectiva de la promoción de la salud.

Enfoques metodológicos para la evaluación de políticas y programas en salud pública y promoción de la salud

III.

78

ligia de salazaR

79


INTRODUCCIÓN

En este capitulo usted encontrará una amplia discusión sobre los aspectos críticos para seleccionar los enfoques metodológicos y las técnicas para responder a la pregunta de evaluación, teniendo en cuenta tanto la naturaleza de la intervención como los intereses y expectativas que se tengan con la evaluación, plasmados en la pregunta.

Varios aspectos interrelacionados influencian la decisión sobre el diseño de estudio y los enfoques metodológicos y las técnicas para evaluar la efectividad e impacto de iniciativas en salud pública y pro-moción de la salud: la naturaleza y el alcance de la intervención que se evaluará; el propósito y el alcance de la evaluación; la pregunta que se desea responder; el tiempo y los recursos para contestarla y el tipo de información requerida para que los resultados de la evaluación sean útiles; y, finalmente, un aspecto de considerable importancia: el principio ético.

Según House (1981), los enfoques cuantitativos tienden a hacer hincapié en los aspectos metodológicos y, en concreto, a hacer de las técnicas cuantitativas el paradigma de la “calidad” en evaluación. Por

80

ligia de salazaR

el contrario, las corrientes cualitativas -a partir de la constatación de la naturaleza eminentemente política de la evaluación- suelen enfatizar en los aspectos éticos del proceso de investigación, en ocasiones incluso en detrimento de las cuestiones metodológicas.

En este capítulo se describirán los aspectos relacionados con las fortalezas y las limitaciones de diferentes enfoques en relación con la credibilidad, la oportunidad, la relevancia y la posibilidad de reproducir los resultados; con las ventajas y las desventajas de combinar métodos y técnicas de evaluación; y con las maneras de conducir la evaluación en circunstancias específicas, como disponer de escasos recursos y tener la necesidad de producir resultados a corto plazo, sumado a las diferentes perspectivas e intereses que los usuarios tienen de los resultados.

Los enfoques metodológicos abordados en este capítulo incluyen, en primer lugar, aquellos que intentan responder interrogantes sobre el proceso de implantación y desempeño de la intervención y, segundo, interrogantes que den cuenta de los resultados de la intervención, en cuanto a efectividad, impacto y efectos no deseados. En ese sentido, los diseños y los métodos de investigación que usan información cuanti-tativa y cualitativa serán tema de análisis y de reflexión como insumo para la práctica de la evaluación.

Se espera que el lector tenga los elementos para identificar el di-seño más apropiado para responder a la pregunta de evaluación sobre efectividad e impacto de las políticas, proyectos y programas en salud pública y promoción de la salud, y que valore las ventajas y desventajas de diferentes enfoques, según las teorías para la evaluación de inter-venciones complejas y las evidencias en salud pública.

1. Fundamentación

Intencionalidad y alcance de la evaluación

Recapitulemos sobre la intencionalidad de la evaluación: Antes de iniciarla es necesario identificar y comprender su perspectiva y propó-

81


sito, los cuales pueden estar orientados, entre otros fines, a: valorar algo que se está haciendo con el objetivo de obtener información para mejorar y orientar el proceso de implementación de la interven-ción y aumentar su viabilidad; justificar una decisión tomada; estimar los resul-tados -efectividad y beneficios- de las intervenciones; construir un proceso de aprendizaje sostenido en torno a la teoría de la intervención desarrollada; aportar al conocimiento en relación con la epistemología de este tipo de intervenciones.

Uno de los principales desafíos de la evaluación es desarrollar méto-dos que valoren procesos y resultados en su dimensión política, social y económica y en su contribución a la calidad de vida de las poblaciones, más allá de los resultados numéricos. Se necesitan evaluaciones acordes con los requerimientos y las condiciones de los tomadores de decisiones y que involucren otros actores como las comunidades y los gobiernos, tradicionalmente ajenos a esta actividad. Como se comprenderá, además de establecer asociaciones plausibles entre intervención y resultados, la evaluación se convierte en un proceso de aprendizaje en el cual se contribuye al éxito del programa o de la intervención. La evaluación es vista como un medio para negociar y fortalecer la capacidad para tomar decisiones y, según Smutylo (2001), es generadora de conocimientos y no contribuyente de méritos.

Por otro lado, la evaluación es un componente crítico del proceso de gerencia y gestión de políticas, programas y proyectos, y como tal, debe estar articulada con la gerencia de las instituciones que lo impulsan. En esta medida, la evaluación no finaliza con un informe; más bien cumple su ciclo cuando se logra que la información y las lecciones que arroja esta actividad sean consideradas en las decisiones para mejorar la intervención o para decidir su finalización o extensión. Igualmente, cuando los resultados son tenidos en cuenta para validar o formular nuevas hipótesis sobre la teoría vigente.

La evaluación ayuda a develar las contribuciones no visibles, en un esfuerzo por mejorar, en lugar de probar, y de en-tender, en lugar de señalar responsables.

82

ligia de salazaR

Por lo anterior, la evaluación tiene una serie de ciclos interrelacio-nados, independientes pero complementarios, que tratan de responder a preguntas diferentes y tienen diversos intereses y, por tanto, consideran distintos énfasis y son soportados por diseños metodológicos que res-ponden a sus intereses. La articulación de los ciclos de la evaluación es entendida como la construcción progresiva de evidencias con el fin de obtener información confiable sobre la relevancia de las áreas de intervención, la eficiencia y desempeño en la implementación del programa, la efectividad de las intervenciones y el impacto en la salud de la población. Perder esta visión de conjunto no sólo fragmentaría el análisis de la información, sino que impediría visualizar las relaciones entre los componentes y variables del proceso, al tiempo que sería un obstáculo para hacer un mejor uso de la información que arroja cada ciclo.

Para establecer la evidencia se necesita no solamente que los indi-cadores de efectividad sean pertinentes con la intervención, sino que el método de investigación utilizado para la evaluación sea también el apropiado. Los diseños metodológicos, si bien varían según las preguntas que nos queremos responder, deben ser considerados como parte de un continuo que da cuenta de la fundamentación teórica del programa o intervención, el proceso para implementarlo y los resul-tados e impactos a corto, mediano y largo plazo. La metodología se compone de una combinación de métodos cuya validez depende tanto de la complejidad de los supuestos teóricos como de la confiabilidad de los datos. Estos asuntos serán retomados a continuación.

Establecimiento de causalidad y evidencia de efectividad en intervenciones complejas

• Significados prácticos del concepto de evidencia y efectividad:

Como evaluadores debemos tener en cuenta que diversos factores entran en juego cuando las definiciones operativas de las variables son formuladas, y cuando de juzgar evidencia y efectividad se trata.

83


Un mismo concepto puede tener diferentes significados y alcances; igualmente, se pueden utilizar distintos instrumentos para medir el mismo concepto y utilizar diversas fuentes de información. Por otro lado, tendemos a confundir la efectividad con la evaluación y la evidencia.

La evaluación de intervenciones en salud pública y promoción de la salud está identificada con el concepto de complejidad planteado y con la necesidad de establecer asociación causal entre la interven-ción y los resultados para atribuir estos últimos a la intervención se enfrentan a desafíos metodológicos que amenazan su plausibilidad y confiabilidad. En estos casos se debe tener en cuenta:

• Complejidad de las intervenciones sociales y su plausibilidad para pro-ducir los resultados esperados, bajo la influencia de la variable “tiempo” y del contexto.

Esta complejidad se debe a que las in-tervenciones en promoción de la salud están orientadas hacia comunidades o grupos con dinámicas propias, que no necesariamente son reproducibles; son frecuentemente multipropósito porque hay necesidad de intervenir en varios niveles o componentes; tienen más de un objetivo dado que pretenden lograr cambios en varios niveles: desde cam-bios en comportamiento hasta cambios estructurales, políticos y sociales; el con-texto tiene una fuerte influencia tanto en la intervención como en los resultados, y estos factores no siempre pueden ser controlados por los imple-mentadores; presentan dinámicas e interacción entre variables no estandarizables; hay demanda de dichas intervenciones porque se evidencia su efectividad, soportada en resultados que, frecuente-mente, son producidos a largo plazo.

Las intervenciones comple-jas responden a una teoría o conjunto de teorías, las cuales involucran la acción de personas, y consisten en una cadena de pasos o procesos los cuales no son lineales por estar inmersos en sistemas sociales y estar sujetos a modificaciones permanentes.

84

ligia de salazaR

• Causalidad: Es un “mantra” de la ciencia positivista y se ha toma-do las ciencias de la salud. Lee J. Cronbach (1980) afirma que lo que tratamos de hacer como evaluado-res, es vincular de manera signifi-cativa lo que pasa en una unidad a la intervención; es decir, vincular los objetos de la intervención -las personas en un determinado contexto- a la intervención, para estudiar lo que pensamos. Luego utilizamos la observación, la me-dida, el resultado y los indicadores para evaluar las consecuencias.

• Concepto de evidencia: Diver-sos autores han reconocido que la evidencia es un concepto creado.

La Organización Mundial de la Salud, OMS (2004), señala que la evi-dencia es sensitiva al contexto y no es estática. Este concepto según Potvoin ha estado ligado a la noción de causalidad; la mayoría de las veces la evidencia y la efectividad van de la mano para mostrar cau-salidad.

Para Potvoin (2007) la evidencia se construye a través de la relación entre la teoría, las observaciones empíricas y la práctica. Por eso tenemos que investigar y evaluar permanentemente, no para sumar experiencias, sino para fortalecer el fundamento teórico, para tener un conocimiento más completo y actualizado de los fenómenos estudia-dos, ya que la evidencia no se acumula. La autora plantea la distinción entre tres tipos de evidencias: evidencia empírica, evidencia teórica y evidencia basada en la práctica:

Cronbach nos invita a pen-sar en el mundo empírico. Lo que observamos será verdad o serán una serie de instrumentos que no nece-sariamente constituyen un efecto; observemos la res-puesta o la consecuencia de una intervención realizada. A esto le llamamos racioci-nio a partir de la interven-ción. El efecto no está en la lectura que hagamos de este instrumento, sino en la transformación de cómo se traduce esta lectura en algo significativo: un indicador.

85


La evidencia empírica: Aplica la lógica inductiva; es una colección

de observaciones que corresponden a unos criterios de disciplina; se

acepta la premisa de que hay que tener un conocimiento disciplinario

que nos permita suponer o predecir lo que va a pasar.

La evidencia teórica: Indica que no hay necesidad de una asociación

constante entre intervención y efecto, porque hay una interacción mayor

con las situaciones. Es necesario mirar la teoría para desarrollar estas

intervenciones y convertir la investigación en un aparato reflexivo para

la intervención -como una manera de entender cómo funciona nuestro

mundo-.

La evidencia basada en la práctica: La evidencia desarrolla no por-

que se esté adaptando el conocimiento puro a una situación de la vida

real, sino porque se está tratando de derivar un conocimiento que es

importante. El conocimiento se produce en un ambiente práctico: es la

práctica basada en la evidencia. La dificultad de esta práctica basada en

la evidencia es saber cuál es la intervención. No nos dice cómo se hace

la intervención y nosotros debemos pensar en qué vamos a intervenir y

cómo vamos a intervenir. Generalmente, el cómo se puede derivar de

un experimento controlado, pero hay diferencias entre la manera como

se efectúa la práctica en un experimento bajo control, y la realidad. En

los estudios evaluativos la ventaja de la evidencia basada en la práctica

es que se soporta en el contexto.

• Concepto de evidencia de efectividad en intervenciones complejas

Haremos referencia a los aspectos teóricos y prácticos que funda-

mentan la discusión sobre el significado de evidencia en interven-

ciones complejas, como es el caso de la promoción de la salud. No

es la intención crear un debate acerca del significado de evidencia

en la promoción de la salud, ya que muchos autores se han referido

a este tema (McQueen, D. y Anderson, L. 2000; Kemm, J. 2006;

Marmot, M. 2004; Green, J. y Keith, T. 1999).

86

ligia de salazaR

La efectividad suele asociarse a la evidencia, y esta última se apoya en diseños epidemiológicos que se fundamentan en el cumplimiento de criterios para juzgar y validar la información producida: repre-sentatividad de la muestra, selección de grupos control, valoración de la efectividad según la fortaleza de asociaciones que se basan en pruebas de significación estadística, precisión de instrumentos de medición y control de factores de confusión, entre otros, criterios que no necesariamente se cumplen en las intervenciones descritas, y por tanto, pueden conducir a resultados errados. Si las anteriores condiciones no se cumplen, el evaluador deberá seleccionar otro método, aunque no se corresponda con los criterios para juzgar la evidencia según los enfoques positivistas.

Otro aspecto importante a tener en cuenta es la validez externa de los resultados, o sea, la generalización de la evidencia. Se trata de generalizar y extraer experiencias y lecciones, a lo cual se le suman observaciones para que sea algo mayor, algo empíricamente generalizado. En este caso, estaríamos sumando evidencias al ex-traer una conclusión y tratar de extrapolarla, como se comprenderá por lo dicho anteriormente, pero esto no necesariamente aplica en todos los casos. Para Potvoin (2007) es un problema cuando aplicamos técnicas sofisticadas de análisis y nos centramos sólo en la proyección de números para producir estos resúmenes y con-clusiones. Al hacer esto escondemos la otra realidad. De allí que Potvoin (2007) incite a contestar las siguientes preguntas: ¿Qué estamos comparando?, ¿qué estamos sumando?, ¿son unidades comparables y se pueden sumar?

• Indicadores para juzgar cumplimiento de objetivos

En ocasiones la evaluación se realiza por presión de los financiadores, quienes buscan evidencias de efectividad para justificar su inversión al seleccionar indicadores de éxito no apropiados, bien sea porque no son coherentes con el marco lógico de la intervención o porque no es tiempo de obtener esos resultados y se requiere un plazo mayor.

87


Los indicadores deben ser vistos como hasta dónde los objetivos han sido alcanzados. En este punto, para efecto de la evaluación, autores como Brownson, Baker, Leet y Gillespie (2003) plantean que los indicadores no son objetivos numéricos per se y no deben ser confundidos con objetivos de programas y metas, que tienden a ser cuantificables de acuerdo con escalas y tiempo. El tipo de indicador seleccionado para valorar éxito (efectividad) influencia la selección del enfoque metodológico; por tanto, debemos hacernos la pregunta si un determinado diseño nos ayudará a evaluar la efectividad de la intervención, medida por los indicadores seleccionados, o mejor, cuál es el diseño más apropiado para valorar la efectividad o el éxito de la intervención.

• La variable tiempo, como factor importante en la medición de evidencia de efectividad

La plausibilidad para producir los resultados esperados está condi-cionada a la influencia de la variable “tiempo” y al contexto. Como fue señalado, el dinamismo de los procesos de cambio hace que, con relativa frecuencia, evaluemos una intervención que es diferente a la que se formuló inicialmente y, de igual forma, valoremos sus resultados sin tener en cuenta los factores que intervinieron para producirlos.

Algunos autores llaman la atención sobre otro hecho en relación con la variable tiempo, y en especial cuando usamos medidas de prevalencia (tendencias) para monitorear cambios, al señalar que “las medidas de prevalencia son importantes, pero igual de importante es conocer su evolución en el tiempo” (Campostrini, E. 2007). Los enfoques metodológicos son influenciados por la variable tiempo y, por tanto, preguntas como: ¿cuándo se deben entregar los resultados de la evaluación, cuál es el horizonte de tiempo para visualizar los cambios, qué tipo de cambios se pueden producir en este tiempo, nos ayudan a tomar la decisión.

88

ligia de salazaR

2. deSaFíoS metodológicoS y PolíticoS en la evaluación de la eFectividad

La evaluación de políticas, programas y tecnologías en salud ha enfrentado diversos desafíos para seleccionar los diseños investiga-tivos y los métodos más apropiados para responder a la pregunta de evaluación. Esta situación se debe, en parte, a dos factores: primero, no hay claridad, en los evaluadores e interesados, en la información que arroja la evaluación sobre la naturaleza, propósito y alcance de la intervención; y segundo, unos y otros conocen y manejan diferentes enfoques metodológicos, los cuales abordan de manera distinta la forma en que se debe afrontar la situación estudiada, y llegan en muchas oca-siones a privilegiar el método que mejor se conoce, negando así otras posibilidades; por ejemplo, cuando se presenta la dicotómica discusión entre qué método, cualitativo o cuantitativo, es más válido para producir conocimiento científico.

En este sentido, lo importante es destacar la interacción que existe entre sujeto y objeto en la práctica investigativa, independiente-mente desde dónde se aborde, para otorgarle mayor peso al lugar epistemológico y no tanto a la forma en que se procede para producir conocimiento.

El problema radica cuando se cree que la precisión y la confiabilidad de la información

depende de la aplicación de un método en particular, y se deja de lado la discusión para comprender qué enfoque establece mejor la interacción sujeto- objeto, elección que se hará cuando se tenga claridad frente al objeto de estudio y su alcance.

De esta manera, queremos plantear que esta pretendida oposición entre lo cuantitativo y lo cualitativo, más que ser una verdad empírica, ha sido una falsa idea, producto de planteamientos según diferentes

“La cantidad y la calidad son caras diferentes de la misma moneda, que aun-que se refieren al objeto de conocimiento como al mé-todo en general se comple-mentan y se relacionan”. (Cerda, G.H., 1994)

89


paradigmas y escuelas, “a veces con mucha resistencia para establecer

compatibilidad y complementar las dos tendencias” (Cerda, G.H., 1994).

Lo anterior nos lleva a afirmar que ningún método puede ser señalado

como mejor o superior, sin antes analizarlo a la luz del propósito y el

alcance de la evaluación, los resultados esperados, el financiamiento,

el tiempo para ejecutar la evaluación, y el contexto (situación política,

social, económica que puede influenciar el desarrollo de la evaluación

y el uso de sus resultados).

3. enFoqueS metodológicoS

Esta sección tiene como objetivo describir las principales caracte-

rísticas, fortalezas, limitaciones y usos de las herramientas metodoló-

gicas de evaluación, sin profundizar en aspectos técnicos de cada una

de ellas, considerando que lo más importante es brindar elementos de

reflexión y análisis para hacer una selección apropiada de los enfoques

metodológicos.

Características de los diseños de evaluación

Validez, flexibilidad, adaptabilidad y utilidad de la información son

características que deben estar presentes en cualquier diseño evalua-

tivo de iniciativas con las características ya descritas. Por lo anterior,

sugerimos la construcción de diseños, sin renunciar al objetivo de

obtener información válida y confiable, dentro del marco teórico y las

premisas descritas, que cumplan con las siguientes características de

la evaluación:

• Válida. La información que arroje la evaluación debe ser pro-

ducto de diseños y métodos apropiados para la pregunta que se

va a responder, a la naturaleza y ciclo de vida de la intervención,

y guardando coherencia entre concepciones teóricas, marco

lógico, grado de implementación de la intervención y criterios

para valorar efectividad.

90

ligia de salazaR

• Útil y aceptable. para diferentes audiencias y actores clave,

en especial, tomadores de decisiones, implementadores de la

intervención y teóricos.

• Resultado de un proceso de sucesivas aproximaciones. La

evaluación será producto de una construcción sistemática para

lograr la coherencia entre teoría, observación y práctica, con el

fin de crear insumos para acercarse a los principios y valores

que fundamentan la promoción de la salud y la salud pública

y su práctica, y producir los insumos para orientar las políticas

públicas.

• Incluyente y participativa. Dado el carácter político y técnico

de la evaluación, se requiere que los resultados respondan a las

necesidades de los usuarios de la información, a través de estra-

tegias que aseguren su participación en el ciclo de evaluación.

• Viable y factible. Deben planificar evaluaciones que tengan en

cuenta la infraestructura y los recursos disponibles, priorizar

fuentes de recolección de información, y promover alianzas para

hacer el uso óptimo de recursos.

• Socialmente responsable. La actividad evaluativa debe cubrir

la fase de difusión de la información y acciones de abogacía y

gerencia social para utilizar los resultados en la toma de deci-

siones y en el mejoramiento de los programas.

Para ser viable y realizarse con la periodicidad requerida, una evalua-

ción tiene que incorporar en su diseño metodológico formas eficientes

y confiables para obtener información, y para ello usar en lo posible la

que ya existe. Un ejemplo son los sistemas de vigilancia epidemiológica,

las estadísticas vitales, formas autóctonas de comunicación, relatos e

informes de progreso de proyectos comunitarios, historias, casos, in-

formes de monitoreo y evaluación. Los sistemas formales e informales

de comunicación e información que hacen parte de la cotidianidad de

91


las comunidades e instituciones deben ser incorporados como insumo para documentar la experiencia.

Basarse únicamente en el método o en la evidencia empírica para tomar una decisión es riesgoso; el método es muy importante, pero no es lo único. El mensaje es que cualquier decisión se ve afectada por un efecto interactivo. Basar una decisión en un solo resultado, sin tener en cuenta el contexto donde se produjo, es como usar una receta para el fracaso, porque en el mundo real hay muchas interacciones que afectan los mecanismos que tratamos de aislar en las investigaciones y que interactúan con el mundo real; en cualquier situación todas esas interacciones entran en juego. Por lo dicho, podemos deducir que la jerarquía de la evidencia que ha gobernado hasta este momento en los estudios evaluativos no necesariamente es coherente con los plantea-mientos teóricos y técnicos realizados.

Si el interés está en identificar la efectividad de una intervención medida por sus resultados, el reconocimiento de que un sólo estudio es incapaz de dar cuenta de la complejidad de la evaluación de fenómenos sociales influenciados por una combinación de factores, dentro de un determinado contexto cultural y sociopolítico soporta la creciente de-manda por crear enfoques de evaluación que utilicen análisis multinivel, que no se reducen a la adición de variables en una red de causación.

Pawson (2001, 2002, 2003) recomienda el estudio total del sistema de relaciones entre las variables, y para ello sugiere dividir el programa o intervención en sus componentes: mecanismos, contexto y resultados. Los mecanismos se refieren a las formas en las cuales uno de los com-ponentes produce cambios. Por su parte, el proceso es definido como la forma como los sujetos interpretan la estrategia de la intervención, conocida como mecanismos del programa y actúan conforme a ella. Y, finalmente, sistema relaciones interpersonales y sociales.

Para facilitar la comprensión del material usaremos tres categorías de evaluación y los enfoques metodológicos para realizarlas:

92

ligia de salazaR

a. Enfoques metodológicos para comprender y valorar el proceso de implantación de la intervención

b. Evaluación de efectividad - resultadosc. Evaluación económica

3.1 Enfoques metodológicos para comprender y valorar el proceso de im-plantación de la intervención

Hechos

• La conexión entre causa y efecto no tiene inicio y puede que tampoco tenga un fin; el desarrollo de las políticas es continuo y está sujeto a cambios en su implementación, los cuales están estrechamente ligados al contexto. ¿Cómo la evaluación da cuenta de este hecho?

• El proceso de implantación de la intervención es usualmente una caja negra sin develar. No hay información suficiente que dé cuenta de los factores que han influenciado la implementación de la intervención, en relación con la relevancia y la viabilidad del protocolo; el surgimiento de situaciones nuevas que modifican el contexto; los supuestos que no se cumplen y, finalmente, los cambios en la intervención como resultado de lo anterior.

• La evaluación usualmente se orienta a valorar el cumplimiento de los objetivos finales, y más bien poco a explorar el desempeño de la intervención en cada una de sus fases: experimentación, implementación, generalización y declive. En cada una de éstas se responden preguntas diferentes y, por tanto, se usan enfoques metodológicos distintos para responderlas.

• Frecuentemente nos enfrentamos a evaluar intervenciones que no necesariamente son las que planificamos. Hay cambio de proto-colo como resultado de ajustes en el tiempo. Las intervenciones relacionadas con cambios sociales y del comportamiento están ligadas a contextos o coyunturas, las cuales escapan al control

93


del investigador; son altamente dinámicas y por tanto, además

de la medición del problema, se requiere conocer la evolución

e interacción de los mecanismos que subyacen a él, para poder

comprender el alcance de los resultados.

• La evaluación de proceso brinda insumos para crear una teoría

sobre la promoción de la salud y la salud pública, para mejorar

la intervención, identificar mecanismos que influencien el des-

empeño de la intervención y contribuir al logro de los objetivos,

entre otros.

Debate

• Las intervenciones en promoción de la salud son complejas,

hay adaptaciones que deben hacerse permanentemente por el

dinamismo del contexto y por un conocimiento mayor de las

asociaciones entre variables de estudio; no obstante, ello puede

significar cambios en el marco lógico inicial de la intervención.

¿Cómo este hecho afecta el cumplimiento de las condiciones y

los criterios para aplicar métodos epidemiológicos?

• ¿Son útiles los marcos lógicos de la intervención?, ¿deben ser

sujeto de evaluación?, ¿pueden y deben ser cambiados?, ¿cómo

esto afecta la intervención y la evaluación?

• No hay razón para evaluar la efectividad de las intervenciones

cuando no hay certeza de que han sido implementadas apropia-

damente.

• En las evaluaciones no se estudia la interface entre teoría y prácti-

ca ni tampoco se tienen en cuenta aspectos sociales, territoriales,

organizacionales ni políticos que influencien la adherencia al

protocolo, al igual que los resultados.

• La evaluación del proceso ayuda a responder ¿qué intervención

estamos evaluando: la teórica (marco lógico) o la real?; y, por

94

ligia de salazaR

tanto, a replantear la pregunta de evaluación y los enfoques

metodológicos para responderla.

• ¿Podemos hablar de evidencia en la evaluación del proceso?;

¿la necesitamos?

• Alcance de la evaluación del proceso: ¿comprender el proceso

para implementar la intervención?, ¿valorar el desempeño de la

intervención en la práctica?

Desarrollos

El interés de la evaluación de proceso se centra en el desempeño del

proceso de implantación de la intervención; frecuentemente estudiamos

el resultado de este último y no nos preocupamos por el proceso en sí

mismo.

Para este tipo de evaluación es importante considerar que el desa-

rrollo, ligado a intervenciones en promoción de la salud, es visto como

un proceso complejo, producido en circunstancias en las cuales un

programa no se puede aislar de los diversos factores con los que tiene

que coexistir ni de aquellas del contexto que lo influencian. De allí que

autores como Stake y Abma (2005) aboguen por la inclusión de enfoques

que den peso al término contribución, el cual implica condicionalidad

(contextualización, más que atribución).

La elección de los enfoques metodológicos para la evaluación

del proceso está influenciada, entre otros, por el papel que asume el

evaluador. Como fue indicado anteriormente, éste debe comportarse

como intérprete y creador de condiciones para facilitar la interacción,

la concertación y la negociación entre participantes en un ambiente

colaborativo y de aprendizaje.

A continuación se describen las diferentes metodologías que han sido

desarrolladas para evaluar y comprender el proceso de implementación

de la intervención.

95


La documentación de los procesos y la sistematiza-ción de las experiencias son herramientas que producen información clave para comprender el comporta-miento de las variables aso-ciadas a la implementación de la intervención, y para establecer correlaciones y asociaciones lógicas entre intervenciones y resultados.

Herramientas metodológicas

• Técnicas para la documentación y sistematización de experiencias

Aunque la documentación y la sistemati-zación no son enfoques metodológicos para la evaluación, sí son insumos importantes para ésta, porque ayudan a formular la pre-gunta de evaluación un proceso complejo que se desarrolla a partir de un conocimiento completo e integral de la intervención.

Dado que la mayoría de las veces las intervenciones en promoción de la salud y salud pública son de naturaleza dinámica y poco conocemos sobre el comportamiento e interacción entre las variables, se hace nece-sario e imperativo documentar y comprender este dinamismo, más que controlar estas variables, para entender las causas potenciales de la adherencia o no al protocolo de la intervención y sus resultados.

Se requiere conocer cómo sucedió la intervención y por qué razón se realizó de la manera en que se dio. Es justo con esta intención que la documentación y la sistematización de experiencias permiten construir referentes comprensivos e interpretativos de la intervención, que aporten elementos para que la pregunta logre ser más pertinente y responsable de acuerdo con las características propias del contexto.

La sistematización es un proceso de reflexión que pretende ordenar u organizar el proceso de construcción e implementación de la interven-ción, es decir, la experiencia. Se trata, así, de recuperar lo que los actores saben de la experiencia en la cual participan. Las interpretaciones que se producen sobre la experiencia y la práctica misma de los sujetos se asumen como premisas. Lo que se mira ahora son los significados que las acciones tienen para los actores que las promueven y los resultados

96

ligia de salazaR

de dichas acciones en sí, de acuerdo con los propósitos que ellos mismos establecieron. La sistematización ha sido considerada, igualmente, como una estrategia para descubrir y comprender los cambios en el protocolo de la intervención, su implementación y los beneficios de acuerdo con la percepción de los participantes y sus interacciones (De Salazar, L., Díaz, C., Magaña, A., 2002). Este ejercicio investigativo reconoce la naturaleza cambiante de las intervenciones y ayuda a hacer explícitas las razones del cambio. Permite entender la lógica y el sentido de los procesos y resultados de un programa o de una intervención, en el marco del contexto de su desarrollo.

La documentación proporciona las herramientas necesarias para que el programa o la intervención pueda registrar y narrar la historia de su desempeño de principio a fin, y la sistematización brinda a quienes implementan una intervención un sistema permanente para reflexionar de manera holística y estratégica sobre cómo se consiguieron o se con-seguirán determinados resultados, usando aquellos de la documentación.

Los resultados de la documentación y la sistematización son insu-mos importantes que pueden ser usados por cualquiera de los tipos de evaluación que se describen a continuación para complementar la in-formación que surge de la aplicación de otros enfoques metodológicos.

El enfoque conocido como evaluación participativa, creado por la Organización Panamericana de la Salud, OPS, se expone en una guía para orientar el uso de esta metodología, en la cual se emplea un proceso de acopio, análisis e interpretación del proceso de implementación de la intervención, con una activa participación de quienes la implementan (OPS/OMS, 2005).

• Mapeo de resultados

Este enfoque se apoya en el hecho de que el desarrollo es un proceso complejo, compuesto de procesos paralelos; por tanto, es importante no sólo valorar los cambios, sino monitorear y evaluar las estrategias

97


y actividades y como ellas funcionan o como una única unidad. El mapeo de resultados se concentra en los alcances en lugar del impacto, aunque reconoce su importancia como la meta definitiva que los pro-gramas pretenden alcanzar. Con este enfoque se incrementan el valor y la atención dados a los resultados obtenidos por las contribuciones de aspectos previos al impacto.

Otro enfoque que se relaciona con la sistematización es el llamado mapeo de resultados (Outcome Mapping) (Earl, S., Carden, F y Smu-tylo, T., 2001) desarrollado por el IDRC-CIID bajo el supuesto de que la complejidad del proceso de desarrollo hace difícil evaluar su impacto (atribución), que la evaluación debe estar al servicio del aprendizaje, y que es fundamental comprender sus contribuciones esenciales.

Por otra parte, los autores de esta metodología señalan que el hecho de enfocar la evaluación en los impactos a largo plazo no necesariamente brinda el tipo de información y la retroalimentación que los programas requieren para mejorar su desempeño. Por estos motivos, el mapeo de resultados se concentra en los alcances en lugar del impacto, aunque reconoce su importancia como la meta definitiva que los programas pretenden alcanzar, como ya se dijo. Los indicadores del proceso de implementación son la cobertura, los facilitadores y las barreras para planificar e implementar una exitosa intervención; factores de contex-to que influencian tanto la implementación como los resultados de la intervención.

El mapeo de resultados reconoce que estas intervenciones son pro-cesos complejos que van conformándose de procesos paralelos. Dicho enfoque no sólo sirve para entender los cambios que se producen en el entorno en el que se desarrolla un programa, sino que también sigue y evalúa las estrategias y las actividades de este último, a la vez que también sigue y evalúa la manera como funciona como una unidad organizacional. Como tal, el mapeo de resultados evalúa el programa o la intervención de manera integral, y parte del supuesto de que al programa en cuestión no le basta con estar al tanto de los resultados del

98

ligia de salazaR

desarrollo, sino que también tiene que saber los procesos que se han seguido para conseguirlo, y así conocer su propia efectividad interna.

Un aspecto muy importante de este enfoque es que la pregunta de evaluación busca medir la contribución del programa con respecto a su visión inicial (por medio de sus socios directos), sin que se trate de saber si la visión logró convertirse en realidad o no. En otras palabras, la pregunta está dirigida a averiguar “¿quién hace qué? y ¿cómo?”. La visión representa el ideal que busca el programa y debe ser lo suficien-temente amplia y motivadora como para mantener su importancia con el transcurso del tiempo, pese a las circunstancias cambiantes.

• Evaluación participativa

Se entiende como un conjunto de orientaciones para realizar un pro-ceso de evaluación más amplio, que se centre en los procesos y en los cambios logrados en los territorios. Está dirigida a fortalecer la relación entre la planificación, la gestión y los procesos de evaluación; a ser una herramienta de referencia para tomadores de decisiones, especialmente a nivel municipal; facilitar que sus usuarios conozcan mejor su comu-nidad, comprendan la importancia de realizar evaluaciones y adquieran pericia en las mismas; a identificar señales de cambio, indicadores de procesos y avances, y está dirigida también a desarrollar habilidades de vigilancia social en la comunidad.

• “Evaluación responsable” (Responsive evaluation)

Definida como un enfoque de evaluación que genera evidencias sobre la efectividad de una intervención, la cual es valorada por resultados in-termedios utilizando información cualitativa. Los criterios para evaluar la efectividad de un programa no se derivan solamente de las intenciones de los tomadores de decisiones, sino que incluyen un margen amplio de aspectos que provienen del mayor número de actores posibles (Guba y Lincoln, 1981; Lincoln y Guba, 1985; Guba y Lincoln,1989, Stake, 1975; Stake y Abma, 2005).

99


El tiempo como variable es el lapso transcurrido entre la medición y la aparición de los resultados esperados.

3.2 Evaluar la efectividad de intervenciones complejas

Hechos

• Existen pocos estudios de evaluación de efectividad de inter-venciones complejas.

• Hay un limitado conocimiento y experticia sobre técnicas de análisis que involucran diferentes niveles de acción, como son los análisis multinivel.

• Se aplican enfoques metodológicos que tienen credibilidad en revistas internacionales, aunque sean incoherentes con la natu-raleza de intervenciones como las descritas.

• En intervenciones que están pobremente diseñadas, hay dificultad para reconocer los indicadores de éxito de interés para tomadores de decisiones y para otras audiencias.

• El juicio sobre la efectividad de la intervención se hace uti-lizando indicadores que no se relacionan con lo concebido e implementado.

• Los indicadores de éxito están más asociados con las necesidades e intereses de los usuarios actuales de la información, que con el marco lógico de la intervención.

Debate

La evaluación de efectividad, adop-tada en esta publicación, es la medición, descripción y valoración o juicio de la asociación entre dos o más variables, en este caso intervención y resultados, pro-ducidos en contextos específicos.

Los conceptos de evidencia y efectividad son difíciles de medir; diversos factores entran en juego cuando se hacen definiciones ope-

100

ligia de salazaR

rativas de las variables, y cuando de juzgar evidencia y efectividad se trata. Un mismo concepto puede tener distintos significados y alcances; igualmente, se pueden utilizar diferentes instrumentos para medir el mismo concepto.

La efectividad ha estado asociada a la evidencia científica y esta última se apoya en diseños epidemiológicos que se fundamentan en el cumplimiento de criterios para juzgar y valorar la validez de la información producida: representatividad de la muestra, aleatoriedad, selección de grupos de control, valoración según pruebas de signifi-cancia estadística, precisión de instrumentos de medición y control de factores de confusión, entre otras condiciones y supuestos que no necesariamente pueden ser cumplidos en las intervenciones descritas y, por tanto, pueden conducir a resultados errados.

El factor político y ético de evaluación de efectividad se relaciona con quién determina qué se considera como evidencia de efectividad, con cuáles son los indicadores apropiados, y los estándares de compa-ración. Por otro lado, la otra pregunta es ¿cómo lograr consenso acerca de los criterios para establecer evidencia, cuando hay varios actores con diferentes expectativas y racionalidades?

Cuando existe un interés en establecer la asociación causal (atri-bución) entre los resultados observados y la intervención se aplican criterios cuyo cumplimiento depende de factores que muchas veces están fuera del control del investigador; de allí que la cuestión cen-tral a resolver, no sea la eterna dicotomía entre métodos cualitativos o cuantitativos, sino entre los criterios para juzgar la efectividad y la pertinencia y relevancia de aplicar los diseños de estudio.

La atribución de los resultados a una determinada intervención debe ser establecida no solamente por la confirmación de asociaciones estadísticas, sino por la de asociaciones lógicas, producto del estudio sistemático del proceso y de la interacción de los factores que influencian tanto la implementación de la intervención como los resultados. Esto

101


es mandatorio en intervenciones dinámicas que, como señala Pawson (2001, 2002, 2003), nunca funcionan indefinidamente en todas las circunstancias ni para toda la gente, ya que estas intervenciones están inmersas en sistemas sociales.

Al igual que los factores del contexto que influencian tanto la im-plementación de la intervención como sus resultados, el tiempo para lograr los cambios es una variable importante. Conocer la prevalencia de un riesgo o enfermedad nos ayuda a valorar la magnitud del problema, pero si vamos a intervenir es necesario, también, conocer la evolución del problema, la efectividad de las experiencias anteriores, así como los recursos necesarios para darle respuesta.

Finalmente, se ha reconocido que un solo estudio es incapaz de dar cuenta de la efectividad de una intervención, mucho menos de aquellos fenómenos sociales en los cuales es inherente la interacción de diferen-tes variables sociopolíticas y culturales. Este hecho explica, en buena parte, el creciente interés por los enfoques metodológicos que aplican análisis multinivel y contextual y no la simple adición de variables a la red de causación (Diez-Roux, A.V. 1998).

Es contradictorio, por tanto, cuando nos referimos a intervenciones complejas producidas en sistemas abiertos establecer asociaciones cau-sales entre la intervención y los resultados. Esto se da por la necesidad de intervenir en varios niveles y porque estas intervenciones tienen más de un objetivo (existe la intención de alcanzar cambios que pueden ir desde los comportamentales hasta los estructurales, políticos y socia-les); tienen varias intencionalidades; están influenciadas por factores del contexto que están por fuera del control de quienes los implemen-tan; están orientadas a comunidades o grupos; frecuentemente no son estandarizables, hay una dinámica de interacción entre sus variables, las cuales usualmente son desconocidas; y, al mismo tiempo, se tiene un interés en presentar la evidencia de la efectividad de estas inter-venciones, las cuales están soportadas por resultados, frecuentemente producidos a largo plazo.

102

ligia de salazaR

El evaluador, por tanto, se enfrenta a situaciones de conflicto cuando debe decidir el enfoque metodológico más apropiado para responder a la pregunta de la efectividad y el impacto, de tal forma que la información producida sea confiable, válida, relevante y oportuna.

En el área de la promoción de la salud y la prevención de enfermeda-des se requiere un extenso rango de evidencias. La identificación del tipo específico, las mezclas y la dosis de las estrategias es particularmente compleja. Por ende, se necesita información sobre la población como un todo, sobre subgrupos particulares, sobre el impacto del problema y el potencial de varias intervenciones para hacer la diferencia (Taylor, Campostrini, Gill, Carter, Dal Grande y Herriot, 2010).

Ha sido reconocido por varios autores que el conocimiento y la evidencia son necesarios para tomar decisiones, pero cuando se toman decisiones políticas no se distingue entre estos dos. Respecto a esto Birn, Zimmerman y Garfield (2000) señalan que independientemente de cuánta evidencia tengamos nunca removeremos la necesidad de juicio, o sea, la forma de entender algo en lugar de sólo conocerlo. Este entendimiento es mucho más viable si la perspectiva local es el referente de análisis.

Por lo anterior, se exige información que permita responder a las siguientes preguntas:

• ¿Podemos atribuir los cambios a la intervención?; ¿qué criterios se tienen?

• ¿Hubo adherencia (fidelidad) al protocolo de la intervención?; ¿qué cambios se hicieron y por qué?

• ¿Qué tan viable es obtener los cambios deseados en el tiempo estipulado?

• ¿Cuál fue el desempeño durante el proceso de implementación de la intervención?

103


La evaluación, según la perspectiva de un solo usuario, puede producir re-sultados “sesgados”, dado que la perspectiva de este usuario no necesariamente refleja la de otros actores, aunque sí orienta la evalua-ción y fija el referente para comparar y valorar si algo funciona o es efectivo.

• ¿Se presentaron resultados intermedios relacionados con el ob-jetivo final?; ¿podrían conducir al logro de los objetivos?

• ¿Hubo factores que pudieron influenciar la implementación de los resultados?; ¿cuáles? ; ¿fueron considerados en el análisis y en la interpretación de los datos?

• ¿Cuál es la percepción de los “interesados” (stakeholders) en re-lación con los hallazgos y su utilidad para la toma de decisiones?

El diseño metodológico de la evaluación debe propugnar por una interpretación y una comprensión integral de los fenómenos en-contrados a partir de un análisis comprensi-vo del contexto, el proceso y los resultados.

Por ejemplo, al respecto, Hoppe (1999) afirma que los investigadores han sido cali-ficados de ingenuos políticamente por creer que pueden producir evidencias libres de la influencia de la política; y por ello fallan al sintetizar y presentar la investigación con el fin de que sea útil a los formuladores de las políticas. El autor plantea que el modelo mediante el cual los investi-gadores emplean el enfoque para hallar determinada verdad y que será informada posteriormente a los tomadores de decisiones, rastreando la evidencia para luego identificar la mejor solución a un determinado problema, muestra no solo una comprensión inadecuada del proceso de formulación de políticas, sino que evidencia la utilización de un enfoque poco riguroso para producir evidencia.

Esto ha obligado a los evaluadores y los tomadores de decisiones a debatir el tema, y tener como referentes factores que compiten entre sí, tales como la precisión, la validez y la oportunidad de la información versus su sentido, su relevancia y su utilidad para la toma de decisio-

104

ligia de salazaR

nes; la temporalidad de la investigación evaluativa versus el proceso político y gerencial; la información para los promotores del proceso versus la información para los formuladores e implementadores de las políticas, y los investigadores interesados en la teoría que fundamenta la intervención; la evidencia de la efectividad versus la evidencia de la rentabilidad social; y factores técnicos y económicos versus los éticos.

Otro aspecto clave que se debe tener en cuenta es la perspectiva de los evaluadores y, en general, de las personas interesadas en los resultados de la evaluación. Dado que puede haber muchos intere-sados que no tengan la misma perspectiva o los mismos parámetros para valorar el éxito de la intervención, es conveniente indagar sobre este aspecto y llegar a un consenso.

Sobre lo dicho anteriormente, Gupta (2001) cuestiona la neutra-lidad al asignar un valor, y señala que en un mundo de ideologías diversas, es imposible ser completamente neutral cuando se hace un análisis político. Menciona que “debemos aceptar la existencia de normas, valores e ideologías sin permitir que ellas nos impidan usar el análisis sistemático. Si nosotros reconocemos estas limitaciones externas las podemos incorporar en nuestro razonamiento científico”.

La cuestión de la perspectiva se vuelve crítica en el análisis político cuando consideramos el análisis desde la perspectiva de un solo “cliente” o usuario de la información, ya que los analistas pueden subordinar la metodología a los intereses de ese cliente. Es interesante reflexionar sobre dos preguntas que hace Gupta (2001) en relación con la selección de la perspectiva de análisis: ¿cómo la ideología y la percepción afectan la interpretación de los resultados de la evaluación?, y ¿puede esta disputa ser resuelta con herramientas analíticas objetivas?

Es necesario tener presente que las diferentes perspectivas, en lugar de contradecirse u oponerse, son parte de un proceso de cons-

105


trucción y de acuerdos, en el cual el énfasis de la evaluación y los indicadores para valorar su efectividad dependen frecuentemente del momento o ciclo de vida de la intervención y, por tanto, de la viabilidad de observar los resultados de interés. Así, un modelo de evaluación esclarecedor debe ser aplicado, de tal modo que los resultados de la investigación se filtren en la forma como los pro-blemas son abordados y la influencien, y se establezca un diálogo permanente entre investigadores y formuladores de políticas, con el fin de que ambos aprendan de cada uno y construyan respuestas colectivamente.

Se propone que se tengan criterios no sólo para juzgar causalidad basada en asociaciones estadísticas, sino también, consideraciones sobre la evidencia que añade credibilidad a la interpretación. Se debe invertir en interpretación tanto como en recolección de datos, pues pasa que muchos de éstos son recogidos con un alto costo y hay una poca interpretación o análisis.

Herramientas metodológicas

A continuación se describen brevemente algunos diseños de estudios que, al contrario de los anteriores, se caracterizan por un interés en va-lorar la efectividad según los resultados finales o el cumplimiento de los objetivos más que por el proceso y los resultados intermedios. Al final de la sesión se hará énfasis en el uso de métodos alternativos, los cuales combinan enfoques cualitativos y cuantitativos para dar cuenta de los aspectos señalados anteriormente.

• Los métodos epidemiológicos tradicionales. A continuación se des-criben brevemente y se analizan críticamente la viabilidad y la conveniencia de aplicar diversos diseños de estudios para la evaluación de la efectividad de las intervenciones. Algunos se caracterizan por su interés en valorar la efectividad de la inter-vención a través de resultados intermedios o resultados finales, que den cuenta del cumplimiento del objetivo de la intervención; otros, por la efectividad de los mecanismos que hicieron posi-

106

ligia de salazaR

ble los cambios o hallazgos encontrados; y, finalmente, los que

consideran importante y necesario valorar ambos aspectos. Hay

un llamado, entonces, a orientar la perspectiva de la calidad de

los métodos empíricos a una que incluya la teoría para conocer

hasta dónde un mecanismo teórico fue definido y probado.

• Estudios analíticos: experimentales, cuasiexperimentales y observacio-

nales. Si bien el diseño metodológico, que ha sido identificado

como “prueba reina” para establecer la evidencia de efectividad

en salud pública han sido los estudios aleatorios controlados –

RCT–. Varios autores (Waters, E., Doyle, J., Jackson, N. et al.,

2006, abril) han señalado que estos estudios son inapropiados,

innecesariamente costosos y engañosos cuando se pretende esta-

blecer asociaciones entre variables que no siguen los supuestos

en los cuales se soporta su validez.

Tenemos el caso de la interacción de múltiples niveles para lo-

grar el objetivo, y la dificultad para identificar las variables que

interactúan e influencian los resultados, con el fin de controlarlas;

las dificultades para encontrar apropiados grupos control, que se

diferencien de la población intervenida, sólo por el hecho de haber

recibido la intervención; la dificultad para controlar o impedir

la influencia de factores del contexto, que cambian el protocolo

de la intervención como también los resultados.

En muchas ocasiones estos factores (mecanismos) más que ser

controlados, deben ser identificados, comprendidos y tenidos en

cuenta en el análisis y en la interpretación de resultados. Aquí la

lógica del control no parece tener razón de ser. Al respecto, Loo-

mis y Wings (1990) afirman que esta complejidad refleja mejor la

realidad que los modelos multicausales que prevalecen hoy en día.

107


• Revisión sistemática. Se refiere a la síntesis de la recolección com-prensiva de información sobre un tópico en particular (Brownson, R.C. et al., 2003). La revisión sistemática inicia con la necesidad de integrar la información existente con el fin de proveer informa-ción confiable y suficiente para una toma racional de decisiones (Campostrini, E. 2007; Mulrow, C.D. 1994; Greenhalg, T. 1997).

• Meta-análisis. Usa la síntesis de resultados de múltiples estudios de investigación mediante un enfoque cuantitativo en cuatro pasos: identificación de estudios relevantes; identificación de criterios de inclusión y exclusión; procesamiento de datos; y análisis estadístico, que incluye la exploración de la heterogeneidad de los estudios (Brownson, R.C. et al., 2003). Con estos estudios se pretende aumentar el tamaño de la muestra para incrementar, a su vez, probabilidad de encontrar diferencias estadísticamente significativas.

• Series de tiempo y tendencias usando los resultados de los sistemas de vigilancia en la salud pública. Los sistemas de vigilancia en la salud pública permiten el acopio y el análisis de datos sobre variables de interés en forma rutinaria, y señalan los cambios de dichas variables (prevalencias). Esta información puede convertirse en evidencia de la efectividad cuando las intervenciones tienen que ver con variables rutinariamente recogidas y con información del proceso y el contexto que está asociada con los cambios de prevalencias. Se ha resaltado el valor de la vigilancia en la salud pública para proveer información de calidad que sea confiable, y que permita no sólo pensar sino actuar en diferentes niveles y especialmente a nivel local, el cual está basado en necesidades y prioridades.

• Enfoques metodológicos alternativos: combinación de enfoques cuan-titativos y cualitativos. Hasta aquí hemos descrito tres enfoques metodológicos; los primeros se soportan en los supuestos que fundamentan los estudios epidemiológicos y consideran como

108

ligia de salazaR

única evidencia científica aquella que es resultado de las cien-cias biomédicas y naturales. Los segundos, los enfoques cuali-tativos, reconocen que los diferentes tipos de ciencias requieren diferentes clases de metodologías de investigación, como es el caso de aquellas que provienen de las ciencias políticas y socia-les. Finalmente, los terceros, valoran las fortalezas de cada en-foque y, más importante aún, reconocen y aceptan la necesidad de combinar los enfoques y los métodos de cada metodología para responder a preguntas de investigación relacionadas con la efectividad y el impacto de las intervenciones complejas, como es el caso de las intervenciones en salud colectiva y en promoción de la salud.

A continuación presentamos dos propuestas metodológicas para brindar respuestas a varios de los desafíos anteriormente planteados, con el ánimo de contribuir a la discusión sobre la combinación de enfoques metodológicos y las técnicas para la evaluación de intervenciones complejas o que, por su naturaleza, resulta irrelevante tratar de establecer asociaciones causales (lineales).

Estos enfoques parten del aceptar que no hay verdades univer-sales, porque a causa de la influencia del contexto y de diversas formas y procesos de implementación una misma intervención se comporta de manera diferente y produce, igualmente, resultados distintos. De allí que combinen métodos para la búsqueda inte-ractiva de respuestas con base en los procesos y los mecanismos que hicieron posible unos determinados resultados.

• Síntesis realista: Este enfoque centra su análisis en la teoría de la intervención (unidad de análisis), en lugar de la intervención por sí misma (resultados y cumplimiento de los objetivos). Pawson señala otros argumentos para justificar este enfoque de estudio al indicar que los programas complejos consisten en una serie de vínculos, los cuales rara vez se fundamentan en el conocimiento

109


La síntesis realista es un enfoque para revisar la evidencia de intervenciones complejas, el cual provee explicaciones de cómo y por qué una intervención funciona en diferentes con-textos. Pawson, 2004

de su funcionamiento, y por tanto, di-chos programas pueden fallar debido a que hay poca comprensión sobre cómo seleccionar opciones durante su implementación. En resumen, este enfoque además de tener en cuenta los resultados, se orienta a identifi-car los mecanismos que los hicieron posibles.

Si bien una secuencia similar es utili-zada para las revisiones sistemáticas cualitativas y cuantitativas, Pawson (2002,2004) señala algunas diferencias en las revisiones tradicionales y las realistas en relación con el énfasis, la duración, el ordenamiento y, sobre todo, con el contenido metodológico de cada etapa. El enfoque de síntesis realista, según el autor, es un nuevo modelo que sintetiza los resultados de la investigación, el cual es compatible con la complejidad de los sistemas de salud y con el uso de la evidencia multimétodo y multidisciplinaria. El método se focaliza en las teorías que subyacen a las intervenciones sociales, y aduce al hecho de que las intervenciones son teorías que inician como ideas de los tomadores de decisiones y que después pasan a manos de los gerentes o funcionarios y a los usuarios y participantes de la intervención; es este proceso de implementación de la teoría (estrategias, relaciones interpersonales, infraestructura, etc.) el que contribuye al éxito o el fracaso de la intervención.

El método comprende seis pasos: 1) identificación de la pregunta de evaluación; 2) búsqueda de estudios de fuentes primarias,

La síntesis realista deman-da una explícita definición de los supuestos acerca de cómo una intervención funciona (teoría de la in-tervención) y recoge en forma sistemática, eviden-cia para probar y redefinir esta teoría.

110

ligia de salazaR

3) valoración de la calidad; 4) obtención de datos; 5) síntesis de datos; y 6) diseminación de información. En ambos enfoques, sobre revisiones sistemáticas tradicionales y revi-siones realistas, hay consenso acerca de la transparencia o la auditabilidad del proceso de revisión; también es posible que en ambos, los investigadores, tomadores de decisiones y los otros interesados puedan verificar qué hay detrás de la revisión, con el fin de valorar el rigor, la validez, la confiabilidad, y la veri-ficación de los hallazgos y las conclusiones.

Invertir tiempo suficiente para definir la pregunta a responder es clave para iniciar el proceso de búsqueda, análisis y comprensión de los resultados de la revisión. En el enfoque realista, como ya fue indicado, hay un interés por descubrir el porqué, cuándo y cómo una intervención funcionó. Es así como la pregunta general se orienta a descubrir los mecanismos que hicieron posible un determinado resultado, y por ello hay preguntas complementarias que se relacionan con la pregunta general: ¿para quién funcionó la intervención; en qué circunstancias; de qué forma y por qué? Las preguntas iniciales se refinarán periódicamente a medida que el nuevo conocimiento surja como producto de la revisión y el análisis conjunto de los interesados.

• La Efectividad y los sistemas de vigilancia en la salud pública. Uso de resultados de los vigilancia en la salud pública y de otras fuentes de in-formación: El diseño de la evaluación que valora la efectividad de las intervenciones en la salud pública y en la promoción de la salud, que articula la vigilancia en salud pública (distribución de prevalencias y tendencias) con cambios en el contexto y factores que influencian los resultados –como cambios políticos, organi-zacionales, comportamiento, capacidad de actuar, entre otros–, es recomendado por las siguientes razones:

El enfoque de síntesis rea-lista ayuda a contestar preguntas relacionadas con las circunstancias o con las condiciones (mecanismos) que aumentan la probabili-dad de que la intervención funcione o, por el con-trario, falle, y qué podría hacerse para incrementar las probabilidades de éxito.

111


- Los estudios ecológicos, según algunos autores (Kelsey, Thomp-son y Evans, 1986), son más apropiados cuando hay interés en procesos sociales y culturales. Los estudios con un enfoque ecológico consisten en encuestas transversales cuya unidad de análisis son poblaciones o grupos, y los individuos estudiados son vistos como miembros de una comunidad en un determinado contexto (Valente, 2002; Jekel, Elmore y Katz ,1996).

- Campostrini, E. y McQueen, D. (2007) resaltan el valor de la vigilancia en la salud pública para proveer información de calidad y confiable, que permita no sólo pensar, sino actuar en diferentes niveles y especialmente local, basado en nece-sidades y en prioridades.

- En la evaluación de intervenciones complejas es necesario no sólo conocer si la intervención alcanzó el objetivo, sino también comprender la teoría (las teorías) del programa, o los mecanismos que hicieron que éste funcionara o fallara, y no sólo precisar si éste funcionó. En este modelo dicha in-formación será obtenida mediante métodos cualitativos que den cuenta de la calidad del diseño y de la implementación de la intervención.

- Dos estrategias podrían incrementar la validez y la credibilidad de este tipo de estudios: 1) Varias mediciones para identificar las tendencias del cambio, y 2) Información sobre el proceso de implementación de la intervención para obtener no sólo asociaciones estadísticas, sino asociaciones lógicas que se fundamenten en los resultados de la interacción entre variables (mecanismos). Este enfoque puede ser fortalecido al combinar los resultados de la vigilancia con la información cualitativa sobre el diseño y la implementación de la intervención.

- Un ejemplo del uso de sistemas de vigilancia para evaluar intervenciones en la salud pública y en la promoción de

112

ligia de salazaR

la salud es la evaluación de la efectividad y el costo de la efectividad de las intervenciones escolares, que se combina técnicas cuantitativas y cualitativas para valorar tendencias de prevalencias de factores de riesgo en esta población con técnicas para identificar y comprender los procesos de cambio, tales como la documentación y sistematización de experiencias (PAHO, 2007; De Salazar, L. 2004b).

- Basado en resultados de sistemas de vigilancia en salud públi-ca (de Salazar, 2011), el modelo de evaluación de la efectividad de las intervenciones para controlar y prevenir enfermedades crónicas no transmisibles, ECNT, y los factores de riesgo aso-ciados, es otro ejemplo mediante el cual se evaluaron diversas intervenciones latinoamericanas en la salud pública y en la promoción de la salud.

ModeloEvaluación de efectividad de

intervenciones para controlar y prevenir enfermedades cronicas no

transmisibles

Jerarquía de la evidenciaAsociación

Contribución (Correlación)Atribución

Enfoque CualitativoSistematización• Fundamentación• Suficiencia• Coherencia• Desempeño

Enfoque CuantitativoVigilancia-Encuestas-Registros• Validez• Fuerza de asociación• Importancia de los cambios

Gráfico 1: Modelo de evaluación de la efectividad de las intervenciones para controlar y prevenir ECNT.

113


Calidad del diseño

Calidad del proceso de

implementación

Valoración de los cambios en la

prevalencia de even-tos de interés

Valoración de la coherencia entre los enfoques cualitati-vos y cuantitativos

Fundamentación teórica

Recursos.

Componentes y mecanismos

Cumplimiento de actividades

Factores de contexto

Metodología utilizada para

valorar los cambios en

los eventos de interés

Asociación

Contribución

Atribución

Significado e importancia de

los cambios

Suficiencia/viab-ilidad del diseño/

Protocolo

Identificación completa de actividades y

recursos

Indicadores de logro

Los componentes del modelo de evaluación incluyen la valoración de la calidad del diseño de la intervención; la valoración de la calidad de la implementación, la adherencia al protocolo y la interacción de los componentes del programa; la importancia y significado estadístico de los cambios; las tendencias de prevalencia de los eventos de interés; y la atribución de los cambios a la intervención. Para cada componente se establecieron variables de estudio e indicadores para valorar su cumplimiento.

Matriz de variables e indicadores

114

ligia de salazaR

La prueba del modelo de evaluación se realizó en cuatro ciudades latinoamericanas Cali y Medellín (Colombia), Mar del Plata (Argentina) y Estado Lara (Venezuela) y se encontró que si bien su uso es altamente deseable, puede ser inoperante en la práctica si no se establecen condi-ciones relacionadas con la definición precisa de la intervención, basada no sólo en el protocolo propuesto sino en los cambios como resultado de la práctica y el contexto en que se realiza; la disponibilidad de infor-mación de calidad sobre el proceso de implementación y los factores que han influenciado tanto la intervención como los resultados, como es el caso de los determinantes sociales; y las estrategias y los meca-nismos que favorecen la articulación entre la vigilancia, la evaluación y la política pública.

3.3 Evaluar costo efectividad

La evaluación económica es el conjunto de técnicas orientadas a examinar y seleccionar las mejores opciones en términos de sus costos y consecuencias; por consiguiente, las tareas básicas de este tipo de evaluación son: identificar, medir, valorar y comparar costos y resulta-dos (Drummond, M., O´Brien, B., Stoddart, G. y Torrance, G., 1997).

Esta definición tiene dos aspectos fundamentales que la caracterizan: el primero, la consideración de los costos y los beneficios en un solo análisis; y el segundo, el uso de los resultados para la toma de deci-siones, al considerar la escasez de los recursos como un limitante para producir los resultados deseados.

Este tipo de evaluación se preocupa por aplicar los conceptos bá-sicos de la economía al establecimiento de prioridades, y por orientar la inversión hacia el máximo beneficio, según las preferencias de la comunidad. La búsqueda de la eficiencia es la base de la evaluación económica; éste es un criterio económico que revela la capacidad de producir el máximo de resultados con el mínimo de recursos.

Es importante tener en cuenta que la mejor opción no es necesa-riamente la que genere la mayor productividad económica, pues en la

115


mayoría de los casos el objetivo no es obtener rentabilidad financiera, sino elegir la alternativa que resuelva mejor un determinado problema con la menor inversión de recursos.

La evaluación económica es una herramienta analítica que permite poner en una balanza las ganancias y las pérdidas, o en términos más estrictos, los costos y los beneficios de una intervención, para la asig-nación de recursos en la dirección más eficiente. Todo ello la convierte en una herramienta vital para la toma de decisiones.

Como métodos más comunes de la evaluación económica están el análisis costo-efectividad y el análisis costo-beneficio y sus derivados. El primero sirve para resolver el problema de la eficiencia técnica, al determinar la forma menos costosa de obtener unos resultados desea-dos. El segundo procura resolver el problema de la eficiencia en la asignación, al determinar cuál es el resultado más deseado (valorado) por la sociedad. Del análisis costo-efectividad se derivan el análisis costo-utilidad y costo-consecuencia.

116

ligia de salazaR

BIBLIOGRAFÍA

Abma, T. (2005), “Responsive evaluation: Its meaning and special contribution to health promotion”. En: Evaluation and program planning, vol. 28, págs 279–289.

Beaglehole, R., Bonita, R. y Kjellstrom, T. (1994). Epidemiología básica. Publicación científica. núm.551, OMS, Ginebra.

Birn, A-E., Zimmerman, S. y Garfield, R. (2000), “To decentralize or not to decentralize, is that the question? Nicaraguan health policy under structural adjustment in the 1990”. En: International Journal of health services, vol. 30, núm. 1, pp. 111-28.

Brownson, R., Baker, E., Leet, T. y Gillespie, K. (2003). Evidence-based public health. New York, Oxford University Press.

Campostrini, E. (2007). “Measurement and effectiveness. methodological considerations, issues and possible solutions”. En: McQueen, D., Jones, C. (edits.). Global Perspectives on Health Promotion Effec-tiveness. New York, Springer.

Cerda, G. (1994). La investigación total. La unidad metodológica en la investigación científica. Mesa redonda MAGISTERIO. Colombia.

117


Cronbach, L. et al. (1980). Toward reform of program evaluation: Aims, methods, and institutional arrangements. San Francisco, Jossey-Bass.

De Salazar, L., Díaz, C. y Magaña, A. (2002). Municipios y comunidades saludables. el reto de la evaluación, Cali, Colombia, CEDETES. Universidad del Valle.

De Salazar, L. (2004a) “Promoción de la Salud y Evidencias de su Efectivi-dad: Un Reto Metodológico y Político”. En: Arroyo, H. (edit.). La promoción de la salud en América Latina: modelos, estructuras y visión crítica, Universidad de Puerto Rico.

De Salazar, L. (2004b), “La Sistematización de Experiencias en Promoción de la Salud”. En: Efectividad en promoción de la salud. Guía de eva-luación rápida. CEDETES – Universidad del Valle. Cali, Colombia.

De Salazar, L., (2011) ¿Funcionan y son efectivas las intervenciones para prevenir y controlar las Enfermedades Crónicas? ¿Qué dice la eva-luación? Programa Editorial Universidad del Valle. Cali, Colombia.

De Salazar, L. y Gómez, S. (2011) (comps). Abordaje de las enfermedades crónicas. Lecciones de la práctica, Programa Editorial. Universidad del Valle. Cali, Colombia.

Diez-Roux, A. (1998), “Bringing context back into epidemiology: variables and fallacies in multilevel analysis”. En: American journal of public health, vol. 88, Issue 2, págs 216-222.

Diez Roux, A. (2004), “Genes, individuos, sociedad y epidemiología” en Spinelli, H. (comp) Salud Colectiva. Cultura, instituciones y sub-jetividad. Epidemiología, gestión y políticas, Buenos Aires, Lugar Editorial, págs 71-81.

Drummond, M.; O´Brien, B.; Stoddart, G. y Torrance, G. (1997). Methods for the economic evaluation of health care programmes. Segunda edición. New York, Oxford Medical Publications, pp: 233.

Earl, S.; Carden, F. y Smutylo, T. (2001). Outcome Mapping: Building Lear-ning and Reflection into Development Programs. Canadá. Interna-tional Development Research Centre, IDRC.

Fundesalud/CEDETES (2008). Guía para la sistematización de intervenciones en salud pública y promoción de la salud. UIPES.

118

ligia de salazaR

Green, J. y Keith, T. (1999), “Towards a secure evidence base for health promotion”. En: Journal of public health medicine, vol. 21, núm. 2, págs 133- 139.

Greenhalgh, T. (1997). “How to Read a Paper: Assessing the Methodological Quality of Published Papers”. En: British medical journal, vol.315, pp: 305-308.

Guba, E. y Lincoln, Y. (1981). Effective evaluation. Beverly Hills, Sage.

Guba, E. y Lincoln, Y. (1989). Fourth generation evaluation. Beverly Hills, Sage.

Gupta, D. (2001). Analyzing public policy: concepts, tools, and techniques. San Diego State University, CQ Press A Division of Congressional Quarterly Inc Washington D.C.

Hoppe, R. (1999), “Policy analysis, science and politics: from ‘speaking truth to power’ to ‘making sense together’”. [En línea], disponible en: http://www.cddc.vt.edu/tps/e-print/s&pparticle.pdf Recuperado: el 2 de marzo de 2011.

House, R. (1981). “Tres perspectivas de la innovación educativa: tecnológica, política y cultural”. En Revista de Educación, vol.286, núm.1988, págs 5-34.

Jara, O. (2006), “Sistematización de experiencias y corrientes innovadoras del pensamiento latinoamericano. Una aproximación histórica”. En: Revista La Piragua, núm. 23.

Jekel J, Elmore, J y Katz, D (1996). Epidemiology Biostatics and Preventive Medicine. WB Saunders Company, págs 11- 67.

Kelsey, J., Thompson, D. y Evans, A. (1986). Methods in observational epi-demiology. Oxford University Press, págs 187.

Kane, S., Gerretsen, B., Scherpbier, R., Dal Poz, M., Dieleman, M. (2010), “A realist synthesis of randomized control trials involving use of community health workers for delivering child health interventions in low and middle income countries” En BMC Health services re-search, vol. 10, núm.286.

119


Kemm, J. (2006, junio). “The Limitations of ‘Evidence-Based’ Public Health”. En: Journal of evaluation in clinical practice. vol. 2, págs 319.

Lincoln, Y. S. y Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, Sage.

Loomis D, Wing S. (1990).”Is molecular epidemiology a germ theory for the end of the twentieth century?”. En: International journal of epide-miology. vol. 19, págs l-3.

Marmot, M. (2004). “Evidence Based Policy or Policy Based Evidence?”. En: British medical journal. vol.328, págs. 906-907.

McQueen, D. y Anderson, L. (2000). “What counts as evidence: issues and debates on evidence relevant to the evaluation of community health promotion programs”. En: Rootman, I., Goodstadt, M., McQueen, D., Potvin, L., Springett, J. y Ziglio, E. (edits.) Evaluation in Health Pro-motion: Principles and Perspectives, Copenhagen, WHO (EURO).

McQueen, D. (2007). “Evidence and theory. continuing debates on eviden-ce and effectiveness”. En McQueen, D., Jones, C. (edits.) Global perspectives on health promotion effectiveness. New York, Springer.

Mulrow, C. (1994). “Rational for systematic reviews”. En: British medical journal, vol.309, pp:597- 599.

OPS/OMS (2005). “Guía de evaluación participativa para municipios y co-munidades saludables”. [En línea], disponible en: http://www.bvsde.paho.org/bvsdemu/fulltext/guiaeval/guiaeval.html Recuperado: 13 de junio de 2008.

Organización Mundial de la Salud [OMS], (2004). Promoción de la salud mental. conceptos, evidencia emergente, práctica. Informe com-pendio, OMS: Ginebra.

Pan American Health Organization (PAHO), (2007). Guide to economic evaluation in health promotion. Washington, Pan American Health Organization.

Pawson, R. (2001). “Evidence and policy and naming and shaming”, ESRC UK Centre for Evidence Based Policy and Practice.

Pawson, R. (2002). “Evidence-based policy: the promise of ‘realist synthesis’”. En: Evaluation vol. 8, núm. 3, págs 340-358.

120

ligia de salazaR

Pawson, R. (2003). “Nothing as practical as a good theory”. En: Evaluation, vol. 9, núm 4, págs 471-490.

Pawson, R. (2004, agosto). Realist synthesis: an introduction submitted to the ESRC research methods programme. Working Paper Series.

Potvoin, L. (2007, 11 de julio). “Evidence in public health and health pro-motion: a debate; a response under construction; a key aspect in the research agenda” [conferencia], Seminario taller internacional de evaluación de efectividad en salud pública. Un enfoque desde los determinantes sociales y la promoción de la salud. Cali, Colombia.

Stake, R. (1975). “To evaluate an arts program”. En: Stake, R. (edit.) Evalua-ting the arts in education: A responsive approach. Colombus, Ohio. Merrill, págs 13–31.

Stake, R. y Abma, T. (2005). “Responsive evaluation”. En: Mathison, S. (Edit.), Encyclopedia of evaluation, Thousand Oaks: Sage, págs 376–379.

Smutylo, T. (2001). “Impacto latente, atribución oculta: Cómo superar las amenazas al aprendizaje en los programas de desarrollo”. Unidad de evaluación, centro internacional de investigaciones para el de-sarrollo, IDRC, Ottawa, Canadá.

Susser, M. (2001) “Glossary: Causality in public health science”. En: Journal of epidemiology and community healt,. vol.55, págs 376-378.

Taylor, A., Campostrini, S., Gill, T., Carter, P., Dal Grande, E. y Herriot, M. (2010, agosto). “The use of chronic disease risk factor surveillance systems for evidence-based decision-making: physical activity and nutrition as examples”. En: Int J Public health, vol. 55, núm. 4, págs 243-9.

Valente, T. (2002). Evaluating Health Promotion Programs, Keck School of Medicine University of Southern California. Boolmberg Hopkings University, Oxford University Press Inc.

Waters, E.; Doyle, J.; Jackson, N. et al. (2006, abril). “Evaluating the effec-“Evaluating the effec-tiveness of public health interventions: the role and activities of the Cochrane collaboration”. En: Jech.bmjjournals.co

121


PRESENTACIÓN

Este capítulo brinda elementos para identificar y reflexionar sobre los alcances, posibilidades y estrategias que ofrece la comunicación para forta-lecer los procesos de toma de decisiones a través de la persuasión, el empoderamiento y la toma de decisiones

Se sugieren algunas estrategias y metodologías estándar, que podrían ayudar a desarrollar una orga-nizada y efectiva labor comunicativa; sin embargo, se recomienda al evaluador tener flexibilidad para adaptarlas a cada situación particular.

Comunicación, puente entre la evaluación, la política y la prácticaIV.

122

ligia de salazaR

123


INTRODUCCIÓN

La comunicación en salud pública tiene el doble papel de informar

y persuadir. Aunque estas dos intenciones están íntimamente interrela-

cionadas hay diferencias en la forma y los mecanismos utilizados para

conseguir el objetivo.

Es frecuente que quienes comunican resultados de la investigación,

en este caso de evaluaciones, lo hagan como respuesta a la demandas

de agencias financiadoras, o a su propio interés, como es el caso de los

informes y artículos científicos para dar cuenta de los hallazgos y avances

de la investigación. En los casos anteriores se comunica pero hay dos as-

pectos adicionales para poder cumplir el objetivo de persuadir: el primero

es que los resultados incluyan al público en general y segundo, que se

amplíe el contenido y la forma (medios) para comunicar los resultados

de la evaluación, de tal forma que podamos tener una influencia real en

las decisiones que de ella se deriven.

Nelson y colaboradores hacen la distinción entre datos e infor-

mación. Los datos en salud pública se refieren a cifras, porcentajes,

tasas y poblacionales. La información hace alusión a datos y cifras

interpretados con el conocimiento científico. En esta publicación

124

ligia de salazaR

comprendemos que el dato se convierte en información cuando la interpretación de las cifras se realiza según las características socia-les, económicas, culturales y políticas en donde estas fueron produ-cidas, en otras palabras, contextualizando los hechos. Igualmente, la contextualización incluye el análisis de coyunturas específicas relacionadas con el uso que se quiera dar a la información.

Continuamente hay que informar, educar, persuadir y empoderar al público sobre aspectos relacionados con la salud, cuya intencionalidad gira en torno a su mejoramiento. Se requiere concienciar de esta inten-cionalidad, del alcance y del principal propósito de la comunicación para así reconocer los escenarios y coyunturas que tienen lugar, y definir las técnicas y mecanismos apropiados para acercar los resultados de la evaluación a la toma de decisiones y la acción.

Frente al proceso de formulación de políticas y toma de decisio-nes, la evaluación debe reflejar las expectativas e interrogantes de los usuarios potenciales de la información: los formuladores de políticas, el público, los proveedores de servicios, los académicos, los gerentes y los administradores. Debe trascender la presentación del informe y la publicación de resultados para convertirse en insumo primario de las dinámicas de reflexión de la evaluación.

Un desafío por resolver es contemporizar los tiempos políticos con los de la evaluación sin afectar la calidad de la investigación evaluati-va. Así, lejos de reducir la comunicación a la diseminación, entrega y eventual publicación del informe final, se debe considerar la comuni-cación como una actividad que debe ser planificada desde el principio de la evaluación y producirse en diferentes momentos del proceso y no sólo al final, lo cual demanda la utilización de diversas estrategias y medios (Tiana, 1997).

La expectativa es que la evaluación proporcione información, evidencias y recomendaciones que sirvan para resolver un problema o, al menos, para disminuir la incertidumbre sobre la mejor opción

125


a la luz de ciertos criterios relacionados con los beneficios y el cum-plimiento de principios éticos. Los tomadores de decisiones tienen una orientación práctica y valorarán los resultados de la evaluación en la medida que éstos sean instrumento para ayudar a resolver dicha incertidumbre. Es igualmente necesario darle énfasis a procesos de la comunicación de resultados y generación de dinámicas participativas que recojan la opinión del público, los decisores, los proveedores y los administradores, de tal forma que se aumente la probabilidad de adopción de las recomendaciones y éxito en su aplicación.

La comunicación efectiva de los resultados de la evaluación no re-quiere que se utilicen todas las oportunidades y canales. Por el contrario, necesita que se seleccione o se creen estratégicamente las oportunidades y canales apropiados en las circunstancias apropiadas. En el empeño de vincular la evaluación a la política, el diseño de estrategias.cultu-ralmente idóneas de comunicación no garantiza que se tomen mejores decisiones, pero sí maximiza la probabilidad del uso de los resultados en los procesos decisorios.

Se deben considerar recomendaciones generales, pero también atender al hecho de que la mejor comu-nicación se obtiene al aplicar una receta. La tarea de

cada evaluador es proveer la mejor, la más oportuna y la más relevante información posible sobre el programa evaluado; para esto, se debe identificar quiénes son los interesados y los usuarios de su información, adaptar

las estrategias de comunicación al contexto y principal-mente al mensaje que se quiere enviar, las caracterís-

ticas de los beneficiarios y el objetivo que se pretende alcanzar al comunicar.

1. Fundamentación

Hechos

• En salud pública la comunicación tiene un alcance mayor al que tradicionalmente se le ha dado, pasa de ser sólo instrumental para hacer parte de una estrategia y de un proceso de cambio; de allí

126

ligia de salazaR

que el papel de la comunicación debe ser coherente con ello. En otras palabras, las estrategias y los medios de comunicación están estrechamente ligados y son influenciados por la intencionalidad al comunicar.

• El debate sobre la utilidad de la investigación en los procesos de formulación de política continúa hoy, en un contexto en el cual muchos investigadores y evaluadores piensan que su papel termi-na cuando el conocimiento se produce, y muchos tomadores de decisiones enfatizan en que los investigadores nunca contestan sus preguntas. Ante esto, se requiere identificar qué tipo de arreglos más constructivos pueden hacerse entre ambos actores. De hecho, la relación entre conocimiento y acción es, en sí misma, un problema de investigación (De Pouvourville, 1999).

• Hay una evidente necesidad de conocer mejor a los diversos acto-res involucrados en la toma de decisiones, así como las fuentes de información que más utilizan, sus motivaciones para tomar deci-siones y sus interlocutores, competidores y aliados. Así mismo, los evaluadores deben desarrollar habilidades políticas y de comunica-ción, además de sus capacidades científicas, lo cual no contradice la exigencia de estructuras y mecanismos más formalizados para cumplir estas funciones.

• Se reconoce que en procesos de comunicación de la evaluación la información no es asimilada, entre otras razones, por la gran cantidad de informes e información que los decisores deben leer y generalmente se les provee de conocimiento generado por un solo tipo de enfoque metodológico, aquel que provee cifras precisas (investigación positivista).

• Sin embargo, observamos en la práctica que muchas veces el pro-ceso de toma de decisiones y de formulación o gestión de políticas poco o nada tiene en cuenta las evidencias. De igual manera, en caso de que existan estas evidencias, su difusión está limitada a

127


publicaciones e informes dirigidos a la comunidad académica, que escasamente toma partido en la formulación de las políticas y en su implementación (De Salazar, 2000).

• Se tiende a estandarizar las soluciones-recomendaciones al considerar que arrojan resultados iguales en todos los contextos, sin considerar el ambiente político o la apertura al cambio de las instituciones, a sabiendas que el contexto político e institucional es el aspecto más crítico para lograr la articulación de la infor-mación con la política y finalmente con la acción.

• Los procesos de comunicación deben ser planeados estraté-gicamente para que sean efectivos. La mera diseminación no ha demostrado eficacia en la adopción y aplicación de nuevos resultados de investigación, al tiempo que la recepción del co-nocimiento no implica su “uso”. Los procesos de comunicación deben tener en cuenta el público al cual se quieren dirigir, los mensajes que manejarán, deben considerar las características, los intereses y las expectativas de los interlocutores –emisores y receptores– e identificar el canal de transmisión más indicado para obtener resultados efectivos.

• Generalmente hay una sobrevaloración de las publicaciones científicas como el único medio para transferir el conocimiento, y de las tecnologías como los únicos medios de comunicación. Es indispensable desarrollar permanentes estrategias que permitan indagar y conocer los procesos decisorios y sus motivaciones, de tal manera que las estrategias que se diseñen para comunicar los resultados, en este caso de la evaluación, respondan a dichas motivaciones y expectativas.

• Se debe considerar la relevancia de la fuente de información. Aunque la comunicación es un proceso interactivo en el que cada uno de sus componentes influye en los demás, la fiabilidad de la fuente es una de las condiciones imprescindibles para que las

128

ligia de salazaR

estrategias sean efectivas; entonces, es necesario que el receptor reconozca como experto al emisor.

Debate

• La información y la toma de decisiones políticas no son procesos lineales. Durante las últimas dos décadas se han realizado grandes esfuerzos para aproximar la investigación y las políticas, pero muchos han fracasado por basarse en expectativas no realistas y por la incomprensión del proceso de definición de políticas, sujeto a múltiples fuerzas. El proceso de toma de decisiones poco o nada tiene en cuenta las evidencias científicas fruto de la inves-tigación o la evaluación. De igual manera, en caso que existan estas evidencias, su difusión se limita a las publicaciones y a los informes dirigidos a la comunidad académica, que escasamente participa en la formulación de las políticas y su implementación. Por tanto, aún están sin responder interrogantes sobre ¿cómo volver más productivas y relevantes las interacciones entre los investigadores y los formuladores de las políticas para respon-der a los problemas de la sociedad?; ¿por qué algunas ideas que circulan en las redes de investigación y algunas políticas son recogidas y se actúa con base en ellas, mientras que otras son ignoradas y por eso desaparecen?

• Cambiar un comportamiento relacionado con la salud o tomar una determinada decisión no se consigue con una campaña o mediante una estrategia de comunicación. De la misma manera, el disponer de la información adecuada, o desarrollar una estra-tegia integral de comunicación no garantiza que se logre llegar al plano de la actuación ni que se tomen decisiones en política. El proceso de decisiones es mucho más complejo y está atravesado por otra serie de fenómenos que lo determinan, que van más allá de los alcances de las estrategias de comunicación. Una vez que la decisión técnica entra en el terreno de la decisión política, ingresa a un contexto interactivo donde operan múltiples racio-

129


nalidades, que responden a distintos grupos de interés, cada uno

tiene información parcial, y actúa en un medio incierto.

Desarrollos

La comunicación efectiva de los resultados de la evaluación no

requiere que se utilicen todas las oportunidades y todos los canales.

Por el contrario, necesita de una selección o creación estratégica de

oportunidades y de canales apropiados, en las circunstancias apropia-

das. En el empeño de vincular la evaluación a la política, el diseño de

estrategias de comunicación culturalmente apropiadas no garantiza que

se tomen mejores decisiones, pero maximiza la probabilidad del uso de

los resultados en los procesos decisorios.

La producción científica y el uso de la evidencia incrementan la

probabilidad de contar con mejores y más acertados procesos de formu-

lación y de reorientación de las políticas, al tiempo que permite elaborar

políticas más racionales, acordes con los actuales requerimientos del

gasto y el logro de la rentabilidad social. Pero esta probabilidad mantiene

su curso cuando entran en interacción todos los actores involucrados

en la formulación e implementación de las políticas: los políticos, que

toman las decisiones y cumplen con la función derivada de su poder; los

investigadores o científicos, que supuestamente proveen información

relevante y válida; y la comunidad, que además de ser también respon-

sable de proveer información clave, recibe el impacto de una buena o

una mala decisión, y simultáneamente debe estar preparada y ejercer

presión a favor o en contra de las políticas que se estén debatiendo.

Contar con información exacta no siempre es el interés de quienes

toman las decisiones. Muchas veces son más importantes las estima-

ciones que los ayuden a entender si el problema es pequeño o grande, si

empeora o mejora, en cuánto tiempo tendrá que resolverse y qué puede

hacerse al respecto. Estas aproximaciones tienen mayor probabilidad

de ser consideradas, pues se cuenta con que en las decisiones entran

en juego, además de los insumos técnicos, las diversas circunstancias

130

ligia de salazaR

y oportunidades, la influencia de los grupos de presión y algunas limi-taciones psicosociales –o “momentos de debilidad”-. (White, 1998).

Se ha identificado que los formuladores de políticas actúan y res-ponden a nuevas ideas según su educación, sus actitudes, sus ideas prevalentes, su disponibilidad de tiempo, su personalidad y poder (po-sición, autonomía, acceso a formulación de política); sus intereses, ya sean individuales (valores-preferencias) u organizacionales (incentivos institucionales, responsabilidad, consenso); sus normas individuales (socialmente construidas); su sistema de valores y creencias; y su his-toria y dependencia.

2. comunicación de la evaluación, PolíticaS y toma de deciSioneS

Según Fagen (1969), toda la realidad y la coherencia que los acon-tecimientos tienen para nosotros se debe, en parte, a la manera en que fueron comunicados. Este planteamiento es reafirmado por Sánchez (2005), quien dice que la “legitimidad y la eficiencia de las decisiones y acciones políticas, hoy en día, depende en mucho de estrategias co-municativas y de los insumos suficientes y eficientes de información”.

Si en tiempos no muy lejanos la política era una cuestión de unos pocos y se decidía en habitaciones y pasillos de palacios a los que la po-blación no tenía ningún acceso, hoy la conversación y la comunicación de los asuntos públicos, especialmente de políticas públicas, implica a toda la sociedad, que es espectadora pero también agente, receptora y emisora de mensajes y periódicamente instancia decisoria.

Estudios han mostrado que uno de los aspectos fundamentales que mayoritaria y consistentemente han explicado el fracaso de diversas ini-ciativas políticas y de desarrollo es, entre otros, la falta de información; el instrumentar decisiones sin explicar a la población afectada lo que se hace; la falta de comunicación entre el gobierno y la ciudadanía y la exclusión de la población de los procesos de formulación de políticas y programas y de la toma de decisiones (Rota, 2000).

131


Así, para adentrarnos en los conceptos y métodos que nos per-

mitan tender el puente entre la evaluación, las políticas y la práctica

debemos empezar por reconocer que la comunicación, más allá del

uso de los medios, las técnicas y las tecnologías y de ser la invitada

de última hora, está articulada estructuralmente al proceso de gestión

de políticas. De hecho, la gestión de políticas públicas es vista como

un proceso eminentemente comunicativo, en la medida en que éstas

se constituyen en expresiones de la construcción colectiva de senti-

dos, intereses y significados. La importancia de la comunicación en

la política se nutre de los flujos informativos al proceso de toma de

decisiones, y desde el entorno social. Los gobernados exigen cada

vez más ser informados de procesos y sus resultados, pero también

exigen ser escuchados cuando de definir los problemas, los temas y

las prioridades se trata (Sánchez, 2005).

La comunicación impregna la actividad política pública, hasta el punto

de que un fracaso en la comunicación de un proyecto político acarrea

el fracaso del proyecto mismo; incluso, para algunos autores, se pueden

describir muchos aspectos de la vida política como procesos o tipos de

comunicación (Fagen, 1969). Sin embargo, como escribe Deutsch (1985),

muchas clases de transacciones políticamente relevantes no pueden abor-

darse desde la comunicación. Pero ese aspecto de la política que guarda

relación con los procesos de comunicación. Supone un aspecto estratégico

de la política, porque incluye las áreas de la atención, la percepción, la

orientación, los valores, la evaluación, la búsqueda de metas y la toma de

decisiones. Es sabido que todo proceso que implica decisiones colectivas

se enfrenta al problema de la comunicación y del diálogo con la ciudadanía

y con los demás actores de una sociedad.

En nuestro tiempo, la comunicación es considerada fundamental en

los procesos de decisiones políticas y se ha puesto en primer plano de

la atención el problema de la información, de los valores, de los sím-

bolos, y su influencia en los receptores de los mensajes de los medios

de comunicación social. La información ha dejado de ser un elemento

132

ligia de salazaR

La opinión pública es en-tendida como la interac-ción entre los puntos de vista del individuo y los que él atribuye a su entorno.(Noëlle Neuman, 1995)

más en la sociedad para que su generación, su procesamiento y su transmisión se convierta en fuentes fundamentales de la productividad y del poder (Castells, 1999).

Las agendas de los organismos políticos y de los medios de comuni-cación develan la distribución de una forma de poder. Este poder -control de la agenda- se traduce en la capacidad para asignar relevancia a un problema social, atribuirle prioridad y fijar sus posibles soluciones, descartando otras alternativas (Sampedro Blanco, 1996).

Por su parte, las políticas públicas –un conjunto conformado por uno o varios objetivos colectivos considerados necesarios– se pueden definir como los medios a través de los cuales se expresa la acción del Estado hacia la sociedad; son el “Estado en acción”. La política pública se entiende, así, como un conjunto de objetivos, decisiones y acciones que lleva a cabo un gobierno para solucionar los problemas que, en un momento determinado, los ciudadanos o el propio gobierno consideran prioritarios. Eso significa que no es posible pensar una política pública ajena de la capacidad de intervención y participación de los diversos actores sociales, en su gestión (Figueroa, 2006).

Un concepto con el que se define el ámbito conceptual y operativo de las políticas públicas tiene que ver con los “flujos de decisión”. De esta manera, la política pública es el flujo de decisión en torno a un

problema que ha sido considerado público, que ha ingresado en la agenda del Estado y que debe ser enfrentado de acuerdo con las competencias constitucionales y legales de los gobiernos (Cuervo, 2007).

Según el significado que les atribuye Ma-jone (1997), las políticas son instrumentos de

construcción de opinión pública y de diálogo democrático; por tanto, son también una actividad de comunicación pública y no sólo una deci-sión orientada a la ejecución de acciones para el cumplimiento de unos

133


objetivos. Majone incorpora, además de la intencionalidad estratégica, otra de tipo comunicativo, que es fundamental para la construcción de un clima democrático de discusión, que facilite la articulación del Estado con los ciudadanos.

El término agenda se utiliza para indicar “el conjunto de problemas percibidos que necesi-tan un debate público” (Pardioleau, 1982). Por agenda se conoce el espacio en el que diferentes cuestiones o temas apelan a la acción pública. De manera que el paso por la agenda se convierte en requisito para el desarrollo de políticas, especialmente en países democráticos. En una deter-minada sociedad hay muchas agendas, tantas como grupos de interés, afinidad o presión, que pretenden poner ítems de su agenda en agendas más poderosas como la agenda mediática y la gubernamental. El espacio mediático pretende ser, y probablemente es, una representación de la agenda social; es decir, el conjunto de temas que en un determinado momento mueven a la sociedad a actuar. Los medios de comunicación se comportan como porteros que pueden o no dejar pasar un tema al espacio mediático.

La agenda gubernamental se ve influida, como todas las agendas en una sociedad, por la agenda mediática; aunque no existe una relación inmediata y exacta. Hay políticas que desarrolla un gobierno sobre temas que nunca han estado en la agenda mediática, y viceversa: temas que están reiteradamente en la agenda mediática sin conseguir entrar en la agenda gubernamental.

El concepto de agenda es una de las bases del trabajo en salud pública y promoción de la salud. Conseguir poner la salud en el espacio mediático es el objetivo de las actividades en defensa de la salud, y la influencia en las agendas gubernamentales es la base para la mediación en el desarrollo de políticas públicas saludables. Igualmente, se podrían caracterizar dos fases o funciones de la defensa de la salud: una consistiría en llamar la atención sobre el problema y la otra, en llamar la atención sobre una determinada respuesta al problema.

Álvarez-Dardet (s.f)

El concepto de agenda

Hay todavía grandes desafíos para lograr la articulación entre la investigación y la formulación de políticas en salud, y para tender puentes efectivos que cumplan con este propósito. Son tantas las razo-nes para creer que la relación entre evaluación y política es un desafío, que nos vemos obligados a adentrarnos en un análisis de la relación misma con el fin de entender sus posibilidades y perspectivas. En este análisis se evidencia la necesidad de conocer mejor a los diversos ac-tores involucrados en la toma de decisiones, así como sus fuentes de información, sus motivaciones para tomar dichas decisiones y tanto

134

ligia de salazaR

sus interlocutores como sus competidores y aliados. Así mismo, el

evaluador debe desarrollar habilidades políticas y de comunicación

además de sus capacidades investigativas, lo que no contradice la ne-

cesidad de estructuras y mecanismos más formalizados para cumplir

estas funciones (Segura B, 2000).

No es equivocado señalar que, en muchas ocasiones, la base de las

decisiones en la salud y de la acción política es una información in-

completa; y por ello, la decisión de actuar se torna en una situación de

relativa incertidumbre. A lo anterior se suma que la realidad va también

más rápido que el conocimiento.

La urgencia con la que hay que tomar determinadas decisiones tiene,

por ende, el riesgo del error y sus consecuencias, que recaen sobre quien

las adoptó, pero también sobre la sociedad que recibe los beneficios

o las consecuencias. Demorarse en adoptar una decisión no es menos

arriesgado que tomarla con urgencia. Así, quienes toman las decisiones,

otros actores e inclusive los medios de comunicación, están llamados a

comparar el costo del error con el costo de la demora, y decidir siempre

en situaciones de relativa incertidumbre (Del Rey Morató, 1998).

Algunos autores afirman que los tomadores de decisión y los in-

vestigadores viven en distintas esferas de referencia (De Pouvourville,

1999). La diferencia más notoria parece estar en sus concepciones sobre

incertidumbre y riesgo. De Pouvourville hace la distinción entre incer-

tidumbre radical –como sinónimo de ignorancia- y riesgo –en el cual es

posible construir probabilidades- y plantea que para el investigador la

ignorancia significa la necesidad de más investigación, pero que para

el tomador de decisión esto no necesariamente significa esperar para

tomar una decisión. Los tomadores de decisiones tienen una presión

adicional, tienen que anticiparse a la consecuencia de una decisión o de

una política dada, y establecer estrategias para convencer a las personas

de la necesidad de actuar.

135


Weiss (1986) planteó una serie de modelos con los que se explica la articulación entre investigación y políticas, que son adaptables a la si-tuación entre evaluación y toma de decisiones. Unos modelos establecen una relación unívoca y racional entre la investigación y las políticas; y otros, apuntan hacia una interacción más aleatoria de las conclusiones, la definición de los problemas y soluciones de las políticas. A conti-nuación, los puntos más importantes de estos modelos explicativos:

Modelo de solución de problemas y toma de decisiones: Sugiere una relación directa entre la investigación y la formulación de políticas. Supone que los responsables de la toma de decisiones tienen una visión clara del problema y un esquema de las soluciones alternativas, pero carecen de ciertos elementos factuales o de comprensión. Por lo general, en estos casos se requiere una investigación que responda al problema, y se supone que la investigación generada por esta modalidad influirá en las políticas. Frente a esto, Weiss (1986) señala que en algunos casos la investigación precede el problema, y los responsables de la toma de decisiones pueden buscar información en investigaciones ya existentes.

Modelo de búsqueda de conocimientos: Supone también una relación lógica entre la investigación y el uso de los resultados en las políticas; pero, a diferencia del anterior, no se orienta a resolver un problema es-pecífico, sino a develar alguna oportunidad que pueda ser aprovechada.

Estos dos modelos anteriores han sido objeto de crítica, porque se basan en los supuestos, aún no comprobados, de que el análisis es esen-cial en la definición de las políticas, y que estas políticas constituyen un proceso racional.

Modelo interactivo: Este tipo de aplicación plantea que los resultados de una investigación pueden penetrar en el terreno de las políticas como parte de una búsqueda interactiva de conocimientos. Los planificadores de políticas buscan información no sólo a través de los investigadores sino también de un conjunto de otros actores, como administradores, técnicos, políticos, planificadores, periodistas, clientes, grupos de

136

ligia de salazaR

interés, colaboradores y amigos. El modelo reconoce que se adoptan ciertas decisiones cuando las circunstancias políticas lo exigen, y no necesariamente cuando la investigación ha completado y tabulado sus resultados.

Modelo político: Este modelo sostiene que se puede usar la investi-gación como un arma política para recabar apoyo para una determinada posición política, para neutralizar a los opositores de esa posición o convencer a los indecisos. Sin embargo, hay perspectivas opuestas a este modelo, e incluso muchos investigadores se niegan a aplicar sus trabajos con fines de propaganda y autojustificación. Este tipo de aplicación hace bajar a la investigación de su pedestal y la lleva a la negociación política, donde se convierte en una fuente más de conocimientos.

Modelo táctico: Este modelo se refiere a aquellos casos en que los organismos de gobierno u otras instituciones utilizan la investigación como respuesta táctica para demostrar que se está realizando algo a propósito de un tema específico. La clave de este modelo de aplicación táctica y burocrática está en que se ordena hacer un estudio como res-puesta a la opinión pública, y no por los beneficios que podrían brindar las conclusiones de ese estudio.

Modelo de clarificación: Este tipo de aplicación puede contribuir a aumentar o disminuir el nivel de figuración de un problema en el pro-grama de las políticas públicas. Como tal, puede servir para convertir un problema existente en uno inexistente, lanzar al dominio público y político temas hasta entonces privados o silenciados o, bien sea, introducir un enfoque nuevo en la manera de pensar de la sociedad sobre determinados problemas.

De acuerdo con Auriat (sin fecha), ninguno de los modelos ofrece una respuesta satisfactoria a cómo proceden los responsables de la toma de decisiones para movilizar las conclusiones de las investigaciones y utilizarlas en su proceso de formulación de las políticas. Sin embargo, la comprensión de las diversas perspectivas sobre este tema contribuye

137


a acabar con el mito de que la investigación tendría un importante im-pacto en las políticas si los responsables de dichas políticas prestaran una mayor atención a los resultados de la investigación.

3. uSo de loS reSultadoS en la toma de deciSioneS

La comunicación es un eslabón fundamental de la cadena que re-laciona las decisiones individuales con la acción y la política pública. Las conexiones que los individuos son capaces de establecer entre sus problemas o experiencias políticas personales y el contexto político general dependen de numerosas variables, entre las cuales los medios de comunicación parecen jugar un papel decisivo.

El evaluador tiene la responsabilidad de crear e implementar es-trategias de información, comunicación y abogacía que alcancen las diferentes audiencias comprometidas con el futuro de su intervención o acción. Si en el proceso de evaluación se ha logrado involucrar al tomador de decisiones desde la definición de la pregunta, y en general desde el inicio de la evaluación, probablemente éste comprenderá me-jor los resultados y acogerá con mayor facilidad las recomendaciones.

Es importante recordar que los decisores o responsables de la elaboración de las políticas o los programas se enfrentan no sólo a la dificultad de tratar que sus decisiones se apoyen en la opinión pública o sobre criterios racionales sino también a las presiones que provienen del sistema político, normales en las distintas sociedades.

En cualquier caso, hay que tener en cuenta, como principio básico, que seleccionar estrategias apropiadas y elaborar información, para responder a las características de las audiencias, puede mejorar los esfuerzos de comunicación de la evaluación y su paso a la acción y la política en forma significativa (Trostle, Bronfman y Langer; 1999).

Un principio fundamental de la comunicación en la evaluación es tomar en cuenta los usos que los decisores harán de los resultados de la evaluación. Los procesos de comunicación deben ayudar a los decisores

138

ligia de salazaR

y hacedores de política a identificar en el concepto y la práctica en qué consiste una determinada solución, y si la solución o alternativa que se plantea corresponde con un sentido general de bienestar. Es innegable que la solución para un grupo puede suponer un problema para otro. En suma, se trata de una identificación de los valores que están de por medio en la elección, y éste es el desafío al que se enfrenta aquí la comunicación.

Weiss (1984) señaló algunos aspectos para aumentar la probabilidad de utilización de los resultados de estudios, sobre todo los evaluativos:• Desarrollar la evaluación teniendo en cuenta los intereses de los usuarios de la infor-

mación y si es posible, contar con su participación.• El evaluador debe estar cerca de los escenarios y de los hechos.• Concentrar el objeto de la evaluación en situaciones que puedan ser cambiadas.• Producir informes claramente escritos y que sean oportunos.• Formular recomendaciones según el contexto y el análisis conjunto para lograr un

consenso.• Diseminar los resultados a través de un resumen corto, bien escrito, dirigido a todos

los que tengan relación con la política o la intervención.• Incorporar los resultados de los estudios evaluativos en un contexto más amplio que

considere otros estudios.• Realizar una evaluación de buena calidad.

¿Cómo aumentar la probabilidad de utilización de la información?

4. algunaS limitanteS a tener en cuenta

Sabemos que distintos esfuerzos para aproximar la evaluación a la

toma de decisiones y la acción a la política no han sido exitosos por

basarse en expectativas poco realistas en varios sentidos: muchos eva-

luadores esperan que otros descubran usos de sus resultados o esperan

que la publicación de estos resultados sea suficiente para ponerlos en

práctica.

Muchos tomadores de decisión desean resultados inequívocos,

positivos o inmediatos, y no aceptan estimativas de probabilidades o

139


resultados poco halagadores para sus intervenciones cuando requieren predicciones rápidas para direccionar sus decisiones. Por otro lado, se debe tener en cuenta que quienes han buscado estudiar el impacto de las evaluaciones en la definición de políticas trataron de hacerlo en un tiempo poco realista (Pellegrini, 1998).

De otra parte, también se observa que las evaluaciones que arrojan conclusiones potencialmente importantes son comunicadas o transmi-tidas en un lenguaje técnico, poco comprensible para quienes están en el campo político y de las decisiones, que generalmente no tienen una formación en investigación ni el manejo del lenguaje técnico.

Así mismo, los resultados tampoco llegan al nivel formativo de quienes recibirán el impacto de una buena o una mala decisión, y cuando llegan, generalmente, el lenguaje o la forma de presentar los resultados se convierte en una barrera para su comprensión. Lo ante-rior, de hecho, limita la participación en las decisiones de uno de los actores de mayor rele-vancia en la construcción de políticas públicas en sociedades democráticas: la comunidad.

Hay otro gran obstáculo para los planifi-cadores de políticas en promoción de la sa-lud para usar los resultados de la evaluación: la premura del tiempo. Los responsables de la toma de decisiones necesitan resultados con rapidez, debido, en parte, a la intensa presión pública a la que están sometidos. Muy a menudo sucede que cuando los re-sultados “exactos” han pasado por todo un proceso exhaustivo de revisión por pares, al momento de utilizarlos ya se ha perdido la oportunidad y pierden su relevancia en la toma de decisiones (White, 1998).

Los tomadores de decisio-nes son todos aquellos que pueden decidir acerca del proyecto o la intervención. Existen diversos niveles, dependiendo de la decisión a tomar. Hay personas con responsabilidad para decidir sobre los aspectos técnicos del proyecto, sobre la aplicación de las reco-mendaciones en su vida cotidiana; y otros, sobre lo político, en términos de enfoque, asignación de recursos y continuación, extensión a otras áreas y poblaciones, o finalización del mismo.

140

ligia de salazaR

También es una limitante importante en nuestros países la falta de recursos y la escasa o nula voluntad política para asignarlos a la investigación aplicada en salud y a validar estrategias que conlleven una articulación más productiva entre conocimiento y política.

Otros aspectos resaltados por Weiss (1984), como limitantes para que los resultados de la evaluación sean considerados en la toma de decisiones son:

• Los formuladores de políticas tienen dificultad para identificar tempranamente sus necesidades de información.

• La tendencia a ver los problemas en términos de conceptos y métodos, con los cuales los académicos están familiarizados, reduce su capacidad para formular preguntas alternativas de mayor receptividad.

• La mayoría de los resultados de las investigaciones evaluativas son ambiguos o brindan conclusiones inconsistentes.

• Los resultados de un solo estudio son de dudosa extrapolación a otras situaciones o en el futuro.

• Las limitaciones en recursos son una barrera para la imple-mentación de los resultados, especialmente los que implican reestructuraciones fundamentales.

5. identiFicación de loS deciSoreS y SuS intereSeS de inFormación

Con el fin de que el evaluador tenga insumos para orientar los obje-tivos de comunicación y así seleccionar una estrategia efectiva deberá identificar los intereses de los usuarios principales de la evaluación y las preferencias de comunicación. Como las variadas audiencias tendrán también expectativas distintas y requerirán probablemente información diferente sobre la intervención evaluada (Rossi y Freeman, 1993), el evaluador deberá conocerlas ampliamente, con el fin de ser más espe-

141


cífico y certero en la selección tanto de la estrategia de comunicación como de la información que se le entregará a cada una de ellas.

El evaluador debe tener en cuenta los siguientes aspectos para la identificación de los decisores o de los públicos involucrados y faci-litar su análisis en la evaluación:

• Un inventario de involucrados o interesados en la evaluación: El evaluador deberá hacer un listado con las personas e instituciones involucradas, voluntaria o involuntariamente, tanto con la inter-vención o el problema que aborda dicha intervención, como con las posibles soluciones y su control. Debe ser sistemático en su relación. Es aconsejable que comience por identificar los actores afectados por el problema; debe proseguir con aquellos involu-crados en la fase de formulación de las propuestas de solución; y en la financiación de los recursos requeridos, la aprobación o legitimación de posibles propuestas de política, la ejecución o la implementación de las medidas, la utilización de los beneficios obtenidos y la evaluación.

• Un interés particular en tomar una decisión o llevar a cabo una acción relacionada con la intervención o el problema que aborda. El evaluador debe identificar el posible interés que el actor ana-lizado o el involucrado pueda tener en la situación o el problema identificado y caracterizarlo. Debe tener presente que no todos los actores explicitan sus intereses en el problema ni en sus po-sibilidades de solución. Ignorar este hecho puede significar un riesgo importante de resistencia y fracaso cuando se divulgen y se extiendan los resultados de la evaluación. Por el contrario, la confluencia de intereses puede ser uno de los factores que garantice el éxito en el uso de los resultados de la evaluación.

Lo anterior implica no sólo saber quiénes son los grupos de involu-crados o los públicos potenciales de la evaluación, qué intereses tienen en ella y en qué lugar se ubican dentro de la toma de decisiones, sino

142

ligia de salazaR

saber qué información necesitan y cuál es la mejor forma de comuni-cárselas. En la siguiente tabla se han ubicado las preguntas de mayor importancia para esta tarea; el evaluador puede agregar otras:

PREGUNTAS RESPUESTAS REQUERIDAS ¿Quién necesita la infor-mación?

Lista de tomadores de decisiones y otras audiencias a quienes se orientará su estrategia de comunicación. Posicionamiento frente a la intervención evaluada y a las decisiones que de ella resulten.

¿Qué necesita saber? Tipo de información. Proceso, resultados, impacto, eficiencia, efica-cia, efectividad, costos de tecnologías e intervenciones, beneficios.

¿Cómo requiere saberlo? Tipos de medios. Formatos: escritos, visuales, audiovisuales, inte-ractivos, orales (presentaciones, reuniones, etcétera).

¿Por qué necesita sa-berlo?

Posicionamiento frente a la intervención. Intereses y expectativas, conflictos.

¿Para qué necesita sa-berlo?

Decisiones que requiere tomar. Quiere empezar, mejorar o terminar un programa. Necesita orientar/persuadir una acción. Conocer beneficios. Ejercer abogacía y opinión pública.

¿Cuándo necesita sa-berlo?

Oportunidad de la información. Período de inicio, medio o fina-lización de un programa. Finalización de un periodo de gobierno o dirección.

• Una fase en la cual el actor o el grupo de interés puede actuar o intervenir. El evaluador identificará para cada actor o grupo de interés las diferentes acciones, decisiones, fases o momentos que considere que puede y debe intervenir en el proceso de arti-culación evaluación-política; por ejemplo, podría hacerlo en la fase de formulación del problema, posicionamiento del problema o del tema en la agenda pública, formulación de la política; de legitimación o aprobación formal, financiación, ejecución o en la evaluación de la misma.

• Una actitud potencial frente a la acción o la decisión. Con base en la información disponible es preciso formular hipótesis, y valorar cualitativamente la actitud de cada actor social como: muy desfavorable, desfavorable, indiferente, favorable o muy favorable, frente a las recomendaciones o resultados obtenidos y con respecto a la intervención en promoción de la salud evaluada.

143


6. deFinición de loS objetivoS de comunicación

Los objetivos de comunicación no deben confundirse con los ob-jetivos de evaluación, pero deben desprenderse de su propósito y res-ponder a las necesidades o intereses potenciales de quienes, de una u otra manera, estén relacionados o se vean afectados por los resultados de la evaluación y de los posibles usos que los tomadores de decisión, incluyendo las comunidades, puedan dar a dicha evaluación.

De acuerdo con la Comisión Europea (2003), una comunicación efec-tiva de la evaluación puede conducir a otros usos y beneficios adicionales:

• Lograr el interés de gobiernos nacionales, autoridades regionales y locales y otros públicos en las intervenciones, así como de fuentes de financiación alternativas, que apoyen la ampliación o extensión de intervenciones exitosas.

• Hacer visible la labor de las organizaciones o de las instituciones participantes, e incluso la del grupo evaluador, en la intervención local, nacional e internacional.

• Promover el uso de los resultados de la evaluación en los dife-rentes organismos y los tomadores de decisión.

• Fomentar buenas prácticas en la promoción de la salud, que sean el resultado de evaluaciones serias de la efectividad.

7. Selección de la eStrategia de comunicación

Una selección adecuada de la estrategia determina el éxito de la co-municación. La estrategia incluye la escogencia de medios, productos o canales de comunicación y la elaboración de la información en productos de comunicación con sentido y utilidad para los públicos identificados.

Se debe reconocer que el ambiente para comunicar asuntos de salud e incidir en políticas ha cambiado significativamente. Esta comunica-

144

ligia de salazaR

ción puede darse en una variedad de contextos, usando diversos canales a través de múltiples mensajes, y por muchas razones. Los cambios también incluyen aumentos considerables en el número de canales de comunicación, de asuntos de interés en salud y de políticas que riva-lizan por la atención del público, al tiempo que las comunidades y los diferentes grupos exigen más información, de mejor calidad y, por lo tanto, mejores y sofisticadas técnicas de mercadeo. En estos contex-tos, las personas no pueden prestar atención a toda la información que reciben, sino que lo hacen selectivamente.

Es recomendable ser creativo y desarrollar una estrategia multimedios –mix-communi-cation-, teniendo en cuenta que los decisores y otras audiencias requieren información va-riada, que se entregue de diferentes formas y en distintos momentos. Igualmente, el evalua-dor preparará su estrategia de comunicación teniendo en cuenta los niveles y los tipos de decisiones que se deberán tomar –decisiones operativas, políticas, o económicas, entre otras–.Esto implica considerar, también, los momentos apropiados para la comunicación y su frecuencia o periodicidad.

También es necesario hacer abordajes multiestratégicos, que involucren diferentes

medios y modos de comunicación, y que tengan en cuenta los intereses, las necesidades y el uso de la información por los diferentes grupos de interés y tomadores de decisiones, deben ser considerados claves. Com-plementar con actividades de comunicación interpersonal, estrategias de alfabetización en salud a grupos específicos y con enfoque combinado de cambio de comportamiento y cambio social, es también relevante.

Lo más recomendable es emplear estrategias de comunicación que puedan definirse por actores; es decir, diseñarlas de acuerdo con

Dado que el objetivo final de la evaluación es proveer insumos para la toma de decisiones, será útil que el evaluador lleve a cabo ac-tividades de comunicación dirigidas a tomadores de decisiones, con las fases preliminares de la eva-luación. Sin embargo, el mayor desafío será hacer que las recomendaciones que se hagan sean tenidas en cuenta.

145


los intereses y las motivaciones de los públicos potenciales, al igual

que las de incidencia. Estas últimas estrategias son el conjunto de

acciones concretas destinadas tanto a persuadir, convencer, como

a negociar con el público la implementación de una determinada

decisión o acción en política. Las dos primeras tienen más que ver

con las estrategias de publicidad y seducción. La negociación y el

diálogo son actividades propias de la comunicación social. En ese

sentido, algunos autores hablan de tres tipos de estrategias de in-

cidencia: de comunicación, de persuasión y de presión (Fundación

Chasquinet, 2004).

En el diseño de estrategias de comunicación de los resultados de

la evaluación es necesario tener en cuenta las audiencias, un rango de

actividades según sus características y los medios. Así mismo, se deben

tener en cuenta variables que pueden ser categorizadas en: fuentes de

información (origen y credibilidad); características de los receptores o

usuarios potenciales; canales para la diseminación de la información;

y manejo de la información misma, es decir, el mensaje y sus atribu-

tos, según el canal utilizado –por ejemplo, tono de voz, características

visuales, colores, discursos persuasivos, entre otros-.

Las estrategias de persuasión y de presión pueden dirigirse a los

actores que estén indecisos sobre el curso de una decisión o política,

o a quienes la han rechazado. Los mecanismos de movilización social

pueden ser utilizados, aunque deben ser abordados cuidadosamente, ya

que se requiere una base social sólida y fuerte para que los esfuerzos

no sean infructuosos o contraproducentes.

Selección de medios o canales apropiados

De acuerdo con las características de los tomadores de decisiones y

sus preferencias de información, el evaluador puede optar por una serie

de medios o canales que le permitirán que su mensaje llegue tal como

se quiere y como se ha planificado.

146

ligia de salazaR

Sin embargo, el evaluador debe tener en cuenta las diversas limi-taciones que pueden obstaculizar esta tarea, entre ellas, el que para muchos políticos y otros tomadores de decisiones no es común utilizar este tipo de información, y el solo envío de publicaciones y algunas presentaciones sin contexto puede resultar insuficiente para lograr el objetivo (Zandbergen y Petersen, 1995). Por tanto, deberá hacer una cuidadosa selección de los medios.

Las publicaciones que incluyen revisión de pares, sitios web espe-cializados y congresos o eventos científicos son a menudo los princi-pales medios de comunicación de los resultados de muchos estudios y evaluaciones (Comisión Europea, 2003). No obstante, hay que tener presente que su audiencia no es predominantemente científica y que se debe optar por la utilización de medios para públicos diferentes, especialmente políticos. De acuerdo con la información que obtuvo al identificar sus decisores y sus audiencias, así como sus intereses y preferencias, analice con su grupo los medios, canales o productos –escrito, visual, audiovisual, oral, interactivo, lúdico, informal– más pertinentes. Aunque podrán seleccionar los que consideren más apro-piados, para esta tarea le sugerimos:

• Planificar un producto de comunicación escrito, que sea breve, de rápida producción y distribución. Esto le ayudará a que la información llegue con mayor periodicidad a los tomadores de decisión, durante las diferentes fases del proceso de evaluación.

• Seleccionar un medio escrito para llegar con la información de los resultados de la evaluación a políticos y otros decisores. Un reporte de evaluación con información relevante o un informe ejecutivo conciso y preciso son buenas opciones. El evaluador debe convertir sus datos en información con sentido para los decisiores, y presentarlos creativamente (tablas resúmenes, tablas comparativas, infografías, etc).

147


• Concertar reuniones ejecutivas con los decisores en las que se presenten y expliquen los resultados y las recomendaciones fruto de investigación, con la ayuda de medios audiovisuales. Para esto, es preciso que elabore presentaciones visuales o audiovi-suales atractivas, de máximo quince minutos, para dar tiempo a preguntas y respuestas.

• Emplear otros medios interpersonales complementarios. La comunicación cara a cara con algunos decisores clave puede resultar una oportunidad inigualable. El grupo de evaluación debe seleccionar un vocero permanente, con habilidades para realizar este tipo de actividad. Para muchos tomadores de de-cisiones los contactos informales resultan más importantes que los intercambios de boletines y reuniones (Trostle, Bronfman y Langer; 1999).

• Identificar “emisarios” como medios alternos para reforzar los mensajes. Se deben considerar como emisarios al público en general, a un personaje con alta credibilidad, a personas que no constituyan amenaza política y a los medios masivos de co-municación, entre otros, que puedan ejercer abogacía (Comisión Europea, 2003). Si amerita, el evaluador puede crear opinión pública en torno a un resultado específico, una decisión deter-minada o una acción a seguir. También puede movilizar a las comunidades, de modo que sirvan como fuente de información y evidencia (Bates, 2004).

• Valorar el papel de los medios de comunicación, especialmente los llamados masivos, y su utilidad para hacer que el público ubique el tema entre sus prioridades y en las agendas de dis-cusión. La radio, la prensa y especialmente la televisión son medios contundentes para influir sobre grupos de interés en las esferas políticas y en las demás autoridades (Popham, 1993), y para “mantener en el foco” el tema que se necesite, gracias a la posibilidad de la repetición permanente de la información. El eva-

148

ligia de salazaR

luador debe tener en cuenta que los políticos son muy sensibles a estos medios y que la opinión pública puede ayudar a moldear su comportamiento. También, diversos estudios han coincidido en que alrededor del 60% del público en general, incluyendo los políticos, obtiene información y conocimiento especializado en periódicos, programas de televisión, radio, y cada vez se amplía también el papel de la Internet en la creación de conciencia y opinión pública (Comisión Europea, 2003).

A través del trabajo de los medios de comunicación se puede dirigir la atención pública hacia determinado problema o asun-to. La atención pública puede concebirse en dos puntos de vista diferentes: el del individuo expuesto a ella o ignorado por ella, y desde la perspectiva del acontecimiento colectivo, cuando cientos de miles o millones de personas observan su medio y hablan o se quedan callados, creando así la opinión pública.

Aunque la influencia real de los medios sobre la opinión es mucho más compleja y aún es motivo de discusión, lo que sí se puede esperar es que los medios ayuden a poner en el “foco” de la atención los asuntos o problemas. Ésta es la función de la agenda-setting de Luhmann (2000); la selección de lo que debe ser atendido por el público, de lo que debe considerarse urgente o de los asuntos que deben importar a todos.

Reconocemos que la sociedad organiza sus pensamientos sobre los objetos sociales según la configuración que los contenidos mediáticos les dan (Del Rey Morató, 1998). Es decir, la relación que los individuos mantienen con los objetos sociales aparece mediada por la comunicación. Una vez capturada la atención del público los medios de comunicación consiguen polarizar la aten-ción y el pensamiento en torno a los objetos y temas propuestos.

Por consiguiente, el evaluador debe tener en cuenta que antes que cambiar valores y actitudes los medios cambian la distribución

149


de la atención. Los medios de comunicación interfieren en la conformación de la agenda política, es decir, condicionan sobre el “qué” y el “qué no”, y afectan también el “cómo” (Durán Mu-ñoz, 2002). Pero el tan mentado efecto de la “agenda-setting”, es decir de la configuración de la agenda política, no es un proceso que los medios puedan definir por sí mismos de forma unilateral. Ninguno de los grandes temas políticos fue inventado por los medios sino que llegaron a éstos a través del debate social de los acontecimientos que se van produciendo.

Es una realidad que los medios están más interesados en el raiting que en la influencia política. Por ello, es fundamental valorar las capacidades para tener algo interesante qué decirle a los medios, en sus propios códigos y en respuesta a sus intereses, y que al mismo tiempo responda a los propósitos del posicionamiento del tema.

Con respecto a lo anterior, el evaluador debe considerar las ven-tajas y las desventajas. Es verdad que los medios pueden lograr ciertos efectos en la imagen que el político tiene de determinada situación o programa, pero no se puede olvidar por ser formas indirectas de comunicación generalmente no tienen la posibilidad de alcanzar públicos específicos, de conocer inmediatamente su reacción, de explicar alguna información compleja ni de mante-ner el control de lo que se comunica. Al utilizar estos medios el evaluador está obligado a presentar sus resultados de una manera interesante, clara, precisa, sin ambigüedades, corta, en el lenguaje y periodicidad de los medios, como oportuna y fácil; pero también debe considerar las posibles consecuencias políticas de que los datos se conviertan en algo público.

• Aprovechar oportunidades alternas de comunicación, tales como presentaciones en diferentes reuniones, eventos científicos e información en prensa especializada y no especializada. De acuerdo con sus necesidades usted puede optar por otros canales

150

ligia de salazaR

de comunicación (artículos, foros, poster, boletines, conferencias, entrevistas, Internet, etc).

Recomendaciones para elaboración de contenidos y discursos comunicativos

• Responder a la pregunta ¿qué debo hacer? El evaluador puede ayudar a orientar y tomar la decisión. Puede mostrar si está alentando a los decisores a hacer algo, a realizar una inter-vención diferente o a darle un abordaje distinto a la intervención evaluada. Debe responder al tomador de decisiones qué hacer, y recomendarle si lleva a cabo o no la intervención y por qué, y qué debería hacer si ya la está implementando (Potvin y McQueen, 2008). La estrategia de comunicación debe especificar claramente cuál es la acción que se sugiere que los decisores tomen, qué beneficios traería o qué consecuencias deberán experimentar, si fuera el caso.

El análisis del contexto de la intervención debe ser también considerado para enmarcar la presentación, la explicación y la comprensión de los resultados. Las recomendaciones que se le den al tomador de decisiones deben considerar los posibles es-cenarios tanto positivos como negativos para la implementación de la acción sugerida. Un cambio drástico de escenario o de contexto dificultará adoptar una decisión.

• Hacer recomendaciones prácticas y mostrar que son facti-bles de implementar. El evaluador mostrará no sólo evidencia convincente, sino implicaciones claras. Puede detallar en sus resultados, por ejemplo, si hay ventajas relativas –comparar lo de antes y lo de ahora–, compatibilidad –si lo hecho se ajusta a las necesidades–, complejidad –si es fácil de adoptar los cambios que se sugieren– y si hay posibilidades de visibilidad de lo hecho, entre otros aspectos. Debe prestar atención a la viabilidad no solo técnica, sino política del uso de los resultados y mostrarla en su mensaje. También es necesario establecer referencias o situacio-nes que muestren que los resultados son pertinentes y útiles para

151


la definición de políticas. Debe referirse a problemas concretos

que enfrente el tomador de decisiones, no a áreas de decisión

irrelevantes para éste, y hacer recomendaciones ideológicamente

aceptables y que no violen las restricciones políticas específicas

que enfrenta aquel tomador.

El evaluador no tiene por qué extenderse para llegar a una reco-

mendación. Es preferible exponer primero la acción que debe ser

tomada y luego las explicaciones que le precedan. El evaluador

puede estructurar su texto y sus párrafos en orden de importancia;

es decir, dejar para el final del texto narrativo lo que considere

menos relevante.

• Tratar de llenar vacíos de información sobre el tema o la in-tervención objeto de la evaluación. El evaluador debe mostrar

los factores que han contribuido a los resultados, y construir el

cuerpo de evidencias o señales de efectividad relevantes. Así

mismo, es recomendable que escriba información que muestre

si la intervención funciona y logra lo que se pretende, cuándo y

en qué condiciones lo hace, qué cambios surgen en esos logros,

en los cuales se observan más claramente sus resultados y sus

beneficios.

• Ser preciso y coherente en los resultados y hacer énfasis en los que se relacionen con los objetivos de la intervención. El

evaluador revisará cómo se respondió la pregunta de evaluación

y redactará claramente la respuesta; debe comunicar no sólo

aquellas partes con resultados positivos o halagadores para el

programa evaluado, sino que también debe decir si los resultados

arrojaron evidencia insuficiente, para así poder determinar que la

intervención es efectiva, o si la intervención no logra los efectos

deseados, y los factores que han intervenido. Debe indicar si se

requieren estudios futuros y cuáles serían los más apropiados

para alcanzar la información que se desea obtener.

152

ligia de salazaR

Detalles prácticos

• Sea claro(a). Utilice términos que le den más ventaja comu-nicativa con su audiencia; es decir, que sean comprendidos fácilmente por personas no expertas en el tema. No utilice jergas y opte por “renombrar” algunas palabras en su discurso, evitando términos técnicos.

• Sea oportuno(a) en su información y téngala disponible. Identifi-que productos intermedios que puedan utilizarse más rápidamen-te y los momentos de oportunidad para intercambiar y proveer conocimiento a tiempo. Esto es muy importante en el caso de decisiones que deban ser tomadas a corto plazo.

• Recuerde incluir en sus productos de comunicación los créditos y los reconocimientos a las instituciones u organizaciones que hayan apoyado técnica y financieramente la evaluación, así como identificar quién asume la responsabilidad por la evaluación y sus resultados; es decir, el autor o autores.

• No descuide el buen estilo de sus discursos, ya sea mediante medios audiovisuales o productos orales, escritos o de otra naturaleza. Seleccione un mensaje principal y desprenda de él mensajes primarios y secundarios; esto evitará que usted se “vaya por las ramas”. Evite la retórica y la demagogia, usted debe no sólo persuadir y convencer, sino hacer que se comprenda lo que quiere decir.

• Evite caer en las siguientes tentaciones cuando comunique los resultados de la evaluación: convertir la evaluación en un elogio a quien la patrocina o la realiza, y utilizar la evaluación como instrumento de dominación o control (Santos Guerra, 1993).

8. valoración de loS reSultadoS de la eStrategia

Un proceso de comunicación no termina cuando la información es entregada. Para valorar qué tan efectiva es la estrategia el evaluador

153


debe identificar qué resultó exitoso y qué se debe mejorar; así mismo, debe establecer mecanismos que le permitan dialogar con las audien-cias para conocer sus percepciones sobre la información entregada, los canales utilizados y el interés del mensaje, saber cómo la procesaron, la motivación para su uso, entre otros aspectos, para así completar el ciclo de la comunicación. Una medida básica es caracterizar y cuantificar los productos de comunicación e identificar los resultados primarios obtenidos. Del mismo modo, debe realizar un archivo organizado de los productos de comunicación, y que esté disponible.

154

ligia de salazaR

BIBLIOGRAFÍA

Alvarez-Dardet, C. (s.f.). Las bases de la promoción de la salud. España.

Auriat, N. (s. f.). “Las políticas sociales y la investigación social: reapertura del debate”. [En línea], disponible en : http://www.unesco.org/issj/rics156/auriatspa.html Recuperado: el 21 de marzo de 2001.

Bronfman, M.; Langer, A. y Trostle, J. (2003). De la investigación en salud a la política: la difícil traducción. Editorial El Manual Moderno. México.

Castells, M. (1999). La sociedad red. México. Madrid: Siglo Veintiuno.

Comisión Europea (2003). A guide to successful communications. European research. Sixth Framework Programme.

Cuervo, J. (2007). “Las políticas públicas: entre los modelos teóricos y la práctica gubernamental”. En: Ensayos sobre Políticas Públicas. Universidad Externado de Colombia.

De Pouvourville, G. (1999, octubre - diciembre). “Public Health Research: between science and action?”. En: Cad. Saúde Pública, vol.15, núm. 4. Río de Janeiro.

De Salazar, L. (2004). Evaluación de Efectividad en Promoción de la Salud. Guía de Evaluación Rápida. Universidad del Valle. CEDETES, Cali.

De Salazar, L. (2000). Evaluación de Tecnología en Salud: Vínculo crítico entre ciencia y política. Centro para el desarrollo y evaluación de

155


tecnología en salud pública. CEDETES. Universidad del Valle. Cali, Colombia.

Del Rey Morató, J. (1998). Democracia y Posmodernidad. Teoría General de la Información y Comunicación Política. Editorial Complutense. Madrid, España.

Deutsch, K. (1985). Los nervios del gobierno. Medios de comunicación y control político. Editorial Paidós Mexicana. México.

Durán Muñoz, R. (2002). La mediatización de la democracia en la sociedad de la información. Universidad de Málaga.

Fagen, R. (1969). Política y comunicación. Editorial Paidos, Buenos Aires.

Figueroa, H. (2006). Las tecnologías de información y comunicación en la facultad de ciencias sociales. UPR-RRP. Río Piedras: Cuadernos Adelantos de Investigación. Centro de Investigaciones Sociales. Facultad de Ciencias Sociales. Recinto de Río Piedras de la Univer-sidad de Puerto Rico.

Fundación Chasquinet (2004). “Manual práctico para telecentros comunitarios sobre políticas públicas y regulación en materia de tecnologías de información y comunicación, TIC”. [En línea], disponible en: www.tele-centros.org/politicas/manualpoliticaspublicas.htm Recuperado: 10 de enero de 2009.

Lasswell, H. (1958). Who gets what, when, how. World Publishing Co., Cleveland

Luhmann, N. (2000). La realidad de los medios de masas. Anthropos, Madrid

Majone, G. (1997). Evidencia, argumentación y persuasión en la formulación de políticas. México. Fondo de Cultura Económica. El Colegio de México.

Noëlle-neuman, E. (1995). La espiral del silencio. Opinión pública: nuestra piel social. Paidos. Barcelona.

Roth, A-N. (2004). Políticas Públicas. Formulación, implementación y eva-luación. Bogotá, Ediciones Aurora.

156

ligia de salazaR

Pellegrini, A. (1998). “La cooperación técnica entre países en información en ciencias de la salud”. En: Packer, A. y Castro, E. (edits.), Biblioteca virtual en salud. São Paulo: Bireme, BC Gráfica Editora.

Pellegrini, A. (2000). Ciencia en pro de la salud. Notas sobre la organización de la actividad científica para el desarrollo de la salud en América Latina y el Caribe. Publicación científica y técnica No 578. Organi-zación Panamericana de la Salud. Washington, D.C.

Popham, W. (1993). Educational Evaluation. Boston: Allyn and Bacon.

Pool, I. (1974). “Comunicación Política I. Introducción”. En: Sills, D. (Direc-tor) Enciclopedia internacional de las ciencias sociales. Volumen 2. Aguilar de Ediciones, Madrid.

Potvin, L. y McQueen, D. (2008). Health promotion evaluation practices in the americas values and research. New York.

Rossi, P. y Freeman, H. (1993). Evaluation: A systematic approach. Sage Publications, Newbury Park, Calif.

Rota, J. (2000). “Comunicación, gobierno y ciudadanía. CLADE, Venezuela”. [En línea], disponible en: www.clad.org.ve Recuperado: el 11 de enero de 2009.

Sampedro Blanco, V. (1996). “Batallas de papel. Medios de comunicación y nuevos movimientos sociales”. En: Revista de estudios de comuni-cación. Komunikazio Ikasketen Aldizkaria. Abendua

Sánchez, E. (2005). Medios de comunicación y democracia. Grupo Editorial Norma. P.23.

Segura, A. (2000). “La influencia de la investigación en las políticas de salud y en la práctica sanitaria”. En: Revista Española de salud pública, vol. 74 (monográfico).

Tiana, A (1997). “Tratamiento y usos de la información en Evaluación. Uned”. [En línea], disponible en: http://www.campus-oei.org/calidad/tiana.htm Recuperado: el 20 de marzo de 2009.

Trostle, J., Bronfman, M. y Langer, A. (1999). “How do researchers influence decision-makers? Case studies of mexican policies”. En: Health policy plan, vol. 14, núm.2, págs103–114.

157


Weiss, C. (1984). “Increasing the Likelihood of Influencing Decision”. En: Rutman, L.: Evaluation Research Methods: A Basic Guide. Segunda edición. Age Publication, págs 159-190.

Weiss, C. (1986). “The Many Meanings of Research Utilization”. En: Social science and social policy, págs 30-40 M. Bulner (comp.).

Auriat, N. (s.f.) “Las políticas sociales y la investigación social: reapertura del debate”. [En línea], disponible en: http://www.unesco.org/issj/rics156/auriatspa.html Recuperado: el 20 de marzo de 2009.

Weiss, C. (1991). “Policy research: data, ideas or arguments?”. En: Wagner, P., Weiss, C., Wittrock, B. y Wollman, H. (comps.) Social sciences and modern states.Cambridge University Press. Págs 307-332.

Weiss, C. (1999). “The Interface Between Evaluation and Public Policy”. En: Evaluation: the international journal of theory, research, and practice.

White, F. (1998, julio). “De la evidencia al desempeño: cómo fijar prioridades y tomar buenas decisiones”. En Revista panamericana de salud pública, vol. 4, núm. 1,Washington, D.C.

Zandbergen, P. y Petersen, F. (1995). The role of scientific information in po-licy and decison-making. Resource Management and Environmental Studies. University of British Columbia, Vancouver, BC, Canadá.

158

ligia de salazaR

salud pública y promoción de la salud -...

Documents