1

OBJETIVOS DE ESTA PRESENTACION

Comprender, valorar y aplicar los conceptos fundamentales asociados a la evaluación de programas, en general, y a la evaluación de impacto en particular

Crear un marco de referencia (lenguaje común) en los participantes, para el uso e interpretación de los enfoques, métodos y técnicas que serán estudiados en el curso.

2

¿QUÉ ES EVALUACIÓN?Un juicio sobre valor o mérito

El uso de procedimientos científicos para investigar sistemáticamente la efectividad de programas de intervención (Rossi et al, Bertrand)

3

UN POCO DE HISTORIALa evaluación, en su concepción moderna, es un

producto del siglo XXEl surgimiento de las Ciencias Sociales en las

universidades y el creciente apoyo a la investigación social le dieron un empuje decisivo a las actividades de investigación evaluativa

El mayor auge vino después de la Segunda Guerra Mundial (incluyendo la creación de programas internacionales para planificación familiar, salud y nutrición)

La Evaluación nace como disciplina a finales del los 60 y principios de los 70 (libro de Weiss)

4

¿QUÉ EVALUAMOS?

Programas (eficiencia, efectividad)Personas (aprendizajes, desempeño)InstitucionesLas anteriores constituyen tres grandes áreas de

especialización en el campo de la evaluación

5

EVALUACION DE PROGRAMAS

Programa: Conjunto de acciones y esfuerzos que se ejecutan deliberadamente con el propósito de solucionar o aliviar un problema

Problema: Situación indeseable que se desea cambiar

6

¿POR QUÉ EVALUAMOS LOS PROGRAMAS?

Para corregir y mejorarPara rendir cuentas (“accountability”)Para tomar decisiones acerca de continuar

o terminar con el programa o proyectoPor mandato o razones políticasPara generar conocimiento ¿Otras razones?

7

DISTINGUIMOS ENTRE...

Evaluación y monitoreo (seguimiento)Evaluación de impacto y de gestiónEvaluación de proceso y de productoEvaluación formativa y sumativa Evaluación interna y externaEvaluación cuantitativa y cualitativa (¿falsa

dicotomía?)

8

EVALUACION NO ES...(solamente) medición(solamente) investigación(solamente) establecer logro de objetivosauditoríauna actividad que se realiza cuando las cosas van maluna forma de castigo

9

DIFERENCIAS Entre metas y objetivos de un programa

metas (goals): proposiciones generales y abstractas del estado deseado hacia el cual se dirige un programa (Rossi, Bertrand)

objetivos (objectives): proposiciones específicas y operacionalizadas con el detalle de los logros deseados

10

ELEMENTOS RELATIVAMENTE NUEVOS

EN LOS ENFOQUES DE EVALUACION La importancia de realizar una valoración de

necesidades (especialmente desde el punto de vista de la población objetivo)

Ir más allá de la comprobación del cumplimiento de los objetivos del programa

Conocer la problemática sustantiva (tener referentes teóricos y también estar familiarizado(a) con las particularidades del contexto específico)

11

TEORIA DEL PROGRAMA

El conjunto de supuestos sobre la forma en que el programa (o proyecto) provoca los beneficios que se espera que produzca, incluyendo las estrategias y tácticas que ha adoptado para lograr sus metas y objetivos.

12

LA TEORÍA DEL PROGRAMA ...A veces no es explícita, no ha sido formalmente

articulada o establecida.Evaluación de caja negra: cuando se realiza la

evaluación sin haber articulado formalmente la teoría del programa

Nuestra recomendación: no hacer evaluación de caja negra

13

EN LA TEORIA DEL PROGRAMA PODEMOS DISTINGUIR

Teoría del impacto, relata la naturaleza del cambio en las condiciones de vida provocadas por la acción del programa (aquí se hace evaluación de impacto)

Teoría del proceso, describe los planes organizativo y de utilización de servicios del programa (aquí se hace monitoreo)

14

EN LA TEORÍA DEL PROGRAMA DEFINIMOS...

Hipótesis de acción: son las que ligan o conectan causalmente la teoría del proceso (están bajo el control directo del programa)

Hipótesis conceptuales: son las que ligan o conectan causalmente la teoría del impacto (no están bajo el control del programa)

15

EN LA TEORÍA DEL PROGRAMA

Las fallas de implementación están asociadas a la teoría del proceso (hipótesis de acción)

Las fallas de teoría están asociadas a la teoría de impacto (hipótesis conceptuales)

16

Teoría del proceso para un programa de Educación en Población en colegios de

secundariaCosta Rica

17

T E O R Í A D E L P R O C E S O P r o g r a m a d e E d u c a c i ó n e n P o b l a c i ó n , M i n i s t e r i o d e E d u c a c i ó n P ú b l i c a d e C o s t a R i c a y

F o n d o d e l a s N a c i o n e s U n i d a s p a r a A c t i v i d a d e s d e P o b l a c i ó n( S e l e e d e a b a j o h a c i a a r r i b a )

P o b l a c i ó n yM e d i oA m b i e n t e

S e x u a l i d a dV i d a e nF a m i l i a

D i a g n ó s t i c o i n i c i a l p a r ae s t a b l e c e re l n i v e l d e l a p o b l a c i ó nm e t a( e s t u d i a n t e s y d o c e n t e s )

P e r f i l e s d eA p r e n d i z a j eP o b l a c i ó n yA m b i e n t e

P e r f i l e s d eA p r e n d i z a j eS e x u a l i d a d

P e r f i l e s d eA p r e n d i z a j eV i d a e n F a m i l i a

C a p a c i t a c i ó nd o c e n t e sC i e n c i a s

C a p a c i t a c i ó nd o c e n t e s C i e n c i a s ,

R e l i g i ó n , V i d a e nF a m i l i a y

O r i e n t a c i ó n

C a p a c i t a c i ó nd o c e n t e s

V i d a e nF a m i l i a

D i r e c t a a u nd o c e n t ed e l c e n t r oe d u c a t i v o

P o r m e d i o d ea s e s o r e sr e g i o n a l e s

E n t r e g at é c n i c a a l o s

c e n t r o se d u c a t i v o s

C o n s t r u c c i ó n d em a t e r i a l e sG u í a s d i d á c t i c a sF a s c í c u l o s

C o n s t r u c c i ó n d em a t e r i a l e sG u í a s d i d á c t i c a sF a s c í c u l o s

C o n s t r u c c i ó n d em a t e r i a l e sG u í a s d i d á c t i c a sF a s c í c u l o s

P l a n e s d eE s t u d i o

Teoría del impacto para un programa de Educación en Población en colegios de secundaria, Costa Rica

(mismo programa del ejemplo anterior)

19

Disponibilidad de docentes

capacitados de Ciencias

Disponibilidad de docentes capacitados de Ciencias, Religión

Vida en Familia y Orientación

Disponibilidad de docentes capacitados de Vida en Familia

Disponibilidad de los materiales

Actitud positiva

hacia las guías

Plan operativo

Conoci-mientos de

los estudiantes

Actitudes de los

estudiantes

Proceso de mediación

Comporta-mientos de

los estudiantes

Población y

Ambiente

Sexualidad

Vida en Familia

Para los trescomponentes

Teoría del impacto para un programa de prevención de

VIH/SIDA en mujeres de alto riesgo, Miami

21

Conocimientos sobre VIH

Uso de otros métodos

anticonceptivos

Conocimientos sobre anticonceptivos

Uso de condón con compañero

principal

Locus de control

EL MARCO CONCEPTUAL

El marco conceptual o “de investigacion” es un diagrama que identifica e ilustra las relaciones entre factores sistémicos, organizacionales, individuales y otros elementos relevantes que pueden influenciar la operación de un programa o proyecto y el logro exitoso de sus metas y objetivos

23

EJEMPLO: Marco conceptual (resumido) para un programa de salud

Demanda individual

Oferta del programa

Utilizaciónde servicios

Prácticassaludables

Condiciones de salud

Inputstécnicos

Capacidadinstitutional

Sustentabilidaddel programa

24

25

LA EVALUACION DE IMPACTO CONSISTE DE...

Un conjunto de actividades de investigación tendientes a establecer si el comportamiento observado en las variables de interés (variables de impacto) puede ser atribuido al programa

La meta es establecer evidencias de una relación causal entre los resultados observados y las actividades del programa

26

EL LOGRAR EVIDENCIAS DE RELACIONES CAUSALES ES CRUCIAL PARA LA EVALUACIÓN DE IMPACTO

X ES CAUSA DE Y SI Y SOLO SI: x precede en el tiempo a y

existe asociación entre x y y se han eliminado o controlado los otros factores o

variables (terceras variables, variables confusoras) que pueden explicar la asociación observada entre x

y y

27

EL IMPACTO SE REFIERE A...

Resultados del programa que pueden ser asociados a dimensiones de calidad de vida o desarrollo humano

Distinguimos entre resultados próximos o inmediatos y resultados distales o últimos

Los cambios esperados pueden ser cualitativos o cuantitativos pero siempre medibles.

28

ILUSTRACION DE EVALUACION DE IMPACTO

Inicio del programa

TIEMPO-->

Punto medio o fin

Con programa

Sin programa

Impacto del programa

Indicator de resultado del programa: TPA

OTRO EJEMPLO

Porcentaje de embarazos en adolescentes

adolescentes

TiempoIntervención

} IMPACTO

Sin el programa

Con el programa

ASI, EL IMPACTO PUEDE SER TAMBIEN DEFINIDO COMO…

La diferencia entre los resultados obtenidos con el programa y los resultados que se habría obtenido si el programa nunca se hubiera implementado

31

UN CONCEPTO ESENCIAL :

EL CONTRAFACTICO

Los resultados que se habría obtenido si el programa nunca hubiera sido implementado

32

En realidad nunca sabremos de seguro cuál hubiera sido el valor del contrafáctico

Pero podemos tratar de estimarlo de diferentes formas

Los diversos diseños y técnicas analíticas en evaluación de impacto se pueden distinguir por la forma en que “estiman” o “simulan” el contrafáctico

33

BIBLIOGRAFIABertrand, J.T. et al. (1996). Evaluación de

Programas de Planificación Familiar. The Evaluation Project, USAID

Mohr, L. (1995). Impact Analysis for Program Evaluation. Sage Publications

Rossi, P.H.; Freeman, H.E. & Lipsey, M.W. (1999). Evaluation: A Systematic Approach. Sage Publications

34

Ejercicio para ser realizado en pequeños grupos

1. Escoja uno de los siguientes temas:

-Enfermedades cardiovasculares

-Embarazo en adolescentes

-Infecciones de trasmisión sexual

-Violencia de género

-Mortalidad infantil

35

Ejercicio (continuación)...2. Trate de desarrollar los elementos clave de

un marco conceptual (la teoría del programa incluida).

3. Identifique cuáles “cajas” pertenecen a la teoría del programa y cuáles no

4. Identifique cuáles cajas pertenecen a la teoría del impacto y cuáles a la teoría del proceso

36

Ejercicio (continuación)...

5. Escoja un resultado (variable de impacto) y defina un indicador para él. Discuta si los cambios deseados son cuantitativos o cualitativos. ¿Cómo es que este indicador se relaciona con dimensiones de calidad de vida?

6. Defina el contrafáctico en términos del problema.

37