presentación de powerpoint - povertyactionlab.org · describir la utilidad y las preguntas ... el...

Necesidades Teórica Procesos Impacto Costo-Efectividad

Herramientas de Evaluación de Impacto e

Innovación Social

23 de abril – 14 de mayo 2014

Santiago, Chile

1

Clase 2 Tipos de evaluación Ryan Cooper

[email protected]

@ryancooper_b

J-PAL LAC

2

mailto:[email protected]


Índice 1. Evaluando Emprendimientos Sociales

2. Tipos de Evaluación

3. Teoría de Cambio

4. Indicadores y Medición

5. Evidencia Rigurosa y Evaluación Aleatoria

6. Interpretación de Datos

7. Evaluaciones aleatorias: ¿Cómo se implementan?

8. Evaluación de Principio a Fin

3


Objetivos

Después de esta sesión los participantes serán capaces de:

1. Identificar cinco tipos diferentes de evaluación.

2. Describir la utilidad y las preguntas que contesta cada tipo de evaluación.

3. Identificar los instrumentos usados en cada tipo de evaluación.

4. Diferenciar los contextos en los que es apropiado usar cada tipo de evaluación.

4


Esquema de presentación

1. Evaluación de necesidades

2. Evaluación teórica de programas

3. Evaluación de procesos

4. Evaluación de impacto

5. Análisis costo-efectividad

5


Tipos de evaluación

Evaluación

Evaluación de

Programas

Evaluación de Impacto

6



Evaluación

Evaluación de

Programas


Monitoreo

RCTs

7


¿Cuál es la diferencia entre evaluación de impacto y monitoreo?

A. Ninguna. Son palabras distintas para hablar de la misma cosa.

B. El monitoreo describe, la evaluación impacto separa efecto causal.

C. El monitoreo es para la gestión, la evaluación para la rendición de cuentas.

D. No sé.

E. Otro A. B. C. D. E.

20% 20% 20%20%20%

8


Evaluación de

Necesidades

Evaluación Teórica de Programas

Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?

¿qué parte de

resultados

finales (a nivel

de

OBJETIVOS)

es atribuible al

programa?

Dados el impacto

y el costo,

¿cómo se

compara este

programa con

otras

alternativas?


9


Programa de Mejoramiento de Viviendas

10


Programa: Mejoramiento de Viviendas Implementado por TECHO, una ONG con

presencia en todo Latinoamérica.

El programa proporcionó viviendas mejoradas a personas viviendo en asentamientos precarios.

Implementado por voluntarios jóvenes con la ayuda de la comunidad beneficiada.

El programa de viviendas se implementó en asentamientos en México, El Salvador y Uruguay entre 2007 y 2010.

11


1. Evaluación de necesidades

12


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?

Componentes de una evaluación

¿¿qué parte de

resultados

finales (a nivel

de OBJETIVOS)

es atribuible al

programa?

Dados el impacto

y el costo ¿Cómo

se compara este

programa con

otras alternativas?

Necesidades

13


Evaluación de necesidades

Podemos aprender mucho recogiendo información descriptiva:

¿A qué grupo de la población debemos atender? ¿qué grupo tiene mayor necesidad y puede beneficiarse más de una intervención?

¿Qué problemas y oportunidades enfrenta este grupo?

¿Cuáles son las posibles razones del problema que enfrentan?

¿Qué se está haciendo ya para resolver el problema?

¿Qué obstáculos siguen sin abordarse?

Evaluación de

necesidades

Necesidades

14



Este tipo de evaluación es especialmente útil para…

Comprender el contexto y asegurarnos de

que abordamos una necesidad real.

Identificar las debilidades de otros

programas existentes.

Empezar a pensar en cómo nuestra

intervención puede contribuir a solucionar el

problema (Teoría de Cambio)

Evaluación de

necesidades

Necesidades

15



Supongamos que la evaluación de necesidades revela que…

Evaluación de

necesidades

¡El problema que se quería abordar no existe!

El problema no es una prioridad para la gente o no tan severo como se pensaba

La causa del problema parece no ser la que pensábamos

No se dan las condiciones básicas requeridas para que el programa sea efectivo

En estas situaciones, no es necesario realizar otros tipos

de evaluación (procesos o impacto).

Hay que replantear la intervención.

Necesidades

16



Metodologías útiles para una evaluación de necesidades:

Entrevistas cualitativas estructuradas

con individuos o grupos de discusión

Encuestas representativas

En general, una mezcla entre métodos

cualitativos y cuantitativos es ideal para

entender el contexto

Usar información de proyectos e

investigaciones en otros lugares

Evaluación de

necesidades

Necesidades

17



Evaluación de necesidades en el programa TECHO:

“El objetivo principal de esta investigación [es] desarrollar [un]

acercamiento a la realidad de estos asentamientos, que

permita realizar una descripción de su situación

socioeconómica y la detección de sus principales necesidades,

con el fin de proporcionar datos precisos que ayuden al diseño

de políticas […] acorde a las realidades específicas de los

distintos campamentos.” [Leiva y Miño, 2003]

Evaluación de

necesidades

Necesidades

18



Fuente: Anuario 2012 TECHO

Necesidades

19





Necesidades

20



Fuente: Anuario 2012 TECHO Fuente: Catastro Buenos Aires

Necesidades

21


Para el caso de TECHO, ¿cuál de las siguientes preguntas se podrían responder con una evaluación de necesidades?

A. ¿Cuál es el presupuesto

disponible para la ejecución

del programa?

B. ¿Cuántos años se espera

que dure el programa?

C. ¿Qué tan seguros se

sienten en sus casas las

personas que viven en

asentamientos precarios?

D. Todas las anteriores A. B. C. D.

25% 25%25%25%

22


2. Evaluación teórica de programas

23


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?


Dados el impacto

y el costo ¿Cómo

se compara este

programa con

otras alternativas?

Teórica

¿¿qué parte de

resultados

finales (a nivel

de OBJETIVOS)

es atribuible al

programa?

24


Evaluación teórica

Tras identificar la necesidad o el problema que queremos abordar, pasamos a pensar en cómo solucionarlo.

Una forma sistemática de hacer esto es usando la Teoría de Cambio:

Una teoría de cambio es una hoja de ruta

que nos dice hacia dónde vamos

(resultados) y cómo llegamos (proceso).

Evaluación teórica de programas

Teórica

25


Programa: Mejoramiento de Viviendas

Necesidades Insumos y

Actividades Productos Resultados Intermedios

Resultados Finales

Vivienda

básica:

Techo, piso,

muros,

privacidad.

Voluntarios

Materiales de

construcción

Viviendas

mejoradas

Mejor calidad

de vida

Mejor salud

física y mental

Mayor

seguridad

contra el robo

Protección

contra la lluvia

Acumulación

de capital

Ambientes más

saludables

Mejores y más

oportunidades

de trabajo

Teórica

26


3. Evaluación de procesos

27


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?


Dados el impacto

y el costo ¿Cómo

se compara este

programa con

otras alternativas?

Procesos

¿¿qué parte de

resultados

finales (a nivel

de OBJETIVOS)

es atribuible al

programa?

28


Evaluación de procesos

Nos permite saber si el programa se está implementando como planeamos, y qué tan bien está funcionando.

¿Están entregándose los servicios o

productos? ¿Los recibe el destinatario

debido y en el momento necesario?

¿Qué dificultades está teniendo el personal

responsable de la implementación?¿Está

haciendo bien su tarea?

¿Cómo perciben el programa los

beneficiarios? ¿Hacen uso de los bienes y

servicios entregados?


Procesos

29



La evaluación de procesos puede ayudarnos a:

Identificar tempranamente problemas de

implementación, pudiendo corregirlos.

Incentivar un mejor desempeño por parte del

personal responsable de la implementación.

Interpretar los resultados de la evaluación de

impacto.

Por ello, la evaluación de procesos

¡siempre es útil!


Procesos

30


Evaluación de procesos Metodologías útiles para una evaluación de

procesos:

Monitorear el plan de operaciones

Seguir los “paper trail”

Monitorear operaciones en el campo

Encuestas

Entrevistas personales, grupos de discusión, observación directa


Procesos

31



…

Fuente: http://www.techo.org/wp-content/uploads/2013/04/4Procesos_intervencion_social.pdf

Procesos

32



Procesos

33



Procesos

34



Procesos

35



Procesos

36



Ejemplo de un estudio cualitativo:

Se realizaron ocho entrevistas semi-

estructuradas a usuarios de dos proyectos

del Fondo Solidario de Vivienda de la

Región Metropolitana:

Nuevo Amanecer, en Huechuraba,

conformado por 323 familias.

Monseñor Enrique Alvear, en Puente Alto,

conformado por 144 familias.

Fuente: http://www.techo.org/wp-content/uploads/2013/02/Plan-de-HS.pdf

Procesos

37


Para el caso de TECHO, ¿cuál de las siguientes preguntas se podrían responder con una evaluación de procesos?

A. ¿Se consiguieron los

materiales y la mano de obra

que se necesitaba para la

construcción de las casas?

B. ¿El programa mejoró la

situación de los

beneficiados?

C. ¿A qué servicios básicos

tienen acceso las personas

en asentamientos precarios?

D. Todas las anteriores A. B. C. D.

25% 25%25%25%

38


4. Evaluación de impacto

39


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?

Dados el impacto

y el costo ¿Cómo

se compara este

programa con

otras alternativas?


Impacto

¿¿qué parte de

resultados

finales (a nivel

de OBJETIVOS)

es atribuible al

programa?

40


Evaluación de impacto

Una evaluación de impacto nos permite responder a la pregunta básica de si el programa funciona.


¿Cuál es el impacto del programa? (magnitud)

¿Qué elementos del programa son más

importantes para lograr impacto?

¿Entre dos posibles alternativas en un aspecto

de diseño de un programa, qué alternativa

genera mayor impacto?

¿Los resultados de un programa en un contexto,

son válidos en otro contexto específico?

Impacto

41



Dado que hacer una buena evaluación de impacto puede ser costoso, podemos decidir no hacer una…


Cuando la evidencia existente nos permite saber

con bastante certeza que la intervención será

positiva

Cuando, sin tener certeza acerca del impacto

esperado, la evaluación de procesos revela que

hubieron fallos muy importantes en la

implementación

Cuando los requerimientos no se dan (e.g. tamaño

muestral suficiente, contraparte adecuada)

Impacto

42



Las evaluaciones de impacto son de especial interés en las siguientes situaciones:


Enfoques populares en los que hay grandes

inversiones o están a punto de escalarse

Enfoques de bajo costo y fáciles de escalar

Preguntas acerca de las cuales hay poca evidencia

Programas implementados en contextos

representativos

Impacto

43


¿Cómo medir impacto? El impacto de un programa es la diferencia entre:

Los resultados que los

participantes del

programa obtienen.

V/S

Contrafactual

Los resultados que esos

mismos participantes

hubieran obtenido si no

hubiesen participado en

el programa.

Impacto

44



Metodologías de evaluación de impacto:

En la sesión de Evidencia Rigurosa y

Evaluación Aleatoria, hablaremos de

diferentes metodologías como:

• Antes y después

• Diferencia Simple

• Diferencia-en-Diferencias

• Evaluación aleatoria


Impacto

45


Para el caso de TECHO, ¿cuál de las siguientes preguntas se podrían responder con una evaluación de impacto?

A. ¿La entrega de casas mejoró la

salud de los beneficiarios?

B. ¿El programa aumentó el

número de horas trabajadas por

los jefes de hogar?

C. ¿El participante del programa se

sintió más seguro en su nueva

casa?

D. ¿El programa aumentó la

satisfacción con la calidad de

vida de los participantes?

E. Todas las anteriores A. B. C. D. E.

20% 20% 20%20%20%

46


Impacto de mediaguas No se encontraron impactos significativos en los siguientes indicadores:

Adquisición de bienes como:

Ventilador

Refrigerador

Televisión

Mercador laboral, medido por:

Horas trabajadas

Ingresos

Salud, medida por:

Diarrea y problemas

respiratorios en niños

menores de 5 años.

Impacto

47


Impacto de mediaguas El programa tuvo un impacto sobre los

siguientes indicadores:

* Significativo al 10% ** Significativo al 5%

*** Significativo al 1%

En todos los países:

Satisfacción con calidad de

piso: 18%***

Satisfacción con la protección

que ofrece contra lluvia: 20%***

Satisfacción con calidad de

vida: 15.5%***

Impacto

48


Impacto de mediaguas El programa tuvo un impacto sobre los

siguientes indicadores:

En El Salvador:

Se siente seguro dentro del

hogar: 17.5%***

Se siente seguro dejando su

casa sola: 15.5%***

Se siente seguro dejando a sus

hijos solos en la casa: 14.1%***

Impacto

* Significativo al 10% ** Significativo al 5%

*** Significativo al 1%

49


Evaluación Procesos

1. Ojalá todo

2. Complejidad descriptiva

3. Rendición de Cuentas

4. Retroalimentación CP

5. Utilidad para proyecto


1. Ser selectivo

2. Complejidad técnica alta

3. Conocimiento

4. Retroalimentación LP

5. Bien Público

Procesos vs. Impacto

Impacto

50


Cuando medimos el número de personas que recibieron una vivienda, ¿qué estamos evaluando?

A. La necesidad

B. El proceso

C. El impacto

A. B. C.

33% 33%33%

51


5. Análisis costo-efectividad

52


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?

Dadas la magnitud

y el costo

¿Cómo se

compara este

programa con

otras alternativas?


Costo-Efectividad

¿¿qué parte de

resultados

finales (a nivel

de OBJETIVOS)

es atribuible al

programa?

53


Análisis costo-efectividad

Cada proyecto que uno inicia tiene costos de oportunidad. El análisis de costo-efectividad nos permite contestar preguntas acerca de esos costos:

¿El proyecto representa el mejor uso de

recursos limitados?

Entre las posibles alternativas para las cuales

tenemos evidencia, ¿cuál es la alternativa que

tendrá mayor impacto por cada dólar invertido?

Análisis costo-

efectividad

Costo-Efectividad

54



El AC-E compara evidencia de forma sistemática. Permite comparar los costos por unidad de impacto de diferentes programas con un mismo objetivo.

Ejemplo: reducción de la diarrea infantil

Posibles medidas: mejorar las fuentes de agua,

proporcionar cloro, sensibilizar acerca de la

importancia de lavarse las manos.

Medida resumen para cada tipo de programa:

número de casos de diarrea prevenidos por

dólar invertido

Análisis costo-

efectividad

Costo-Efectividad

55



Análisis Costo-Efectividad de mediaguas:

Medida de Impacto (incremento en indicador de calidad de

vida) dividido por medida de Costo (dólares).

56

Costo-Efectividad

56



Usando la evidencia existente y supuestos, podemos hacer proyecciones o preguntas hipotéticas:

Si el proyecto tuviera ciertos costos e impactos,

¿sería una forma costo-efectiva de abordar el

problema?

Si quisiéramos implementar un proyecto que fue

muy costo-efectivo en cierto contexto, ¿bajo qué

condiciones seguiría siendo costo-efectivo en

otro contexto?

Bajo el mejor escenario posible de impacto,

¿será el programa costo-efectivo?

Análisis costo-

efectividad

Costo-Efectividad

57


Análisis Costo-Efectividad Es un punto de partida para discusiones sobre qué proyectos te darán el mayor impacto por dólar invertido.

10

The analysis shows that the cost-effectiveness of programs to in cr ease children’s ti me in sc hool

varies widely, with informational campaigns in the Dominican Republic and Madagascar and

school-based deworming in Kenya providing the greatest value for money among the programs

examined here. Both of these programs can be delivered inexpensively and cause large increases

in student attendance and enrollment. Programs that reduce the costs of schooling through

subsidies or provide incentives conditional on attendance also increase time in school, but at a

higher cost, and conditional cash transfer programs are not as cost-effective as a program to

Costo-Efectividad

58


En Resumen…


Evaluación teórica



Evaluación costo-efectividad

Nos dice cuáles son los

problemas en la realidad, y qué

soluciones existen ya

Nos dice los pasos que deben

darse entre la intervención y el

impacto

Nos dice qué tan bien se está

implementando el proyecto

Nos dice si el proyecto esta

teniendo los efectos esperados y

en qué magnitud

Nos dice si nuestro proyecto será

costo-efectivo bajo ciertos

supuestos 59


Conclusiones

Cada tipo de evaluación responde una pregunta diferente sobre un proyecto.

Uno debe determinar cuál es la pregunta que quiere responder y qué instrumentos se usarán para contestarla.

Las evaluaciones de necesidades, teóricas y de procesos son esenciales para todo proyecto.

La evaluación de impacto puede ser muy importante, pero no siempre es necesaria o posible.

60

¡Gracias!

Ryan Cooper

[email protected]

@ryancooper_b

J-PAL LAC

61

mailto:[email protected]

presentación de powerpoint - povertyactionlab.org · describir la utilidad y las preguntas ... el...

Documents