introducción ev. necesidades . teórica ejemplo chile …. midiendo... · identificar indicadores...

Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos


Clase 2 Midiendo efectos causales

2

Claudia Martínez A.

Profesora Asistente de Economía

Universidad de Chile

[email protected]

mailto:[email protected]


Horario Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo

8:30:00 8:45:00 Registro de participantes

8:45:00 9:00:00 Repaso del día anterior Repaso del día anterior

9:00:00 10:00:00 Bienvenida y palabras de introducción Clase 4

Evaluaciones Experimentales II: ¿Cómo implementarlas?

Caso de estudio 3: ¿Cómo aleatorizar?

10:00:00 10:30:00 Evaluación inicial de conocimientos CLAUDIA MARTÍNEZ PROFESORES AYUDANTES

10:30:00 10:45:00 Coffee Break

10:45:00 12:00:00

Clase 1 ¿Por qué evaluar impacto?

Caso de estudio 2: Identificando el contrafactual

Taller: Elaborando Términos de

Referencia

RYAN COOPER PROFESORES AYUDANTES THOMAS VARGAS

12:00:00 13:15:00

Clase 2 Midiendo efectos causales

Clase 5 Tamaño muestral y

poder estadístico

Clase 8 Aspectos operativos de una

evaluación de impacto

CLAUDIA MARTÍNEZ FRANCISCO GALLEGO NICOLE CARPENTIER

13:15:00 14:30:00 Almuerzo

14:30:00 15:45:00

Caso de estudio I: Teoría de Cambio

Clase 6 Amenazas y análisis

Clase 9 De la evidencia a la acción

PROFESORES AYUDANTES LEIGH LINDEN CLAUDIA MACÍAS

15:45:00 16:00:00 Coffee Break Evaluación final de conocimientos

16:00:00 17:15:00

Clase 3 Evaluaciones Experimentales I: ¿Por qué

hacerlas?

Clase 7 Evaluación de principio a fin Cierre de curso y entrega de

diplomas

FRANCISCO GALLEGO LEIGH LINDEN


Objetivos

Después de esta sesión los participantes

serán capaces de:

Identificar una evaluación de necesidades.

Definir los pasos de una teoría de cambio.

Precisar la cadena causal de un programa.

Identificar indicadores que midan cada paso

de la teoría de cambio.

Detallar posibles fuentes de datos.

4


Esquema de presentación

5

1. Introducción

2. Evaluación de Necesidades

3. Evaluación Teórica de Programas

4. Medición e indicadores

5. Ejemplo Microemprendimiento en Chile

6. Datos


1. Introducción

6


La presentación pasada

7

Se habló de:

• ¿Cuáles son los componentes de evaluación

de un programa?

• ¿Por qué evaluar impacto de manera

rigurosa?

• ¿Qué tan riguroso es el proceso?

• ¿Cuál es la importancia de evaluar

aleatoriamente?


8

Pero, antes de salir a

terreno, es

importante ser claros

en lo que estamos

evaluando y cómo

medirlo.


Evaluación de

Necesidades

Evaluación Teórica de Programas

Evaluación de

Procesos

Evaluación de Impacto

Análisis Costo-

Efectividad

¿Cuál es el

problema?

Los resultados

nos dan los

OBJETIVOS de

un programa

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿Las METAS se

cumplieron?

¿El programa

funciona como

fue planificado?

¿Los

OBJETIVOS se

cumplieron?

¿En qué

magnitud?

Dadas la magnitud

y el costo ¿Cómo

se compara este

programa con otras

alternativas?

Componentes de una evaluación Evaluación ExAnte


2. Evaluación de Necesidades

10


Evaluación de Necesidades: Diagnosticar

Evaluación de

Necesidades

La evaluación de necesidades permite

contestar las siguientes preguntas:

1. ¿Qué grupos representarán la población

objetivo?

2. ¿Qué problemas enfrenta la población?

3. ¿Cuáles podrían ser las posibles causas

de estos problemas?

4. ¿Qué medidas ya se están tomando para

encarar el problema?

5. ¿Qué otras medidas podrían

implementarse?

Puede ser conducida utilizando indicadores

sociales, encuestas y censos, entrevistas, etc.


Evaluación de Necesidades: Diagnosticar

Evaluación de

Necesidades

Las respuestas a estas preguntas nos

permiten:

1. Entender el contexto de la población

objetivo.

2. Identificar los problemas que encaran.

3. Ver posibles fallas en programas

existentes.

4. Identificar sinergías/duplicaciones de

programas.

5. Definir los diferentes grupos dentro de la

población objetivo.

Esta información es indispensable a la hora de

diseñar un programa o intervención.

• Incluso nos puede indicar si es necesario o no

hacer una intervención.


Ejemplo 1: Incrementando el ahorro Comprendiendo un poco más….

¿Necesidad?

Frecuentemente los hogares en situación de pobreza en

ahorran de diversas manera informales. Esto es riesgoso.

¿Potencial Solución?

Banca formal


¿Cuál es el principal obstáculo al ahorro formal?

14

1. Falta de ingresos

2. Falta de información

sobre la banca formal

3. Temor a la banca formal

4. Distancia a bancos

5. Altos cobros de

comisiones


¿Cuál es el obstáculo al ahorro formal?

Altas comisiones de retiro hacen menos probable

que las personas ahorren en el sector formal.

>

Ejemplo 1: Incrementando el ahorro


¿Potencial solución?

Reducir las tasas de transacción de retiro (comisión)

que cobra el banco y dar tarjetas de débito gratis.

Esto responde a la necesidad si logra hacer del ahorro

formal más atractivo.




17

Componente Descripción

Necesidad Incrementar el ahorro formal

Problema Costos de retiro de bancos son muy altos

Solución Reducir los costos de transacción de retiros

Diseño Una cuenta bancaria con tarjeta de débito gratis que

rebaja el costo de realizar retiros bancarios


¿Bajas comisiones de retiro generarán más ahorro?

Liquidez puede fomentar mantener saldos en

cuentas de ahorro.

Pero puede disminuir el nivel de ahorro si hay

problemas de consistencia intertemporal.

• Ashraf, Karlan y Yin(2006) muestran en Filipinas

que cuentas de ahorro con compromiso generan

mayor ahorro que cuentas de ahorro “normales”.

Fundamental entender el problema.



Ejemplo 1: Incrementando el ahorro - Diseño altenativo

19


Necesidad Incrementar el ahorro formal

Problema Inconsistencia inter-temporal

Solución Aumentar los costos de transacción de retiros

Diseño

Una cuenta bancaria en que no se puedan hacer

retiros hasta cierto monto o fecha pre-fijada por el

ahorrante.



Necesidad Disminuir tasas de embarazo juvenil

Problema Baja expectativas profesionales

Solución Mejorar el acceso a la información sobre posibilidades y apoyo motivacional

Solución Alternativa Información sobre soluciones anticonceptivas

Diseño Programa de mentoría en los colegios ¿Cómo?

Ejemplo 2: Embarazo Adolescente


3. Evaluación Teórica de Programas

21


Evaluación de Teórica de Programas: Diseñar

Modela la teoría que está detrás del

programa, presentando un plan viable

y factible para mejorar la condición

social del objetivo. Las metodologías

usadas en la evaluación teórica de

programas incluyen la Teoría de

Cambio.

Evaluación Teórica de Programas


Teoría de Cambio: Cadena Causal del programa

Representa la cadena causal entre:

Necesidades/Objetivos

Insumos

Productos

Resultados intermedios

Impactos (esperados y no deseados)

Facilita definición de hipótesis a verificar.

Facilita construcción de indicadores para medir

distintas metas del programa.


OBJETIVOS/

NECESIDADES

INSUMOS / ACTIVIDADES

PRODUCTOS RESULTADOS

INTERMEDIOS IMPACTO

Teoría de Cambio: Cadena Causal


Cadena Causal

25

OBJETIVOS / NECESIDADES

1. Responden a una necesidad

2. Especifican una población objetivo

3. Son medibles


Cadena Causal

26

INSUMOS / ACTIVIDADES

1. ¿Qué puedo hacer para lograr objetivo?

2. Los recursos de los que dispone el proyecto

3. Las acciones emprendidas y el trabajo realizado para transformar los insumos en productos


Cadena Causal

27

PRODUCTOS

1. Consecuencia directa de la acción / intervención

2. Bienes tangibles y servicios que producen las actividades

3. Directamente bajo el control del organismo ejecutor

4. Deben ser medibles


Cadena Causal

28

RESULTADOS INTERMEDIOS

1. Resultados que se espera alcanzar una vez que la población beneficie de los productos del proyecto

2. Se dan normalmente a corto o mediano plazo

3. Deben ser medibles


Cadena Causal

29

IMPACTO

1. Lo que quiero cambiar con el programa

2. Directamente relacionados con objetivos

3. Son medibles

4. Alcanzados normalmente a largo plazo


OBJETIVOS

•Aumentar el nivel de ahorro formal en las familias más pobres

INSUMOS

•Cuenta bancaria con retiros gratis

PRODUCTOS

•Clientes abren cuenta y reciben tarjeta de débito gratis


• Incrementa la cantidad de dinero que guardan en los bancos

IMPACTOS

• Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc.)

Ejemplo 1: Incrementando el Ahorro


OBJETIVO

• Reducir tasa embarazo Juvenil

INSUMOS

• Sistema de Mentoría Juvenil en los Colegios

PRODUCTOS

• Adolescentes sensibilizadas


• Mayores tasas de inscripción en becas, actividades de capacitación, etc.

IMPACTO

• Disminución tasa de embarazo juvenil

Ejemplo 2: Embarazo Adolescente


Supuestos

Condiciones externas que se deben

cumplir para que la cadena causal se

mantenga intacta

Muchas veces reflejan condiciones

sociales, políticas o económicas que

forman parte del contexto de una

evaluación

32


Supuestos y la Cadena Causal

Los supuestos se encuentran implícitos en

la teoría de cambio

Si no se cumplen en la realidad, pueden

afectar el impacto del programa

Se deben considerar y analizar a la hora

de definir la cadena causal para prevenir

posibles obstáculos y problemas

33


OBJETIVOS


INSUMOS

•Cuenta bancaria con retiros gratis

PRODUCTOS



• Incrementa la cantidad de dinero que guardan en los bancos

IMPACTOS

• Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc.)

Supuestos: Ejemplo

•Nivel de ahorro formal es bajo en familias pobres

• Familias pobres desean ahorrar de manera formal

Supuestos

•Una de las causas del poco ahorro formal es el costo de una cuenta bancaria

•El público objetivo sabe sobre el programa

•Van al banco y abren una cuenta

•Usan la nueva cuenta bancaria

•No hay otros costos que impida que guarden dinero en el banco

• La nueva cuenta bancaria formal causa que las personas ahorren más


¿Cuál es el mejor momento para definir la teoría de cambio?

35

1. Antes del diseño.

2. Antes de la

implementación, y

3. Antes de la evaluación.


4. Medición e indicadores

36


Indicadores

37

Una definición objetiva del éxito de un programa tiene

que estar basado en resultados tangibles.

Para esto necesitamos desarrollar indicadores que nos

permitan:

Cuantificar los insumos en la intervención

Evaluar la implementación de la intervención

Cuantificar los resultados e impactos

Registrar las percepciones de la intervención.


Indicadores

38

En algunos casos el desafío está en definir

indicadores. Programa de capacitación para micro-emprendedores y su

efecto en empoderamiento femenino.

Buenos indicadores deben ser:

Claros: precisos y sin ambigüedad

Relevantes: apropiados para la medición en cuestión

Económicos: fáciles de medir y recolectar

Adecuados: suficientes para detectar impactos en hipótesis

claves


Indicadores

39

En otros casos el desafío está en la medición.

Por ejemplo: Corrupción: Los actos de corrupción son difíciles de medir

porque por definición quienes comenten estos actos tienden a

esconderlos.

Ahorro: El ahorro es difícil de medir:

• Problemas de agregado: existen diferentes fuentes de

ahorro, incluyendo formales e informales.

• Problemas de medición a través de tiempo: El momento de

la medición (justo antes o después de un retiro) puede

afectar en gran medida los resultados.

• Ahorro individual? Familiar?

• Autodeclarado


Indicadores: Ejemplo Ahorro

INSUMOS

•Ofrecimiento de cuentas bancarias

PRODUCTOS

•Número de Cuentas bancarias abiertas


•Número de retiro de efectivos y montos

IMPACTOS

• Saldos de ahorro

• Inversiones en Bienes durables

• Inversiones en Negocios

INSUMOS

•Cuenta bancaria que incentiva los retiros

PRODUCTOS



• Incrementa la cantidad de dinero que los ahorrantes están dispuestos a poner en cuentas

IMPACTOS

•Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc)

Indicadores

OBJETIVOS


OBJETIVOS

•Número de personas de hogares pobres con cuentas bancarias


5. Ejemplo: Microemprendimiento en Chile

41


En Chile, las personas desempleadas y en situación de

pobreza tienen pocas oportunidades de formar un

negocio para generar sus propios ingresos.

Problema puede ser atribuible a la falta de acceso a

capital para crear micro-empresas.

Además de una falta de capital, ¿que más podría

explicar su inhabilidad de crear negocios?

Antecedentes


El Ministerio de Desarrollo Social de Chile implementó el

Programa de Apoyo al Microemprendimiento (PAME). El

programa ofrecía a microemprendedores US$600 de

capital semilla y 60 horas de capacitación en gestión de

negocios.

Programa


Público objetivo: personas de hogares pobres que están desempleadas o con empleo inestable y que deciden aplicar al programa.

Las capacitaciones consistían en 3 semanas de capacitación formal, seguido de 3 meses de asesoría práctica.

Al completar la capacitación formal, se entregaba el capital semilla.

Capacitador asiste en la compra de insumos con el capital y en el manejo del negocio.

Estructura


Teoría de cambio

NECESIDADES

•Pocas oportunidades de generación de ingresos para personas pobres

• Falta de capital semilla y conocimientos sobre gestión de empresas por parte de micro-emprendedores de bajos recursos

INSUMOS

•Programa de Apoyo al Micro-emprendimiento

•Capacitaciones

•Entrega de capital semilla

PRODUCTOS

•Beneficiarios capacitados.

•Beneficiarios con capital semilla


•Beneficiarios usan sus nuevos conocimientos y capital para mejorar las prácticas de sus negocios

IMPACTO

•Aumentan los ingresos de trabajo independiente

•Disminuye la tasa de desempleo


¿Cuáles son los supuestos necesarios para esta cadena

causal?

¿Qué tiene que ocurrir para que esta cadena causal

funcione?

Teoría de cambio


NECESIDADES


•Falta de capital semilla y conocimientos

INSUMOS

•Programa de Apoyo al Microemprendimiento

•Capacitaciones


PRODUCTOS

•Beneficiarios completan capacitación.

•Beneficiarios usan el capital para comprar insumos para sus micro-empresas


•Beneficiarios usan sus nuevos conocimientos y capital para cambiar sus prácticas de negocios.

IMPACTO

•Aumentan los ingresos de los beneficiarios

•Disminuye la tasa de desempleo de los beneficiarios

Personas pobres quieren crear negocios.

Personas pobres no tienen conocimientos o

capital.

Se ofrecen las capacitaciones.

Se entrega el capital semilla.

Beneficiarios asisten a

capacitaciones e invierten dinero en

sus negocios

Cambian las prácticas de

negocio.

Los nuevos negocios producen un aumento en los

ingresos de los beneficiarios

Teoría de cambio

Supuestos


Teoría de cambio

NECESIDADES


•Falta de capital semilla y conocimientos

INSUMOS

•Programa de Apoyo al Microemprendimiento

•Capacitaciones


PRODUCTOS

•Beneficiarios completan capacitación.

•Beneficiarios usan el capital para comprar insumos para sus micro-empresas


•Beneficiarios usan sus nuevos conocimientos y capital para mejorar el rendimiento de sus negocios

IMPACTO

•Aumentan los ingresos de los beneficiarios

•Disminuye la tasa de desempleo de los beneficiarios

Tasa de desempleo del

público objetivo

Encuestas

Certificado

Facturas de insumos

Encuesta de prácticas en

gestión de su negocio

Encuesta

Registros de Seguridad Social

Indicadores


6. Datos

49


Datos Secundarios

Datos Primarios

¿Dónde conseguir datos?


Datos primarios: Datos que fueron levantados para

el propósito de la investigación.

Dónde conseguir datos

Encuestas

Exámenes, tests, etc.

Experimentos: Ej: Juegos para notar preferencias

Observación Directa

¿Cuáles podrían ser algunos problemas con estos recursos?

La data primaria es confiable si quien la levanta es confiable


Datos primarios: Encuestas

Usualmente se planea una encuesta específica

para realizar la evaluación.

Son fuentes de abundante información para línea

de base y de seguimiento

Son muy adecuados para responder el “qué”, “por

qué” y “cómo” de los impactos de los programas.

Sin embargo, se plantean desafíos:

TIEMPO

COSTO: US$ 50 por encuesta.

52


Datos secundarios: Datos que fueron levantados de

otras fuentes de información.

Ej: Censo, datos administrativos de

programas, etc…

Dónde conseguir datos: Datos Secundaria


Datos secundarios: Datos Administrativos Datos originalmente recolectados para tres fines principales:

Seguimiento de programas,

Focalización de programas sociales,

Permitir la regulación y auditoría.

Derivados de una fuente administrativa, comúnmente una

dependencia gubernamental:

Ministerios sectoriales, unidades de ejecución/administración del

programa, etc.

Usualmente de alta frecuencia y de amplia cobertura del grupo

objetivo

Por ejemplo, niños matriculados en la escuela, registros vitales,

registros migratorios, registros civiles, registros de la seguridad

social, etc.


Datos secundarios: Datos Administrativos Ventajas

Tamaño de muestra muy grande, posibilidad de evaluar el impacto en

todo la población

Posibilidad de contestar una amplia gama de preguntas.

Posibilidad de observar impactos en distintos momentos del tiempo.

No es necesario invertir en el levantamiento de datos

Desventajas:

Desconocimiento del proceso detrás de la generación de la

información.

Depender de la disposición y capacidad del gobierno de entregar la

información.

Falta de acceso a indicadores intermedios y blandos.

Manipulación


La teoría de cambio es un paso clave en el diseño

un programa.

A través de la cadena causal creamos un mapa

de cómo los insumos y actividades del

programa producen los cambios esperados.

Identificamos los supuestos detrás de la lógica

del programa.

Los indicadores nos permiten medir el

cumplimiento de cada paso de la cadena

causal.

Conclusión


Gracias

57

Claudia Martínez

Profesora Asistente de Economía

Universidad de Chile

[email protected]

mailto:[email protected]

introducción ev. necesidades . teórica ejemplo chile …. midiendo... · identificar indicadores...

Documents