Usando evaluaciones para

combatir la pobreza

Ryan Cooper J-PAL Latinoamérica y el Caribe

Problemas muy serios…

Más de 10 millones de niños alrededor del mundo

mueren a causa de enfermedades prevenibles.

Anualmente, cerca de 23 millones de niños no son

vacunados.

Alrededor de 101 millones de niños no asisten a la

escuela.

¿Qué podemos hacer?

¿Qué podemos hacer?

→ Dar más ayuda internacional y esperar que

funcione

Los países en vías de desarrollo necesitan un

empujón adicional para sobrepasar la pobreza.

→ Reducir la ayuda internacional

Ya se ha dado mucho dinero y no hemos visto

cambios drásticos.

Este es un debate muy importante entre expertos de

desarrollo internacional.

Pero, ¿a quién le creemos?

Más ayuda

internacional

Menos ayuda

internacional

¿Cuál es el impacto de la ayuda internacional?

Cantidad de ayuda y PIB per cápita

Ayuda Internacional Reducción de la pobreza

Factores geográficos

Desastres naturales Tecnología

Instituciones

Tipo de gobierno

NO OBSERVABLES

Imposible contestar esta pregunta

Recursos naturales

Educación

Salud

¿Qué hacemos?

Si no sabemos si la ayuda

internacional funciona o no

funciona, entonces somos

como la medicina medieval:

A veces los pacientes

mejoraban con las sanguijuelas,

otras veces empeoraban y

morían.

Pero, ¿fue por causa de las

sanguijuelas o por otra cosa?

Reformulemos la pregunta

Estamos haciendo la pregunta equivocada

Tal vez exista otra manera de ver el problema:

Enfoquémonos en preguntas pequeñas –

pero no menos importantes – que sí

podamos contestar de manera científica.

Preguntas que sí podemos contestar

¿Cómo

incrementamos el

acceso al agua

potable para poder

reducir el número de

enfermedades

causadas por agua

contaminada?

Preguntas que sí podemos contestar

¿Cómo incrementamos las

tasas de vacunación?

¿Cómo hacemos para que

los niños reciban todas las

vacunas que necesitan

para estar completamente

protegidos?

¿Cómo contestamos estas preguntas?

Ya no estamos en la era medieval…

Usando experimentos, es posible poner a prueba los

medicamentos para saber si funcionan o no funcionan.

¡Podemos hacer lo mismo con las políticas públicas!

Necesidad de evaluar

Sólo evaluando las políticas públicas

de manera científica sabremos cuál

es el verdadero impacto de una

política.

• Las políticas públicas basadas en

evidencia nos aseguran que nuestros

recursos limitados vayan a programas

que verdaderamente funcionen.

• Las evaluaciones de impacto de las

políticas públicas generan conocimientos

importantes sobre cómo superar la

pobreza.

Diferentes tipos de evaluación

1. Evaluación de

necesidades

2. Evaluación de procesos

3. Evaluación de impacto

4. Análisis costo-

efectividad

a. ¿Cuál es el problema?

b. ¿Se implementó

correctamente el programa?

c. ¿Cuál fue el impacto y de qué

magnitud?

d. ¿Qué tan barato o caro fue el

programa?

Consideraciones importantes

1. Relevancia

1. ¿Es la pregunta a evaluar relevante para las políticas públicas?

2. Madurez del programa a ser evaluado.

3. ¿Se podrán generalizar los resultados?

4. Tomar en cuenta: costos, evaluación de procesos.

2. Confiabilidad del impacto estimado

1. Estrategia de identificación adecuada y bien justificada.

2. Poder estadístico

3. Protocolo de análisis definido ex-ante

3. Calidad de los datos

1. Seleccionar, capacitar y pilotear.

2. Monitoreo y contro de calidad.

Evaluación de Impacto

Nos permiten atribuir causalidad e identificar el impacto de

un programa.

Determinar causalidad es contestar las siguientes

preguntas: ¿Qué hubiera pasado si las unidades que reciben el

programa no lo hubieran recibido?

¿Cómo serían los niveles de esas variables de resultado en

ausencia del tratamiento?

CONTRAFACTUAL.

Impacto

Intervención

Tiempo

Contrafactual

Impacto

Contrafactual

Contrafactual

Contrafactual

Contrafactual: la situación de los participantes que

participaron en el programa si no hubieran participado

en el programa.

• Ya que es hipotético, tenemos que estimarlo.

• Existen diferentes métodos para estimarlo.

• Método experimental

• Métodos cuasi-experimentales

• Diferencia-en diferencia

• Regresiones

• Regresión discontinua

• Evaluación pre/post

Contrafactual

Lo ideal sería que las unidades del grupo de control fueran

iguales a las del grupo de Tratamiento en:

Características observables (ingreso, edad, localización

geográfica, nivel educativo, etc.) que podemos medir.

Características NO observables (motivación, gustos, habilidad,

etc.) que en general no podemos medir.

La única diferencia entre el Grupo de Tratamiento y el Grupo

de Control debería ser la asignación al Tratamiento

Tipo de Escuela Puntaje académico

Aporte Padres

Educación Padres Ingresos

Salud

Pre-Básica

-0.2

6.8

7.4

13.4

8.1

16.6

18.2

NO OBSERVABLES

Medir impacto es complejo

Evaluación Experimental

El mejor método para estimar el contrafactual es el

método experimental.

Nos permite medir: Resultados que los participantes del

programa obtienen un tiempo después

de participar en el programa

Resultados que los mismos participantes

hubieran obtenido en ese mismo momento si

no habrían participado en el programa

IMPACTO

Evaluación Experimental

• Genera grupos de tratamiento y de control de forma

aleatoria,

• Esto nos garantiza que los dos grupos sean

estadísticamente iguales, por lo que cualquier

diferencia después de cierto tiempo se deberá al

programa evaluado.

• Se puede aleatorizar de varias maneras.

• La evaluación debe ser planificada ex-ante.

• Puede medir externalidades y efectos secundarios.

Límites y Oportunidades

• No todos los programas pueden o deben ser evaluados

de manera experimental.

• Difícil evaluar algo como una política monetaria o fiscal.

• Pero, sí podemos evaluar programas dirigidos a

individuos o comunidades o que por falta de recursos

deben ser introducidos paulatinamente.

Límites y Oportunidades

Oportunidades para hacer una evaluación

experimental:

• Programa piloto

• Expansión de un programa

• Programa popular o con exceso de demanda

• Programas que tienen tasas de participación que no

llegan al 100%

Contestemos las preguntas

Usemos evaluaciones experimentales para

contestar las preguntas que nos hicimos antes:

¿Cómo incrementamos el

acceso al agua potable?

¿Cómo incrementamos las tasas

de vacunación?

Acceso al agua potable

Agua Potable

Muchas personas en países

en vías de desarrollo no

tienen acceso a agua limpia.

Cada año, más de un millón

de niños menores de 5 años

mueren debido a

enfermedades diarreicas,

normalmente causadas por

agua sucia.

• Encajar pozos con concreto

para protegerlos de

bacterias en el suelo.

• Distribuir cloro

gratuitamente a los hogares

o con vouchers.

• Instalar dispensadores de

cloro junto a los pozos.

Posibles soluciones

• Los investigadores realizaron la

evaluación en Kenia rural, donde

testearon las diferentes formas de

purificar el agua.

• Aleatoriamente, escogieron

comunidades que recibían una de las

diferentes intervenciones y luego las

comparaban con las comunidades

que no fueron seleccionadas.

La evaluación

La evaluación de

impacto también

incorporó una

evaluación de proceso

para saber si los

productos estaban

siendo usados y si no,

para saber por qué no

se usaban

Evaluación de proceso

Encajar pozos en concreto:

Mejora la calidad del agua • Los pozos en las comunidades de

tratamiento tenían 66% menor

contaminación de E.coli que los pozos en

comunidades del grupo de control.

Reduce la incidencia de diarrea • La incidencia de diarrea entre niños

menores de 3 años cayó por 4.7 puntos

porcentuales relativo al grupo de

comparación.

Resultados

Distribuir cloro gratuitamente:

En los hogares

Incrementa el uso del cloro en

los hogares: • Se detectó cloro en el agua de 58% de

los hogares en las comunidades del

grupo de tratamiento (el valor inicial

era de 2%).

Vouchers

Sólo el 10 % de los vouchers

fueron canjeados.

Resultados

Dispensadores de cloro

Incrementa el uso del

cloro en los hogares: • Se detectó cloro en un 60-

70% de los hogares en el

grupo de tratamiento.

• En los hogares del grupo de

comparación, sólo se

detectó cloro en un 5-10%

de los hogares.

Resultados

La evaluación de procesos encontró que la

conveniencia importa mucho:

• Aún los productos gratis pueden no ser usados si

requieren tiempo o esfuerzo adicional.

• Por ejemplo, las personas sí usaban el cloro

cuando se les fue entregado en el hogar pero no

cuando tenían que canjearlo con un voucher.

Uso del Cloro

La evaluación de procesos encontró que la

conveniencia importa mucho:

• Una explicación del éxito de los

dispensadores de cloro es que eran fáciles de

usar:

• Dispensan la cantidad necesaria para

purificar el agua.

• Usar el dispensador representa sólo un

paso extra.

Uso del Cloro

Costo-Efectividad

Incrementando Tasas de

Vacunación

• Existe la tecnología y las

medicinas (vacuna contra

difteria, pertussis y tétano) que

pueden prevenir muchas

muertes infantiles.

• Sin embargo, cada año, por lo

menos 25 millones de niños no

son vacunados o no reciben la

dosis completa de las

vacunas.

Problema de la “última milla”

Vacunación

• India es uno de los países donde muchos niños en

zonas rurales no reciben vacunas o la dosis completa.

• En promedio, un hogar en Udaipur está a dos

kilómetros de un centro de salud, donde se entregan

las vacunas gratuitamente. Muchas veces, estos

centros están cerrados debido a que no llegan las

enfermeras.

• Los niños deben recibir 5 vacunas para estar

completamente protegidos. Esto representa 5 visitas al

centro.

El contexto de India

• Se realizó una evaluación experimental para descubrir

la mejor manera de incrementar las tasas de

vacunación en esta región.

• La muestra consistió de 134 aldeas que fueron

aleatoriamente asignadas a grupos de tratamiento y de

control.

• Habían dos “tratamientos”:

• Centros de vacunación móviles

• Centros de vacunación móviles con incentivos (1 kg

de lentejas).

Evaluación

• Los centros de vacunación

móviles incrementaron el

número de niños que recibían

la primera vacuna al 80%,

pero todavía habían muchos

niños que quedaban sin

recibir todas las vacunas.

• Las tasas de vacunaciones

completas fueron del 18% en

aldeas con un centro móvil

comparado al 6% en aldeas

del grupo de control.

Resultados

La combinación de centros móviles con el incentivo de lentejas

incrementó las tasas de vacunaciones completas al 39%.

Resultados

Los centros móviles con incentivos atendían a más personas que los

centros sin incentivos y las enfermeras vacunaban a más niños. Las

lentejas, entonces, redujeron el costo por vacuna.

¿Es sustentable dar lentejas?

J-PAL

Abdul Latif Jameel Poverty Action Lab (J-PAL)

Red global de 70 académicos, unidos

por el uso de evaluaciones

experimentales para contestar

preguntas esenciales para la

superación de la pobreza.

J-PAL

Misión:

Reducir la pobreza

garantizando que las

políticas públicas

estén basadas en

evidencia científica.

J-PAL: Nuestras actividades

Alcanzando nuestra misión

350 evaluaciones experimentales en la red de J-PAL

Más de 60 millones de beneficiarios de programas influenciados por evidencia

de J-PAL

Más de 1.200 personas capacitadas

48

Más de 350 evaluaciones en 52 países

Oficinas Regionales

49

J-PAL Latinoamérica y el Caribe

En Latinoamérica y el Caribe,

tenemos evaluaciones en las

siguientes áreas:

• Educación

• Salud

• Finanzas

• Mercados Laborales

• Servicios Urbanos

Promoviendo

políticas públicas basadas en evidencia

Además de evaluar programas específicos, J-PAL

LAC ha propiciado colaboraciones con gobiernos.

Comisión Brújula Chile

Conclusiones

• Las evaluaciones de impacto son un bien

público y benefician a todos.

• Son un guía de inversión para la ayuda

internacional: invertir más en programas que sí

funcionan y para de invertir en programas que

no funcionan.

Conclusiones

Organizaciones internacionales y evaluaciones de

impacto: • Más evaluaciones de procesos.

• No es factible o necesario evaluar el impacto de

todo.

• Enfocarse en preguntas clave:

• Por qué y cómo funciona un programa.

• Usar los conocimientos generados para saber qué

financiar.

• Aprender de las evaluaciones de otros al momento

de diseñar un programa y decidir en qué invertir.

¡Gracias!