midiendo el impacto: métodos de evaluación de...
TRANSCRIPT
![Page 1: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/1.jpg)
1
Midiendo el Impacto: Métodos de Evaluación de Impacto
Sebastian Martinez Banco Inter-Americano de Desarrollo Santiago, abril 2013
Presentación por Sebastian Martinez, basado en el libro “Impact Evaluation in Practice” por Gertler, Martinez, Premand, Rawlings y Vermeersch (2010). El contenido de esta presentación representa la opinión del autor y no necesariamente del Banco Inter Americano de Desarrollo. Esta versión: Abril 2013.
![Page 2: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/2.jpg)
Que es una Evaluación de Impacto?
Comenzamos con una Pregunta de Desarrollo……
• Como reducir el desempleo entre los jóvenes?
• Como incrementar la inscripción escolar?
• Como mejorar la nutrición de los niños?
• Otros………
Proponemos una solución…..
• Capacitación técnico-vocacional para jóvenes
• Becas escolares
• Suplementos nutricionales
2
![Page 3: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/3.jpg)
Al final del día, el programa tuvo IMPACTO?
• La capacitación técnico-vocacional redujo el desempleo de los jóvenes?
• Las becas escolares aumentaron la inscripción escolar?
• Los suplementos nutricionales mejoraron la nutrición de los niños?
3
La Evaluación de Impacto mide la relación causa-efecto entre una intervención y un resultado
![Page 4: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/4.jpg)
Teoría del Cambio
La política publica debe estar fundamentado en una “teoría de cambio” que relaciona la intervención a los resultados de interés
4
La evaluación de impacto mide si estos resultados fueron logrados
![Page 5: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/5.jpg)
Cadena de Resultados
Insumos Actividades Productos Resultados Impactos
5
Implementación (Oferta) Resultados (Oferta + Demanda)
Recursos Humanos, Financieros, otros movilizados para realizar actividades
Acciones emprendidas o trabajo realizado para convertir insumos en productos específicos
Bienes y servicios producidos y entregados bajo control del implementador
Uso de productos por parte de poblacion de interes
Objetivos finales del programa o metas de largo plazo
Presupuesto Personal Otros Recursos
Actividades realizadas para producir bienes y servicios
Bienes y Servicios Producidos bajo control del organismo ejecutor
No totalmente bajo el control del organismo ejecutor
Afectados por múltiples factores externos
![Page 6: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/6.jpg)
Inferencia Causal
Contrafactuales
Contrafactuales falsos:
Condición pre-programa (pre-post)
Auto-seleccionados (peras y manzanas)
6
![Page 7: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/7.jpg)
Objetivo de la Evaluación de Impacto
7
Estimar el efecto causal (impacto) de una intervención (P) en un resultado (Y).
(P) = Programa o “Tratamiento”
(Y) = Resultado, Medida de Exito
Ejemplo: Cual es el impacto de un programa de transferencias monetarias (P) sobre el consumo del hogar (Y)?
![Page 8: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/8.jpg)
Pregunta de Evaluación:
8
Cual es el impacto de (P) sobre (Y)?
α= (Y | P=1)-(Y | P=0)
Respuesta:
![Page 9: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/9.jpg)
Problema de Datos Incompletos
Para un Beneficiario de Programa:
α= (Y | P=1)-(Y | P=0)
Observamos (Y | P=1): consumo del hogar (Y) participando en el programa de transferencias monetarias (P=1)
Pero NO observamos (Y | P=0): consumo del hogar (Y) sin el programa de transferencias monetarias (P=0) 9
![Page 10: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/10.jpg)
Solución
Estimamos lo que hubiese sucedido con Y en la ausencia de P.
Llamamos esto el….. Contrafactual.
10
![Page 11: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/11.jpg)
Estimando el impacto de P sobre Y
Observamos (Y | P=1) Resultado bajo Tratamiento
Estimamos (Y | P=0) El Contrafactual
Usa grupos de Comparación o Control
α= (Y | P=1)-(Y | P=0)
IMPACTO = - contrafactual Resultado con Tratamiento
11
![Page 12: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/12.jpg)
Ejemplo: Cual es el Impacto de…
Darle a Fulanito
(P)
(Y)?
dinero
en su consumo de caramelos
12
![Page 13: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/13.jpg)
El “Clon” Perfecto Fulanito “Clon”
IMPACTO=…………
6 caramelos 4 caramelos
13
![Page 14: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/14.jpg)
En realidad, usamos propiedades de la estadística……..
Tratamiento Comparación
Y Promedio=6 caramelos Y Promedio=4 caramelos
IMPACTO=6-4=2 14
![Page 15: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/15.jpg)
Encontrando buenos controles
Queremos encontrar “clones” para los “Fulanitos” de nuestros programas.
Los grupos de tratamiento y control deben tener
• Características idénticas
• Excepto por la intervención
En practica, usamos reglas de elegibilidad al programa para encontrar buenos controles
15
![Page 16: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/16.jpg)
Caso: Progresa Programa nacional contra la pobreza en México
o Objetivos:
o Romper transmisión inter-generacional de pobreza y reducir pobreza hoy
o Comienza 1997
o 5 millones de beneficiarios hasta 2004
o Elegibilidad en base a índice de pobreza
Intervención: Transferencias Condicionadas
o Condicional en participación escolar y servicios de salud
16
![Page 17: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/17.jpg)
Caso: Progresa
Evaluación de impacto con riqueza de información:
o 506 comunidades, 24,000 hogares
o Línea Base 1997, seguimiento 2008
Muchos resultados de interés (educación, salud, etc)
Aqui: Estándar de vida: Consumo per cápita
Cual es el impacto de Progresa (P) sobre Consumo per cápita (Y)?
Si el impacto es de $20 pesos o mas por mes, escalamos programa
17
![Page 18: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/18.jpg)
Elegibilidad e Inscripción
No elegible
(No pobre)
Elegible (Pobre)
Inscrito
No Inscrito
![Page 19: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/19.jpg)
Inferencia Causal
Contrafactuales
Contrafactuales falsos:
Condición pre-programa (pre-post)
Auto-seleccionados (peras y manzanas)
19
![Page 20: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/20.jpg)
20
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
Round 1 Round 2 Round 3
Y(%
)
Pre-post
Vocational Skills - Male
Vocational Skills - Female
Impacto de Programa?
0.17
0.26
0.45
0.38
Hombres
Mujeres
![Page 21: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/21.jpg)
21
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
Round 1 Round 2 Round 3
Y(%
)
Pre-post
Vocational Skills - Male
Vocational Skills - Female
0.17
0.26
0.45
0.38
Hombres
Mujeres
Impacto de Programa?
![Page 22: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/22.jpg)
22
0
0.1
0.2
0.3
0.4
0.5
0.6
Round 1 Round 2 Round 3
Y(%
)
Pre-post
Vocational Skills - Male
Control - Male
Vocational Skills - Female
Control - Female
0.26
0.20
0.45
0.53
Impacto de Programa?
![Page 23: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/23.jpg)
Caso 1: Pre-programa ¿Cual es el impacto de Progresa (P) sobre Consumo per cápita (Y)?
Y
Tiempo T=1997 T=1998
α = $35
IMPACTO=A-B= $35
B
A
233
268 (1) Observamos consumo antes (Abril 1997) y después (Noviembre 1998) del programa
(2) α= (Y | P=1)-(Y | P=0)
23
![Page 24: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/24.jpg)
Caso 1: Pre-programa
Nota: **estadísticamente significativo al 1%
Consumo (Y)
Resultado CON Tratamiento (Post) 268.7
Contrafactual (Pre) 233.4
Impacto (Y | P=1) - (Y | P=0) 35.3**
Análisis de Regresión:
Regresión Lineal 35.27**
Regresión Lineal Multivariable 34.28**
24
![Page 25: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/25.jpg)
Caso 1: ¿Cuál es el problema? Y
Tiempo T=0 T=1
α = $35
B
A
233
268
Boom Económico: o Impacto “real”=A-C
o A-B es una sobre-estimación
C ?
D ?
Impacto?
Impacto? Recesión: o Impacto “real”=A-D
o A-B es una sub-estimación
25
![Page 26: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/26.jpg)
Inferencia Causal
Contrafactuales
Contrafactuales falsos:
Condición pre-programa (pre-post)
Auto-seleccionados (peras y manzanas)
26
![Page 27: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/27.jpg)
Controles Auto-seleccionados
Generalmente NO son buenos controles aquellos que:
Eligen NO participar
Son Inelegibles para participar (con algunas excepciones importantes)
Sesgo de Selección: o Características de la población están correlacionados
con su condición de participación en el programa y con los resultados (Y) de interés
Podemos controlar por observables
Pero no por inobservables!
El impacto estimado se confunde con estas características
27
![Page 28: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/28.jpg)
Período post-tratamiento (1998) Caso 2: Progresa
No elegible (No pobre)
Elegible (Pobre)
En que sentido podrían ser diferentes los “Inscritos” y “No inscritos”, además de su participación en el programa?
![Page 29: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/29.jpg)
Caso 2: Controles Auto-seleccionados
Consumo (Y)
Resultado CON Treatment (Inscrito) 268
Counterfactual (No Inscrito) 290
Impacto (Y | P=1) - (Y | P=0) -22**
Análisis de Regresión:
Regresión Lineal -22**
Regresión Lineal Multivariable -4.15
Nota: **estadísticamente significativo al 1% 29
![Page 30: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/30.jpg)
Recomendación de Política Publica?
Recomendaría escalar Progresa a nivel nacional? “Si el impacto es de $20 pesos o mas por mes, escalamos programa”
Pre-programa: o No se consideran otros factores que varían en el tiempo
Auto-seleccionados: o Sesgo de Selección: otros factores asociados a los grupos de
tratamiento y comparación inciden en el resultado
Impacto en Consumo (Y)
Caso 1: Pre-programa
Regresión Lineal 35.27**
Regresión Lineal Multivariable 34.28**
Caso 2: Auto-seleccionados
Regresión Lineal -22**
Regresión Lineal Multivariable -4.15
30
![Page 31: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/31.jpg)
Pre-programa Compara: Misma unidad de observación antes y después de recibir P.
Problema: Otras cosas pueden ocurrir a lo largo del tiempo que afectan el resultado
Auto-seleccionados
Compara: Grupo que participa con grupo que elige no participar en P.
Problema: Sesgo de Selección.
Recuerda
Ambos contrafactuales pueden llevar a un estimado
sesgado del impacto
!
31
![Page 32: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/32.jpg)
Métodos de Evaluación
Asignación Aleatoria
Diseño de Regresión Discontinua
Promoción Aleatoria (Variables Instrumentales)
Diferencias en Diferencias (dif-en-dif)
Pareamiento
32
![Page 33: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/33.jpg)
Asignación Aleatoria
o Asignación de beneficios mediante lotería u otro proceso aleatorio…….. o Genera dos grupos estadísticamente idénticos
o Sobre Demanda: o # elegibles > recursos disponibles
o Innovación: necesitamos evidencia rigurosa sobre la efectividad de un programa
Cuando aleatorizar?
o Recibir el programa o Recibir el programa primero, segundo, tercero, etc
Dar a cada unidad elegible la misma probabilidad de….
o Regla de selección ético, cuantitativo y transparente o Produce el mejor contrafactual posible y es intuitivo/fácil de comunicar
Ventajas…….
33
![Page 34: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/34.jpg)
= Inelegible
Asignación Aleatoria
= Elegible
1. Poblacion
Validez Externa
2. Muestra
3. Tratamiento
Validez Interna
Comparación
![Page 35: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/35.jpg)
Unidad de aleatorización Seleccionar según el tipo de programa:
o Individual/Hogar
o Escuela/Centro salud
o Calle/Manzana
o Pueblo/Comunidad
o Distrito/Municipio/Región
Tener en cuenta: o Es necesario un número “suficientemente grande” de unidades
para detectar el impacto mínimo deseado: Potencia estadística.
o Spillovers/contaminación
o Costos operativos y de encuestas
35
![Page 36: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/36.jpg)
Caso 3: Asignación Aleatoria
Progresa:
Unidad de aleatorización: comunidad
o 320 comunidades de tratamiento (14,446 hogares):
o Primera transferencia Abril 1998
o 186 comunidades de control (9,630 hogares):
o Primera transferencia Noviembre 1999
506 comunidades en la muestra de evaluación
Aleatorización por etapas:
36
![Page 37: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/37.jpg)
Caso 3: Asignación Aleatoria
Comunidades Tratamiento
320
Comunidades Control
186
Tiempo T=1 T=0
Periodo de Comparación 37
![Page 38: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/38.jpg)
Como podemos comprobar que
tenemos buenos “clones”?
En la ausencia de P, los grupos de tratamiento y comparación deben ser
estadísticamente idénticos
Comparemos sus características de línea de base (T=0)
Caso 3: Asignación Aleatoria
38
![Page 39: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/39.jpg)
Caso 3: Balance (pre-programa)
Caso 3: Asignación Aleatoria
Control Tratamiento Est.T
Consumo ($ mensual per capita) 233.47 233.4 -0.39
Edad Jefe de Hogar (anios) 42.3 41.6 1.2
Edad Esposa(o) del Jefe (años) 36.8 36.8 -0.38
Educación Jefe (años) 2.8 2.9 -2.16*
Educación Esposa(o) (años) 2.6 2.7 -0.006
Nota: *estadísticamente significativo al 5% 39
![Page 40: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/40.jpg)
Caso 3: Balance (pre-programa)
Caso 3: Asignación Aleatoria
Control Tratamiento Est.T
Jefe de hogar femenino=1 0.07 0.07 0.66
Indigena=1 0.42 0.42 0.21 Numero miembros del hogar 5.7 5.7 -1.21
Tiene Baño=1 0.56 0.57 -1.04
Hecatrias de tierra 1.71 1.67 1.35 Distancia a Hospital (km) 106 109 -1.02
40
![Page 41: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/41.jpg)
Caso 3: Asignación Aleatoria Grupo Tratamiento
(Aleatorizado a tratamiento)
Contrafactual (Aleatorizado a comparacion)
Impacto (Y | P=1) - (Y | P=0)
Linea Base (T=0) Consumo (Y) 233.47 233.40 0.07
Seguimiento (T=1) Consumo (Y) 268.75 239.5 29.25**
Análisis de Regresión:
Regresión Lineal 29.25**
Regresión Lineal Multivariable 29.75**
Nota: **estadísticamente significativo al 1% 41
![Page 42: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/42.jpg)
Recomendación de Política Publica?
Impacto de Progresa en Consumo (Y)
Caso 1: Pre-programa
Regresión Lineal Multivariable 34.28**
Caso 2: Auto-seleccionados
Regresión Lineal -22**
Regresión Lineal Multivariable -4.15 Caso 3: Asignación Aleatoria
Regresión Lineal Multivariable 29.75**
Nota: **estadísticamente significativo al 1% 42
![Page 43: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/43.jpg)
Comparando Diferentes Beneficios
Pregunta de evaluación “tradicional”: o Cual es el impacto de un programa sobre un resultado?
Otras preguntas de interés:
o Como optimizar un programa? o Cual es el nivel optimo de un beneficio?
o Porque funciona un programa? o Cual es el impacto de un sub-componente del programa?
Asignación aleatoria con dos niveles de beneficio:
Comparación Beneficio Bajo Beneficio Alto
X 43
![Page 44: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/44.jpg)
= Inelegible
Asignación Aleatoria de 2 niveles de beneficio
= Elegible
1. Población Elegible 2. Muestra de Evaluación
3. Asignación Aleatoria (2 niveles de beneficio)
Comparación
![Page 45: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/45.jpg)
Impacto combinado de dos beneficios
Como se complementan dos beneficios?
Asignación aleatoria de paquete de intervenciones:
Intervención 2
Comparación Tratamiento
Inte
rve
nci
ón
1
Comparación
Grupo A
X Grupo C
Tratamiento
Grupo B
Grupo D
45
![Page 46: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/46.jpg)
= Inelegible
Asignación Aleatoria de múltiples intervenciones
= Elegible
1. Población Elegible 2. Muestra de Evaluación
3. Asignación Aleatoria 1
4. Asignación Aleatoria 2
X
![Page 47: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/47.jpg)
Asignación Aleatoria La asignación aleatoria de un beneficio a una población grande produce dos grupos estadísticamente equivalentes
Tenemos un “clon” perfecto!
Aleatorizado a Tratamiento
Aleatorizado a comparación
Factible en evaluaciones prospectivas cuando demanda excede oferta del beneficio
Muchos programas piloto cumplen esta condición
Recuerda !
47
![Page 48: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/48.jpg)
Métodos de Evaluación
Asignación Aleatoria
Promoción Aleatoria (Variables Instrumentales)
48
![Page 49: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/49.jpg)
Y si TODOS pueden participar?
Por ejemplo……
o Programas nacionales con elegibilidad universal? o Programas con participación voluntaria? o Programas donde no se puede “excluir” a nadie?
Si no se inscriben todos, podemos comparar participantes y no-participantes?
Sesgo de Selección!
49
![Page 50: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/50.jpg)
Ofrecer o promocionar programa a un sub-grupo aleatorio
Si la inscripción es voluntaria:
o Ofrecer programa a una sub-muestra aleatoria
o Algunos aceptan
o Otros no aceptan
… y no se puede excluir la oferta a nadie:
o Ofrecer programa a todos
o Ofrecer promoción, estimulo o incentivos a una sub-muestra aleatoria:
Información
Premio
Transporte
Oferta aleatoria
Promoción aleatoria
50
![Page 51: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/51.jpg)
Oferta y Promoción Aleatoria
1. Grupo ofertado/promocionado y no-ofertados/no-promocionados son comparables: • Condición de promoción del grupo (con/sin) NO esta correlacionado
con las características de la población
• Garantizado por la aleatorización
2. Grupo ofertado/promocionado tiene mayor tasa de participación en el programa • Es decir, la promoción funciona!
• Podemos comprobar empíricamente
3. La oferta/promoción no afecta los resultados directamente • Usamos teoría e intuición para asegurar esta condición
Condiciones necesarias:
51
![Page 52: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/52.jpg)
Oferta y Promoción Aleatoria
CON promoción SIN promoción
NUNCA se inscribe
Solo se inscribe con promoción
SIEMPRE se inscribe
3 grupos de unidades o individuos
52
![Page 53: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/53.jpg)
0
Eligible
Inscrito Nunca Promoción Siempr
e
Oferta y Promoción Aleatoria
1.Población Elegible 2.Aleatoriza Oferta/Promoción 3. Inscripción
CON Oferta/Promoción
SIN Oferta/Promoción
![Page 54: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/54.jpg)
Ejercicio: estimar el impacto de
Grupo A: CON Oferta/Promoción
Grupo B: SIN Oferta/Promoción
Impacto
Inscrito=80% Y Promedio para
grupo A=100
Inscrito = 30% Y Promedio para
grupo B=80
∆Inscritos=…….. ∆Y= ……..
Impacto=………………
Nunca Participa
Participa con Promoción
Siempre participa
54
![Page 55: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/55.jpg)
Caso 4: Oferta Aleatoria Oferta aleatoria es una “Variable Instrumental”
o Progresa se ofrece a los hogares
o Oferta a hogares en un grupo aleatorio de 320 comunidades
o 92% de hogares lo toman, 8% lo rechaza
Si hay menos de 100% de inscripcion en el programa…
o Intencion al tratamiento: Impacto de ofrecer el programa
o Tratamiento sobre lo Tratados: Impacto de tomar el programa
o Utilizamos la asignacion aleatoria de la oferta como “variable instrumental”
55
![Page 56: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/56.jpg)
Caso 4: Oferta Aleatoria
CON Oferta (320 Comunidades)
SIN Oferta (186 Comunidades)
Impacto Tratamiento sobre Tratados
Inscrito=92% Consumo
Promedio= 268
Inscrito=0% Consumo
Promedio= 239
∆Inscrito=0.92 ∆Y=29
Impacto= 29/0.92 =31
Nunca Participa
X
Participa con Oferta
Siempre participa
X
56
![Page 57: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/57.jpg)
Caso 4: Oferta Aleatoria
Impacto del Tratamiento sobre el consumo de los Tratados
Regresión Variables Instrumentales 30.4**
Nota: **estadísticamente significativo al 1% 57
![Page 58: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/58.jpg)
Oferta/Promoción Aleatoria Oferta/Promoción debe ser efectivo en incrementar participación!
Asignamos aleatoriamente la oferta/promoción (evaluación experimental) con el propósito de evaluar el impacto del programa de interés
Estrategia depende de la validez de la oferta/promoción
Estimamos un impacto local, no necesariamente generalizable para toda la población
No excluimos a nadie, pero…
Recuerda !
58
![Page 59: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/59.jpg)
Métodos de Evaluación
Asignación Aleatoria
Diseño de Regresión Discontinua
Promoción Aleatoria (Variables Instrumentales)
59
![Page 60: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/60.jpg)
Diseño de Regresión Discontinua
Programas anti-pobreza
Pensiones
Educación
Agricultura
Muchos programas focalizan mediante un índice o puntaje continuo que determina elegibilidad:
Focaliza hogares debajo cierto nivel de ingreso o índice de pobreza
Focaliza población mayor de edad
Becas para los mejores estudiantes en base a una prueba estandarizada
Fertilizante para pequeños productores (hectáreas de tierra)
60
![Page 61: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/61.jpg)
Ejemplo: Programa Agrícola
Mejorar productividad para pequeños productores Objetivo:
o Productores con ≤50 hectáreas son elegibles o Productores con >50 hectáreas son inelegibles
Focalización:
Subsidio para comprar fertilizantes Intervención:
61
![Page 62: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/62.jpg)
Pre-Intervención (línea Base)
No Elegible
Elegible
![Page 63: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/63.jpg)
Post-Intervención
IMPACTO
![Page 64: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/64.jpg)
Diseño de Regresión Discontinua Necesitamos un índice de elegibilidad continuo con un punto de corte de elegibilidad definido
Intuición: o Unidades alrededor del punto de corte son parecidos – el
grupo no-elegible produce un buen contrafactual
o Impacto estimado es valido en un vecindario alrededor del punto de corte
64
![Page 65: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/65.jpg)
Caso 5: Diseño de Regresión Discontinua
Elegibilidad para PROGRESA en base a un índice de pobreza (prueba de medias)
Hogar pobre si puntaje ≤ 750
Elegibilidad:
o Elegible=1 si puntaje ≤ 750 o Elegible=0 si puntaje > 750
65
![Page 66: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/66.jpg)
Caso 5: Diseño de Regresión Discontinua: Pre- intervención F
itte
d v
alu
es
puntaje estimado en focalizacion276 1294
153.578
379.224
Índice de Pobreza
Co
nsu
mo
![Page 67: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/67.jpg)
Fitte
d v
alu
es
puntaje estimado en focalizacion276 1294
183.647
399.51
Caso 5: Diseño de Regresión Discontinua: Post-Intervención
Co
nsu
mo
Indice de Pobreza
30.58**
Impacto sobre Consumo (Y) Regresión Lineal Multivariable
![Page 68: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/68.jpg)
Diseño de Regresión Discontinua Requiere un índice de elegibilidad continuo con punto de corte definido
Observaciones justo al otro lado del punto de corte de elegibilidad son buenos controles.
No es necesario “excluir” un grupo de unidades elegibles del programa
Muchas veces se puede aplicar en evaluaciones retrospectivas que cumplen las condiciones necesarias
Recuerda !
68
![Page 69: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/69.jpg)
Diseño de Regresión Discontinua Produce un estimado de impacto local: o Efecto del programa
alrededor del punto de corte o Importante para decidir si
expandir o reducir cobertura del programa
o No es necesariamente generalizable a otras poblaciones
Potencia: o Necesitamos muchas observaciones alrededor del punto de corte.
Cuidado con el modelo: A veces lo que parece una discontinuidad en la grafica es otra cosa (como una relación no-lineal).
Recuerda !
69
![Page 70: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/70.jpg)
Métodos de Evaluación
Asignación Aleatoria
Diseño de Regresión Discontinua
Promoción Aleatoria (Variables Instrumentales)
Diferencias en Diferencias (dif-en-dif)
70
![Page 71: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/71.jpg)
Diferencias en Diferencias (dif-en-dif)
Y= Inscripción Escolar P= Programa de Tutoría
Dif-en-Dif: Impacto=(Yt1-Yt0)-(Yc1-Yc0)
Con Programa Sin Programa
Post 0.74 0.81
Pre 0.60 0.78
Diferencia
- -
- =
71
![Page 72: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/72.jpg)
Diferencias en Diferencias (dif-en-dif)
Dif-en-Dif: Impacto=(Yt1-Yc1)-(Yt0-Yc0)
Y= Inscripción Escolar P= Programa de Tutoría
Con Programa Sin Programa
Post 0.74 0.81
Pre 0.60 0.78
Diferencia
-
- -
=
72
![Page 73: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/73.jpg)
Impacto =(A-B)-(C-D)=(A-C)-(B-D) In
scri
pci
ón
Esc
ola
r
B=0.60
C=0.81
D=0.78
T=0 T=1 Tiempo
Con Programa
Sin Programa
Impacto=0.11
A=0.74
![Page 74: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/74.jpg)
Impacto =(A-B)-(C-D)=(A-C)-(B-D) In
scri
pci
ón
Esc
ola
r
Impacto<0.11
B=0.60
A=0.74
C=0.81
D=0.78
T=0 T=1 Tiempo
Con Programa
Sin Programa
![Page 75: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/75.jpg)
Caso 6: Dif en Dif con Progresa Inscritos No Inscritos Diferencia
Pre-programa (T=0) Consumo (Y) 233.47 281.74 -48.27
Post-programa (T=1) Consumo (Y) 268.75 290 -21.25
Diferencia 35.28 8.26 27.02
Análisis de Regresión:
Regresión Lineal 27.06**
Regresión Lineal Multivariable 25.53**
Nota: **estadísticamente significativo al 1% 75
![Page 76: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/76.jpg)
Diferencias-en-Diferencias Dif-en-Dif: cambio pre-post entre un grupo participante y otro no-participante
Contrafactual para la tendencia o cambio en el indicador
Asume que en la ausencia de programa, tendencias entre participantes y no-participantes serian iguales
Para comprobar igualdad de tendencias, necesitamos al menos: o 2 observaciones antes o 1 observación después
Recuerda !
76
![Page 77: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/77.jpg)
Métodos de Evaluación
Asignación Aleatoria
Diseño de Regresión Discontinua
Promoción Aleatoria (Variables Instrumentales)
Diferencias en Diferencias (dif-en-dif)
Pareamiento
77
![Page 78: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/78.jpg)
Pareamiento
Para cada unidad de tratamiento escogemos el mejor “par” de otra población sin tratamiento.
Idea
Los pares se seleccionan sobre similitudes en características observadas.
Como?
Si existen otras características no-observadas que afectan la participación: Sesgo de selección!
Riesgo?
78
![Page 79: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/79.jpg)
Pareamiento por Propensión a Participar: Propensity-Score Matching (PSM)
Grupo de comparación: no-participantes con las mismas características observables que participantes o Pueden existir muchas características importantes
Pareamiento en base a “puntaje de propensión”, (propuesto por Rosenbaum y Rubin):
o Para cada unidad, computar la probabilidad de participar en base a características observables: puntaje de propensión
o Escoger pares que tienen puntajes de propensión cercanos
o Ver apéndice 2.
79
![Page 80: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/80.jpg)
Densidad de puntajes de propensión
Densidad
Puntaje de Propensión 0 1
Participantes No-Participantes
Soporte Común
![Page 81: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/81.jpg)
Caso 7: Pareamiento en Progresa
Caracteristicas pre-programa Coeficiente Estimado Regresión Probit, Prob Inscrito=1
Edad jefe de hogar (anios) -0.022**
Edad esposo(a) del jefe (anios) -0.017**
Educacion del Jefe (years) -0.059**
Educacion de Esposa (years) -0.03**
Jefe femenino=1 -0.067
Indigena=1 0.345**
Numero de miembros del hogar 0.216**
Piso de tierra=1 0.676**
Baño=1 -0.197**
Hectarias de tierra -0.042**
Distancia al hospital (km) 0.001*
Constante 0.664**
Nota: **estadísticamente significativo al 1%, * estadísticamente significativo al 5%,
![Page 82: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/82.jpg)
Caso 7: Soporte Comun en Progresa
Pr (Inscrito)
No Inscrito
Den
sid
ad
Inscrito
![Page 83: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/83.jpg)
Caso 7: Pareamiento
Impacto sobre consumo (Y)
Regresión Lineal Multivariable 7.06+
83 Nota: + estadísticamente significativo al 10%
![Page 84: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/84.jpg)
Pareamiento Requiere línea de base con gran numero de observaciones en población beneficiaria y no-beneficiaria
Usando el metodo: o Optimo si conocemos la regla
de asignación de beneficios y la utilizamos para encontrar pares
o En combinación con otros métodos como dif-en-dif
Pareamiento sin línea de base es muy riesgoso: o Pareamiento en base a
variables “endógenas” que han sido afectadas por el programa genera contrafactual sesgado
Recuerda !
84
![Page 85: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/85.jpg)
Recomendación de Política Publica?
Impacto de Progresa en Consumo (Y)
Caso 1: Pre-programa 34.28**
Caso 2: Auto-seleccionados -4.15
Caso 3: Asignación Aleatoria 29.75**
Caso 4: Tratamiento sobre los Tratados 30.4**
Caso5: Diseño de Regresión Discontinua 30.58**
Caso 6: Diferencias-en-Diferencias 25.53**
Caso 7: Pareamiento 7.06+
Nota: **estadísticamente significativo al 1% 85
![Page 86: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/86.jpg)
Recomendación de Política Publica?
Impacto de Progresa en Consumo (Y)
Caso 1: Pre-programa 34.28**
Caso 2: Auto-seleccionados -4.15
Caso 3: Asignación Aleatoria 29.75**
Caso 4: Tratamiento sobre los Tratados 30.4**
Caso5: Diseño de Regresión Discontinua 30.58**
Caso 6: Diferencias-en-Diferencias 25.53**
Caso 7: Pareamiento 7.06+
Nota: **estadísticamente significativo al 1% 86
![Page 87: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/87.jpg)
Métodos de Evaluación
Asignación Aleatoria
Diseño de Regresión Discontinua
Promoción Aleatoria (Variables Instrumentales)
Diferencias en Diferencias (dif-en-dif)
Pareamiento
87
![Page 88: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/88.jpg)
Escogiendo un Método
1. Prospectivo o retrospectivo?
2. Criterios de elegibilidad?
3. Implementación inmediato o en fases?
4. Recursos limitados para atender demanda potencial?
o Focalización? o Variación geográfico?
o Limitaciones de presupuesto o capacidad de implementación?
o Exceso de demanda para el programa
Información clave para escoger el método de evaluación:
88
![Page 89: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/89.jpg)
Escogiendo un Método
Mejor Diseño
Controlamos por todo?
El resultado es valido para toda la población
de interés?
o Contrafactual mas robusto + mínimo riesgo operativo
o Validez externa o Impacto local o global o Resultados de impacto aplican a
otras poblaciones relevantes
o Validez interna o Buen grupo de comparación
Escoge el mejor diseño dado el contexto operativo:
89
![Page 90: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/90.jpg)
Usando las reglas de operación para seleccionar el método……
90
Exceso de demanda para programa (recursos limitados)
Sin exceso de demanda para el programa
(recursos suficientes)
Índice continuo de focalización y
umbral
Sin Indice continuo de
focalizacion y umbral
Índice continuo de focalización y
umbral
Sin Indice continuo de focalizacion y
umbral
Expansion en fases a lo largo
del tiempo
o Asignación Aleatoria
o DRD
o Asignación Aleatoria
o VI o DD con
Pareamiento
o Asignación Aleatoria en fases
o DRD
o Asignación Aleatoria a fases
o VI o DD con
Pareamiento
Implementación Inmediata
o Asignacion Aleatoria
o DRD
o Asignacion Aleatoria
o VI o DD con
Pareamiento
o DRD
Si la participación no es plena:
o VI o DD con
Pareamiento
Fuente: Gertler et al. “Impact Evaluation in Practice” (2010)
![Page 91: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/91.jpg)
Recuerda
El objetivo de la evaluación de impacto es estimar el efecto causal de un programa sobre los resultados de interés.
91
!
![Page 92: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/92.jpg)
Recuerda
Para medir el impacto, necesitamos estimar el contrafactual. • Lo que hubiese sucedido en la ausencia del
programa
• Para esto usamos grupos de comparación
92
!
![Page 93: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/93.jpg)
Recuerda
Nuestra “caja de herramientas” para evaluar impacto ofrece 5 métodos para generar grupos de comparación.
93
!
![Page 94: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/94.jpg)
Recuerda
Escoge el mejor método viable en el contexto operativo del programa
94
!
![Page 95: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/95.jpg)
www.iadb.org www.worldbank.org/ieinpractice
Gracias!
95
![Page 96: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/96.jpg)
Apéndice 1: Mínimos Cuadrados en Dos Etapas
(2SLS, por su sigla en inglés)
1 2y T x
0 1 1T x Z
Modelo con Tratamiento endógeno (T):
Etapa 1: Realizar la regresión de la variable endógena sobre la Variable Instrumental (Z) y otros regresores exógenos :
Calcular el valor previsto para cada observación: T gorro
96
![Page 97: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/97.jpg)
Apéndice 1: Mínimos Cuadrados en Dos Etapas (2SLS)
^
1 2( )y T x
Es necesario corregir Errores Estándar (se basan en T gorro más que en T)
Etapa 2: Realizar la regresión de resultado Y sobre la variable prevista (y otras variables exógenas) :
En la práctica se utiliza STATA - ivreg
Intuición: T ha quedado “limpia” de su correlación con ε. 97
![Page 98: Midiendo el Impacto: Métodos de Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/11481146342286… · 1 Midiendo el Impacto: Métodos de Evaluación de Impacto](https://reader030.vdocumento.com/reader030/viewer/2022040304/5e93c8510cdb4c2866134566/html5/thumbnails/98.jpg)
Apéndice 2 Pasos para Pareamiento por Propensión
1. Necesitamos encuestas representativos y altamente comparables de participantes y no-participantes.
2. Junta las dos muestras y estima una regresión logit (o probit) sobre una variable dicotómica de participación en programa.
3. Restringe la muestra al soporte común.
4. Para cada participante, busca los no-participantes con puntaje de propensión similar.
5. Toma la diferencia en el resultado entre cada participante y su par o pares. La diferencia es el estimado de impacto del programa para esa observación.
6. Calcula el promedio de los impactos individuales para estimar el impacto promedio del programa.
98