![Page 1: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/1.jpg)
Clase de Métodos 1: InferenciaCausal y Métodos
Cuasi-Experimentales
Sveta MilushevaDIME, World Bank
![Page 2: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/2.jpg)
Conceptos Importantes
• Indicadores de Resultados (Outcomes): Loque observamos, medimos y queremosafectar
• Impacto: Cambio en los indicadores deresultado que es causado por el programa aser evaluado
![Page 3: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/3.jpg)
El objetivo de la evaluación de impacto esresponder la siguiente pregunta…
¿Cuál es el impacto de <<intervención>> en<<resultado>> en <población objetivo>?
![Page 4: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/4.jpg)
Estudio de Caso ¿El mejoramiento de carreterasrurales promueve el desarrollo económico local?
Problema: Los costos de transporte hacia ydesde las zonas agrícolas secundarias son altos,y esto afecta negativamente el desarrolloeconómico local
Intervención: Mejorar las carreteras rurales
Indicador de Resultados: Consumo per cápitade los hogares
![Page 5: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/5.jpg)
Pregunta
¿Cuál es la pregunta básica que su evaluación deimpacto debe ser capaz de responder?
![Page 6: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/6.jpg)
Pregunta
¿Cuál es la pregunta básica que su evaluación deimpacto debe ser capaz de responder?
¿Cuál es el impacto de las mejoras de infraestructuraen el desarrollo económico local?
![Page 7: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/7.jpg)
El Programa
2,000 pueblos con carreteras de alta prioridad sonseleccionadas y están invitados a expresar su interés enel programa.
De los 2,000, los 1,021 pueblos que solicitaron laintervención antes de marzo de 2015 tienen un caminomejorado como parte de la fase 1 del programa
Se encuestan hogares en las 2,000 pueblos concarreteras de alta prioridad y se mide su consumo.
![Page 8: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/8.jpg)
¿Cómo podemos evaluar este programa?Participantes vs No Participantes
Idea: Comparar el consumo per cápita de loshogares en pueblos que reciben un mejor camino yde los hogares en pueblos que no reciben un mejor
camino
![Page 9: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/9.jpg)
Participantes vs No Participantes(O Diferencia Simple)
Tratamiento Comparación
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 301.6 219.1 82.5*
![Page 10: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/10.jpg)
Participantes vs No Participantes(O Diferencia Simple)
Tratamiento Comparación
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 301.6 219.1 82.5*
Problema: Sesgo de selección ¿Por qué algunos pueblos son primeros?- La gente usa la carretera más (observable)- La gente está más motivada y emprendedora (inobservable)
![Page 11: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/11.jpg)
¿Cómo podemos evaluar este programa?Antes vs Después
Idea: Comparar el consumo per cápita de loshogares en pueblos que reciben un mejor camino
(tratados) después de la mejora de lainfraestructura con...
...el consumo per cápita de los mismos hogaresantes (control) de la mejora de la infraestructura
![Page 12: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/12.jpg)
Antes vs Después
Tratamiento, 2014 Tratamiento, 2016
Fase 1 pueblosDespués (2016)
Fase 1 pueblosAntes (2014)
Estimado Impacto
Promedio consumo percápita 301.6 259.1 42.5*
![Page 13: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/13.jpg)
Antes vs Después
Tratamiento, 2014 Tratamiento, 2016 Fase 1 pueblos
Después (2016)Fase 1 pueblosAntes (2014)
Estimado Impacto
Promedio consumo percápita 301.6 259.1 42.5*
Problema: Tendencia en el tiempo Otras cosas pueden haber cambiado en eseperiodo- Cambio en la economía general- Los pueblos que son parte de Fase 1 participan en otros programas
![Page 14: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/14.jpg)
Estas dos opciones son incorrectas para laevaluación de los efectos causales
Antes - Después Participantes – No Participantes
Comparación: mismoshogares antes y despuésde la intervenciónProblema: otras cosaspueden haber ocurridodurante ese periodo
Comparación: pueblos quedecidieron participar vspueblos que decidieron nohacerlo
Problema: Sesgo deselección. No sabemos porqué decidieron participar
Ambos contrafactuales (grupos de control) pueden llevara estimaciones sesgadas del impacto de la capacitación
![Page 15: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/15.jpg)
Monitoreo vs evaluación de impacto
Monitoreo: sigue indicadores a lo largo deltiempo para los tratadosAnálisis descriptivo tipo antes vs despuésSirve para tener un indicio de si los resultadosestán cambiando en la dirección deseada
Pero no nos dice por qué ocurre lo queobservamos
![Page 16: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/16.jpg)
Evaluación de Impacto
Compara los resultados de:– grupo de tratamiento– grupo de control
Contrafactual– Qué pasó vs– Qué hubiera pasado (si no hubiera habido elprograma)
Identifica causa-efecto
![Page 17: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/17.jpg)
Métodos de evaluación del impacto
Efectoscausales
Experimentos/Experimentos
Aleatorios Controlados
Regresión discontinua
Diferencia-en-diferencias
(DoblesDiferencias)
Emparejamientopor puntaje de
propensión
Non-experimentales
![Page 18: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/18.jpg)
Métodos no experimentales
Los experimentos no siempre son posiblesRazones de implementaciónRazones políticas
Sigue siendo posible estimar impactos de formarigurosa cuando el tratamiento no se asignaaleatoriamente
Enfoques no experimentales son válidos solo sise utiliza el método adecuado
![Page 19: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/19.jpg)
¿Cómo podemos evaluar este programa?
Sesgo de selección -> grupos no comparables Método 1: Diferencia simple
Grupo detratamiento
Grupo decontrol Diferencia
Número de usuarios 44.26 31.83 12.43*Densidad de población 111.90 109.46 2.44*
Capital local [1 = Sí] 0.86 0.85 0.01Número de hijos por hogar 4.83 5.27 -0.44*
Diversificación (%) 25.90 25.33 0.57Tamaño de la muestra 1021 979
Nota: * indica estadísticamente significativo al nivel de 5%
![Page 20: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/20.jpg)
¿Cómo podemos evaluar este programa?Emparejamiento
Idea: emparejar pueblos basados en suscaracterísticas observables
Cómo? puntaje de propensión:probabilidad de participar en función decaracterísticas de los pueblos
Puntajes similares -> pueblos similares
Emparejar pueblos del grupo de tratamiento conpueblos del grupo de control con puntaje similar
![Page 21: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/21.jpg)
¿Cómo podemos evaluar este programa?Emparejamiento
Después del emparejamiento
Método 1: Diferencia simple Método 2: Emparejamiento porpuntaje de propensión
Grupo detratamiento
Grupo decontrol
Diferen-cia
Grupo detratamiento
Grupo decontrol
Diferen-cia
Número de usuarios 44.26 31.83 12.43* 43.31 34.18 9.13*Densidad de
población 111.90 109.46 2.44* 111.40 110.14 1.26
Capital local [1 = Sí] 0.86 0.85 0.01 0.86 0.85 0.02Número de hijos
por hogar 4.83 5.27 -0.44* 4.95 5.18 -0.23*
Diversificación (%) 25.90 25.33 0.57 26.01 25.41 0.60Tamaño de la
muestra 1021 979 886 751
![Page 22: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/22.jpg)
Comparación de resultados
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 301.6 219.1 82.5*
Método 1: Diferencia simple
Método 2: Emparejamiento por puntaje de propensión
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 290.23 234.41 55.8*
![Page 23: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/23.jpg)
¿Cómo podemos evaluar este programa?Emparejamiento
Dos problemas- Algunos participantes no pueden seremparejados- Variables no observadas pueden ser muyimportantes
![Page 24: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/24.jpg)
¿Cómo podemos evaluar este programa?Diferencia en Diferencias
Idea: combinar la dimensión temporal (antes ydespués del tratamiento) con la selección depueblos (participantes y no participantes)
(bajo algunos supuestos) esto soluciona losproblemas de arriba:
Diferencias en el tiempoSesgo de selección
![Page 25: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/25.jpg)
Diferencia en Diferencias
![Page 26: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/26.jpg)
Diferencia en Diferencias
![Page 27: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/27.jpg)
Diferencia en Diferencias
![Page 28: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/28.jpg)
Diferencia en Diferencias
![Page 29: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/29.jpg)
Diferencia en Diferencias
Fase 1 pueblos No Fase 1 pueblos DiferenciaDespués de la mejora delos caminos ruralesConsumo per cápita 2016
301.6 219.1 82.5*
Antes de la mejora de loscaminos ruralesConsumo per cápita 2014
274.4 219 55.4*
Diferencia en elconsumo per cápitaentre 2016 y 2014
27.2(301.6-274.4)
0.1(219.1-219)
27.1*(301.6-274.4)-(219.1-219) =(Diferencia-
en-Diferencias)
![Page 30: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/30.jpg)
Diferencia en Diferencias
![Page 31: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/31.jpg)
¿Cómo podemos evaluar este programa?Diseño de Regresión Discontinua
Los 1,021 pueblos que solicitaron la intervención antesde marzo de 2015 son parte de la fase 1 del programa
Idea: comparar pueblos que solicitaron laintervención un poco después de marzo de 2015 (porlo tanto noelegibles)…
….con pueblos que solicitaron la intervención unpoco antes de marzo de 2015 (por lo tanto elegibles)
![Page 32: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/32.jpg)
Regresión Discontinua
![Page 33: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/33.jpg)
Regresión Discontinua
![Page 34: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/34.jpg)
Regresión Discontinua
Método correcto si:– Elegibilidad basa en variable continua– Con umbral claramente definidoInterpretación causal (…pero local)
Problema: Impacto solo válido para los pueblos quesolicitaron la intervención cerca de marzo de 2015No necesariamente el grupo más representativo
![Page 35: Clase de Métodos 1: Inferencia Causal y Métodos Cuasi ...pubdocs.worldbank.org/en/967601500582132800/spanish-Milusheva-Methods-ieConnect...el programa. De los 2,000, los 1,021 pueblos](https://reader031.vdocumento.com/reader031/viewer/2022041823/5e5f4994aed45b19535a143a/html5/thumbnails/35.jpg)
Gracias