introducción externalidades desgaste cumplimiento … · identificar las principales amenanzas en...
TRANSCRIPT
Cumplimiento Externalidades Desgaste Introducción Análisis
Amenazas a la Validez y Análisis
2
Dean Karlan
Professor of Economics
Yale University
Cumplimiento Externalidades Desgaste Introducción Análisis
Al final de esta presentación se espera que el
participante pueda:
1. Entender los conceptos de validez interna y externa.
2. Identificar las principales amenanzas en el análisis.
3. Proponer soluciones para cada tipo de amenaza.
4. Diferenciar entre TOT y ITT.
Objetivos de aprendizaje
Cumplimiento Externalidades Desgaste Introducción Análisis
Esquema de la presentación
1. Introducción
2. Externalidades
3. Desgaste
4. Cumplimiento imperfecto
5. Análisis final
Cumplimiento Externalidades Desgaste Introducción Análisis
Introducción
Incluso cuando hemos diseñado un buen experimento, pueden haber algunos problemas. Formalmente:
E(Y|T = 1) - E(Y|T = 0)
No siempre refleja:
El efecto promedio del tratamiento E(y(1) - y(0)):
En la población inicial (todos los tratados y todos los controles)
Este es un problema de validez interna: podemos afirmar que los resultados observados son el resultado del tratamiento en la población inicial?
Esto es distinto a la validez externa, que tiene que ver con la medida en que nuestros resultados son generalizables para una población más amplia de la estudiada.
Cumplimiento Externalidades Desgaste Introducción Análisis
¿Qué podría fallar?
Población
objetivo
Población no
evaluada
Muestra
evaluada
Población total
Asignación
aleatoria
Grupo
tratado
Grupo de
control
Cumplimiento Externalidades Desgaste Introducción Análisis
Externalidades, contaminación
Población
objetivo
Población no
evaluada
Muestra
evaluada
Población total
Asignación
aleatoria
Grupo
tratado
Grupo de
control
Treatment
Cumplimiento Externalidades Desgaste Introducción Análisis
Externalidades, contaminación
Grupo
tratado
Grupo de
control
Treatment
Población
objetivo
Población no
evaluada
Muestra
evaluada
Población total
Asignación
aleatoria
Cumplimiento Externalidades Desgaste Introducción Análisis
Ejemplo: Vacunación contra varicela
Suponga que aleatoriza vacunas contra la
varicela dentro de colegios.
Suponga que esto previene la transmisión de
la enfermedad. ¿Qué problemas implica para
la evaluación?
¿Son las externalidades locales? ¿Cómo
podemos medir el impacto total?
Cumplimiento Externalidades Desgaste Introducción Análisis
Estudiante Tratamiento
(vacuna)
Resultado
1 Yes Sin varicela
2 No Con varicela
3 Yes Sin varicela
4 No Con varicela
5 Yes Sin varicela
6 No Con varicela
Sin externalidades
Tratamiento Resultado
Sí 0% con varicela
No 100% con varicela
Efecto del tratamiento: -100%
Cumplimiento Externalidades Desgaste Introducción Análisis
Estudiante Tratamiento
(vacuna)
Resultado
1 Yes Sin varicela
2 No Sin varicela
3 Yes Sin varicela
4 No Con varicela
5 Yes Sin varicela
6 No Con varicela
Con externalidades
Tratamiento Resultado
Sí 0% con varicela
No 67% con varicela
Efecto del tratamiento: -67%
Cumplimiento Externalidades Desgaste Introducción Análisis
En una campaña de educación sexual donde algunos cursos de un colegio reciben la charla y otros no, ¿qué externalidades podrían producirse?
1. Algunos estudiantes del grupo tratado están ausentes el día de la charla
2. Un curso asignado a control recibe la charla
3. Estudiantes tratados le hablan de la charla a los no tratados
4. Algunos estudiantes asignados a control asisten a la charla
Cumplimiento Externalidades Desgaste Introducción Análisis
¿Cómo medimos el impacto de un programa si hay externalidades?
Soluciones:
Escoge la unidad de aleatorización de
modo que abarque las externalidades.
Si esperamos que las externalidades se
produzcan dentro de los colegios:
Aleatorizar a nivel de colegios permitirá
estimar el impacto agregado.
Cumplimiento Externalidades Desgaste Introducción Análisis
Obtenga más información acerca de
los individuos tratados.
Ejemplo:
Miguel y Kremer: Desparasitación
Identifican dónde viven los sujetos y determinan el
rango geográfico apropiado para medir
externalidades.
Otras soluciones
Cumplimiento Externalidades Desgaste Introducción Análisis
Varíe la intensidad del tratamiento Equilibrio general: intervienes en varios mercados y evalúas como los efectos del tratamiento cambian según la intensidad de tratamiento.
Ejemplo:
Duflo et al: Efectos de Desplazamiento en el Mercado de Trabajo francés:
• Las agencias de empleo locales escogieron aleatoriamente la proporción de sujetos beneficiarios (0%, 25%, 50%, 75%, o 100%).
• Los impactos positivos para los participantes individuales no necesariamente implican impactos positivos para el conjunto de la población. El éxito de los beneficiarios podría ser a costa de otros buscadores de empleo con quienes compiten.
Otras soluciones
Cumplimiento Externalidades Desgaste Introducción Análisis
En el ejemplo de la campaña de educación sexual,
¿qué haría para limitar las externalidades?
A. Aleatorizar a nivel de
estudiantes
B. Aleatorizar clases
C. Aleatorizar colegios
D. Aleatorizar distritos
escolares
19
A. B. C. D.
0% 0%0%0%
Cumplimiento Externalidades Desgaste Introducción Análisis
Desgaste
Es problemático que algunas personas del experimento “desaparezcan” antes de que obtengas los datos?
Es un problema si el tipo de gente que tiende a desaparecer es distinto para control y tratamiento.
Por qué es un problema?
Comparabilidad
Representatividad
¿Por qué podría suceder esto?
Cumplimiento Externalidades Desgaste Introducción Análisis
Sesgo de desgaste: un ejemplo
El problema que quieres abordar: Algunos niños no van al colegio porque están
debilitados (a causa de la subnutrición).
Lanzas un programa de alimentación escolar y quieres evaluarlo. Tienes un grupo de tratamiento y uno de control.
Los niños debilitados comienzan a ir más al colegio si residen cerca de un colegio tratado. Primer impacto del programa: aumento de matrícula.
Cumplimiento Externalidades Desgaste Introducción Análisis
Sesgo de desgaste: un ejemplo
También quieres medir el impacto en el crecimiento del niño Segunda medida de interés: peso del niño.
Vas a todas las escuelas (tratadas y control) y mides la situación de todos los que están en el colegio ese dia.
¿La diferencia de peso entre los tratados y los controles estará sobreestimada o subestimada?
Cumplimiento Externalidades Desgaste Introducción Análisis
Antes Después
T C
20 20
25 25
30 30
25 25
T C
22 20
27 25
32 30
27 25 Media
Diferencia: 0 Diferencia: 2
Cumplimiento Externalidades Desgaste Introducción Análisis
Antes Después
T C
perdido perdido
25 25
30 30
25 25
T C
22 perdido
27 25
32 30
27 27.5 Mean
Diferencia : 0 Diferencia: -0,5
¿Y si solo los niños por encima de 21 kg van a clase?
Cumplimiento Externalidades Desgaste Introducción Análisis
Sesgo de desgaste Tasas de respuesta contrafactuales
(heterogeneidad en el efecto del tratamiento)
(no comparabilidad de los respondientes)
Cumplimiento Externalidades Desgaste Introducción Análisis
Solución 1: ser obstinado
Logra el 100% de tu población muestral.
Lleva a cabo todas las estrategias posibles:
Teléfono, correo, email, sms, visitas.
Haz encuestas más cortas
Incentivos, financieros o de otro tipo
Cumplimiento Externalidades Desgaste Introducción Análisis
Si no logras el 100%, puede seleccionar una
submuestra de observaciones perdidas y
buscarlas, a un coste mayor:
Rescata una muestra representativa.
Recupera la comparabilidad
Alto costo potencial: poder, tiempo, dinero.
Solución 1: ser obstinado
Cumplimiento Externalidades Desgaste Introducción Análisis
Asume que la no respuesta es aleatoria, tal vez
condicionalmente en base a ciertas variables.
¿Qué pasa si la tasa de respuesta es la misma?
Añade el supuesto de que el tratamiento solo puede
afectar a la respuesta en una única dirección.
El tratamiento no afectó a la tasa de respuesta.
La validez interna se conserva.
Pero la validez externa puede no mantenerse.
Solución 2: ten suerte
Cumplimiento Externalidades Desgaste Introducción Análisis
Solución 3: Modelos de Selección Muestral Los modelos de corrección de selección muestral son
aquellos que ofrecen soluciones econométricas al problema de variables dependientes truncadas. En particular, las variables dependientes podrían estar truncadas
porque solo observamos los resultados de aquellos individuos que participan en el programa
Sin la corrección, el parámetro beta de la ecuación siguiente estará sesgado, porque solo observamos y para un grupo de individuos: yi = Ti + ei
Primero, estimamos el modelo de selección muestral
Si =WiY + ei
El procedimiento Heckit corrige beta usando la estimación del modelo de selección.
El modelo se identifica con un instrumento y formas funcionales: halla una variable que afecte a Si pero no afecte directamente a yi.
Cumplimiento Externalidades Desgaste Introducción Análisis
También podemos usar modelos semi-
paramétricos (Ichimura y Lee, 1991; Ahn y
Powell, 1993)
Relajamos el supuesto de normalidad, pero
requerimos el de restricción de exclusión.
Solución 3: Otros modelos de Corrección de Selección Muestral
Cumplimiento Externalidades Desgaste Introducción Análisis
En vez de tratar de corregir los estimadores de
efecto, determina un límite para dicho efecto.
Límites de Horowitz y Manski (2000):
Toma valores máximos y mínimos para las variables
de resultado. Útil cuando la variable es binaria.
Problema: los límites pueden ser demasiado amplios
y por tanto no informativos.
Solución 4: Límites
Cumplimiento Externalidades Desgaste Introducción Análisis
Límites de Lee
Se apoya en pocos supuestos: Los resultados y las respuestas de los participantes
ocurren independientemente de D.
Monotonicidad: Pr(S1 = 0, S0 = 1) = 0
Intuición: La muestra se pule de modo que la proporción de sujetos
observados es igual para ambos grupos
El pulido se puede hacer por arriba o por abajo
Se corresponde con supuestos extremos acerca de la naturaleza de la no respuesta, consistentes con: (i) Los datos observados, y
(ii) Un modelo de selección de un lado
Solución 4: Límites
Cumplimiento Externalidades Desgaste Introducción Análisis
Límites de Lee: Un ejemplo
35
El efecto de proporcionar crédito a
microempresas (De Mel et al., 2008)
Algunos negocios salen de la muestra: imposible
medir sus utilidades y retornos del capital.
Límites de Lee:
• Algunas firmas salen de la muestra si no son
beneficiarias, pero no salen si son beneficiarias.
• q es 5.2%.
• Resultados:
o Utilidades: efecto del tratamiento es 541, E=404 y 𝐸 =754
o Retornos del capital: efecto del tratamiento es 5.3%,
E=2.6% y 𝐸 =6.7%.
Cumplimiento Externalidades Desgaste Introducción Análisis
Límites de Lee: discusión y extensiones
36
STATA: leebounds (con errores estándar).
Podrían ser demasiado estricto. Existen soluciones
creativas según el contexto:
Back to De Mel (2008), E supone que las empresas
más rentables desaparecen. Esto es poco probable.
E posiblemente sea trivial.
Angrist et al. (2002, 2006), cupones en Colombia.
Estudian si los cupones aumentan la probabilidad de
que los estudiantes hagan el examen de admisión
universitaria. ¿Qué resultado habrían obtenido en
ausencia del cupón? Usan supuestos distributivos
razonables para construir los límites
Cumplimiento Externalidades Desgaste Introducción Análisis
¿Cuál es la mejor forma de abordar el desgaste?
A. Se obstinado
B. Asume que es
aleatorio
C. Usa modelos de
selección muestral
D. Usa límites
37
A. B. C. D.
0% 0%0%0%
Cumplimiento Externalidades Desgaste Introducción Análisis
En la evaluación de un programa de distribución gratuita
de mosquiteras, algunas personas del grupo de
tratamiento no reciben la mosquietara, mientras que
algunos asignados a control sí lo reciben. ¿Qué debemos
hacer?
A. Intercámbialos (pon esos sujetos T en el grupo C, y esos individuos C en el grupo T)
B. Sácalos de tu muestra
C. Compara los grupos originales (independientemente de si recibieron tratamiento o no)
D. Desiste de evaluar
39
A. B. C. D.
0% 0%0%0%
Cumplimiento Externalidades Desgaste Introducción Análisis
No cumplidores
40
Población
objetivo
Población no
evaluada
Muestra
evaluada
Grupo de
tratamiento
Participantes
No-Shows
Grupo de
control
No
Participantes
Cross-overs
Asignación
aleatoria
¡No!
¿Qué puedes hacer?
¿Puedes intercambiarlos?
Cumplimiento Externalidades Desgaste Introducción Análisis
No cumplidores
¡No!
¿Qué puedes hacer?
¿Puedes eliminarlos?
41
Población
objetivo
Población no
evaluada
Muestra
evaluada
Grupo de
tratamiento
Participantes
No-Shows
Grupo de
control
No
Participantes
Cross-overs
Asignación
aleatoria
Cumplimiento Externalidades Desgaste Introducción Análisis
No cumplidores
Puedes comparar los grupos originales
42
Población
objetivo
Población no
evaluada
Muestra
evaluada
Grupo de
tratamiento
Participantes
No-Shows
Grupo de
control
No
Participantes
Cross-overs
Asignación
aleatoria
Cumplimiento Externalidades Desgaste Introducción Análisis
Cumplimiento Imperfecto
Puede haber sesgo de selección muestral si factores distintos de la asignación aleatoria afectan al reparto
Incluso se si pretendía una asignación aleatoria, esta podría no darse
Hay Cumplimiento Imperfecto cuando:
Individuos en el grupo tratado no reciben tratamiento
Individuos en el grupo de control reciben tratamiento
43
Cumplimiento Externalidades Desgaste Introducción Análisis
Sesgo de selección muestral
Algunos individuos asignados al grupo de control podrían tratar de entrar en el grupo de tratamiento Programa de alimentación escolar: algunos padres
podrían tratar de que sus hijos se cambien a colegios tratados
Alternativamente, algunos individuos asignados al grupo de tratamiento podrían no recibirlo Programa de alimentación escolar: algunos
estudiantes llevan su propio almuerzo, o optan por no almorzar
Cumplimiento Externalidades Desgaste Introducción Análisis
45
Cómo abordar el sesgo de selección muestral?
ITT vs TOT
Cumplimiento Externalidades Desgaste Introducción Análisis
Intention to Treat (ITT)
¿Qué mide el efecto de la “Intención de Tratar”?
“¿Qué le ocurrió al niño promedio perteneciente a un colegio tratado de esta población?”
Esta diferencia, ¿es el efecto causal de la intervención?
Cumplimiento Externalidades Desgaste Introducción Análisis
¿Cuándo es el ITT útil?
Puede que sea una mejor descripción para programas reales
Por ejemplo, puede que no nos interese tanto el efecto médico del tratamiento de desparasitación, y sí el efecto logrado con un programa de desparasitación real.
Si algunos estudiantes suelen no ir al colegio y no obtienen el medicamento de desparasitación, el efecto de la intención de tratar puede ser el más relevante.
Cumplimiento Externalidades Desgaste Introducción Análisis
Del efecto ITT al efecto TOT (Treatment on the Treated)
El punto clave es que hay “filtraciones” en la
asignación a los grupos de tratamiento y control,
habiendo diferencias entre la asignación original
y el reparto final.
Los individuos asignados al grupo tratado tienen
una mayor probabilidad de recibir tratamiento
Formalmente, “instrumentamos” la probabilidad
de recibir tratamiento de acuerdo con la
asignación original.
48
Cumplimiento Externalidades Desgaste Introducción Análisis
Estimando TOT
¿Qué valores necesitamos?
Y(T)
Y(C)
Prob[tratado|T]
Prob[tratado|C]
Cumplimiento Externalidades Desgaste Introducción Análisis
Tratamiento en los Tratados (TOT)
Partimos de un modelo de regresión
sencillo:
𝑌𝑖 = 𝑎 + 𝐵 ∗ 𝑆𝑖 + 𝑒𝑖
[Angrist y Pischke, p. 67 muestra que]:
𝐵 =𝐸 𝑌𝑖 𝑧𝑖 = 1 − 𝐸 𝑌𝑖 𝑧𝑖 = 0
𝐸 𝑠𝑖 𝑧𝑖 = 1 − 𝐸 𝑠𝑖 𝑧𝑖 = 0
Cumplimiento Externalidades Desgaste Introducción Análisis
Tratamiento en los Tratados (TOT)
𝐵 =𝐸 𝑌𝑖 𝑧𝑖 = 1 − 𝐸 𝑌𝑖 𝑧𝑖 = 0
𝐸 𝑠𝑖 𝑧𝑖 = 1 − 𝐸 𝑠𝑖 𝑧𝑖 = 0
𝑌 𝑇 − 𝑌 𝐶
𝑃𝑟𝑜𝑏 𝑡𝑟𝑎𝑡𝑎𝑑𝑜 𝑇 − 𝑃𝑟𝑜𝑏[𝑡𝑟𝑎𝑡𝑎𝑑𝑜|𝐶]
Cumplimiento Externalidades Desgaste Introducción Análisis
Generalizando el enfoque TOT: Variables Instrumentales 1. Regresión de la primera fase:
𝑻𝑨𝒄𝒕𝒖𝒂𝒍 = 𝜶𝟎 + α𝟏𝑻𝟏 + 𝜶𝒊𝐗𝒊 + 𝒆 2. Predice el estatus de tratamiento usando los coeficientes estimados
𝑻 𝒑𝒓𝒆𝒅𝒊𝒄𝒕𝒆𝒅 = 𝒂 𝟎 + 𝒂 𝟏𝑻𝟏 + 𝒂 𝒊𝐗𝒊
3. Predice la variable resultado a partir del estatus de tratamiento predicho
𝒀𝒊 = 𝜷𝟎 + 𝜷𝟏𝑻 𝒑𝒓𝒆𝒅𝒊𝒄𝒕𝒆𝒅 + 𝜷𝑿𝐗𝒊 + 𝜺
4. 𝜷 𝟏 proporciona la estimación del efecto
Cumplimiento Externalidades Desgaste Introducción Análisis
Requisitos para Variables Instrumentales:
Primera fase
Tu experimento (o instrumento) afecta de
forma significativa a la probabilidad de recibir
tratamiento
Restricción de exclusión
Tu experimento (o instrumento) no afecta a
los resultados por medio de ningún otro canal
Cumplimiento Externalidades Desgaste Introducción Análisis
Múltiples resultados
¿Podemos estudiar varios resultados?
Cuantos más resultados analices, más
probable es que algunos sean
estadísticamente significativos por
casualidad
Especifica de antemano los resultados de interés
Informa de todos los resultados medidos,
incluyendo los no significativos
Corrige los tests estadísticos (Bonferroni)
Cumplimiento Externalidades Desgaste Introducción Análisis
Variables de control
¿Por qué incluir variables de control?
Podrían explicar parte de la variación y mejorar el poder estadístico
¿Por qué no incluir variables de control?
Da la apariencia de “búsqueda de especificación”
¿Qué variables de control incluir? Si la aleatorización es estratificada: incluye efectos fijos de estrato
Otras variables de control
Regla: Reporta tanto las diferencias “curdas” como los resultados ajustados por medio de regresión
Cumplimiento Externalidades Desgaste Introducción Análisis
Recapitulando
57
Amenaza Descripción Algunas soluciones
Externalidades El tratamiento contamina
a las unidades de control
1. Aleatoriza a un nivel superior.
2. Obtén más información acerca
de las observaciones.
3. Varía intensidad de tratamiento
Desgaste Algunas observaciones
salen de la muestra.
1. Se obstinado
2. Ten suerte
3. Modelos de selección Heckman
4. Límites
Cumplimiento
imperfecto
El cumplimiento del
protocolo del estudio no
es perfecto (e.g. algunas
unidades de control
reciben tratamiento)
1. Efecto de la Intención de tratar
2. Efecto del Tratamiento en los
Tratados
Cumplimiento Externalidades Desgaste Introducción Análisis
Conclusión
Hay unas cuantas cosas que pueden salir mal durante la evaluación.
Piensa en estos problemas anticipadamente.
Hemos revisado algunas de estas amenazas para el análisis de la evaluación; para un catálogo de correcciones más completo puedes usar Running Randomized Evaluations.
58
Cumplimiento Externalidades Desgaste Introducción Análisis
¡Gracias!
59
Dean Karlan
Professor of Economics
Yale University