uso de datos administrativos para la evaluación de...
TRANSCRIPT
1
Uso de datos administrativos para la evaluación de impacto
Julieta Trias, Banco Mundial
Santiago, 8-19 de abril de 2013
Esta sesión ha sido preparada en colaboración con Javier Baez
¿Qué es la evaluación del impacto?
Recordemos las características distintivas de la evaluación del impacto:
• Atribución oMétodo para identificar el impacto
atribuible a una intervención, énfasis en los efectos causales
• Contrafactual oCuál hubiese sido el resultado en los
participantes del programa si no hubiesen participado del mismo.
2
Las evaluaciones del impacto hacen un uso intensivo de datos
Usualmente se planea una encuesta específica para realizar la evaluación -> recopilación de datos primarios
• Abundante información para línea de base y de seguimiento
• Adecuados para responder el “qué”, “por qué” y “cómo” de los impactos de los programas
• Sin embargo, se plantean desafíos:
3
TIEMPO
COSTO: aprox. 2/3 del presupuesto de la evaluación (US$300 000 - US$400 000)
Pero a veces las evaluaciones del impacto pueden realizarse con datos administrativos
Los datos administrativos (DA) brindan una alternativa para responder las preguntas claves de atribución del programa
– Eficacia del programa: ¿se reducirá la malnutrición con el programa nutricional?
– Diseño del programa: ¿cuál es el valor marginal agregado de las distintas alternativas del programa (por ejemplo, complementos nutricionales en comparación con complementos nutricionales + capacitación en materia de buenas prácticas de nutrición)?
Y con frecuencia a un costo mucho menor y con más rapidez
4
Cuál es el efecto del programa de incentivo docente en New York?
• Incentivos y premios a profesores en escuelas marginales (alta necesidad), introducido en 2007.
• Piloto de 400 escuelas. – Selección aleatoria de 240 y asignación a T y C.
• Datos administrativos :
5
– Estudiantes (matriculación, asistencia, resultados de exámenes estatales, información socio-demográfica) 2006-2009
– Profesores (registro de recursos humanos - características demográficas, ausentismo, años de experiencia, pagos)
Fryer, Roland G. “Teacher Incentives and Student Achievement: Evidence from New York City Public Schools.” National Bureau of Economic Research Working Paper Series No. 16850 (2011).
6
• Resultado: No se encontró efecto en asistencia escolar, rendimiento escolar ni en el esfuerzo docente.
• Costo: $50, 000 (excl. costo del programa)
• Se discontinuó el programa.
¿Qué son los datos administrativos (DA)?
7
• Datos originalmente recolectados para tres fines principales: seguimiento de programas, focalización de programas sociales, permitir la regulación y auditoría.
• Derivados de una fuente administrativa, comúnmente una dependencia gubernamental (ministerios sectoriales, unidades de ejecución/administración del programa, etc.)
• Usualmente de alta frecuencia y de amplia cobertura del grupo objetivo (por ejemplo, niños matriculados en la escuela, registros vitales, registros migratorios, registros civiles, registros de la seguridad social, etc.)
8
Estaciones climáticas
9
Mapa de Malaria
10
DA podrían ser muy ricos en información
11
Ejemplo en el sector de salud:
• Por el lado de la oferta: centros de salud, tipo y cantidad de servicios prestados, ubicación geográfica, personal, etc.
• Por el lado de la demanda: número de usuarios, perfil de los pacientes, historia clínica, ubicación, uso de los servicios, estado de salud de los pacientes, seguro médico, pagos directos de los usuarios, etc.
• Costos: presupuesto, pagos, etc.
Pueden complementarse con datos secundarios para ampliar el alcance del análisis
12
• Encuestas poblacionales (ECV, ENDES, MICs)
• Encuestas específicas (encuestas de la fuerza laboral y del rendimiento de los alumnos)
• Censos: población, vivienda, agricultura
• Otros: Datos georreferenciados, datos climáticos, Encuestas industriales
Disponibilidad de varias fuentes de microdatos:
13
Cruce de datos: • Información personal: DNI, nombre, fecha de
nacimiento, género, ubicación, información biometrica, etc.
• Cohortes: fecha y lugar de nacimiento • Información geográfica: localidad, datos
georreferenciados Notar la importancia del identificador único.
Preparación de DA para la evaluación de impacto (I)
Registro de Nacimientos
Base de datos del programa
Censo educativo
Base de datos final
14
Los DA deben ser relevantes para la evaluación de impacto
• Incluir grupo de tratamiento y control • Incluir período relevante para el estudio • Incluir información sobre las variables de
resultado y control • Útil si se incluye información de procesos ->
Sistema de Información y monitoreo (SIM)
Preparación de DA para la evaluación de impacto (II)
15
Calidad de los datos -> alta calidad? • Los DA habitualmente son preparados y
administrados por distintos organismos con diferentes: – Protocolos – Sistemas de gestión de datos – Verificaciones de control de calidad – Metadatos, documentación – Capacidad técnica
Preparación de DA para la evaluación de impacto (III)
16
Disponibilidad de datos • No siempre disponibles al público o con acceso
restringido. • Protocolos rigurosos para proteger la
confidencialidad de la información. • No siempre se dispone de metadatos o ellos no
están plenamente documentados. • La información se registra en distintas
plataformas de datos y no está organizada para el análisis estadístico
Preparación de datos administrativos para evaluaciones del impacto (IV)
17
Evaluar si el programa funciona o no
Evaluar el desempeño relativo de dos o más
alternativas de programa
Que se puede evaluar con DA?
18
¿Qué tratamiento es más eficaz?
Transferencias condicionadas de efectivo (TCE)
Objetivo: Solucionar la pobreza a corto plazo y aumentar el potencial productivo de los hogares
TCE TCE + beca para formación profesional
TCE + donación para inversiones productivas
US$X U$X + US$Y
• Efecto de TCE: E(YTCE(X)) - E(Ycontrol) • Impacto adicional de la beca tiene un impacto adicional:
E(YTCE+Beca) - E(YTCE) • Impacto adicional de mayor de efectivo : E(YTCE(X+Y)) - E(YTCE(X))
SIM con datos de todas las personas inscriptas en el programa
SIM con datos de participantes asignados a cada rama
SIM con datos de participantes asignados a cada rama
Control
19
• Antecedentes: programa para delincuentes
en libertad condicional o vigilada que se identificaron como de bajo riesgo de cometer un delito grave
• Objetivo: evaluar alternativas para reducir el costo de supervisión para Filadelfia
Caso 1: Experimento de supervisión de baja intensidad por la comunidad en
Filadelfia
•Diseño: Baja supervision (2.4 visitas) vs. alta sup. (4.5) •Evaluación: asignación al azar de1559 delincuentes en libertad condicional (penas breves) o en libertad vigilada en 2007-08 a cualquiera de los tratamientos, con seguimiento durante el año posterior (Barnes y otros, 2010)
Principales enseñanzas del diseño y la eficacia del programa…
20
Sin diferencias en cuanto a delitos entre la supervisión de baja intensidad y de alta intensidad durante la libertad vigilada
Prevalencia de delitos y encarcelamiento durante un año posterior al inicio del ensayo aleatorio controlado
Fuente: Barnes y otros (2010)
que condujeron a cambios en el funcionamiento del programa y en su eficacia
en función de los costos
21
El condado adoptó el planteamiento de “baja intensidad” para todos los delincuentes de bajo riesgo
Se concluyó que los cambios puestos a prueba eran una forma viable de reducir los costos del sistema de justicia penal
Una evaluación de bajo costo: de menos de US$100 000. Se alcanzó un costo bajo gracias al uso de datos administrativos (por ejemplo, registros de detenciones) que el país ya recopilaba para otros fines
22
Examen de diferentes aspectos de los impactos del programa
• Efectos promedio del programa (tratamiento en tratados (TOT), intención de tratar (ITT))
• Intensidad del efecto del programa • Efectos de corto, mediano y largo plazo • Distribución del efecto del programa (análisis de
subgrupos) • Mecanismos que explican los efectos del programa
o la falta de ellos
Uso de DA para evaluar y mejorar la eficacia de los programas (2)
Caso 2: ¿Aumentan el capital humano a largo plazo las transferencias condicionadas en efectivo?
Antecedentes • 2001: Colombia introduce un
programa de TCE “Familias en Acción” (FA) en respuesta a una gran crisis económica.
• 2003-04: evaluación del impacto a corto plazo reveló que FA aumentó la asistencia a las escuelas (Attanasio 2004).
• 2009: cuestionamiento el incremento en la asistencia escolar mejoró el desempeño educativo del alumno.
23 Baez, J and A Camacho (2011). Assessing the Long-Term Effects of Conditional Cash Transfers on Human Capital: Evidence from Colombia. World Bank Policy Research Working Paper No. 5681
¿Cómo responder la pregunta si faltan datos primarios?
Desafíos • No existía un plan formal de seguimiento a los
participantes y no participantes • Muy poco tiempo, presupuesto limitado Oportunidades • Abundancia de datos administrativos vinculables
para: 1) identificar a los participantes y no participantes comparables, y 2) evaluar los efectos en los indicadores de rendimiento educativo y aprendizaje escolar
• Firme apoyo, interés y capacidad técnica del gobierno
24
Abundancia de datos administrativos disponibles
Fuentes de DA : 1. Censo para la focalización de programas sociales
realizado entre 1994 y 2003 [SISBEN]
2. Registros administrativos del sistema de seguimiento y evaluación de FA, censo longitudinal de todos los beneficiarios de programas [SIFA]
3. Registros administrativos sobre matriculación y resultados de Icfes (prueba nacional estandarizada administrada antes de egresar de la escuela secundaria [ICFES]
25
Mapeo del sistema de datos
26
2002 03 04 05 06 08 07 2009
Primera ronda de encuesta de
panel (T y C ) [referencia]
Pruebas Icfes para estudiantes de 11º grado (T y C) [ICFES]
Sistema de seguimiento y evaluación del programa (censo de participantes, solo T [SIFA]
Sisben I 94-03
(T y C) [SISBEN] Sisben II 03-07 (T y C) [SISBEN]
Estrategia de investigación: Diseño de regresion discontinua (RDD)
27
• Explota la discontinuidad que surge de las reglas de elegibilidad del programa (usando SISBEN + SIFA)
0.0
0.10.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Pro
ba
bil
ity
-20 -18 -16 -14 -12 -10 -8 -6 -4 -2 0 2 4 6 8 1 0 1 2 14 16 18 20D istance to the E lig ib ility thresh old
m ea ns different qu artic
Observations= 630 795
P rog ram P robab il ity
Fuente: Baez y otros (2011).
Nos permitió contestar las preguntas del Gobierno…
28
• Los niños participantes tienen entre 2,5 y 5 puntos porcentuales más de probabilidades de terminar la escuela secundaria de primer ciclo
0.10
0.15
0.20
0.25
0.30
0.35
-20
-18
-16
-14
-12
-10
-8 -6 -4 -2 0 2 4 6 8 10
12
14
16
18
20
D istance to the Elig ib ility threshold
m ea ns different qu artic
Obse rvation s=624028
S choo l com p le tio n
Fuente: Baez y otros (2011).
de manera creíble…
29
1 .001 .502 .002 .503 .003 .50
-20
-18
-16
-14
-12
-10
-8 -6 -4 -2 0 2 4 6 8 10
12
14
16
18
20
Distan ce to the E ligibil it y th re sh old
me an s dif fere nt qu articO bserva tion s=6 30 02 1
Hou seh old he ad e du cation
1 .001 .502 .002 .503 .003 .50
-20
-18
-16
-14
-12
-10
-8 -6 -4 -2 0 2 4 6 8 10
12
14
16
18
20
Distan ce to the E ligibil it y th re sh old
m e an s d if fe ren t q uar ticO bserva tion s=4 98 13 8
Pa rtner edu catio n le ve l
0 .100 .200 .300 .400 .50
-20
-18
-16
-14
-12
-10
-8 -6 -4 -2 0 2 4 6 81
01
21
41
61
82
0
Distan ce to the E ligibil it y th re sh old
me an s dif fere nt qu artic
O bserva tion s=6 30 79 5
Ma rr ied ho useh old
3 .40
3 .60
3 .80
4 .00
-20
-18
-16
-14
-12
-10
-8 -6 -4 -2 0 2 4 6 81
01
21
41
61
82
0
Distan ce to the E ligibil it y th re sh old
m e an s d if fe ren t q uar tic
O bserva tion s=6 30 79 5
So cial Sec urity
Fuente: Baez y otros (2011).
y oportuna, y a un costo muy bajo
30
• Resultados preliminares sólidos estuvieron disponibles 6 meses después que el equipo accedió a los datos
• Costo total = 1/5 de las evaluaciones que recolectan datos primarios
• Los resultados ayudaron a: – Fundamentar el debate público acerca del futuro del
programa – Fundamentar las modificaciones del programa – Continuar un programa analítico sobre los efectos en
resultados después del secundario utilizando los mismos datos
Caso 3: Voto obligatorio - Argentina (1) Efecto causal de las leyes de voto obligatorio (CVLs) en asistir a votar; (2) Si hay diferencia en el efecto entre ciudadanos de baja y alta capacitación. •Cómo? Utilizando un experimento natural.
Voto obligatorio: 18-70 años Voto no obligatorio: Mayores de 70 años.
Discontinuidad aguda/clara Jaitman, Laura (2012), “The Causal Effect of Compulsory Voting Laws: Does Skill Matter?”, Available at SSRN
Proporción de votantes por edad • Efecto: 18 p.p. (28% en asistencia a votar a la edad de 70 años). El aumento es el doble en ciudadanos de baja calificación (38%) que en ciudadanos de alta calificación (17%).
•Datos: Registro oficial de votantes para una muestra aleatoria de mesas electorales luego de las elecciones legislativas en la ciudad de Buenos Aires, 2009. Hombres de 65-74 años.
Los DA pueden ser muy útiles pero existen ventajas y desventajas
33
Aspectos Positivos Aspectos Negativos
Tamaño de la muestra es grande Análisis limitado a las variables de resultado disponibles
Alta frecuencia Menos controles que aseguren una calidad elevada y homogénea
Bajo costo A menudo es difícil vincular los DA
En ocasiones menos probremas de desgaste, no respuesta y errores de medición
El acceso a ellos continúa siendo muy limitado
Observaciones finales
34
• Mejorar la calidad de los datos administrativos permite crear oportunidades para investigar el efecto de programas o políticas a un costo reducido.
• Las evaluaciones de impacto pueden realizarse con datos administrativos -> Prueba-aprende-adapta – Usar DA para evaluar el efecto del programa – Usar DA para aprender sobre la eficacia de las
alternativas del programa y mejorar su diseño