1

Uso de datos administrativos para la evaluación de impacto

Julieta Trias, Banco Mundial

Santiago, 8-19 de abril de 2013

Esta sesión ha sido preparada en colaboración con Javier Baez

¿Qué es la evaluación del impacto?

Recordemos las características distintivas de la evaluación del impacto:

• Atribución oMétodo para identificar el impacto

atribuible a una intervención, énfasis en los efectos causales

• Contrafactual oCuál hubiese sido el resultado en los

participantes del programa si no hubiesen participado del mismo.

2

Las evaluaciones del impacto hacen un uso intensivo de datos

Usualmente se planea una encuesta específica para realizar la evaluación -> recopilación de datos primarios

• Abundante información para línea de base y de seguimiento

• Adecuados para responder el “qué”, “por qué” y “cómo” de los impactos de los programas

• Sin embargo, se plantean desafíos:

3

TIEMPO

COSTO: aprox. 2/3 del presupuesto de la evaluación (US$300 000 - US$400 000)

Pero a veces las evaluaciones del impacto pueden realizarse con datos administrativos

Los datos administrativos (DA) brindan una alternativa para responder las preguntas claves de atribución del programa

– Eficacia del programa: ¿se reducirá la malnutrición con el programa nutricional?

– Diseño del programa: ¿cuál es el valor marginal agregado de las distintas alternativas del programa (por ejemplo, complementos nutricionales en comparación con complementos nutricionales + capacitación en materia de buenas prácticas de nutrición)?

Y con frecuencia a un costo mucho menor y con más rapidez

4

Cuál es el efecto del programa de incentivo docente en New York?

• Incentivos y premios a profesores en escuelas marginales (alta necesidad), introducido en 2007.

• Piloto de 400 escuelas. – Selección aleatoria de 240 y asignación a T y C.

• Datos administrativos :

5

– Estudiantes (matriculación, asistencia, resultados de exámenes estatales, información socio-demográfica) 2006-2009

– Profesores (registro de recursos humanos - características demográficas, ausentismo, años de experiencia, pagos)

Fryer, Roland G. “Teacher Incentives and Student Achievement: Evidence from New York City Public Schools.” National Bureau of Economic Research Working Paper Series No. 16850 (2011).

6

• Resultado: No se encontró efecto en asistencia escolar, rendimiento escolar ni en el esfuerzo docente.

• Costo: $50, 000 (excl. costo del programa)

• Se discontinuó el programa.

¿Qué son los datos administrativos (DA)?

7

• Datos originalmente recolectados para tres fines principales: seguimiento de programas, focalización de programas sociales, permitir la regulación y auditoría.

• Derivados de una fuente administrativa, comúnmente una dependencia gubernamental (ministerios sectoriales, unidades de ejecución/administración del programa, etc.)

• Usualmente de alta frecuencia y de amplia cobertura del grupo objetivo (por ejemplo, niños matriculados en la escuela, registros vitales, registros migratorios, registros civiles, registros de la seguridad social, etc.)

8

Estaciones climáticas

9

Mapa de Malaria

10

DA podrían ser muy ricos en información

11

Ejemplo en el sector de salud:

• Por el lado de la oferta: centros de salud, tipo y cantidad de servicios prestados, ubicación geográfica, personal, etc.

• Por el lado de la demanda: número de usuarios, perfil de los pacientes, historia clínica, ubicación, uso de los servicios, estado de salud de los pacientes, seguro médico, pagos directos de los usuarios, etc.

• Costos: presupuesto, pagos, etc.

Pueden complementarse con datos secundarios para ampliar el alcance del análisis

12

• Encuestas poblacionales (ECV, ENDES, MICs)

• Encuestas específicas (encuestas de la fuerza laboral y del rendimiento de los alumnos)

• Censos: población, vivienda, agricultura

• Otros: Datos georreferenciados, datos climáticos, Encuestas industriales

Disponibilidad de varias fuentes de microdatos:

13

Cruce de datos: • Información personal: DNI, nombre, fecha de

nacimiento, género, ubicación, información biometrica, etc.

• Cohortes: fecha y lugar de nacimiento • Información geográfica: localidad, datos

georreferenciados Notar la importancia del identificador único.

Preparación de DA para la evaluación de impacto (I)

Registro de Nacimientos

Base de datos del programa

Censo educativo

Base de datos final

14

Los DA deben ser relevantes para la evaluación de impacto

• Incluir grupo de tratamiento y control • Incluir período relevante para el estudio • Incluir información sobre las variables de

resultado y control • Útil si se incluye información de procesos ->

Sistema de Información y monitoreo (SIM)

Preparación de DA para la evaluación de impacto (II)

15

Calidad de los datos -> alta calidad? • Los DA habitualmente son preparados y

administrados por distintos organismos con diferentes: – Protocolos – Sistemas de gestión de datos – Verificaciones de control de calidad – Metadatos, documentación – Capacidad técnica

Preparación de DA para la evaluación de impacto (III)

16

Disponibilidad de datos • No siempre disponibles al público o con acceso

restringido. • Protocolos rigurosos para proteger la

confidencialidad de la información. • No siempre se dispone de metadatos o ellos no

están plenamente documentados. • La información se registra en distintas

plataformas de datos y no está organizada para el análisis estadístico

Preparación de datos administrativos para evaluaciones del impacto (IV)

17

Evaluar si el programa funciona o no

Evaluar el desempeño relativo de dos o más

alternativas de programa

Que se puede evaluar con DA?

18

¿Qué tratamiento es más eficaz?

Transferencias condicionadas de efectivo (TCE)

Objetivo: Solucionar la pobreza a corto plazo y aumentar el potencial productivo de los hogares

TCE TCE + beca para formación profesional

TCE + donación para inversiones productivas

US$X U$X + US$Y

• Efecto de TCE: E(YTCE(X)) - E(Ycontrol) • Impacto adicional de la beca tiene un impacto adicional:

E(YTCE+Beca) - E(YTCE) • Impacto adicional de mayor de efectivo : E(YTCE(X+Y)) - E(YTCE(X))

SIM con datos de todas las personas inscriptas en el programa

SIM con datos de participantes asignados a cada rama

SIM con datos de participantes asignados a cada rama

Control

19

• Antecedentes: programa para delincuentes

en libertad condicional o vigilada que se identificaron como de bajo riesgo de cometer un delito grave

• Objetivo: evaluar alternativas para reducir el costo de supervisión para Filadelfia

Caso 1: Experimento de supervisión de baja intensidad por la comunidad en

Filadelfia

•Diseño: Baja supervision (2.4 visitas) vs. alta sup. (4.5) •Evaluación: asignación al azar de1559 delincuentes en libertad condicional (penas breves) o en libertad vigilada en 2007-08 a cualquiera de los tratamientos, con seguimiento durante el año posterior (Barnes y otros, 2010)

Principales enseñanzas del diseño y la eficacia del programa…

20

Sin diferencias en cuanto a delitos entre la supervisión de baja intensidad y de alta intensidad durante la libertad vigilada

Prevalencia de delitos y encarcelamiento durante un año posterior al inicio del ensayo aleatorio controlado

Fuente: Barnes y otros (2010)

que condujeron a cambios en el funcionamiento del programa y en su eficacia

en función de los costos

21

El condado adoptó el planteamiento de “baja intensidad” para todos los delincuentes de bajo riesgo

Se concluyó que los cambios puestos a prueba eran una forma viable de reducir los costos del sistema de justicia penal

Una evaluación de bajo costo: de menos de US$100 000. Se alcanzó un costo bajo gracias al uso de datos administrativos (por ejemplo, registros de detenciones) que el país ya recopilaba para otros fines

22

Examen de diferentes aspectos de los impactos del programa

• Efectos promedio del programa (tratamiento en tratados (TOT), intención de tratar (ITT))

• Intensidad del efecto del programa • Efectos de corto, mediano y largo plazo • Distribución del efecto del programa (análisis de

subgrupos) • Mecanismos que explican los efectos del programa

o la falta de ellos

Uso de DA para evaluar y mejorar la eficacia de los programas (2)

Caso 2: ¿Aumentan el capital humano a largo plazo las transferencias condicionadas en efectivo?

Antecedentes • 2001: Colombia introduce un

programa de TCE “Familias en Acción” (FA) en respuesta a una gran crisis económica.

• 2003-04: evaluación del impacto a corto plazo reveló que FA aumentó la asistencia a las escuelas (Attanasio 2004).

• 2009: cuestionamiento el incremento en la asistencia escolar mejoró el desempeño educativo del alumno.

23 Baez, J and A Camacho (2011). Assessing the Long-Term Effects of Conditional Cash Transfers on Human Capital: Evidence from Colombia. World Bank Policy Research Working Paper No. 5681

¿Cómo responder la pregunta si faltan datos primarios?

Desafíos • No existía un plan formal de seguimiento a los

participantes y no participantes • Muy poco tiempo, presupuesto limitado Oportunidades • Abundancia de datos administrativos vinculables

para: 1) identificar a los participantes y no participantes comparables, y 2) evaluar los efectos en los indicadores de rendimiento educativo y aprendizaje escolar

• Firme apoyo, interés y capacidad técnica del gobierno

24

Abundancia de datos administrativos disponibles

Fuentes de DA : 1. Censo para la focalización de programas sociales

realizado entre 1994 y 2003 [SISBEN]

2. Registros administrativos del sistema de seguimiento y evaluación de FA, censo longitudinal de todos los beneficiarios de programas [SIFA]

3. Registros administrativos sobre matriculación y resultados de Icfes (prueba nacional estandarizada administrada antes de egresar de la escuela secundaria [ICFES]

25

Mapeo del sistema de datos

26

2002 03 04 05 06 08 07 2009

Primera ronda de encuesta de

panel (T y C ) [referencia]

Pruebas Icfes para estudiantes de 11º grado (T y C) [ICFES]

Sistema de seguimiento y evaluación del programa (censo de participantes, solo T [SIFA]

Sisben I 94-03

(T y C) [SISBEN] Sisben II 03-07 (T y C) [SISBEN]

Estrategia de investigación: Diseño de regresion discontinua (RDD)

27

• Explota la discontinuidad que surge de las reglas de elegibilidad del programa (usando SISBEN + SIFA)

0.0

0.10.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

Pro

ba

bil

ity

-20 -18 -16 -14 -12 -10 -8 -6 -4 -2 0 2 4 6 8 1 0 1 2 14 16 18 20D istance to the E lig ib ility thresh old

m ea ns different qu artic

Observations= 630 795

P rog ram P robab il ity

Fuente: Baez y otros (2011).

Nos permitió contestar las preguntas del Gobierno…

28

• Los niños participantes tienen entre 2,5 y 5 puntos porcentuales más de probabilidades de terminar la escuela secundaria de primer ciclo

0.10

0.15

0.20

0.25

0.30

0.35

-20

-18

-16

-14

-12

-10

-8 -6 -4 -2 0 2 4 6 8 10

12

14

16

18

20

D istance to the Elig ib ility threshold

m ea ns different qu artic

Obse rvation s=624028

S choo l com p le tio n

Fuente: Baez y otros (2011).

de manera creíble…

29

1 .001 .502 .002 .503 .003 .50

-20

-18

-16

-14

-12

-10

-8 -6 -4 -2 0 2 4 6 8 10

12

14

16

18

20

Distan ce to the E ligibil it y th re sh old

me an s dif fere nt qu articO bserva tion s=6 30 02 1

Hou seh old he ad e du cation

1 .001 .502 .002 .503 .003 .50

-20

-18

-16

-14

-12

-10

-8 -6 -4 -2 0 2 4 6 8 10

12

14

16

18

20

Distan ce to the E ligibil it y th re sh old

m e an s d if fe ren t q uar ticO bserva tion s=4 98 13 8

Pa rtner edu catio n le ve l

0 .100 .200 .300 .400 .50

-20

-18

-16

-14

-12

-10

-8 -6 -4 -2 0 2 4 6 81

01

21

41

61

82

0

Distan ce to the E ligibil it y th re sh old

me an s dif fere nt qu artic

O bserva tion s=6 30 79 5

Ma rr ied ho useh old

3 .40

3 .60

3 .80

4 .00

-20

-18

-16

-14

-12

-10

-8 -6 -4 -2 0 2 4 6 81

01

21

41

61

82

0

Distan ce to the E ligibil it y th re sh old

m e an s d if fe ren t q uar tic

O bserva tion s=6 30 79 5

So cial Sec urity

Fuente: Baez y otros (2011).

y oportuna, y a un costo muy bajo

30

• Resultados preliminares sólidos estuvieron disponibles 6 meses después que el equipo accedió a los datos

• Costo total = 1/5 de las evaluaciones que recolectan datos primarios

• Los resultados ayudaron a: – Fundamentar el debate público acerca del futuro del

programa – Fundamentar las modificaciones del programa – Continuar un programa analítico sobre los efectos en

resultados después del secundario utilizando los mismos datos

Caso 3: Voto obligatorio - Argentina (1) Efecto causal de las leyes de voto obligatorio (CVLs) en asistir a votar; (2) Si hay diferencia en el efecto entre ciudadanos de baja y alta capacitación. •Cómo? Utilizando un experimento natural.

Voto obligatorio: 18-70 años Voto no obligatorio: Mayores de 70 años.

Discontinuidad aguda/clara Jaitman, Laura (2012), “The Causal Effect of Compulsory Voting Laws: Does Skill Matter?”, Available at SSRN

Proporción de votantes por edad • Efecto: 18 p.p. (28% en asistencia a votar a la edad de 70 años). El aumento es el doble en ciudadanos de baja calificación (38%) que en ciudadanos de alta calificación (17%).

•Datos: Registro oficial de votantes para una muestra aleatoria de mesas electorales luego de las elecciones legislativas en la ciudad de Buenos Aires, 2009. Hombres de 65-74 años.

Los DA pueden ser muy útiles pero existen ventajas y desventajas

33

Aspectos Positivos Aspectos Negativos

Tamaño de la muestra es grande Análisis limitado a las variables de resultado disponibles

Alta frecuencia Menos controles que aseguren una calidad elevada y homogénea

Bajo costo A menudo es difícil vincular los DA

En ocasiones menos probremas de desgaste, no respuesta y errores de medición

El acceso a ellos continúa siendo muy limitado

Observaciones finales

34

• Mejorar la calidad de los datos administrativos permite crear oportunidades para investigar el efecto de programas o políticas a un costo reducido.

• Las evaluaciones de impacto pueden realizarse con datos administrativos -> Prueba-aprende-adapta – Usar DA para evaluar el efecto del programa – Usar DA para aprender sobre la eficacia de las

alternativas del programa y mejorar su diseño