evaluación de impactos sociales

8/18/2019 Evaluación de Impactos Sociales

1/36

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

Impacto

Francisco Gallego

Abdul Latif Jameel Poverty Action Lab

povertyactionlab.org


2/36

1. Entender el contexto.

2. Tener una pregunta.

3. Diseñar tratamientos.

4. Diseñar la evaluación.

5. Implementar y evaluar procesos.

6. Levantar datos.

7. Medir Impacto.

8. Medir Costo-Efectividad.

Pasos Claves en una Evaluación


3/36

1. Entender el Contexto

- ¿Cómo mejorar la educación en contextosvulnerables?

- Es una de las preguntas de política pública más relevantes.

- Grandes esfuerzos en gasto público en Latinoamérica, conescasas mejoras en resultados educacionales.

- Dos miradas:

1. Sólo las intervenciones tempranas sirven.

2. Intervenciones tardías pueden funcionar.

– Algo de evidencia hay a favor de ambas miradas.

– ¿Puede ser que ambas miradas sean correctas?


4/36

1. Entender el Contexto

- Esta evaluación se mueve en la segunda de esasmiradas.

- De hecho, el Servicio País en Educación (SPE):

- Programa enfocado en 4° grado (~10 años).- Duración de 3 meses /15 sesiones.

- Enfoque en mejorar niveles de lectura.

- Durante el horario de clases (sustituye horas en el colegio)


5/36


La Pregunta

Francisco Gallego




6/36

2. La Pregunta

- Es clave:

1. Pensar qué se quiere contestar con la evaluación.

2. Preguntarse sobre la relevancia de la pregunta.

3. Asegurar que la pregunta no haya sido contestada.

- Esta evaluación se plantea 3 preguntas:

1. ¿Puede el SPE mejorar las habilidades cognitivas y nocognitivas relacionadas con la lectura?

2. ¿Existe alguna relaciones entre estas habilidades?

3. ¿Qué tan costo-efectivo es el programa?


7/36


Diseño Experimental

Francisco Gallego




8/36

4. Diseño de la Evaluación

- Lo primero, ¿qué grupos incluir en la evaluación?

- Depende de la pregunta.

- En este caso, ¿Cuál es el impacto del SPE?

- Comparamos niños con SPE vs niños sin SPE.

TratamientoCon SPE

ControlSin SPE


9/36

• Luego, hay que terminar de diseñar laevaluación:

– Marco Muestral.

– Unidad de Aleatorización.

– Estratificación.

– Cálculo de Poder.

4. Diseño de la Intervención


10/36

4.1. Marco Muestral

- Se construye una lista de escuelas elegibles en base a los criterios de laFSP:

- Escuelas de bajo desempeño académico.

- 10 municipios en 2 regiones (RM y VIII).

- Dependencia de la escuela en algunos casos.

- Escuelas de 100+ alumnos en 4° grado o parejas de escuelas cercanas quesumen 100+ alumnos.

- Sólo se consideran en la evaluación escuelas que cumplan con todos estoscriterios.

- Se genera lista de reemplazo aleatoria, previendo no aceptación delprograma/evaluación.

- Se contactan escuelas con el apoyo del Ministerio de Educación.- Grupo control: se le ofrece un informe de resultados del colegio.


11/36

4.2. Unidad de Aleatorización

- ¿Cómo decidir a qué unidad aleatorizar?- El programa se implementa en 4° grado.

- Es díficil en la práctica excluir alumnos del programa en uncolegio en que esté se está implementando (Rieso deContaminación).

- Restricciones operativas de la FSP.

- Por ello, aparece como una opción idónea elaleatorizar a nivel de escuela.


12/36

4.3. Estratificación

- ¿Por qué variables estratificar?- Restriciones Operativas de la SPE: Estratificar por comuna

en que están las escuelas.

- Además:

- Estratificar por Nivel Socioeconómico de las escuelas.

- Estratificar por Desempeño educativo de las escuelas.


13/36

4.4. Aleatorización

- La aleatorización construyó la siguiente muestra:


14/36


Instrumentos de Medición

Francisco Gallego




15/36

4.5. Instrumentos de Medición

- ¿Cómo medir las variables de interés?- Usamos cuatro fuentes.

1. Comprensión Lectora y Producción de Textos (CL-PT):

– Usamos una prueba estandarizada que mide:• Comprensión de Lectura (RC)

• Uso de la Lengua (UL)

• Producción de Textos (TP).

– A estas las llamamos “habilidades cognitivas”.


16/36

4.5. Instrumentos de Medición

2. Gusto por la Lectura (GPL): – Construímos un instrumento nuevo en base a otros:

• Autopercepción como Lector (SPR).

• Disfrute pro la Lectura (ER).• Interés por la Lectura (IR).

• Percepciónd e la Lectura en la Escuela (PRS).

– A estas las llamamos “habilidades no cognitivas”.

3. Información de Procesos del programa.

4. Información administrativa del Ministerio deEducación.


17/36


Balance Muestral

Francisco Gallego




18/36

4.6. Balance entre Grupos

- Es relevante revisar estadísticamente si los grupos dela evaluación están balanceados.

- ¿En qué dimensiones?

- En todas las variables con que se cuente en la línea debase.

- ¿Entre que grupos?

- Puede ser relevante mostrar que los “desertores” son

iguales entre grupos.- En este caso la deserción fue considerable.

- Para otras subpoblaciones relevantes en el estudio.


19/36

i. Balance en Características de la Escuela:


20/36

ii. Balance en Características de los Estudiantes:


21/36

iii. Balance entre Desertores y No Desertores


22/36

iv. Balance en puntajes de Línea de Base:

- Los grupos muestran estar balanceados!

- La aleatoriazción hizo su trabajo.


23/36


Implementación

Francisco Gallego




24/36

- Es muy importante:

– Documentar.

– Obtener aprobación de Comité de Ética.

– Manuales de Campo exhaustivos.

– Entrenamientos exhaustivos.

– Monitorear la Intervención.

5. Implementar y Evaluar Procesos


25/36

- El monitoreo del SPE se basó en visitasaleatorias a las escuelas.

- Observación de Tutorías.

- Cuestionario a Tutores.

- Cuestionario a Profesores.

- Además, se recopiló información administrativade la FSP, de asistencia de alumnos y tutores.



26/36

- Resultados del Monitoreo:

- Hubo mucha heterogeneidad en la implementación delprograma!



27/36

- ¿Hay diferencias regionales?

- Si, y estadísticamente relevantes.- En la VIII región se implementó “mejor” que en la RM.



28/36

- ¿Comparten los alumnos está mirada?

- Si, evalúan mejor el programa cuando:- Reciben más sesiones de tutorías.

- Reciben menos rotación de tutores.



29/36


Resultados

Francisco Gallego




30/36

7.1. Resultados CL-PT

- Se observan ciertos impactos.- En Comprensión Lectora:

- Impacto promedio de 0.08s , pero sólo mg. significativo.

- Impacto de 0.18s sobre colegios de la VIII.

- Impacto de 0.12s sobre colegio vulnerables de la VIII.- En Uso de la Lengua:

- Impacto de 0.28s sobre colegios de la VIII.

- Impacto de 0.38s sobre colegio vulnerables de la VIII.

- La buena/mala implementación es relevante!

- Impactos focalizados en colegios vulnerables.


31/36


Costo Efectividad

Francisco Gallego




32/36

8. Medir Costo-Efectividad

- Una línea en que las evaluaciones son útiles es paracomparar políticas.

- Cálculos de costo-efectividad ayudan a ello.

- Ponen impactos en una métrica común.

- Pero, tienen sus problemas:

- No consideran impactos sobre múltiples variables.- Se construyen sobre supuestos.


33/36

8.1. Resultados Costo-Efectividad

- Cálculos para el SPE

- Lo hacemos para distintas subpoblaciones decolegios.


34/36

8.2 Comparando Costo-Efectividad


35/36


36/36

Conclusiones Generales

- Evaluar impacto…

- Implica bastante trabajo.

- Exige el uso de recursos.

- Exige ser creativo- Y toma tiempo.

- Pero…

- ES POSIBLE Y ES UN DEBER ÉTICO HACERLO PORQUE…

- Genera evidencia relevante. Para…

- Avanzar en la “ciencia”

M j l d d i i l d

evaluación de impactos sociales

Documents