1

Bienvenidos a EEiPP 2013! Introducción al

Taller Internacional de Encuestas y Evaluación de Impacto

Sebastian Martinez

BID

Juan Muñoz Sistemas Integrales

Pregunta

• ¿Que porcentaje de los integrantes de EEIPP 2013 (ustedes) han participado alguna vez de una evaluación de impacto experimental?

a. 0%-24% b. 25%-49% c. 50%-74% d. 75%-100%

2

Aprendiendo de EEIPP 2012

• EEIPP 2012: 100 participantes, muy buena retroalimentación

• Aplicamos 12 pruebas de conocimiento durante las 2 semanas del taller – Fue el aspecto mas criticado del taller

• Demasiadas pruebas consumen mucho tiempo

• Implicancias de política para el taller 2013: – Menos pruebas – Buscar estrategias para hacer mas eficiente el uso del

tiempo en la pruebas

3

Impacto del “Relojito”

• Podemos reducir el tiempo dedicado a la prueba incluyendo un “relojito” en la pantalla de la prueba de línea base? – Monitoreo del tiempo dedicado a la encuesta – “Empujoncito” para realizar mas rápidamente la

encuesta

5

EL RELOJITO

6

Relojito

Creen que Funciona?

…. Es decir, el relojito reduce el tiempo dedicado a la prueba de línea base? a. Sí b. No c. Quizás, ¡pero realmente quién sabe! … ¡Vamos a evaluarlo!

7

¿Cómo evaluar el impacto del “relojito”?

• Discute con tus vecinos como llegarías a conocer el impacto del “relojito” sobre el tiempo dedicado a la prueba……

8

Hagamos un experimento

• Asignación aleatoria del relojito: – Grupo de tratamiento 170 pruebas: con relojito – Grupo de comparación 177 pruebas: sin relojito

• Medimos el tiempo promedio de la prueba en cada grupo

• El impacto del relojito es la diferencia entre el grupo T y C

9

EL RELOJITO

10

Poblacion de Estudio Grupo

Tratamiento N= 170

Grupo Comparación

N=177 Diferencia

Edad 35.2 35.5 0.3 ¿Usa programa estadístico? (sí=1) 0.65 0.71 0.06 ¿Ha diseñado un cuestionario? 0.56 0.55 -0.01 ¿Ha diseñado una evaluación? 0.76 0.82 0.06 ¿Ha usado los resultados de una evaluación para su trabajo en el último año?

0.68 0.69 0.01

11

Impacto del Relojito

• Duración de la prueba línea base para el grupo SIN relojito:

36.3 minutos • ¿En cuánto podría reducir el tiempo la presencia del relojito? a. Nada (no tiene impacto) b. Menos de 10 minutos c. 10 a 20 minutos d. Mas de 20 minutos

• Duración de la prueba línea base para el grupo CON relojito:

21.2 minutos

12

Impacto del Relojito

15 minutos!

13

Impacto del Relojito

14

Source | SS df MS Number of obs = 344

-------------+------------------------------ F( 1, 342) = 9.15

Model | 19422.8126 1 19422.8126 Prob > F = 0.0027

Residual | 725648.897 342 2121.7804 R-squared = 0.0261

-------------+------------------------------ Adj R-squared = 0.0232

Total | 745071.71 343 2172.22073 Root MSE = 46.063

------------------------------------------------------------------------------

time_min | Coef. Std. Err. t P>|t| [95% Conf. Interval]

-------------+----------------------------------------------------------------

Relojito (T) | -15.03226 4.968422 -3.03 0.003 -24.80477 -5.25975

_cons | 36.30545 3.472113 10.46 0.000 29.47607 43.13484

------------------------------------------------------------------------------

15

0.2

.4.6

Den

sity

0 2 4 6 8time to complete survey (minutes) - natural log

Kernel density estimatekdensity ln_time_min

kernel = epanechnikov, bandwidth = 0.2324

Kernel density estimate

Con Relojito

Sin Relojito

IMPACTO

Beneficios del Relojito

N= 344 participantes

Beneficio = 86 horas = 3.6 días

Valor (asumiendo $40 por hora) = $3440 dólares

16

¿Y el Costo?

• Reducir el tiempo tiene algún efecto sobre la tasa de respuestas en la prueba de conocimiento?

• Tampoco en otros indicadores de calidad de la encuesta (missing values)

17

Tratamiento Comparación Diferencia

Proporción de preguntas correctas en la prueba de línea basal

0.69 (0.02)

0.68 (0.02)

0.01 (0.03)

Implicancia de Política

• El relojito es una medida efectiva para reducir el tiempo de la prueba de línea de base

18

Pregunta

• ¿Qué porcentaje de los integrantes de EEIPP 2013 (ustedes) ha participado alguna vez de una evaluación de impacto experimental?

a. 0%-24% b. 25%-49% c. 50%-74% d. 75%-100%

19

Objetivos del Taller 1. Aprender como evaluar el impacto de sus “relojitos”: los

proyectos, programas y políticas que implementan en la región.

2. Aprender como recolectar datos de calidad con encuestas • Al cabo del taller, los participantes conocerán:

– Como evaluar una intervención • Los principales métodos de evaluación de impacto, y como aplicarlos

al diseño y análisis del impacto de programas – Los procesos metodológicos y operativos de la recolección de

datos por medio de encuestas – Los nexos entre las encuestas y las evaluaciones de impacto – Cómo utilizar las encuestas y evaluaciones para la toma de

decisiones sobre políticas publicas

20

Estructura del Taller

21

Teoría

Practica

Evaluación de Impacto

Métodos de Evaluación de Impacto:

Sesión 1: Abordaje “intuitivo” Sesión 2: Abordaje “técnico”

Diseño de Evaluación (sus proyectos)

Casos, Paneles

Encuestas Noción de Calidad Total

Muestreo Cálculos de Potencia

Diseño de cuestionarios

Trabajo de campo Gestión de datos

Gestión de encuesta

Ejercicios

Tres Formatos de Clases

• Presentaciones: – Sala Plenaria: El Carmen – Salas Paralelas: Purísima, Capilla y Candelaria

• Ejercicios [Grupos pre-asignados]: – Salas: Purísima (A), Capilla (B), Candelaria (C),

María Magdalena (D)

• Trabajo en Equipos: – Salas: Purísima (1), Candelaria (2), María

Magdalena (3), Asunción (4), Loreto (5) 22

Métodos de Evaluación: ¿En qué sesiones participo? • Las sesiones paralelas cubren LOS MISMOS

contenidos pero con diferente enfoque: – Abordaje “intuitivo”, sigue un mismo ejemplo – Abordaje con notación técnica, presenta múltiples aplicaciones de

métodos

• Las sesiones de STATA cubren el MISMO caso con diferentes intensidades: – Stata Básico: menos preguntas, mayor énfasis en comandos básicos – Stata Avanzado: mas preguntas, menor énfasis en comandos básicos – O, sesion sobre uso de datos administrativos para evaluación de

impacto

23

¿Abordaje Intuitivo o Técnico? • Considera la Sesión 1 (abordaje “intuitivo”) si:

– No has tomado cursos de econometría y estadística – En tu trabajo, te corresponde principalmente:

• Utilizar los resultados de evaluación para formulación de políticas públicas • Comisionar y gestionar evaluaciones

– Prueba de línea base <=0.8 • Considere la Sesión 2 (abordaje “técnico”) si:

– Tomaste cursos de econometría y estadística – En tu trabajo, te corresponde principalmente:

• Diseñar evaluaciones • Analizar datos

– Prueba de línea base >0.8 • Y si no estas seguro…..

24

Pregunta 1

• En el siguiente modelo: y = α0 + β1x1 + ε

– y es…. – α0 es…. – x1 es…. – ε es….

25

la variable dependiente el término constante (o intersección) la variable independiente (o explicativa) el error o residuo

Pregunta 2

• En la siguiente expresión:

• b es: 1. Un estimador MQS 2. Un estimador AZUL 3. Un estimador MCO 4. Un estimador SLO 5. Ni idea

26

Pregunta 3

• la suma de dos variables independientes con distribución normal tiene.. 1. una distribución anormal 2. una distribución t de Student 3. una distribución de Poisson 4. una distribución normal 5. ni idea

27

Pregunta 4

• ¿Bajo qué supuestos el estimador de mínimos cuadrados ordinario de b es el estimador lineal insesgado óptimo: 1. Fermet-Wiles 2. Gauss-Markov 3. Bayes-Nyquist 4. Carlos-Charly 5. ni idea

28

Resultados

• Si respondiste correctamente las cuatro preguntas Sesión 2 (abordaje “técnico”)

• En caso contrario Sesión 1 (abordaje “intuitivo”)

29

Trabajo en Equipos de Proyecto

• Objetivos: – Diseñar una evaluación de impacto o encuesta – Avanzar sobre elementos específicos de una evaluación o encuesta en

curso

• Equipos de trabajo pre-asignados a salas y mesas de trabajo – Educación: Purísima (1), – Salud: Candelaria (2) – Protección Social: María Magdalena (3) – Agricultura y Productividad: Asunción (4) – Vivienda, Infraestructura y otros: Loreto (5)

• Si NO tienes sala asignado: incorpórese mañana en la sala según interés temático y contacte el encargado de sala

30

El producto final

Muestreo

Gestión

de datos

instrumentos

Recolección de datos

31

Calidad Total en encuestas

La integración de el diseño muestral, el cuestionario y los instrumentos, el trabajo de campo y la gestión de los datos con el fin de entegar a los analistas Una base de datos fiable En tiempo oportuno

Los datos pierden valor si no representan la realidad del momento

El ejecutor del programa de intervención

El evaluador (Agencia de evaluación, nacional

o internacional)

Firma encuestadora responsable de recoger los datos

Equipo central

El escenario y los actores

32

Finanzas $

Gerente

Brigadas de campo

Jefe de proyecto Jefe

de gestión de datos

Especialistas en diseño y análisis de Evaluación de Impacto

Jefe de operaciones de campo

Aseguramiento de Calidad

Equipo de evaluación

Documentación

Las claves de la calidad

Calendarios y presupuestos de encuestas

Ejercicio de Aseguramiento

de Calidad

Trabajo de campo y

Aseguramiento de Calidad

Ejercicio de Trabajo de

Campo

Diseño de cuestionarios

Ejercicio de diseño de

cuestionarios

Ejercicio de cálculos de

potencia

Muestreo y Evaluación de

Impacto

Potencia

Muestras complejas y efectos de

diseño

Ejercicio de muestras complejas

Calidad total

Muestreo científico

Ejercicio de muestreo científico

Métodos de encuestas Panorama de las presentaciones

Mañana 1

Mañana 2

Tarde 1

Tarde 2

Viernes 12 Lunes 15 Martes 16 Miércoles 17 Jueves 18