taller de evaluación de impacto -...

Taller de Evaluación de Impacto

Reunión Anual

Noviembre 2013

Introducción

Sistema de seguimiento y evaluación

Seguimiento y evaluación: el poder de medir los resultados

Resultados

= respaldo público

Si no puede reconocer el fracaso no lo puede corregir

Si no puede ver el éxito, no puede aprender de él

Si no puede recompensar el éxito, quizás está premiando el fracaso

Si no puede ver el éxito no lo puede recompensar

Si no mide resultados, no puede distinguir entre el éxito y el fracaso

3

Definición del sistema de SyE

Herramienta de gestión: Ayuda a formular programas y rastrear sus avances, demostrar su impacto (Oportunidades)

No tiene un enfoque tradicional de ejecución, basado en insumos y productos (convocatorias)

Responde a la pregunta “¿Y qué?” (ofrecer flores)

Es producto de una decisión política (no sólo técnica, de la sombra a la luz) y no existe un modelo lineal y único para implementarlo

Seguimiento: función continua que utiliza la recolección sistemática de datos sobre indicadores específicos para obtener una medición de los desarrollos en curso, el logro de los objetivos y el uso de los recursos.

Evaluación: Evalúa un programa desde su diseño, ejecución y resultados. Determina satisfacción y relevancia de los resultados, eficiencia en el desarrollo, su efectividad, sostenibilidad e impacto.

4

Funciones complementarias SyE

Seguimiento Evaluación

Aclara objetivos del programaAnaliza porqué se lograron o no se

lograron los resultados esperados

Enlaza actividades y sus recursos con

objetivos

Evalúa aportes causales específicos de

actividades a resultados

Traduce objetivos en indicadores de

desempeño y fija metasExamina el proceso de ejecución

Rutinariamente obtiene datos sobre

esos indicadores, compara resultados

reales con objetivos

Estudia resultados no propuestos

Informa sobre avances a gerentes y los

alerta sobre problemas

Brinda lecciones, resalta el logro

significativo del potencial del programa

y ofrece recomendaciones de mejoría

5

10

paso

s para la im

plem

en

tación

de

un

sistem

a de se

guim

iento

y evaluació

n

6

10 pasos: Estimación de la Preparación (ejercicio 1.1)

Entender los factores políticos, culturales, organizativos: antes de ¿Cuál,o, qué? Preguntar ¿Porqué queremos implementar un sistema de evaluación y seguimiento basado en resultados?

¿Preparado para pasar de: la medición de los productos a los efectos?

Preguntas claves para determinar requisitos previos:

1. ¿Quién promociona la construcción de sistema del sistema de SyE?

2. ¿El promotor tiene suficiente influencia y el la decisión es consensada/participativa?

3. ¿Quién se va a beneficiar con él? ¿Quién no?

4. ¿Quién va a producir los datos (accesibles, comprensibles, pertinentes, oportunos), analizarlos y darles seguimiento?

5. ¿De qué maneja va a mejorar el logro de las metas y la asignación de recursos?

7

10 pasos: Elegir los efectos (ejercicio 1.2)

Los indicadores son pertinentes en relación con un objetivo, fijar metas para determinar efectos

¿Cuáles son las prioridades estratégicas de mi organización?

Preguntas claves para determinar requisitos previos:

•¿Existe un consenso dentro (y fuera) de mi organización en cuanto a las metas que se persiguen?

• ¿Cómo puedo recolectar información sobre el punto de vista de las partes interesadas?

•¿Conozco las preocupaciones de las partes interesadas en cuanto a: ¿para quién? (población objetivo), ¿dónde? (sector), ¿cuánto? (cuantificar el cambio), ¿cuándo? (marco temporal)

Ejemplo: los niños de comunidades rurales disponen de mejor acceso a programas de preescolar

8

10 pasos: Seleccionar indicadores Los indicadores son variables cuantitativas o cualitativas

Instrumento confiable y sencillo para medir logros, cambios, desempeño

Permiten saber si existen avances hacia el logro de los efectos deseados e impulsan actividades de recolección, análisis y presentación de informes de datos. Necesitan una medición regular.

El número ideal de indicadores es el que permite contestar, ¿Se han logrado los efectos?

EFECTO: Los niños de comunidades rurales del país disponen de mejor acceso a programas de preescolar

INDICADOR: Porcentaje de niños rurales elegibles matriculados en preescolar.

9

10 pasos: Seleccionar indicadores Hacer seguimiento a los efectos: retroinformación continua y flujos

de datos permanentes

Alertan los gestores sobre:

• Discrepancias en el desempeño

• Insuficiencias en el logro de los objetivos

• Desviación del efecto deseado

Ejemplo: Cuestionario de Indicadores de Bienestar Básico

Conjunto fijo de preguntas claves, rápido ingreso y validación de datos, presentación sencilla de informes, muestra grande, cuestionario corto.

“un instrumento para hacer seguimiento en el tiempo a cambios en los indicadores sociales clave y brinda a los países una herramienta sencilla que produce resultados rápidos” (BM)

10

10 pasos: Seleccionar indicadores (ejercicio 1.3)

La “CREMA” de los indicadores:

• Claro (preciso y inequívoco)

• Relevante (apropiado al tema)

• Económico (disponible a un costo razonable)

• Mensurable (validación independiente)

• Adecuado (base suficiente para estimar el desempeño)

Tiempo e intentos (3, tendencia), apoyo externo

Un número no indica un logro, una TASA si

Cualitativos miden: percepción, descripción de un comportamiento (subjetivos pero útiles en fase exploratoria)

Cuantitativos: avance real (y no su percepción)

Indicadores sustitutos (precaución) y diseñados de antemano (IDH: longevidad, conocimiento, nivel de vida) pero metas específicas del país y apropiación.

11

10 pasos: Recolectar datos

Obtener datos básicos como primera medición de un indicador: determinar situación actual (diagnóstico) y darle seguimiento

Ofrecer evidencias para medir el desempeño: presión sanguínea, ejercicio físico… punto de partida para dar seguimiento

¿Fuentes? ¿Métodos de recolección? ¿Quién va a conseguirlos? Etc.

Realidad del sistema de información existente (SEP)

¿Datos básicos relacionados con indicador identificado?



DATOS BÁSICOS: 1. En 2012, 80% de niños con edades de 3 a 5 años 2. . En 2013, 85% de niños con edades de 3 a 5 años

12

10 pasos: Recolectar datos

Métodos informales:

• Conversación con personas interesadas

• Entrevistas con la comunidad

• Vistas a campo

• Examen de registros oficiales

• Entrevistas de grupo de estudio

Métodos formales estructurados:

• Cuestionarios

• Encuestas

• Grupos de enfoque

• Censos

• Pruebas de campo

13

10 pasos: Planificar, seleccionar objetivos Selección de objetivos, paso final para la construcción del contexto de desempeño

Niveles cuantificables de los indicadores que pretende alcanzar la organización

Ejemplo: “para el año 2018, todas las familias beneficiarias deben de tener la capacidad de comer dos veces al día, todos los días”

Factibles en base a la capacidad y los datos básicos, tendencias

Representan la situación al finalizar el programa, ser razonables sin ser modestos, no predecir qué pasará en 15 años sino intervalos periódicos

Un objetivo por indicador

14

10 pasos: Planificar, seleccionar objetivos (ejercicio 1.4)

Marco de desempeño es la base de la planeación: presupuestos, recursos, personal, etc.



DATOS BÁSICOS: 1. En 2012, 80% de niños con edades de 3 a 5 años 2. . En 2013, 85% de niños con edades de 3 a 5 años

OBJETIVO: Para 2018, el 95% de los niños

15

10 pasos: Seguimiento

Un sistema de SyE basado en resultados permite gestión mejorada de los recursos, ajustarse a planes de trabajo de la organización y marco temporal: apropiación, gestión, mantenimiento, credibilidad.

Dos tipos: seguimiento de la ejecución (recursos, insumos) y resultados, complementarios .

Nexos entre seguimiento y asignación de recursos (sola unidad, PND), capacidad de rendir cuentas y compartir información, plan anual.

Meta: Menor mortalidad infantil

EFECTO: Menor mortalidad infantil

OBJETIVO: -20% de enfermedades gastrointestinales

MEDIOS: - Programas de prevención del cólera – Complementos de vitamina A – Alentar terapia de rehidratación oral

16

10 pasos: Seguimiento (ejercicio 1.5)

El triangulo de la calidad de los datos:

Confiabilidad: el enfoque de recolección estable y consistente en

tiempo y espacio

Validez: indicadores miden clara y directamente

lo que se requiere

Oportunidad: frecuencia, actualidad,

disponibilidad y pertinencia

17

10 pasos: Papel de la evaluación

Seguimiento: información permanente a través de indicadores sobre dirección, ritmo y magnitud del cambio. No determinan causalidad del cambio (impacto).

Evaluación complemento al seguimiento: Seguimiento da origen a preguntas de Evaluación, y Evaluación genera nuevos campos de seguimiento.

Uso:

• Tomar decisión sobre asignación de recursos

• Identificar problemas nacientes

• Clarificar pugnas sobre mejoras alternativas

• Reformar, innovar y evidenciar

• Crear consenso sobre causas y soluciones

Características: imparcialidad, utilidad, suficiencia técnica, participación de partes interesadas, retroinformación y divulgación

18

10 pasos: Informes

La información de desempeño deriva del seguimiento y la evaluación

Uso:

•Demostrar responsabilidad

•Convencer

•Educar

•Explorar e investigar

•Documentar

•Involucrar

•Fomentar la comprensión

No se pueden recibir solo buenas noticias: explicar efectos inadecuados y presentar medidas correctivas… no castigar al mensajero

19

10 pasos: Usar hallazgos

Diez usos (Haltry, 1999):

1. Responder a las demandas de rendición de cuentas (auditoria)

2. Ayudar a formular y justificar solicitudes presupuestarias (proyectos)

3. Ayudar a tomar decisiones operativas de asignación de recursos (gestión)

4. Impulsar exámenes a profundidad del tipo de problemas de desempeño (mejora continua)

5. Motivar al personal para continuar haciendo mejoras al programa (asignación de responsabilidades)

6. Formular y hacer seguimiento al desempeño de contratistas y adjudicadores (fijar metas a apoyos externos)

7. Proporcionar información para evaluaciones especiales (impacto)

8. Ayudar a prestar servicios con mayor eficacia (uso de recursos)

9. Apoyar trabajos de planeación estratégica (gestión presupuestal)

10. Mejorar la comunicación con el público para crear confianza

20

10 pasos: Sustentar el sistema de SyE Trabajo de largo plazo:

• Demanda (sostenida, rendición de cuentas)

• Funciones y responsabilidades claras (coordinación interna, rebasar lo local, comprometer)

• Información confiable y creíble (examen independiente)

• Rendición de cuentas (no recompensar el fracaso)

•Capacidad (destreza en recolección y análisis de datos)

• Incentivos (donadores)

Dificultades:

Capacitación del personal, costos y factibilidad, cambios en prioridad, mantener indicadores en el tiempo, resistencia de los gestores, constante actualización y mejora del sistema

21

¿Qué es una evaluación?

22

Preguntas de evaluación • Preguntas descriptivas. ¿Qué ocurre? Describe procesos,

condiciones, relaciones organizativas y opiniones de las partes interesadas. (encuesta de clima laboral)

• Preguntas normativas. Compara lo que está ocurriendo con lo que debería ocurrir; evalúa actividades, logro o no de objetivos. Aplican para insumos, las actividades y los productos (matriz de indicadores).

• Preguntas sobre causa y efecto. Examina resultados e intenta determinar la diferencia que ejerce la intervención sobre estos. (¿Oportunidades incrementa poder adquisitivo u otra razón?)

Las evaluaciones de impacto buscan saber cuál es el efecto causal de un programa sobre un resultado de interés: analiza los cambios en el resultado directamente atribuibles al programa.

23

La evaluación orientada a resultados Definir metas: ¿Cuáles son los resultados que busco conseguir?

Por ejemplo: Aumentar el rendimiento escolar, reducir la desnutrición, incrementar los ingresos, etc.

Los resultados son diferentes a los insumos:

o INSUMO = Distribuir suplementos alimenticios a 100 niños

o RESULTADO = Reducir en un 50% la tasa de niños con anemia

El insumo no permite saber si el programa ha alcanzado su objetivo y si dio RESULTADOS.

24

Monitoreo vs evaluación

MONITOREO:

Proceso continuo de recolección y análisis de información Comparar el desempeño de un proyecto, programa o política relativo a

sus objetivos propuestos Informar la implementación y gestión del programa

EVALUACIÓN: Una valoración sistemática y objetiva sobre el diseño, la implementación o los resultados de un proyecto, programa o política Determinar la relevancia y el logro de los objetivos de desarrollo y Generar aprendizajes para informar el proceso de toma de decisiones Realizado para responder preguntas especificas

25

Monitoreo Evaluación

Frecuencia Regular, continuo Periódico

Cobertura Todos los programas Selectivamente

Datos Universal Muestra

Información Generada

Implementación: actividades, productos

Efecto en resultados y porque

Costo Asumido por programa A veces alto

Uso Gestión de programa Decisiones estratégicas,

Bien público

Monitoreo vs evaluación

26

Tipos de evaluación… que no son de impacto

27

Tipos de evaluación • Existen diversos tipos de evaluación:

Evaluación de necesidades Evaluación teórica del programa Evaluación de procesos Evaluación costo-beneficio

• El monitoreo y las diversas formas de evaluación son herramientas

complementarias • PERO…un programa puede estar bien diseñado e implementado pero no

tener impacto

• Nuestro enfoque en este taller es sobre las evaluaciones de impacto y su “ingrediente” clave, los datos generados con encuestas… pero estudiemos las demás

28

Evaluación de necesidades

• Los programas se realizan para remediar una situación específica. Ejemplo: incidencia alta de diarrea en población infantil.

• ¿Causas? Pueden ser muchas… agua contaminada, mal manejo de los

alimentos, casas con piso de tierra, uso de fertilizantes, etc. • Si es el tipo de fertilizante es la causa del problema de diarrea y que se

implementa un programa de saneamiento de agua, ¿Cuál es el resultado?

• Si no se detecta la causa claramente, el programa será inefectivo por no atacar el origen del problema

• Se interesa por el entorno y las características de la población que

demanda (o no) los servicios • Existen diversos tipos de necesidades (normativa, percibida, relativa,

expresada) y evaluaciones (participativas o no) para saber a quién prestar el servicio y qué tipo de programa es el más adecuado

29

Evaluación teórica o de diseño

• Los programas se realizan para remediar una situación específica. Ejemplo: infecciones por tomar agua contaminada

• ¿Causas? Pueden ser muchas… • Elegir la solución para tratar el problema:

¿Las personas no saben que el agua está contaminada? ¿No tienen acceso a cloro para desinfectarla? ¿Se rechaza el uso de cloro por razones particulares?

• Se necesita tomar en cuenta el contexto político (los contaminadores

son inatacables…) y las capacidades (financieras, humanas, institucionales, etc.)

• Implica modelar (políticamente) la teoría que está detrás del programa

con un enfoque de Marco Lógico o Teoría del Cambio para determinar la mejor intervención

30

Evaluación de procesos

• Analiza la efectividad de las operaciones del programa, la implementación y la entrega de servicios, una vez lanzado, frente a las realidades del terreno.

• Se define también cómo Monitoreo:

Los servicios y metas están alineados apropiadamente. Los servicios están siendo entregados a los destinatarios, como se

pretendía. Cuán bien está organizado el servicio de entrega. La efectividad de la gestión del programa. Cuán efectivamente se están usando los recursos del programa.

• Las metas están fijadas por los administradores o los donantes, deben

de existir mecanismos de recolección de datos. 31

• Dos estrategias con métodos y costos diferentes pueden llegar a tener el mismo resultado…

• Dos opciones:

Una inversión en infraestructura que reduce la diarrea en un 80%? un programa de distribución de tabletas de cloro que cuesta 1/100ª

parte del precio, y reduce la diarrea en un 50%?

• Las metas están fijadas por los administradores o los donantes, deben de existir mecanismos de recolección de datos.

Evaluación de costo beneficio

32

Evaluación de costo beneficio • ¿Está el programa produciendo suficientes beneficios para compensar

los costos? O en otras palabras, ¿La sociedad será más rica o más pobre después de realizar esta inversión?

• Controversial: cuantificar el beneficio de la salud de los niños en términos monetarios es difícil y subjetivo…

Análisis costo efectividad • Toma el costo del programa y lo divide por su impacto. Ejemplo:

Número de casos de diarrea prevenidos por dólar invertido

Análisis de comparación de costos • ¿Cuánto cuesta, por dólares, la reducción de la diarrea de cada

estrategia?

33

La evaluación de impacto

El proceso de evaluación de impacto • Las evaluaciones de impacto forman parte de un programa más

amplio de formulación de políticas y programas basados en evidencias.

• Tendencia mundial creciente caracterizada por un cambio de enfoque: de los insumos a los resultados.

Este enfoque no sólo sirve para fijar metas y hacer seguimiento. Los resultados permiten:

Rendir cuentas

Informar para conseguir recursos

Orientar las decisiones de política social

Mejorar la calidad, la eficiencia y la efectividad

35

Ejemplo: Progresa/Oportunidades

• Tipo: programa innovador de transferencias monetarias condicionadas (asistencia escolar, centros de salud), Zedillo.

• Objetivo: incentivar inversiones en el capital humano de los niños

• Medio: apoyo económico a madres de familias de hogares pobres, índice de pobreza

• Evaluación experimental (97-98): selección aleatoria por etapas de 506 comunidades, VI = consumo per cápita

• Indicadores:

Tasa de matriculación escolar,

Nivel de desnutrición,

Incidencia de enfermedades,

Días de trabajo perdidos en población adulta

36

Ejemplo: Progresa/Oportunidades

• Resultados:

Mejoró 29.3 pesos consumo per cápita

0,7 años adicionales de escolarización

reducción de la probabilidad de retraso del crecimiento de un centímetro al año (12 a 36 meses de edad)

23% reducción de incidencia de enfermedad (niños)

19% reducción de días no trabajados por enfermedad (adultos)

• Consecuencia:

Permanencia desde 1990

Introducción de becas para la educación secundaria básica, media superior y mejora de los programas de salud para adolescentes

Difusión internacional

Aprobación de nuevas leyes que requieren la evaluación de todos los proyectos sociales 37

¿Por qué evaluar? Necesitamos evidencia sobre efectividad de políticas

Presupuestos limitados

Toma de decisiones:

o Promover/expandir políticas con impactos positivos

o Parar/reformular políticas con impactos negativos

Sostenibilidad de políticas

Entender porque funciona una política (prueba de hipótesis)

Analizar como funciona una política (componentes)

Identificar quien se beneficia (elegibilidad y focalización)

Mejorar diseño de políticas

Negociaciones presupuestarias

Informar al publico (prensa, sociedad civil)

Agenda de efectividad en el desarrollo

38

La evaluación de impacto

Mide la relación causal entre un proyecto, programa o política y los resultados en los beneficiarios: Compara un estimado de la situación de los beneficiarios en la ausencia de la intervención (con grupos de comparación o control) con el estado observado de los beneficiarios (grupo de intervención o tratamiento) para determinar el efecto (impacto) de la intervención en los resultados intermedios o finales.

Responde a: Cual es el efecto de un programa sobre los resultados de interés? Por cuanto mejoró la situación de los beneficiarios gracias al

programa? Como cambiarían los resultados si alterásemos el programa? El programa es costo-efectivo? 39

La evaluación de impacto atribuye

un resultado en base a un contrafactual

40

Ejemplo Problema de desarrollo:

Alta tasa de deserción

escolar entre niños pobres

Reduce la adquisición de

capital humano

Reproducción social y ciclo de

la pobreza

41

Ejemplo Pregunta de desarrollo:

¿Cómo reducir la deserción escolar?

Hipótesis:

Los niños abandonan debido al costo de oportunidad de ingreso en el mercado laboral

Solución propuesta:

Becas escolares para reducir el costo de oportunidad

Pregunta de evaluación:

¿Cuál es el impacto de las becas escolares en la deserción escolar?

42

Ejemplo: Caso 1 (ejercicio 2)

Diagnóstico

• Observamos en el 2010 que la tasa de deserción fue del 10%

Programa

• Implementamos un programa de becas

Resultado

• Observamos en el 2012 que la tasa de deserción es del 5%

¿El impacto de las becas fue una reducción en la deserción de 5 puntos porcentuales?

43

Ejemplo: Caso 2

Participantes

• Observamos en el 2012 que la tasa de deserción entre niños que solicitaron beca fue de 5%.

No participantes

• Al mismo tiempo, observamos que la tasa de deserción entre niños que NO solicitaron beca fue de 10%

¿El impacto de las becas fue una reducción en la deserción de 5 puntos porcentuales?

44

Ejemplo: Caso 3

Participantes

• Observamos en el 2012 que la tasa de deserción entre niños que solicitaron beca fue del 10%.

No participantes

• Al mismo tiempo, observamos que la tasa de deserción entre niños que NO solicitaron beca fue del 5%.

¿El impacto de las becas fue una incremento en la deserción de 5 puntos porcentuales?

45

Respuesta… ¿Quién sabe…?

Ejemplo 1: pre-post (antes – después)

• Otros factores que varían en el tiempo

• ¿Por ejemplo?

Ejemplo 2 y 3: solicitantes no solicitantes

• Auto selección

• ¿Quien solicita las becas?

• El grupo de “comparación” no es comparable

El impacto del programa es la diferencia en la deserción con el programa y sin el programa, para el mismo individuo, al mismo tiempo (?)

46

Teoría de la evaluación: el contrafactual … Nunca observamos a la misma persona con y sin programa al mismo tiempo

Contrafactual: lo que hubiera sucedido en la ausencia del programa (o el clone perfecto)

El impacto estimado es la diferencia entre el resultado observado del beneficiario y el estimado del contrafactual .

El contrafactual o grupo de control es crítico para poder responder una pregunta de evaluación

47

Si los Tratamientos y Contrafactuales :

(1) Tienen características idénticas

(2) Excepto el beneficio del programa

Entonces no existen otras razones, más allá de las becas, para explicar las diferencias observadas de la tasa de deserción

Logramos estimar el impacto de las becas escolares

Hay que garantizar la comparabilidad del grupo de tratamiento y control entonces la única explicación para una diferencia en resultados es el programa

Teoría de la evaluación: el contrafactual

48

En la práctica…

En práctica una evaluación requiere:

• Compatibilidad con diseño operativo del proyecto

• Presupuesto y expertise técnico

• Datos

• Producción y diseminación de resultados

La evaluación es una operación dentro de una operación

Queremos evaluar cuando la intervención es:

• Innovadora

• Replicable

• Estratégica

• No probada

• Influyente

49

La evaluación comienza con la pregunta de desarrollo

• Los métodos de evaluación son herramientas para responder la pregunta de “¿y qué?”.

Evaluar:

• Intervenciones similares en múltiples contextos (validez externa).

• Intervenciones diferentes con los mismos resultados (costo-efectividad).

Averiguar no solamente si una intervención funciona o no, pero porqué funciona, y aprovechar los aprendizajes de intervenciones que NO funcionan tanto como los que si.

El desarrollo es un proceso continuo de aprendizaje, revisión de políticas, y más aprendizaje

Evaluar Estratégicamente…

50

Prospectivo v.s. Retrospectivo

• Prospectivo:

Evaluación integrada en diseño operativo del programa desde un comienzo

- Aclara los objetivos, fija metas claras

- Predefinir preguntas y medición de resultados (Medición de Línea Base para tratamiento y control)

- Más y mejores opciones metodológicas

• Retrospectivo:

Evaluación diseñada y realizada al final del programa

Opciones más limitadas para:

- Estimar contrafactual

- Obtener datos, no se dispone de línea base

Evaluar Estratégicamente…

51

La cadena de resultados

Fuente: La evaluación de impacto en la práctica, 2011 Banco Internacional de Reconstrucción y Fomento/Banco Mundial 52

La cadena de resultados

Fuente: La evaluación de impacto en la práctica, 2011 Banco Internacional de Reconstrucción y Fomento/Banco Mundial

53

La cadena de resultados (ejercicio 3)

Insumo(s) de mi programa:

1.

2.

Actividad(es) de mi programa:

1.

2.

Producto(s) de mi programa:

1.

2.

Resultado(s) de mi programa:

1.

2.

Resultado(s) finales de mi programa:

1.

2.

54

Encuesta y recolección de datos de calidad

• No todas las organizaciones disponen de un padrón de beneficiarios sistematizado, (CENSO) actualizado y con información relevante acorde a sus metas e indicadores de impacto…

• No todas las organizaciones aplican encuestas o evaluaciones (en base a una muestra representativa) para conocer los resultados específicos de un programa particular…

¿Dónde conseguir los datos para el seguimiento y la evaluación?

La encuesta permite recolectar información para explicar la varianza de una variable de interés y atribuirla al desempeño del programa como a

variables externas

56

• Reconocer que los errores no muestrales son, al menos, tan serios como los muestrales

• Organizar al personal de campo en equipos autosuficientes

• Recoger los datos con base en un plan de encuesta y un programa de trabajo realista - Plan de encuesta: qué equipo visita cada sitio y cuándo

- Programa de trabajo: qué hace cada equipo en cada sitio

• Asegurar de manera permanente la calidad del trabajo de campo, por la vía de - Procedimientos de supervisión explícitos

- Monitoreo continuo de los datos

• Integrar los controles de calidad informáticos al trabajo de campo

Encuestas: calidad de los datos

57

La tecnología ofrece muchas posibilidades

- Digitación rápida de los cuestionarios en computadores de escritorio, con re-visitas programadas a los puntos de muestra (inconsistencias)

- Digitación de los cuestionarios en los mismos puntos de muestra

- En ciertos casos, se puede suprimir el papel, y digitar las respuestas directamente, en laptops

Para eso, hay que:

Concebir y elaborar software competente y ergonómico

Detectar rápidamente las inconsistencias, y resolverlas en el terreno

Transferir rápidamente los datos para monitoreo

58

Encuestas: calidad de los datos

Sistema para la conformación del padrón en base a indicadores:

¿Cómo conseguir los datos para el seguimiento y la evaluación?

59

¿Dónde conseguir los datos para el seguimiento y la evaluación?

60

Ejemp

lo: P

rogram

a de

asisten

cia alimen

taria

Recolección de datos de línea base para la medición de indicadores claves de impacto

61

Ejemplo: Programa de asistencia alimentaria

62


63

Ejemplo: Programa de asistencia alimentaria (línea base)

25.6% Pobres Extremos

218 familias

3.5 carencias promedio

98.4% Pobreza

multidimensional,

837 familias,

2.4 carencias

promedio.Carencias

Derechos Sociales

0.4% Vulnerables por carencia social,

3 familias,

2 carencias promedio.

0% Población

no pobre y no

vulnerable

Bie

nesta

r

In

gre

so

72.7% Pobres Moderados

619 familias 1.3%

Vulnerables

por Ingreso,

11 familias,

0.4 carencias

1.9 carencias

promedio

64


Indicador

Con carencia en el

levantamiento 2

Con carencia en el

levantamiento 1 Diferencia

Valor Chi-

cuadrado

Prueba de

significancia (Mc

Nemar)

Inseguridad

alimentaria 44.6% 68.2% -23.6% 67.592 .0000

Calidad de la

vivienda 24.0% 31.6% -7.6% 15.362 .0001

Seguro social 24.4% 29.8% -5.4% 7.078 .0078

Impacto después de 6 meses de exposición al tratamiento (muestra pareada, evaluación experimental transformada en antes - después)

65

Tipos de evaluación de impacto 1. Con contrafactuales falsos 2. Semi experimentales 3. Experimentales

66

1. Pre-Post (contrafactual falso)

Descripción metodológica: Mide cómo los beneficiarios de un programa cambian a través del tiempo.

Grupo de comparación: Los mismos beneficiarios del programa, usualmente antes de que empecé el programa.

Supuesto: El programa es el único factor para explicar las posibles diferencias entre la situación inicial y la situación final de los beneficiarios… ¡pero otros factores varían en el tiempo!

Datos requeridos: Datos sobre los beneficiarios antes del programa y al finalizar el programa.

67

1. Autoselección (contrafactual falso)

Descripción metodológica: Mide los beneficiarios de un programa en comparación con personas que eligieron no participar o son inelegibles.

Grupo de comparación: Las personas que decidieron o no pueden participar.

Supuesto: El programa es el único factor para explicar las posibles diferencias entre la situación inicial y la situación final de los beneficiarios en comparación con los no beneficiarios… ¡pero la decisión de participar se confunde con el resultado de interés! Existe un sesgo de selección entre los nunca, los siempre o los inscrito si se lo ofrecen.

Datos requeridos: Datos sobre los inscritos y los no inscritos en el programa al empezar y al finalizar.

68

2. Diferencia en diferencias (semi experimental)

Descripción metodológica: Mide el cambio en los participantes de un programa en comparación con el cambio en los no participantes.

Grupo de comparación: Personas que por alguna razón no han participado en el programa pero sobre las cuales se han levantado datos antes y al terminar el programa.

Supuesto: Si el programa no existiera, la tendencia de cambios en los dos grupos serían iguales a través del tiempo.

Datos requeridos: Datos sobre los beneficiarios y no beneficiarios antes del programa y al finalizar el programa.

69

2. Diferencia en diferencias (semi experimental)

70

2. Diseño de regresión discontinua (semi experimental)

Descripción metodológica: Individuos clasificados en base a un criterio medible. Puntos de corte determinan la participación o no en el programa. Participantes comparados con NO participantes (índice de pobreza, becas de excelencia, apoyos agrícolas)

Grupo de comparación: Individuos muy cercanos al punto de corte para la participación pero que, por su puntaje, no son elegibles para beneficiarse del programa (49.9 vs 50.1 hectáreas)

Supuesto: Los individuos elegibles y no elegibles cercanos al punto de corte para la participación son idénticos y no existe sesgo en base a las variables observadas. Se respeta escrupulosamente la selección de participantes en base al punto de corte.

Datos requeridos: Datos de resultados, datos de variables de selección para la participación así como variables de control.

71


72


73

2. Pareamiento estadístico (semi experimental)

Descripción metodológica: Los individuos del grupo de tratamiento son comparados con individuos idénticos del grupo de control.

Grupo de comparación: (Propensity Score Matching) los no participantes tienen un conjunto de características similares a los participantes, lo que permite decir que tenían la misma probabilidad de participar en el programa.

Supuesto: Los factores que han sido excluidos (porque no son observables y/o no han sido medidos) no sesgan los resultados porque no se encuentran correlacionados con el resultado o no son diferentes entre participantes y no participantes.

Datos requeridos: Datos de resultados así como datos de variables de pareamiento para los participantes y los no participantes.

74

2. Pareamiento estadístico (semi experimental)

75

3. Evaluación aleatoria o experimental

Descripción metodológica: Método experimental para medir la relación de causa a efecto entre dos variables.

Grupo de comparación: Los participantes al programa son asignados aleatoriamente al grupo de control antes de su comienzo.

Supuesto: La aleatorización funciona. Los dos grupos son estadísticamente similares tomando en cuenta los factores observables y no observables.

Datos requeridos: Datos de resultado para el grupo de control y tratamiento. Las variables de control pueden ayudar a explicar la varianza y fortalecer el poder explicativo. Factible en evaluaciones prospectivas cuando demanda excede oferta del beneficio (ética).

76

El resultado difiere dependiendo del método elegido: todo depende de la calidad del contrafactual.

Nota: **estadísticamente significativo al 1% Fuente: Sebastian Martinez, Banco Inter-Americano de Desarrollo 77

Impacto de Progresa en Consumo

Caso 1: Pre-programa 34.28**

Caso 2: Auto-seleccionados -4.15

Caso 3: Diferencias en Diferencias 25.53**

Caso 4: Diseño de Regresión Discontinua 30.58**

Caso 5: Pareamiento 7.06

Caso 6: Asignación aleatoria 29.75**

Seleccionar un método

78

Preguntas claves para la selección del método

Índice continuo de

focalización y umbral

Sin Indice continuo de

focalizacion y umbral

Índice continuo de

focalización y umbral

Sin Indice continuo de

focalizacion y umbral

Expansion en fases a

lo largo del tiempo

o Asignación Aleatoria

o Diseño de Regresión

Discontinua

o Asignación

Aleatoria o

Diferencia en

Diferencias con

Pareamiento

o Asignación

Aleatoria en fases

o Diseño de

Regresión

Discontinua

o Asignación

Aleatoria en fases

o Diferencia en

Diferencias con

Pareamiento

Implementación

Inmediata

o Asignación Aleatoria

o Diseño de Regresión

Discontinua

o Asignación

Aleatoria o

Diferencia en

Diferencias con

Pareamiento

o Diseño de

Regresión

Discontinua

o Diferencia en

Diferencias con

Pareamiento

Exceso de demanda para programa

(recursos limitados)

Sin exceso de demanda para el programa

(recursos suficientes)

Sele

cció

n del

méto

do

Fuente: Gertler et al. “Impact Evaluation in Practice” (2010) 79

Ejercicio 4: ¿Qué tipo de evaluación conviene para

mi programa?

80

La presentación para el taller está disponible en:

www.depis.org.mx

¡Gracias por su participación!

81

http://www.depis.org.mx/

taller de evaluación de impacto -...

Documents