EVALUACION DE IMPACTO

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTOEfectos de mediano y largo plazo sobre la poblacin beneficiaria que espera obtener el Programa

Cules sern los beneficios con que quedar la poblacin beneficiaria una vez que concluya su participacin en el programa?

Incremento en el nivel de remuneracionesReduccin de la tasa de morbilidad de menores beneficiados con un programa de vacunacinAumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

OBJETIVOSConocer si el programa produjo los efectos deseados en los beneficiarios.

Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad).

Cmo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?

METODOLOGIASDiseo experimental tradicional y aleatorioMtodo de doble diferencias Mtodos de comparaciones Pareadas (matching) Seleccin de modelos ( variables instrumentales)Evaluaciones cualitativas

METODOLOGIASRequiere de la aplicacin de tcnicas, que permitan conocer lo que habra ocurrido en caso de que el programa no se hubiese puesto en marcha.

Identificar las VARIABLES QUE DEBEN SER MEDIDAS para determinar si el Programa ha generado realmente los beneficios o resultados finales o impacto esperados

El impacto del programa es:La diferencia en la variable resultado (Y) queregistra el individuo (i) con y sin la intervencindel programai = Y1i Yoi

i es el impacto del programa (tratamiento) sobre la persona i,

Yoi es resultado potencial que registrara el individuo i sin el tratamiento,

Y1i es el resultado potencial que registrara el individuo i con eltratamiento.

Problema fundamental de identificacinNo es posible observar Yoi e Y1i, para un mismo individuo en un momento del tiempo.Un individuo i en un momento del tiempo puede presentar solo uno de los dos estados posibles:Intervencin en el programaNo intervencin en el programa

Problemas metodolgicos de la medicin Medir el impacto esperado o promedio del programa sobre el conjunto de los individuos.

Sesgo de seleccin: Seleccin de los individuos que participan en el programa responde a ciertos criterios de focalizacin u otros. Programa de Capacitacin, Ingresos beneficiarios menores antes de la capacitacin. En ausencia del Programa los ingresos potenciales de los beneficiarios sern menores a los de los no beneficiarios en el mismo perodo

METODOLOGIASSe requiere disponer de informacin para el llamado grupo de control o de comparacin.

Estos grupos deben seleccionarse de manera aleatoria, de la misma poblacin de la que provienen los participantes.

Ambos grupos deben tener las mismas caractersticas

METODOLOGIASUn grupo de control es bsicamente un segmento de no beneficiarios que son parte de la poblacin objetivo, es decir, un grupo que comparte las caractersticas sociales, econmicas, educacionales, etc, del grupo beneficiario. (dos grupos estadsticamente idnticos entre s)

La nica diferencia entre los individuos del grupo de control y los beneficiarios efectivos debe ser su participacin en el programa.

Diseo experimental o aleatorioAislar los efectos que tienen sobre la variable resultado (Y) factores externos al Programa

Seleccin de individuos beneficiarios del programa sea independiente de sus resultados potenciales. Seleccin aleatoria de los individuos que se beneficien del programa

La medicin de impacto consiste en cuantificar, una vez transcurrido el tiempo pertinente de intervencin del programa, la(s) variable(s) de impacto,tanto para el grupo de tratamiento y como para el grupo de control en ambos simultneamente y para el mismo perodo de tiempo para luego analizar las diferencias que existen entre ambos.

Grupo de control aleatorio entre la poblacin de individuos elegibles, garantizndose que en el inicio ambos grupos son estadsticamente iguales en trminos de sus caractersticas como de sus respectivas distribuciones

Diseo experimental o aleatorion1=nmero de individuos en el grupo de tratamiento

N0=nmero de individuos en el grupo de control.

Principal distorsin: posibles cambios del grupo de controlDurante el perodo de evaluacin (abandono rea geogrfica en ese lapso=Grupo de control contaminado.Viabilidad poltica de excluir de la cobertura de un programa aleatoriamente a un grupo de beneficiarios elegibles y como tal necesitan los beneficios del programa

Diseo cuasi experimentalSeleccin de beneficiarios no es aleatoria, se basa encriterios de elegibilidad y focalizacin que establecendiferencias observables como no observables, entre elgrupo de tratamiento y los no beneficiarios (grupo decontrol)Diferencias observables: responden a los criterios deseleccin del programaDiferencias no observables: caractersticas de la poblacin queafectan su participacin pero para la cual no hay informacin(habilidad individual, voluntad de participar, procesos subjetivos yno formales que determinan que una persona acceda a losbeneficios del programa

Diseo cuasi experimentalEl impacto del programa no podr ser estimado a travs de lasimple diferencia de medias entre la variable resultado del grupode tratamiento y el grupo control ya que las diferentescaractersticas observables y no observables de los beneficiarios yno beneficiarios implicar la existencia de sesgo de seleccin, lamedicin del impacto del programa resultar sesgada.

Solucin: diseo cuasi-experimental, que permita controlar por lasdistintas caractersticas que posee el grupo de beneficiarios delprograma (tratamiento) respecto de los no beneficiarios (grupocontrol) que pudiesen afectar el resultado o impacto del programa.

MetodologaConstruccin de dos escenarios.

Un escenario prefactual, es decir,la identificacin y medicin de lascondiciones del grupo de beneficiarios y no beneficiarios (control)antes de la ejecucin del programa(construccin de la lnea debase o situacin sin programa) y un escenario contrafactual, queimplica la medicin del cambio en las condiciones del grupobeneficiario y grupo control, de modo de estimar lo ocurrido comoconsecuencia directa de la intervencin del programa.

Cul sera la situacin actual de estos beneficiarios si no hubieran participado en el programa?, comparando los resultados finales del programa en los beneficiarios con respecto a un grupo de no beneficiarios de caractersticas similares (grupo control), de modo de aislar los efectos de otros factores externos al programa?

CondicionesExistencia de una base de datos (o varias bases que permitan formar una comn) de beneficiarios y no-beneficiarios, que contenga para ambos grupos informacin sobre los criterios de elegibilidad del programa:

Condicin socioeconmica, tamao de la familia, escolaridad, ubicacin geogrfica o cualquier otra caracterstica que se haya utilizado para seleccionar a los beneficiarios) e informacin sobre las variables que permitirn medir los resultados finales o impactos esperados de la intervencin (por ejemplo: nivel de ingresos, condicin laboral, nivel de salud, etc.).

Metodologas cualitativasEvaluacin participativa: incorpora a ls beneficiarios en el diseo, la ejecucin y la evaluacin de un programa.

Focus group

Entrevistas a informantes claves

USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTOVARIABLES DE IMPACTO