efectividad en el desarrollo en el bid...en agosto 2008, el directorio del banco aprobó el marco de...
TRANSCRIPT
Efectividad en el Desarrollo en el BID
Fazia Pusterla
Oficina de Planificación Estratégica y Efectividad en el Desarrollo
Banco Inter-Americano de Desarrollo
Montevideo, 12 Diciembre, 2012
¿Que entendemos por Efectividad en el Desarrollo?
2
La medida en la cual
los objetivos de
desarrollo de las
intervenciones fueron
alcanzados, o se
esperan sean
alcanzados, tomando
en consideración su
relativa importancia
“Haciendo las cosas correctas”
Priorizar los productos del BID de
acuerdo a las mayores necesidades
establecidas por los países
(Costo de Oportunidad)
“Haciendo las cosas correctamente”
Qué tanto de los productos y resultados
planeados fueron realmente entregados
y alcanzados
(Administración, Monitoreo y Evaluación)
Marco de Efectividad en el Desarrollo
En Agosto 2008, el Directorio del Banco aprobó el Marco de
Efectividad en el Desarrollo (MED/DEF)
Incrementar la capacidad del Banco de demostrar los resultados de
sus intervenciones
Cumplir con estándares internaciones para la evaluaciones de las
intervenciones de desarrollo
OECD-DAC Evaluation Cooperation Group 3
MED
Estrategias de Países
Operaciones con garantía
Soberana
Operaciones sin garantía Soberana
Productos no Financieros
Cadena de Resultados
4
Insumos Actividades
Entrega de Productos
Obtención de Resultados
Impacto
Esta cadena se puede replicar para
todo tipo de actividad hecha por una
institución
Curva de aprendizaje: Monitoreo y Evaluación
Evaluabilidad: Asegurandos que todos los
productos puedan demonstrar resultados
• La Evaluabilidad es la medida en la cual una actividad o
programa puede ser evaluado de manera confiable y
creíble.
• Los Gobernadores acordaron un umbral mínimo de
evaluabilidad
• En 2010 el 96% de los proyectos del banco alcanzo el
umbral.
5 5
Rendición de cuentas y aprendizaje
• Demonstrar los avances alcanzados en términos de
efectividad:
– Durante todo el proceso: desde la aprobación del Marco
de Resultados Corporativo hasta la implementación de
programación basada en resultados y la incorporación de
métricas en el diseño y la implementación de los
proyectos.
– Identificando “lo que si’ funciona” y cual es el
conocimiento que esta siendo generado por el Banco
basado en los resultados de las crecientes evaluaciones
de impacto rigurosas que se diseñan para los proyectos.
6 6
Haciendo las cosas correctas
7
Prioridades de los países
(Estrategias de país y
programación)
Iniciativas del BID
2009 2010 2011 2012
BA, BL
BH, DR,
E, MX,
PN, PR
BO, CH,
CR, HA,
HO, SU,
TT, UR,
VE
AR, BR,
CO, EC,
JA, PE,
GU, GY,
NI
8%
31%
65%
100%
Estrategias de País basadas en resultados:
alineación, enfoque a resultados y flexibilidad.
8
El enfoque estratégico
orienta el diseño de la
programación de los
proyectos con la necesaria
flexibilidad para responder
a un entorno dinámico y
cambiante
2 Haciendo las cosas correctamente
(para todo los tipos de productos)
Diseño orientado
a los resultados
o Lógica de la
intervención
o Marco de M&E
o Análisis económico
o Manejo de Riesgos
Monitoreo de
nuestro progreso En la implementación
se hace seguimiento
de productos y
resultados del
proyecto en relación
con su duración
estimada y los
parámetros de costos
Determinación del
impacto
El fuerte compromiso
del Banco para ofrecer
pruebas acerca de “lo
que funciona” ha
generado una cantidad
cada vez mayor
de operaciones con
un fuerte componente
de evaluación
rigurosa del impacto
2 Instrumentos de Efectividad en el Desarrollo
Diseño orientado
a los resultados
o Lógica de la
intervención
o Marco de M&E
o Análisis económico
o Manejo de Riesgos
Monitoreo de
nuestro progreso En la implementación
se hace seguimiento
de productos y
resultados del
proyecto en relación
con su duración
estimada y los
parámetros de costos
Determinación del
impacto
El fuerte compromiso
del Banco para ofrecer
pruebas acerca de “lo
que funciona” ha
generado una cantidad
cada vez mayor
de operaciones con
un fuerte componente
de evaluación
rigurosa del impacto
A la Aprobación
DEM
En la Ejecución
PMR
Al terminar
XPMR/PCR
Matriz de Efectividad en el Desarrollo (DEM)
• Mide la evaluabilidad de los proyectos propuestos
• Es una lista de verificación sobre requerimientos analíticos y de información (CHECK LIST)
• Sistema de respuesta: Si/No
• Calificaciones parciales por dimensión de evaluabilidad
• NO ES una evaluación de los objetivos y metas alcanzados por el proyecto
• NO ES un requerimiento de información mayor
– Es lo mínimo necesario para desarrollar una propuesta clara, concreta y empíricamente sustentada
11
Dimensiones y Calificaciones DEM para proyectos
12
Monitoreo & Evaluación
Gestión de Riesgo
Lógica del Programa
El proyecto tiene metodologías específicas
para monitorear y evaluar el cambio esperado?
El proyecto tiene riesgos identificados? Si es así, tiene indicadores
para monitorear la implementación de las medidas de mitigación?
El proyecto está empíricamente sustentado?
El proyecto tiene métricas para medir cada hipótesis?
10
10
10
Desempeño Económico El proyecto cuenta con un análisis costo-beneficio
o costo-efectividad para la solución propuesta? 10
BID Objetivos Estratégicos
Estrategia de País
Objetivos Estratégicos
Alineado
El proyecto contribuye a los
objetivos estratégicos del BID-9?
El proyecto contribuye a los objetivos de
desarrollo establecidos en la estrategia del BID con el País? Alineado
El proyecto genera mejoras indirectas en la gestión
de la entidad pública responsible de la ejecución? Adicionalidad
¿Que avances hemos tenido en evaluabilidad?
13
Niveles de Evaluabilidad (Porcentaje de proyectos en cada categoría)
IDB – 9 Evaluability
Threshold
¿Como se relacionan el diseño y la ejecución?
14
Matriz de Resultados
Resultados
Productos
Planificación de
indicadores
Monitoreo Resultados (n) Puntos de Control y Fin
de proyecto
Monitoreo Productos Progreso en el avance de
metas físicas y sus costos
totales
Diseño Ejecución
Plan de avance
físico y
financiero
PMR
Indice Desempeño
DEM XPMR
Riesgos, Problemas, Lecciones
El PMR identifica si la ejecución de un proyecto es satisfactoria,
si hay problemas o si el proyecto esta en un nivel de alerta
Evaluación: ¿Por qué, para que?
Por qué evaluamos?
Evaluamos para determinar si el programa provoco los cambios para el que fue diseñado.
Para que evaluamos?
• Guiar decisiones de política
• Enfocar las intervenciones a resultados
• Justificar el uso de recursos • Al interior del pais
• Fuera del pais
• Con el publico en general
• Lecciones aprendidas—proyectos en ejecución y proyectos futuros
15
La evaluaciones de impacto son una herramienta
fundamental en la valoración de si se están haciendo
correctamente las cosas
Evaluación de Impacto: ¿qué medimos?
– En estricto sentido, busca determinar si el programa funciona.
– Un concepto central en evaluación de impacto es el de atribución o causalidad, determinar si el cambio en el indicador de interés se debe a la intervención o a otros factores
– Enfoque sobre el proyecto y sus indicadores de resultado
• Planificados (Matriz de Resultados)
• No planificados
– Ex post, pero planeada ex ante
16
Evaluación: cómo medimos?
– El impacto de un programa es la diferencia entre:
• Los resultados que los beneficiarios del programa obtienen después de participar en el programa y
• Los resultados que esos mismos beneficiarios hubieran obtenido en ese mismo momento si no hubiesen participado en el programa (contrafactual)
– Problema: el contrafactual no es observable. Por ende, la evaluación de impacto intenta construir artificialmente (estadísticamente) un contrafactual
– Normalmente, esto se logra seleccionando un grupo de empresas/localidades/hogares que no participaron en el programa grupo de control o grupo de comparación
17
Evaluación: ¿cómo avanzamos?
18
Estamos generando
conocimiento sobre
lo que funciona.
El porcentaje de
proyectos que desde
el diseño incorporan
evaluaciones de
impacto rigurosas
esta creciendo.
8
11
27
31
0
5
10
15
20
25
30
35
2008 2009 2010 2011
Porcentaje de proyectos con diseño
de evaluación riguroso
Evaluación de resultados: los estándares del BID
La Matriz de Efectividad en el Desarrollo identifica una lista de métodos
que pueden emplearse para medir resultados:
La lista implica un orden jerárquico basado en los supuestos
necesarios para determinar la causalidad. A menores supuestos,
mayor credibilidad.
2
1. Asignación aleatoria
2. Métodos no-experimentales (Diferencia en diferencias, Comparación de resultados tendenciales, Regresiones discontinuas, Variables instrumentales, Modelo de simulación y otros enfoques que permiten la atribución)
3. Análisis costo-beneficio ex-post
4. Análisis costo-efectividad ex-post
5. Comparación antes-después o con-sin (no atribución)
Un ejemplo de evaluacion de impacto:
El impacto del turismo en Uruguay/1
• Teoría de cambio: El turismo beneficia a las economías locales y a
las áreas vinculadas a éstas. Como resultado de esto, los inversores
privados no capturan todo el beneficio de la inversión en turismo y la
inversión estará por debajo del nivel socialmente óptimo.
• Mecanismo de ejecución: Inversiones públicas en infraestructura
turística, financiamiento y asistencia técnica para negocios vinculados
al turismo con énfasis en hogares pobres y apoyo a esfuerzos de
regulación y mercadeo.
• Preguntas de investigación: ¿Cuál es el impacto de los proyectos
de turismo en el empleo y el ingreso y cómo se distribuyen sus
beneficios?
• Evidencia en la literatura: Cada dólar invertido en turismo tiene un
rendimiento de entre $1.60 y $2.20. Sin embargo, existe muy poca
evidencia sobre el efecto multiplicador de las diferentes modalidades
de turismo y evidencia limitada sobre la distribución de estos
beneficios.
12
El impacto del turismo en Uruguay/2
• Método: Un modelo de simulación que captura los impactos del
proyecto sobre los ingresos por turismo, así como los vínculos
económicos que generan efectos multiplicadores.
• Datos: Encuestas de turistas, familias y empresas, dentro y fuera
del área geográfica del programa (el corredor del Río Uruguay).
• Análisis : Análisis final en 2016, análisis de línea base a finales de
2012.
• Comunicación de los resultados: Reportes de evaluación,
resúmenes ejecutivos, comunicados de prensa, videos,
publicaciones en blogs, DEO y artículos científicos.
• Retroalimentación para el diseño de políticas: Los resultados de
la evaluación servirán como insumo para el diseño de otros
programas, promoviendo el conocimiento para hacer que el
desarrollo del turismo integre y tenga beneficios para los hogares
pobres.
13
Además de diseñar e implementar las evaluaciones de
impacto con las unidades ejecutoras en los países:
Organizamos cursos de evaluación y monitoreo
Ofrecemos capacitaciones
Diseminamos resultados
Mapeamos resultados (MapAmericas)
Estamos desarrollando un portal de Evaluación,
Monitoreo y Análisis Económico.
22
Gracias!