modelo de medición de desempeño
TRANSCRIPT
El Departamento Independiente de Evaluaciones (FZ E)del KfW Entwicklungsbank
Dr. Jan Schrader
Modelo de medición del desempeño
Montevideo, 17 de marzo de 2012
2
Visión de conjunto (1)
• Quienes somos• Introducción del KfW y de FZ E• Objetivos y estándares
• Que hacemos• Evaluación ex-post de
proyectos y programas• Evaluaciones transversales• Evaluaciones temáticas• Publicación y aprendizaje
6
Preguntas clave:
1. ¿Que impacto tiene la intervención?(¿En que medida los proyectos alcanzan sus objetivos?)
2. ¿Que lecciones pueden derivarse de las experiencias (positivas y negativas)? (Podemos ser mejores en el futuro?
En caso afirmativo, ¿cómo?)
Objetivos de la evaluación independiente: Rendición de cuentas y aprendizaje institucional
Evaluación - Definición:Una valoración lo más sistemática y objetiva posible de un proyecto, programa o política en curso o completado, su diseño, ejecución y resultados. La finalidad es la de identificar la pertinencia y el logro de los objetivos, la eficacia en términos del desarrollo, el impacto y la sostenibilidad. Una evaluación debe fornecer informaciones plausibles y útiles que permitan incorporar lecciones aprendidas en los procesos de toma de decisiones tanto de los beneficiarios como de los donantes. (DAC 1991)
4
Estructura organizativa KfW Entwicklungsbank
Agosto de 2011
Junta Directiva
Dirección 2África y Oriente Próximo
Dirección 3Europa y
Asia
Departamento L1bInstrumentos y procedimientos de fomento
Departamento L1aAmérica Latina y
el Caribe.
Departamento L1aDesarrollo y
Clima
L1a2Agricultura y
Recursos Naturales
L1a1Equipo Regional
L1a3Agua y Saneamiento
L1a4Sector Financiero e
Infraestructura Económica
L1a5Desarrollo Urbano,
Infraestructura Social,Gobernanza
L1b1Principios
y Procedimientos Generales
L1b2Instrumentos de
fomento y productos financieros
L1b3Planificación y
Monitoreo
L1b4Coordinación de ICT
L1c1Políticas y Cooperaciones
de Fomento
L1d1Carbon Credits
L1d2Purchase ProgrammesPortfolio Mgmt, Internal
Procedures
L1d3Aquisition,
Syndication,Project Monitoring
L1c2Public Sector Clients
and Mandates
L1c3Environment and
climate
L1c4Development
Research
Gestión deTransacciones
y Garantías
Departamento L2bÁfrica Oriental y Occidental
Departamento L2cNorte de África,Oriente Próximo
Departamento L2aÁfrica Septentrional y África Central
Departamento L2dRegional programmes África, RSA,
Uganda y Nigeria
Departamento L3b
Sur de Asia, AfganistánPaquistán
Departamento L3cAsia Oriental y Pacífico
Departamento L3aSudeste de Europa
y Turquía
Departamento L3dEste de Europa
Cáucaso, Asia Central
Departamento TMaGestión de
Transacciones y Garantías
DisbursementManagement I
DisbursementManagement II
Loan and RiskManagement
Disbursement MgmtIII, Debt Rescheduling
and Release
L3a2Financial and Private
Sector, NaWi
L3a3Energy,
Transporte
L3a4Water, WasteManagement
L3b2Energía
L3b3Financial Sector,
Microfinance
L3b4Crisis Response
L3b5Energía
L3c2Transport and
Communication
L3c3Urban Development
L3c4Protection of Natural
Ressources
L3c5Promotional Loansfor Infrastructure
L3d2Financial and Private
Sector, Transform
L3d3Energy,
Transporte
L3d4Urban Development,
Environment
L3d5Health and Education
Asia
L2a1Regional Team
L2a2Governance
L2a3Agriculture and
Natural Ressources
L2a4Governance
L2a5Peace and Security
L2b2Health, Education,Social Protection
L2b3Health, Education,Social Protection
L2b4Water
L2b5Infrastructure
L2c2Water and Solid
Waste
L2c3Education, Financialand Private Sector
Development
L2c4Water
L2d2Financial and PrivateSector Developm.,
Global Funds
L2d4Environment and
Energy
L2c5Climate andenvironment
Departamento de Evaluación de laCoop. Financiera
L2d3Financial and PrivateSector Developm.,
Microfinance
Dirección 1Coop. Con países en
desarrollo, medio ambientey clima, América Latina
Department L1dCarbon Fund
L3d1Regional Team
L3c1Regional Team
L3b1Regional Team
L3a1Regional Team
L2d1Regional Team
L2c1Regional Team
L2b1Regional Team
DivisionSector and Policy Division
Departamento Independiente de Evaluaciones
5
Junta Directiva
Director del Departamento de EvaluacionesProf. Dr. Eva Terberger
Jefe de DivisiónDr. Marlis Sieburger
Secretaria
Estructura organizativa de FZ E
Administrador Estudiantesde doctorado
Consultoresexternos
Personal
Gerentes de proyecto delegados:Intercambio de papeles
8
Visión de conjunto (2)
• Quienes somos• Introducción de FZ E• Objetivos y estándares
• Que hacemos• Evaluaciones finales• Evaluaciones transversales• Evaluaciones temáticas• Publicación y aprendizaje
9
● "Evaluación rápida" para evaluación ex-post estándar: tamaño promedio de muestra anual: 60 – 75 proyectos/programas (cerca de 50 informes a.a.)
● Hasta 2006, cada proyecto fue evaluado unos 3 a 5 años después de su conclusión (80% en campo, 20% mediante estudios documentales). Desde 2007, evaluamos una muestra aleatoria (por lo menos el 50% de los proyectos concluidos).
● Desde 2007, aplicamos un nuevo enfoque en evaluaciones temáticas como nuevas funciones del Departamento de Evaluaciones y un enfoque más profundo en evaluaciones transversales
Elementos fundamentales de la evaluación ex-post
10
Evaluaciones temáticas
• Desde 2007 se aplica un nuevo enfoque en "evaluaciones temáticas" más a fondo
• Evaluaciones robustas (econométricas) de los impactos: impacto del abastecimiento de agua sobre la salud pública, microcrédito;apoyo presupuestario general a Zambia.
Que hacemos:Características fundamentales del trabajo de FZ E:
Tres áreas de actuación principales:
Evaluaciones finales
• "Evaluación rápida" para evaluación ex-post estándar
• Hasta 2006 para cada proyecto; desde 2007, muestra aleatoria (por lo menos el 50% de los proyectos concluidos, estratificación por sector).
Evaluaciones transversales
• "Meta-evaluaciones" de informes de evaluación rápida a lo largo de sectores o regiones, o centradas en temas.
• Combinamos análisis cuantitativos y cualitativos
• Ejemplos: Descentralización, Agua en Europa/Asia Central, Microfinanzas.
Documentos sobre políticas: Acuerdo marco con el BMZ, normas para operaciones financierasy técnicas, procedimientos internos para ponerse de acuerdo sobre programa de evaluación
11
Un proyecto típico de la Cooperación Financiera...
OperaciónEjecuciónPreparación
Monitoreo (informes de avance)
"Evaluación final" (evaluación ex-post)
"Inspección final" (técnica, en la entrega)
0
t(años)
1 4-6 10-3
"Pre-evaluacióndel proyecto" (evaluación ex ante)
16
Primer paso: Observar cambios desde la pre-evaluación.● ¿El grupo meta hoy está mejor (comparado con la situación en la
pre-evaluación/sin proyecto)?● ¿Cómo ha evalucionado la entidad ejecutora/institución de operación?● ¿Cómo han cambiado las condiciones sectorales desde la pre-evaluación?● ¿Que cambios han ocurrido en el entorno global (desempeño macroeconómico,
marco político, fuerza mayor, etc.)?
Segundo paso: Análisis de razones/causas de los cambios observados.● ¿El problema principal ha sido identificado correctamente?● ¿Ha sido encontrada la solución "correcta" (diseño del proyecto)?● ¿La solución ha sido implementada de manera correcta y eficiente?● ¿El proyecto "funciona" de manera planeada (resultados operacionales)?● ¿Los cambios observados han sido causados por el proyecto? (=> “atribución”…)
Evaluaciones finales:¿Que contienen?
15
Cadena de causas y efectos (Marco Lógico)
Criterios de éxito(CAD)
Producto (resultados) (¿Que capacidades/potencial serán creados?)
Insumo (actividades)(¿Que recursos serán utilizados y cómo?)
Efecto directo (objetivo del proyecto)(¿Cómo el grupo meta utiliza el potencial creado?)
Impacto (impacto en el desarrollo/ODM)(¿Cuál es el "efecto" en el desarrollo?)
Eficiencia¿Los objetivos han sido logrados
de manera económica?
Impactos¿La intervención contribuye al
logro de los objetivos de desarrollo?
Pertinencia¿La intervención es adecuada
para reducir una deficiencia en el desarrollo?
Sostenibilidad
Eficacia¿En que medida los objetivos del
proyecto han sido logrados?
Resultados para el desarrollo – enfoque sistemáticoy criterios de valoración
(1) …muy buena(2) …buena(3) …adecuada
(4) …no adecuada(5) …insatisfactoria(6) Fracaso completo.
“Exitoso"
“No exitoso"
Evaluaciones finales – contenido(continuado)
Eficacia en el desarrollo…
Tercer paso: Valoración global de la eficacia de un proyecto en el desarrollo
Valoración de acuerdo a los criterios del CAD
Cuarto paso: Derivar "lecciones aprendidas"
2006: Documento del BMZ para
orientación de evaluacionespor parte del BMZ y
sus entidades ejecutoras
19
Evaluación ex-post:Proyectos exitosos por sectores
• 1988-2010:1857 evaluaciones de proyectos individuales
• Promedio de largo plazo: el 74% de los proyectos son exitosos
• Diferencias significativas en el desempeño por sectores
0% 10% 20% 30% 40% 50% 60% 70% 80% 90%
Transporte (358)
Agua (278)
Energia (255)
Agricultura (231)
Sector financiero (185)
Otros (550)
Total (1857)
Cuotas de éxito promedio por sectores para el periodo de evaluación 1988-2010
Por no. de proyectosPor volumen en EUR (nominal)
Nota: Número de proyectos evaluados entre paréntesis.
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1970-1980 1981-1990 1991-1995 1996-2000 2001-2005
Cuot
a de
éxi
to
Tiempo
Cuota de éxito de proyectos en el sector financiero a lo largo del triempo
25
Publicación
● www.kfw-entwicklungsbank.de
● Informe anual sobre la cooperación con países en desarrollo(http://www.kfw-entwicklungsbank.de/DE_Home/Service_und_Dokumentation/Online_Bibliothek/Jahresberi.jsp)
● Informe de evaluación sobre la eficacia
de la cooperación con países en desarrollo(http://www.kfw-entwicklungsbank.de/ebank/EN_Home/Evaluation/Ex-post_evaluation_reports/index.jsp)
● Resumen de cada informe de evaluación en la internet
21
Fin
Muchas gracias por su attención!
Preguntas?
18
Evaluaciones finales:
● La evaluación final normalmente se realiza 3 a 5 años después de la conclusión (=> evalúa el "desempeño operacional" bajo condiciones regulares)
● Equipos de 1 o 2 evaluadores internos● Análisis de documentos antes de la misión (estudios, informes, etc.)● Estudios iniciales sobre aspectos específicos (grupo meta / análisis ambiental,
etc.)● Durante misión local (normalmente 8 a 12 días en campo):
● Colección de datos y primer análisis● Discusión con los interesados (entidad ejecutora, ministerio, grupo meta...)
● De vuelta en Alemania:● Realizamos un análisis detallado de los datos y elaboramos el informe al
gobierno alemán;● Traducimos, publicamos y enviamos el informe resumido a la entidad
contraparte
20
• Alcance del análisis: 255 evaluaciones ex-post de proyectos energéticos que fueron realizadas entre 1988 y 2010
• Cuota de éxito: 79% de los proyectos
• La evaluación del riesgo en la pre-evaluación ofrece una estimación generalmente buena de la probabilidad de éxito (todos los proyectos de alto riesgo han fracasado)
• Las principales razones de los fracasos:
• Políticas sectoriales (falta de reformas, tarifas demasiado bajas)
• Operación de la entidad ejecutora (falta de recursos y personal capacitado; falta de mantenimiento)
• Nivel macro: conflictos, cambios económicos bruscos
Evaluación transversal:Energía – visión de conjunto
22
Evaluaciones temátiacs: ¿Cómo se identifican los impactos netos de un programa?
Una "evaluación rápida" en las evaluaciones ex-post normalmente no permite una medición detallada de los impactos netos (demasiados factores de influencia al mismo tiempo).
Métodos cuantitativos empíricos permiten aislar efectos netos con intervenciones apropiadas (evaluación rigurosa de impactos)
La evaluación rigurosa de impactos implica la recopilación exhaustiva de datos sobre el grupo meta y el grupo de control, la situación antes (= línea de base) y después de la intervención
Una colección de datos que satisfaga los requerimientos estadísticos de evaluaciones rigurosas acarrea costos relativamente altos en la mayoría de los casos (un argumento a favor de la colaboración).
Nuevo enfoque en evaluaciones temáticas permitehacer "evaluaciones rigurosas de impactos" selectivas.
Antes
Después
26
● Intercambio de papeles: Evaluaciones realizadas fuera del área de responsabilidad del propio departamento se han mostrado como instrumento excelente para promover el aprendizaje institucional
● Discusión de los resultados de las evaluaciones con todas las personas involucradas ("redes sectoriales")
● Sacar y diseminar conclusiones generales sobre el proyecto (lecciones aprendidas)
● FZ E trabaja en el Comité de Aseguramiento de Calidad
● Evaluaciones transversales con los centros de competencia
Aprendizaje interior en base a las evaluaciones:Componente importante en el manejo de calidad
¡El aprendizaje institucional sigue siendo un reto!
24
Ejemplo de Benin: Diseño de muestra
● 3000 hogares en 300 aldeas● 50% intervención en el abastecimiento de agua en 2009
"grupo de tratamiento"● 50% intervención en el abastecimiento de agua en 2010
"grupo de control"● Datos recopilados al principio de 2009 y de 2010● Variables de control
2009
2009
2010
2010
2009
2009
Levantamientode línea de base
Levantamientode seguimiento
Grupo detratamiento
Grupo decontrol
x
x
x
23
Antes de la intervención
Tiempot 1 t 2
GM
GM: grupo meta, t: tiempo
Impactosnetos
Tiempot 1 t 2
Dt2
GC
Dt1
GM
G: grupo meta, t: tiempoCG: grupo de control, D: diferencia GM - GC
Indi
cado
r de
impa
cto
Indi
cado
r de
impa
cto
Después de la intervención
Comparación antes y después: Determinación del impacto neto:
Impactos netosMedición de impactos netos mediante grupo de control de un programa
27
Adquisición
● Contratamos a evaluadores externos principalmente para evaluaciones de proyectos individuales, publicamos avisos de llamados a ofertas en nuestro sitio web por varias semanas
● Distinguimos entre fuentes de financiación (Fondo de Estudios y Expertos vs. presupuesto del KfW)
● ≤ 20.000 euros Procedimientos simples: lista corta o razones para una decisión● ≤ 40.000 euros Procedimientos de voto interno
sobre todo con respecto a la documentación,nivel jerárquico de la decisión
● ≤ 193.000 euros Exige opinión formal
● ≥ 193.000 euros Procedimientos europeos de licitación(Alemania todavía no ha elevado el límite hasta 200.000 euros)
322
Somos parte del KfW Bankengruppe
Fomento de paísesen desarrolloy transición
Negocio internacional Fomentamos:
Fomento de laconstrucción de nueva vivienda,modernización y educación
Fomento de PyMEs,fundadores de
empresas,empresas de reciente
creación
Infraestructura municipal y
préstamos globales en
Alemania/Europa, mandatos del
gobierno alemán
Fomentamos a Alemania
Financiación deexportaciones y
proyectos internacionales
Internacionalización Desarrollo
Fomento de la protección del medio ambiente y del clima
Sector de negocios
Mittelstandsbank (banco para
PyMEs)
Sector de negocios
Privatkundenbank (banco para
clientes particulares)
Sector de negocios Kommunalbank
(banco para municipios)
Sector de negociosFinanciación de exportaciones y
proyectos
Sector de negocios Fomento de países en desarrollo y transición
Fomento de la economía doméstica