estándares de evaluación para américa latina y el caribe · de planificación (mideplan) de...
Post on 28-Mar-2020
4 Views
Preview:
TRANSCRIPT
Estándares de evaluación para América Latina y el Caribe
Una presentación abreviada1
La Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe (ReLAC) en
colaboración con el Proyecto Fomento a las Capacidades de Evaluación (FOCEVAL) del Ministerio de Planificación (MIDEPLAN) de Costa Rica y el instituto alemán de evaluación, DEval, durante los años 2014 y 2015 impulsaron un amplio proceso de consultas y reuniones con expertos para la formulación de un documento de estándares para la evaluación, teniendo como referencia, al mismo tiempo, los documentos de estándares de las principales asociaciones de evaluadores de los Estados Unidos, Canadá, Europa, África, y de diversas entidades internacionales. Este proceso culminó con la publicación, en el mes de agosto de 2016, de una primera versión.
La idea central de los Estándares de Evaluación es contar con un marco común para la obtención
de evaluaciones de alta calidad y el ejercicio de una buena práctica profesional, teniendo en cuenta la diversidad de contextos que caracteriza la región; estimular el aprendizaje y generación de conocimientos desde la práctica profesional; facilitar la comunicación entre los actores participantes; y, a un nivel más fundamental, contribuir a fomentar una cultura de evaluación y responsabilización social.
En una segunda fase de trabajo se ha venido difundiendo el documento en diversas reuniones y
conferencias, con la expectativa de que sea aplicado, con la debida flexibilidad, y producir una siguiente versión incorporando los aportes provenientes de las experiencias y reflexión sobre su pertinencia y utilidad. En el siguiente cuadro se presentan los estándares, agrupados en 5 dimensiones, adaptadas a la región.
El documento puede ser recuperado del siguiente sitio Web (marcando la palabra español en la última
línea del anuncio): http://www.evalperu.org/destacados/estandares-de-evaluacion-para-america-latina-y-el-caribe
1 Versión abreviada preparada por Luis Soberón A., integrante del grupo de trabajo de Estándares de la ReLAC. Lima, junio de 2018.
1.1 Contextualizar la evaluación 1.2 Descripción detallada del objeto de evaluación 1.3 Preguntas evaluativas relevantes 1.4 Metodología válida y confiable 1.5 Niveles de participación adecuados de los actores involucrados 1.6 Conclusiones relevantes 1.7 Recomendaciones útiles y factibles 1.8 Reportes y comunicación pública efectiva
2.1. Gestión efectiva de la evaluación 2.2. Procedimientos prácticos 2.3. Viabilidad contextual social y política 2.4. Realista
1. EVALUACION RIGUROSA
2. ADECUADA EVALUABILIDAD
5.1. Participación efectiva y consciente 5.2. Propósitos acordados mutuamente 5.3. Valores explícitos 5.4. Información relevante, pertinente y oportuna 5.5. Resultados útiles 5.6. Comunicación y reportes puntuales y apropiados 5.7. Interés por las consecuencias e incidencia
5. RELEVANCIA Y UTILIDAD
4. ADECUADA COMPRENSIÓN CULTURAL
3.1. Respeto del derecho de las personas 3.2. Autonomía 3.3. Transparencia 3.4. Legalidad
4.1. Igualdad y equidad 4.2. Derechos culturales 4.3. Reciprocidad e identidades culturales
3. EVALUACIÓN CONDUCIDA DE ACUERDO CON PRINCIPIOS ÉTICOS Y JURÍDICOS
La experiencia en evaluación de USAID
Miriam Choy
Junio 7, 2018
• Aprender
• Rendición de cuentas
Política de Evaluación en USAID
Evaluaciones de impacto
Evaluaciones de desempeño
6/17/2018 FOOTER GOES HERE 3
Tipos de evaluación en USAID
Evaluacionesútiles de calidad
Decidirevaluar
Planificarevaluación
Ejecutarevaluación
Usarevaluación
6/17/2018 FOOTER GOES HERE 4
Ciclo de la evaluación
Que• Preguntas de evaluación son limitadas y focalizadas
Para quien: • Audiencias son identificadas
Para que:• Uso de la evaluación según audiencias
Cuando• Oportuna
Cómo• Metodología sólida y apropiada para responder a las preguntas
Quien:• Independencia y credibilidad del equipo evaluador
6/17/2018 FOOTER GOES HERE 5
Criterios de calidad……..Diseño de la evaluación
• Es oportuno
• Responde las preguntas de la evaluación
• Hallazgos y conclusiones concisos y basados en evidencia
• Recomendaciones, basadas en hallazgosy son precisas y “accionables”
• Describe la metodología, instrumentos y limitaciones
• Hallazgos a nivel de personas desagregados - hombres/mujeres
Criterios de calidad….. el Reporte Final
Plan de comunicaciones y diseminación
Productos complementarios de acuerdo a la audiencia
Involucrar a los actores en el procesopara generar compromisos de uso
Seguimiento de recomendaciones/acciones
Criterios de calidad…..USO de la evaluación
Integradas en el diseño de estrategias y proyectos
Objetivas/imparcial (unbiased)
Relevantes (útiles) para decisiones futuras
Basadas en los mejores métodos para responder a las preguntas
Orientadas a fortalecer la apropiación/capacidad local
Transparentes
Las evaluaciones en USAID deben ser:
• https://usaidlearninglab.org/evaluation-toolkit
• https://dec.usaid.gov
Herramientas de evaluación de USAID
Gracias
6/17/2018 10
Perspectivas desde el análisis y reflexión académica
Susana Guevara - Docente
Diplomatura de Especialización en Monitoreo y Evaluación de Proyectos y Programas Sociales
¿Qué son los estándares de evaluación
▪ Son orientaciones generales y prácticas para la elaboración de evaluaciones de calidad:▪ Confiables▪ Útiles▪ Éticas▪ Culturalmente apropiadas.
▪ Dos características:▪ Los estándares identifican y definen la calidad de la evaluación y orientan a los
evaluadores y a los usuarios de la evaluación en la búsqueda de la calidad de la evaluación.
▪ No son "leyes", sino son orientaciones obtenidas por consenso.
Diferentes estándares para la evaluación
OECD (2010) UNEG (2005)
Redes / Sociedades de Evaluación
• Sociedad Canadiense de Evaluación – CES (2012)
• Asociación Americana de Evaluación – AEA (2013)
• Red de seguimiento, evaluación y sistematización en ALC –ReLAC (2016)
¿Qué tienen en común las propuestas?
Nombre de la dimensiónCantidad de estándares
OECD UNEG RELAC
Marco institucional (Ej: políticas y planes, difusión, utilidad)
7 5 7
Gestión de la evaluación (Ej: directrices) 12 3 4
Competencias del evaluador (Ej: ética) 11 2 7
Metodología 15 11 8
Calidad (Ej: control de calidad) 1 3 -
Total 46 24 25
¿Qué pasa en el país?
• No si tienen estándares de evaluación
• Existen normas legales que proporcionan el marco de la evaluación (generan la necesidad):• Ley Marco de Modernización de la Gestión del Estado (2002)
• Ley Orgánica de Gobiernos Regionales (2002)
• Ley General del Sistema Nacional de Presupuesto (2004)
• Ley Orgánica del Poder Ejecutivo (2007)
• Política General de Gobierno 2018-2021 (2018)
• Reglamento que regula las políticas nacionales (2018)
¿Qué pasa en el país?
• Se han formulado directrices específicas para sectores:
• MIDIS: Lineamientos para la evaluación, seguimiento y gestión de la evidencia de las políticas, planes, programas y proyectos del Ministerio de Desarrollo e Inclusión Social (2012).
• NINAGRI: Lineamientos para el seguimiento, evaluación del impacto y gestión de la evidencia de las políticas nacionales y sectoriales, planes sectoriales, normas y objetivos de los programas y proyectos especiales (2015).
• MIMP: Normas para el seguimiento y evaluación en el Ministerio de la Mujer y Poblaciones Vulnerables (2016).
¿Qué pasa en el país?
FUNCIONES MIDIS MIMP MINAGRI PRODUCE VIVIENDA
Establecer lineamientos y metodologías
X X X X
Gestión de datos estadísticos X X X
Elaborar estudios e investigaciones X
Elaborar evaluaciones X X X
Proponer indicadores X X X
Diseñar sistemas de monitoreo X X X
Generación de evidencias X X X
Otras X X X X X
Formación en M&E
Surgimiento versión presencial
Surgimiento versión virtual
Reajuste de contenido, colaboración de EvalPerú
Relanzamiento versión virtual
Proceso de revisión y reajuste de contenido
2004
2005
2014
2007: presupuesto por resultados
2009
2017
2012: creación de MIDIS y sistema de SyEde programas sociales
Antes 2004: demanda de CTI
2004: surgimiento de redes
2014: creación de oficinas de SyE en sectores
Perfil de estudiantes
Número de participantes – versión presencial
17
21
18
29
15
33
23 24
17
23
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
Participantes por sector de procedencia (%)
0.0
10.0
20.0
30.0
40.0
50.0
60.0
70.0
80.0
90.0
100.0
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
Gobierno ONG CTI Universidad Inst privada Independiente
Fuente: PUCP. DIPLOMATURA. Perfile de estudiantes Fuente: PUCP. DIPLOMATURA. Perfile de estudiantes
Formación en M&E por la Diplomatura en M&E : competencias 2018
Conceptos y enfoques
Gestión MetodologíasComunicación de resultados
Ética y habilidades
blandas
Monitoreo y evaluación
Perfil del egresado 2018
1. Tiene una comprensión histórica del M&E en el Perú y América, Latina, distinguiendo las bases teóricas y metodológicas, las competencias y los estándares de la evaluación para la región de América Latina y el Caribe.
8. Maneja técnicas cualitativas y cuantitativas con enfoque y herramientas participativas para el monitoreo y la evaluación.
2. Reconoce los fundamentos conceptuales que sustentan los métodos cuantitativos y cualitativos de investigación aplicados al M&E , diseñando la línea de base e instrumentos de recolección de información.
9. Diseña la línea de base que se vincula con la evaluación de impacto.
3. Evidencia actitud y comportamiento ético en su intervención como evaluador.
10. Comprende y usa las tecnologías de información en el manejo de grandes volúmenes de datos disponibles para el monitoreo y evaluación de programas y proyectos.
4. Demuestra habilidades blandas necesarias en su desempeño en el campo del M&E.
11. Elabora indicadores de desempeño en los programas y proyectos y aprende a elaborar conclusiones y recomendaciones en base a los resultados de la evaluación.
5. Comprende los fundamentos conceptuales y aplica la metodología para diseñar y gestionar el sistema de M&E, y su contribución en la gestión de programas o proyectos.
12. Diseña una estrategia de análisis de costo-eficiencia y costo-efectividad.
13. Comprende la sistematización como herramienta de gestión del conocimiento, identificando y documentando lecciones aprendidas que surgen dela intervención en programas y proyectos sociales.
6. Comprende el concepto de la evaluación y su tipología en el ciclo de un programa o proyecto, identificando los pasos metodológicos para su diseño.
14. Comprende el enfoque, metodologías y herramientas para la búsqueda de evidencias en base al M&E, y propone recomendaciones.
7. Analiza la evaluabilidad, de un proyecto o programa y formula con precisión los criterios y preguntas de evaluación considerando los tipos de intervención.
15. Diseña una estrategia de comunicación de resultados del M&E, utilizando las TICs, para propiciar aprendizajes participativos según diferentes audiencias.
Retos
1. Llegar a acuerdos en temas básicos de M&E (desde lenguaje, metodologías, difusión y uso).
2. Control de calidad de las evaluaciones
3. Incorporación de nuevos enfoques en los SM&E: derechos humanos, género e interculturalidad.
4. Revisión de marcos institucionales: políticas, procedimientos, funciones y perfiles de competencias.
top related