manual m&e crecer con energía alba gamarra

Grant agreement No. EIE/05/212/SI2.420249- Intelligent Energy – Europe (IEE) COOPENER Type 1 Actions Acronismo CRECER CON ENERGIA

Título Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano.

D26 Monitoreo y Evaluación de programas y proyectos energéticos-Manual de Capacitación

WP7: Estrategias de Monitoreo y Evaluación para

proyectos de Energía orientados a reducción de la pobreza.

Fecha de Entrega

28 / 06 / 2007

Nombre y organización del responsable de este producto:

Manuel Fuentes / IT Power

Fecha de iniciación del Proyecto

01 / 01 / 2006

Duración:

30 meses

Nombre y organización del coordinador:

Dr. Manuel Fuentes / IT Power

D26 Monitoreo y Evaluación de programas y proyectos energéticos-Manual de Capacitación Revisión 0

Autores

Alba Gamarra (CINER, Bolivia) Walter Canedo (CINER, Bolivia)

X PU Público

PP Restringido a otros participantes del proyecto (incluidos servicios de la EU)

RE Restringido a un grupo especificado por el consorcio (incluidos servicios de la EU)

CO Confidencial, solo para miembros del consorcio (incluidos servicios de los EU)

Disclaimer: Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano.-CRECER CON ENERGIA recibe fondos del programa Intelligent Energy Europe (IEE) COOPENER bajo el contrato EIE/05/212/SI2.420249. El contenido de este documento solo compromete a su autor y no refleja necesariamente la opinión de las Comunidades Europeas. La Comisión Europea no es responsable de la utilización que se podrá dar a la información que figura en el mismo.

CRECER CON ENERGIA D26 – Manual de M&E página 3 de 134

Tabla de Contenidos

PREFACIO: ............................................................................................................................................. 4

INTRODUCCIÓN..................................................................................................................................... 5

CONSIDERACIONES PRELIMINARES ................................................................................................. 5

MODULO 1: INTRODUCCIÓN AL MONITOREO Y EVALUACIÓN ....................................................... 9

MODULO 2: ESTRUCTURA DEL MONITOREO Y EVALUACIÓN ...................................................... 51

MÓDULO 3: ANÁLISIS DE LOS PARTICIPANTES EN EL MONITOREO Y EVALUACIÓN ............... 65

MODULO 4: INDICADORES DE MONITOREO Y EVALUACIÓN ....................................................... 83

MODULO 5: PROCESO DE IMPLEMENTACIÓN DE UN PLAN DE MONITOREO Y EVALUACIÓN118


Prefacio: CRECER CON ENERGIA es un proyecto financiado por el programa COOPENER de la Agencia Intelligent Energy–Europe (IEE) que vincula microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza en una de las regiones más pobres de América Latina, la región Chaqueña en Paraguay y Bolivia. Para lograr este objetivo hay varias barreras que tienen que ser superadas y este proyecto se dirige a todas ellas. Se creará una plataforma de comunicación horizontal para estimular el diálogo entre todos los ministerios públicos de gobierno y las organizaciones involucradas en la electrificación rural y reducción de la pobreza. Se desarrollarán herramientas para capacitar a personal clave de los ministerios involucrados en la evaluación del impacto de servicios de energía en el desarrollo social y económico y se ayudará a tomadores de decisión a entender cómo los programas de energía pueden se diseñados para satisfacer sus metas sectoriales. El proyecto ayudará a desarrollar políticas energéticas coordinadas con el fin de contribuir al cumplimiento de las Metas de Desarrollo del Milenio y Estrategias de Reducción de Pobreza. El proyecto fortalecerá los conocimientos en temas como energía para el desarrollo rural, financiamiento rural y micro-emprendimientos rurales de los gobiernos regionales y nacionales con un vasto y ambicioso programa de capacitación.


Introducción Este manual de capacitación en Monitoreo y Evaluación ha sido diseñado para apoyar a los grupos meta del proyecto “Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano”: elaboradores de políticas de ministerios afines al tema del desarrollo de la energía para el sector rural, de gobiernos regionales y/o municipales, así como a personas de instituciones que trabajan con estrategias de alivio a la pobreza, grupos comunitarios, microempresarios, instituciones financieras; así como a directivos y técnicos de organizaciones no gubernamentales que trabajan en el sector energético y de desarrollo rural, a la comunidad donante e implementadores de programas, respecto de los conceptos del Monitoreo y Evaluación (M&E), así como también sobre cómo diseñar y desarrollar un plan, respecto de los conceptos del Monitoreo y Evaluación (M&E). El manual ha sido elaborado de manera ecléctica, compilando información contenida en diversos documentos relacionados con la temática de M&E como también del sector energético. Cabe mencionar que además de la sistematización de la información, los aportes de los autores con su experiencia en M&E y en particular con la temática energética, permiten brindar al lector la seguridad de contar con un documento que les oriente con certeza en el desarrollo de su trabajo cotidiano. La elaboración del manual se realizó bajo la responsabilidad institucional de IT Power y el equipo de redacción estuvo conformado por: Alba Gamarra de Guardia, Walter Canedo Espinoza y Manuel Fuentes. El Manual tiene 5 módulos que cubren lo esencial del M&E: desarrollo e indicadores, conducción de análisis de actores, así como el proceso de ejecución y análisis. Los módulos del manual son los siguientes:

Módulo 1: Introducción al M&E. Módulo 2: Estructura de M&E. Módulo 3: Análisis de actores. Módulo 4: Indicadores de M&E. Módulo 5: Proceso de ejecución del plan de M&E.

Cada módulo contiene una sección final denominada “Puntos de discusión” que orienta en la reflexión personal y grupal respecto a la temática abordada. Esta sección se complementa con ejercicios que el facilitador del curso explicará y conducirá de acuerdo al grupo de participantes.

Consideraciones preliminares Necesidad del monitoreo y evaluación. El M&E es necesario, visto no como una imposición sino como una herramienta de: Reflexión: El M&E es un instrumento para mejorar continuamente la calidad del trabajo. Complementa el proceso de acción con la reflexión sobre lo ejecutado. Con esto se puede hacer los ajustes necesarios de manera oportuna. Conocimiento: Es un instrumento para satisfacer demandas de información internas y externas, y – de esta manera - en función del análisis sistemático de las experiencias del proyecto pueda basar en ellas su marco de acción.


Legitimación: Es un instrumento importante frente a los contrapartes, financiadores, instancias superiores, instituciones y personas del entorno del proyecto para demostrar que se conserva el contacto con la realidad del proyecto y que se toman decisiones adaptándose dinámicamente a las condiciones cambiantes de un entorno complejo. Es importante indicar que el M&E debería ser de utilidad para los beneficiarios, en los diferentes niveles y no solamente como una oferta o exigencia de las entidades de cooperación sino más bien como una herramienta necesaria y útil desde la demanda como parte de su empoderamiento. Control: También es un instrumento para medir el avance y verificar la calidad de las diferentes prestaciones desarrolladas en el proyecto, cuestionando muchas veces su validez.1 Toma de decisiones: Es un instrumento para realizar ajustes o correcciones "concurrentes", es decir durante la ejecución de las actividades y también a la "conclusión" o "ex – post", en el caso de programas o proyectos con características similares. Objetivos del programa de capacitación en monitoreo y evaluación. El objetivo general del programa de capacitación es el de brindar elementos para iniciar o profundizar un proceso de cambio en los proyectos, programas, acciones o instituciones de los participantes, a través de la toma de conciencia sobre el M&E, el incremento de conocimientos, así como el familiarizarse con un conjunto de técnicas y procedimientos que sean orientados a la sostenibilidad de las realizaciones. Se espera que la capacitación utilizando el manual, brinde a los participantes -de manera general- conocimientos y destrezas para facilitarles planificar, conducir y analizar actividades del M&E. De manera particular, se espera que la capacitación permita a los participantes:

Disponer de una apreciación global de M&E. Diseñar un sistema de Monitoreo. Desarrollar un plan de evaluación. Conducir actividades de M&E. Analizar datos recolectados durante las actividades de M&E. Usar los hallazgos del M&E para mejorar los programas específicos.

Módulos de capacitación. Cada módulo del manual de capacitación tiene el mismo formato y consta de las siguientes partes: Título del Módulo: Se tiene el título de la unidad y su numeración. Propósito y objetivos del Módulo: Estos puntos del documento indican qué se espera alcanzar con el módulo y refleja el conocimiento, además de las destrezas que los participantes deben adquirir al final de la sesión. Resultados esperados: Los puntos del módulo indican qué resultados se esperan por parte de los participantes, para lograr los objetivos de la capacitación. 1Plan de Monitoreo y Evaluación (M&E), del Proyecto Componente de Energía – PROAGRO GTZ, con fondos de donación del Reino de los Países Bajos. Período de planificación: 01.06. -08/08. GAMARRA, ALBA, diciembre de 2005.


Tiempo: Es el tiempo sugerido que debería emplearse para el total de la unidad. Dependiendo del nivel de habilidades que tengan los participantes. Las sesiones individuales pueden llevar mayor o menor tiempo. Glosario y Acrónimos: Para facilitar la comprensión del lector respecto a siglas, acrónimos y conceptos utilizados en el manual, se tiene una sección específica que contiene esta información. Páginas Internet recomendadas y literatura: Cada módulo cuenta con referencias de literatura recomendada, tanto impresa como la accesible por Internet, con la finalidad de permitir al lector ampliar la información pertinente a cada módulo. Estructura de la capacitación y proceso. De acuerdo a su concepción de Curso – Taller, durante el evento, se conjugarán los dos elementos básicos: la teoría y la práctica. La teoría, girará alrededor del monitoreo y la evaluación, como partes consustanciales de la gestión del ciclo del proyecto y se sustentarán a su vez, en tres componentes complementarios: los conceptos, los procesos y las herramientas del Monitoreo y la Evaluación. Para la revisión de la teoría se recurrirá a breves exposiciones complementadas por la reflexión en grupo y su relación, sea con ejemplos o con experiencias propias de los participantes sobre cada uno de los temas tratados. Para la revisión teórica, se usará el presente manual de M&E como texto guía, además del material adicional que los instructores preparen y crean conveniente utilizar. La aplicación práctica de la teoría impartida, se concretará a través de ejercicios y tareas individuales o en pequeños grupos de trabajo. Recursos que se precisan para el programa de capacitación La Pre-planeación es esencial para el éxito del programa de capacitación y debe contar con: a) Recursos humanos: Los recursos humanos son vitales para el éxito del programa de entrenamiento. Los facilitadores deben ser responsables de la preparación y manejo del programa completo, tomando en cuenta aspectos: conceptuales, técnicos, logísticos, etc. relacionados con el M&E de proyectos y programas energéticos. b) Participantes: El grupo meta al que se dirige la capacitación en monitoreo y evaluación es el siguiente:

• Autoridades del sector público o líderes con reconocimiento local (Viceministerios, Gobiernos regionales, Prefecturas, Sub prefecturas, Consejos departamentales, Gobiernos municipales o alcaldías, corregimientos, capitanías).

• Donantes. (Cooperación financiera o de asistencia técnica). • Financiadores. (Instituciones financieras, cooperativas, mutuales, cajas). • Usuarios / clientes. (Comunidades o beneficiarios)


• Equipo del proyecto. (Coordinador, responsables de área o departamentos, otro personal del proyecto: promotores, facilitadores sociales, capacitadores, comunicadores, director técnico u otros).

• Actores del sector privado. (Consultores, productores, proveedores, instaladores, inspectores o evaluadores externos)

• Administradores.

Las personas que participen deben ser invitadas en base a una convocatoria concreta para aclarar el alcance del curso y expectativas de los/las participantes. Deben manifestar también su disponibilidad de tiempo y voluntad de aprendizaje. c) Materiales: Algunos de los materiales principales para el programa de capacitación son:

Proyector o data display Lápices/cuadernos/bolígrafos Tarjetas en blanco

Pantalla de proyección Tajadores Grapadora

Rotafolios (mínimo 2) Cables de extensión Alfileres

Papel para rotafolio / almohadilla

Facilidades para fotocopias Pegamento

Marcadores permanentes, resaltadores

Hojas y bolígrafos extras. Tijeras

Marcadores para transparencias

Transparencias en blanco

Cinta adhesiva (masking tape resistente y normal)


Modulo 1: Introducción al Monitoreo y Evaluación

TABLA DE CONTENIDOS MODULO 1

1.1 CONCEPTOS BÁSICOS SOBRE EL MONITOREO Y EVALUACIÓN. ........................................................ 15 1.2 PROCESOS DEL MONITOREO Y EVALUACIÓN. ................................................................................. 19 1.3 EL SISTEMA DE MONITOREO Y EVALUACIÓN. .................................................................................. 21 1.4 TIPOS DE MONITOREO Y EVALUACIÓN. ........................................................................................... 23 1.5 ¿QUÉ SON LOS INDICADORES? ...................................................................................................... 26 1.6 ¿QUÉ PUEDE LOGRAR EL M&E?.................................................................................................... 30 1.7 CAMBIOS EN LOS ENFOQUES DEL MONITOREO A NIVEL INTERNACIONAL. ......................................... 30 1.8 ¿DE DÓNDE SALE LA INFORMACIÓN PARA LA TOMA DE DECISIONES? ............................................... 31 1.9 PASOS PARA CONDUCIR EL MONITOREO ......................................................................................... 31 1.10 PASOS PARA CONDUCIR LA EVALUACIÓN. ....................................................................................... 33 1.11 PROPÓSITO DE LA EVALUACIÓN. .................................................................................................... 33 1.12 METODOLOGÍA. ............................................................................................................................. 35 1.13 DIFERENTES ENFOQUES PARA LA EVALUACIÓN. ............................................................................. 36 1.14 VENTAJAS Y DESVENTAJAS DE LA EVALUACIÓN INTERNA Y EXTERNA DE UN PROYECTO. ................... 37 1.15 PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN.................................................... 37 1.16 PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN (GRUPO M&EED). .................. 42 1.17 PAUTAS PARA LA TOMA DE DECISIONES EN EL MONITOREO Y EVALUACIÓN. ...................................... 44 1.18 EQUIPO DE PERSONAS PARA MONITOREO Y EVALUACIÓN. ............................................................... 45 1.19 SELECCIÓN DE UN EVALUADOR EXTERNO O DE UN EQUIPO DE EVALUACIÓN. .................................... 45 1.20 PUNTOS DE DISCUSIÓN .................................................................................................................. 47


Información acerca del Módulo

Objetivo del Módulo Entender los conceptos básicos del Monitoreo & Evaluación.

Objetivos de aprendizaje Explicar las ideas claves del Monitoreo y Evaluación. Exponer los marcos generales de M&E, así como el significado de los indicadores. Explicar los logros del M&E para poder ayudar a la consecución de programas o para tomadores de decisiones.

Resultados esperados del Módulo

Comprender el concepto y diferencia entre Monitoreo y Evaluación. Comprender sobre la importancia de tener el enfoque sistémico de M&E Lograr la capacidad de explicar la importancia del Monitoreo y Evaluación en programas de energía. Desarrollar los pasos básicos para el Monitoreo y Evaluación en programas de energía.

Tiempo necesario para la ejecución

125 minutos.

Forma de trabajo Auto-estudio y exposición dialogada del facilitador.

ACRÓNIMOS

CSD Comisión de Desarrollo Sostenible de las Naciones Unidas.

DAC-OECD (Development Aid Committee - Organization for Economic Cooperation and Development). Comité de Ayuda al Desarrollo – Organización para la Cooperación Económica y de Desarrollo.

FIDA Fondo Internacional para el Desarrollo Agrícola.

GTZ Gesellschaft fur Technische Zusammenerbait (Sociedad de Cooperación Técnica Alemana).

IVO’s Indicadores Verificables Objetivamente.

MDMs Metas de Desarrollo del Milenio.

M&E Monitoreo y Evaluación.

M&EED Grupo Internacional de trabajo de M&E en Energía


para el Desarrollo.

MPP Matriz de planificación de proyectos.

PNUD Programa de Naciones Unidas para el Desarrollo.

PCM Project Cycle Management (Gestión del ciclo de proyectos).

PO Plan Operativo.

ZOPP Ziel Orientierte Projekt Planung. (Sistema de Planificación de Proyectos Orientada a Objetivos).

GLOSARIO

Actividades Las Actividades son los pasos individuales que se requieren para alcanzar un resultado. Las actividades se formulan en infinitivo. Verbo, objeto y condición.

Beneficiarios Individuos, grupos u organismos que se benefician, directa o indirectamente, de una intervención para el desarrollo, hayan sido o no los destinatarios de la intervención.

Evaluación Es la apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida.

Evaluación del impacto social

La Evaluación del impacto social analiza los cambios o variaciones observables en los destinatarios y en el contexto del proyecto.

Efectividad Capacidad de lograr el efecto que se desea o se espera. La efectividad es una medida del alcance en el cual un programa de desarrollo o proyecto adquiere los objetivos específicos establecidos.

Eficiencia El nivel de Eficiencia compara los resultados obtenidos con los medios empleados. Análisis de costos / realizaciones. Analizar en qué medida el proyecto alcanza sus objetivos usando lo mínimo de recursos


o dicho de otra manera, en qué medida el proyecto alcanza el máximo impacto para una cantidad dada de recursos.

Eficacia El nivel de Eficacia compara objetivos con resultados, aprecia las diferencias entre lo que se realizó y lo que estaba previsto.

Externalidad Perjuicio o beneficio experimentado por un individuo o una empresa a causa de acciones ejecutadas por otras personas o entidades.

Fuentes de verificación

Las Fuentes de verificación son los medios con los cuales se reúnen los datos necesarios para medir los indicadores. Pueden describir el tipo de datos, las fuentes de información o los métodos de recopilación. Es la base para la planificación del sistema de información y documentación del proyecto.

Género En términos sociológicos, se refiere a la construcción social y cultural de las diferencias sexuales en un lugar específico y en un tiempo dado. Lo cual quiere decir que es un término que no necesariamente es interpretado de la misma manera en las distintas culturas y grupos sociales, además con el transcurso de los años.

Grupo meta Individuos u organismos específicos en cuyo beneficio se lleva a cabo la intervención para el desarrollo.

Línea de base Análisis que describe la situación previa a una intervención para el desarrollo, en relación con la cual puede medirse el avance o pueden efectuarse comparaciones.

Matriz de Planificación

La Matriz de Planificación (también conocida como "logical framework" o “marco lógico”) es una herramienta utilizada para planear la ejecución de una solución. El planeamiento de la solución debe ser elaborado como respuesta a las siguientes preguntas: Qué: ¿Qué acción va ser desarrollada?Cuándo: ¿Cuándo será realizada la acción?Quién: ¿Quién será el responsable de la implantación?Por qué: ¿Por qué fue definida esta solución (resultado esperado)?Dónde: ¿Dónde será implementada la acción (alcance)?Cómo: ¿Cómo va ser implementada (pasos de la acción)

Monitoreo El monitoreo es una herramienta que permite tomar decisiones o realizar intervenciones adecuadas para gerentar una institución, un Programa, Proyecto o Plan, que contiene subsistemas de acompañamiento y valoración, con una adecuada información, comunicación, coordinación y participación”, a través de la observación continua, tanto del funcionamiento de las actividades de la institución en el contexto del calendario de implementación, como del uso de los insumos por los grupos meta en el contexto de las expectativas proyectadas. Es también una función continua que utiliza una recopilación sistemática de datos sobre indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una


intervención para el desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados.

Objetivo de Desarrollo

El Objetivo de Desarrollo es el que refleja la mejora de la situación de los grupos destinatarios (beneficiarios del proyecto). El objetivo de desarrollo debe responder a los deseos del grupo destinatario, a sus valores y aspiraciones.

Objetivo del Proyecto

El Objetivo del Proyecto define el por qué se desarrolla el proyecto y describe los efectos a ser alcanzados. Debe permitir que se reconozcan fácilmente los beneficios para el grupo destinatario (beneficiarios finales) y, en la medida de lo posible, describir los cambios en el modo de pensar y actuar del grupo destinatario como efectos del proyecto.

Planificación La Planificación se dedica a tomar decisiones ahora acerca de acciones futuras. Proceso para facilitar el logro de una expectativa. Paso 1: Determinar QUÉ es lo que quiere hacer. Paso 2: Determinar CUÁNDO quiere hacerlo. Paso 3: Determinar CÓMO va a hacerlo. Paso 4: DETERMINAR si su planificación tuvo ÉXITO.

Sostenibilidad

Continuación de los beneficios de una intervención para el desarrollo después de concluida. Probabilidad de que continúen los beneficios en el largo plazo. Situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del tiempo.

Supuestos Los Supuestos son factores externos que afectan el logro de lo trazado. Son campos de observación para la gestión. Si los supuestos cambian, el concepto del proyecto debe ser ajustado.

Términos de referencia.

Son los lineamientos generales, orientativos y no limitativos para la realización de algún trabajo o la prestación de un servicio. Los términos de referencia se elaboran como un documento que se constituye en los requerimientos que tiene el contratante o la persona natural o jurídica que requiere algún servicio.

Viabilidad La Viabilidad consiste en estimar la capacidad de continuación de las acciones de manera autónoma. Se evalúan las posibilidades de supervivencia cuando los apoyos externos se retiren.


Páginas Internet recomendadas y Literatura.

CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003. Olive Publications. Planning for Monitoring and Evaluation. Olive. 2002. Shapiro, Janet. Evaluation: Judgement Day or Management Tool? Olive. 1996. OED ECD, Seguimiento y Evaluación: Instrumentos, métodos y enfoques. Banco Mundial. 2004. Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGENERO, FIDA. 2004. M&EED. A Guide to monitoring and evaluation for energy projects. M&EED. 2006. Rai Kavita. IT Power. Monitoring and Evaluation of the impact of renewable energy programmes. IT Power, REEEP. 2005. Rai Kavita. Monitoring and evaluation of energy projects for social development. IT Power. 2007. Mundo de conceptos de la GTZ. Archivo en pdf. http://www.gtz.de/de/dokumente/begriffswelt-2006-es.pdf http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/9071.htm Mundo de conceptos de la GTZ - Matriz de Planificación de Proyectos: http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=8_32_3.inc

Mundo de conceptos de la GTZ – Monitoreo basado en resultados: http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=9_6.inc

Ziel Orientierte Projekt Planung - Planificación de Proyectos orientada a Objetivos: GTZ. http://www.jjponline.com/marcologico/mpp.html

Matriz Identificación de actores, análisis, planeación (Tablas Excel) http://www.google.com.bo/search?q=matriz+de+planificaci%C3%B3n&hl=es&rlz=1T4GGLJ_enBO215BO215&start=30&sa=N

Manual para la planificación participativa de proyectos. Lineamientos centrales sindicales de los países nordicos y de Holanda http://www.union-network.org/unisite/in_depth/TU_development/download/Handbook-spart1-Manual_1.pdf

Monitoring and Evaluation in Energy for Development (M&EED) International working group. www.gvep.org

Biblioteca del Centro de información en Energías Renovables – CINER: ZP 1000 y ZP 2000 http://www.ciner.org/biblioteca/zp.htm#planificacion http://www.ciner.org/biblioteca/zp.htm#monitoreo

Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies From Brazil, Mali and the Philippines. PNUD. Editors Jem Porcaro and Minoru Takada Advisors Susan McDade, Vijay Modi and David Nissen. Contributing Authors Bridget Anderson, Martin Berg, Dan Blanchard, Elisabeth Clemens, Cybele Díaz-Wionczek, Silvia Fracchia, Tamy Gelman, Leah Granof, Remi Lang, Jem Porcaro, Hitoshi Shigeoka, Sean Yokota Date January, 2005.

Informe del Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana) a través de la Asociación de Instituciones de Promoción y Educación AIPE, llevado a cabo en la ciudad de Cochabamba, entre el 5 y el 9 de noviembre de 2001. Instructores: GAMARRA Alba, CANEDO Walter, GANGOTENA Juan.


Planificación del proceso enseñanza - aprendizaje

Tiempo Agenda Metodología Requerimientos

30 minutos Secciones: 1.1 a 1.8 Presentación dialogada. Data display y papelógrafos.

30 minutos Secciones: 1.9 a 1.14 Presentación dialogada Data display y papelógrafos.

30 minutos Secciones: 1.15 a 1.19 Presentación dialogada y trabajo grupal.

Data display, papelógrafos, marcadores.

45 minutos Sección 1.20 Discusión y casos de estudio.

Papelógrafos ymarcadores.

1.1 Conceptos básicos sobre el Monitoreo y Evaluación. Antes de entrar en la temática específica del monitoreo y evaluación, conviene contextualizar el enfoque principal que se abordará en el presente manual; en este caso el enfoque está dirigido al tema energético. Los servicios energéticos son esenciales en las dimensiones económicas, sociales y ambientales del desarrollo humano. Estos facilitan el desarrollo económico a través del crecimiento industrial, reforzando la productividad y proporcionan el acceso a los mercados globales y al comercio. Los servicios energéticos modernos contribuyen al desarrollo social, ayudando a completar las necesidades básicas humanas como alimentación, calor, iluminación, además de educación y salud. Asimismo, protegen el ambiente disminuyendo la deforestación y la reducción de emisiones. La energía tiene un rol crucial en el logro de las Metas de Desarrollo de Milenio (MDMs) 2. Es importante aclarar lo siguiente: los servicios energéticos se refieren específicamente al “producto” utilizable en las diferentes categorías de consumidor y que proviene de los usos finales de la energía, en cualquiera de sus formas y sin importar la fuente primaria de energía. El calor, la iluminación, la refrigeración de ambiente, la cocción de alimentos, la conservación de alimentos, la fuerza motriz y la telecomunicación son ejemplos de servicios energéticos. El concepto de servicio energético supera el sesgo convencional de “ofertismo” de una determinada fuente de energía. Según este enfoque se “privilegia” de antemano una fuente de energía para un uso final determinado, por ejemplo: utilizar necesariamente leña para producir calor, o bien utilizar combustible derivado de petróleo para fuerza motriz. El servicio energético presupone, por el contrario, partir cualquier análisis desde el punto de vista del consumidor, de la demanda. Así, este nuevo enfoque deja más libre el análisis para buscar la relación más conveniente, según criterios previamente establecidos (sean ellos de

2 Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies from Brazil, Mali and The Philippines. PNUD. 2005.


carácter ambiental, disponibilidad local, eficiencia, entre otros), entre las fuentes de energía, la logística, los equipos de uso final y el servicio que se requiere.3 Ejemplo: Dos proyectos que brindan acceso a servicios energéticos para iluminación, analicemos el supuesto caso de una comunidad que define, previo análisis de alternativas: un sistema de carga de baterías comunales Proyecto 1: verifica regularmente el avance del proyecto, la capacitación y uso de materiales recibidos, así como la satisfacción del beneficiario. Cuando nota que algo no está bien, por ejemplo que los niños sean los enviados para dejar y recoger las baterías por terrenos agrestres, analiza inmediatamente este aspecto con la comunidad y toman decisiones conjuntas que son aplicadas por los actores, sea en el sentido de delegar la responsabilidad en personas mayores, organizar un sistema de transporte o quizás disponer de un sistema fotovoltaico en cada domicilio. El proyecto está bien y el responsable de la ejecución está satisfecho. Proyecto 2: Elabora un sistema de M&E para presentar al financiador, deja todo en manos de los ejecutores en campo, no visita la zona luego de iniciado el proyecto. En la época de la evaluación externa (o semanas antes) se sorprende cuando ve que quizás hay problemas con quemaduras por ácidos, o que la comunidad está molesta por una mala gestión de la persona a cargo de los turnos para el cargado de baterías y -a causa de este malestar - existe ahora desunión en la comunidad. Él queda decepcionado. Este ejemplo nos da la pauta para mencionar que monitoreo es la observación continua, reflexión y corrección de actividades. Esto fue realizado por el personal del Proyecto 1; más no así por el del Proyecto 2.

1.1.1 Definición de Monitoreo y Evaluación. En varios países, los sistemas de diseño y construcción de M&E son normalizados como una herramienta pública de gestión. Mientras tanto, los gobernantes incluyen el establecimiento de presupuestos, recursos humanos y controles; la retroalimentación de resultados y consecuencias de cualquier plan de gobierno o política es un mecanismo que necesita ser trabajado. La definición más utilizada por la OECD sobre Monitoreo y Evaluación es la siguiente: El Monitoreo es una herramienta que usa la recolección sistemática de datos para indicadores específicos, de manera tal que aporten a la gestión y a los principales actores acerca del desarrollo sobre la marcha de las intervenciones, a través de indicadores para el avance y logro de objetivos; así como el progreso en el uso de los recursos colocados. La Evaluación es definida como la valoración objetiva y sistemática del diseño, implementación y resultados de un proyecto, programa o política que está en avance o ha concluido. El objetivo es determinar la importancia y el cumplimiento de los objetivos, avance de eficiencia, efectividad, impacto y sostenibilidad. La evaluación debe proveer información que sea creíble y útil, permitiendo la incorporación de lecciones aprendidas en los procesos de toma de decisiones, tanto de receptores como de donantes. Se ocupa de quién, o qué grupo, se ha beneficiado del sistema interinstitucional de trabajo (o fue adversamente afectado), en qué cuantía, de qué manera y por qué. Con el Monitoreo y Evaluación se pueden establecer las bases para el aprendizaje compartido a partir de la acción conjunta.

3 OXILIA Victorio, aportes a los autores. 2007.


Si bien se han definido los conceptos de Monitoreo y Evaluación, para desarrollar adecuadamente un proyecto o programa, es necesario establecer una visión de conjunto que englobe al monitoreo y la evaluación como un sistema. Esto es de gran importancia por la estrecha relación entre ambos términos: “el Monitoreo se centra en verificar la adecuación y correspondencia entre un plan y la realidad....y la evaluación mide y reflexiona sobre el impacto que tienen las acciones (a veces corregida o adaptada por medio del monitoreo) en relación con los objetivos y resultados esperados. Son dos lados de una misma moneda....se alimentan entre si y tienen un fin común: que los proyectos, programas y políticas sean efectivas...o bien aprender con las iniciativas buscando el mejoramiento continuo....hacia mejores proyectos, programas y políticas....”4 Ahora bien, para saber quiénes deben realizar el M&E, se debe partir primero por definir cuál es el papel de los grupos esenciales / actores que integrarán el trabajo de M&E, para lo cual se debería disponer de un listado agrupado: Autoridades públicas, instancias internacionales (multi y bilaterales) sectores no gubernamentales (nacionales / regionales) y sector privado (fabricantes/Bancos, etc.) y luego clarificar el rol que desempeñan: si trabajan en la creación de políticas para alivio a la pobreza, de política sectorial, si más bien son ejecutores de políticas / programas para el alivio a la pobreza, si más bien trabajan o diseñan políticas, planes y programas específicos para energía en ámbitos nacionales y regionales o si son ejecutores de las mismas.5 Este tema, por su implicancia en el Monitoreo y Evaluación, será analizado con mayor detalle en el módulo 3: “Análisis de los participantes en el M&E”. A continuación, se presentan los objetivos, contenidos, componentes, principios y criterios que deben ser empleados en el Monitoreo y Evaluación.

1.1.2 Objetivos del monitoreo y evaluación. Estos objetivos son estructurados a partir de una pregunta: ¿Para qué sirve el Monitoreo y Evaluación? ¿Y para quiénes? Las respuestas más frecuentes son:

• Suministrar información. • Determinar el estado de un proyecto. • Garantizar la ejecución de un proyecto con efectividad. • Adoptar medidas correctivas en la ejecución. • Tomar decisiones (tanto en la ejecución de un proyecto o programa o política, como

también para futuros proyectos, programas etc.).

De manera sintética es: “Ayudar a los actores a orientar su trabajo hacia los resultados y objetivos del proyecto e informar sobre su avance, con el propósito de servir de apoyo a la gestión del proyecto, evaluando los resultados que se van alcanzando e introducir los ajustes necesarios para la obtención de los objetivos propuestos. Todo ello para poder adaptarse dinámicamente a las condiciones cambiantes de un entorno complejo y lograr el análisis sistemático de las experiencias del proyecto y basar en ellas su marco de acción”.

4 OXILIA Victorio, aportes a los autores. 2007 5 Monitoring and Evaluation Frameworks and Indicators: A Review of Energy Stakeholders in Bolivia & Paraguay. Kavita Rai/ Alba Gamarra/ Victorio Oxilia/ Maria Emilia de Castel/Elvio Enciso. WP7, Febrero 2007.


1.1.3 ¿Cuáles son los principios que deben guiar al M&E? El proceso de Monitoreo y Evaluación se debe desarrollar en base a un plan fundamentado en cuatro principios, que son: Transparencia, que permita a todos los actores involucrados en el proyecto, conocer qué información se recopilará y para qué fines. Objetividad, que establezca parámetros para el M&E, sin posibilidad de distorsiones de tipo subjetivo. Pertinencia, que permita a los actores diseñar, levantar información en el momento oportuno y procesarla para la adecuada toma de decisiones en el proceso de evaluación y retroalimentación.

Legitimidad, que involucre activamente a los actores del proyecto desde el inicio, para la adecuada recopilación de información y la consecuente toma de decisiones.

Flexibilidad, que permita la adecuación del sistema, pues éste debe poder modificarse, adaptarse y mejorar inclusive en el mismo proceso.

1.1.4 ¿Qué requiere? • Amplia base de consenso entre las autoridades institucionales, los

ejecutivos/directivos del proyecto y los grupos meta, sobre los objetivos, resultados y actividades del proyecto.

• Compatibilidad entre los objetivos, resultados y actividades del proyecto y las condiciones estructurales del medio.

• Flexibilidad por parte de los administradores del proyecto, para aprender de las experiencias obtenidas durante la fase de ejecución y poder reaccionar oportuna y apropiadamente.

• Efectividad y estabilidad de las instituciones responsables para el proyecto y de la propia organización de éste.

• Continuidad en las decisiones a lo largo del tiempo de vida del proyecto. Como base de un sistema de M&E, se debe cuidar la existencia de una lógica vertical, objetivos, resultados, actividades e indicadores claros y realistas en la Matriz de Planificación del Proyecto (MPP), si se utiliza éste u otro esquema de planificación; así como también el disponer de un Plan operativo (PO) adecuado; a fin de permitir un seguimiento sistemático del avance (Monitoreo) y una revisión periódica (Evaluación) de los logros del proyecto. Existe un alto grado de dependencia entre la calidad de la planificación y el sistema de M&E, pues obviamente sería difícil diseñar un buen sistema de M&E, si la planificación de base no es precisa; o procurar modificar o ajustar la planificación sin un monitoreo y una subsiguiente evaluación de las actividades, resultados y efectos.

1.1.5 ¿Qué no es? Una función policiaca de fiscalización o auditoría del desempeño humano, financiero o institucional. Así como un programa o un proyecto...tampoco puede ser un sistema impuesto, prefabricado e inflexible en sus principios.


1.1.6 ¿Qué niveles de monitoreo y evaluación se tienen?

Monitoreo y evaluación de las actividades ¿Cuáles actividades hemos planificado? ¿Cuáles hemos realizado y en que calidad? Monitoreo y evaluación de los resultados / productos ¿Qué hemos logrado? ¿Cuánto y con qué calidad? Monitoreo y evaluación del proceso ¿Por qué lo hemos logrado/ no lo hemos logrado? ¿Cómo lo hemos logrado? Monitoreo y evaluación de los impactos ¿Cuáles son los efectos que ha causado nuestro trabajo? Monitoreo y evaluación del entorno /contexto ¿Qué promueve u obstaculiza nuestro trabajo? Además de: Un Monitoreo y evaluación de la organización interna y de las relaciones externas

1.1.7 Límite de responsabilidades y atribuciones. Las responsabilidades y atribuciones (también denominado “brecha de atribución” del equipo del proyecto) van desde los insumos o recursos hasta el logro de los resultados, tomando en cuenta de acotar o delimitar las responsabilidades de los involucrados en los proyectos. Los beneficios directos e indirectos así como el objetivo de desarrollo corresponden a los impactos del proyecto que se miden generalmente a través de evaluaciones externas. Esta brecha de atribución es simplemente el límite de las responsabilidades del equipo de ejecución y monitoreo del proyecto.

1.2 Procesos del Monitoreo y Evaluación. El Monitoreo y la Evaluación deben entenderse como procesos reiterativos y cíclicos que nacen de la acción y se sirven de la observación, reflexión y decisión para introducir los ajustes necesarios sobre el proceso de ejecución del proyecto (acción). El Monitoreo y la Evaluación se sirven de la Matriz de Planificación –MPP-, esto es: de los objetivos, metas, actividades e indicadores, de manera que el objeto de las acciones de M&E; y, a su vez el instrumento, es el conjunto de elementos allí definidos. Mientras el proceso de planificación va de lo general a lo particular; el de monitoreo y evaluación asume el proceso inverso: de lo particular a lo general, esto es, del examen de los recursos y las actividades, pasa a la revisión de los resultados y, de éstos a los objetivos del proyecto y de desarrollo. El Monitoreo y la Evaluación deben definirse conjuntamente con la formulación del Plan de Acción. Éste pasa a ser un principio necesario, de manera de asegurar la retroalimentación permanente que mejore y optimice el proceso de ejecución del proyecto, con miras al logro de los resultados esperados. El Monitoreo y la Evaluación son “internos” y “participativos”, de manera que deben ser realizados por los propios participantes y responsables. Este principio sin embargo, no


elimina la posibilidad, y a veces la conveniencia, de contar con apoyos externos para la realización de tareas de evaluación. A continuación se enuncian algunos elementos básicos del monitoreo y evaluación que se desprenden del concepto enunciado: El Plan de Monitoreo y Evaluación pasa a ser un instrumento necesario, de manera de asegurar la retroalimentación permanente que mejore y optimice el proceso de ejecución del proyecto, con miras al logro de los resultados esperados. El monitoreo y evaluación debe fomentar y potenciar los factores positivos observados en la ejecución del proyecto, detectar eventuales problemas o limitaciones, así como sus causas para finalmente, proponer soluciones y procedimientos apropiados para rectificarlos. Estas recomendaciones deben incorporarse a los formularios de reporte. Este proceso supone: partir de la observación de la acción, con el fin de reflexionar y decidir, para volver nuevamente a la acción.

Observar: Contar con la información suficiente para establecer el estado de avance de la ejecución e identificar los procesos de contribución de los diversos agentes que intervienen durante el proceso de ejecución del proyecto. La observación requiere un mínimo de sistematización, momentos y agentes diferentes de observación y supone responder a:

¿Qué podemos y queremos observar? ¿Quién observa? ¿Cómo medir y representar lo observado? ¿Cómo presentar esa información?

Reflexionar: Comprobar su eficacia mediante la comparación entre objetivos y metas propuestas y los logros obtenidos; identificar los factores de éxito de esos logros y las causas de las limitaciones u obstáculos que impiden su obtención. En la reflexión las preguntas son:

¿Qué diferencia existe con lo previsto? ¿Qué se ha logrado? ¿Qué de positivo hay en nuestro proceso? ¿Cuáles son las limitaciones de nuestro proceso y sus causas? ¿Con quién intercambiar nuestra observación?

Decidir acerca de las medidas necesarias para continuar el proceso hacia el logro de los objetivos y velar por su aplicación. Las preguntas al respecto son:

¿Qué queremos cambiar? ¿Qué esperamos conseguir con ello? ¿Cómo hacerlo? ¿Quién puede ayudarnos?

Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001.

ACTUAR OBSERVAR

REFLEXIONAR

DECIDIR ACTUAR


Este ciclo de observación, reflexión y decisión, se concreta por parte de los diversos agentes involucrados (grupos interesados, entes de contraparte y cooperación externa) sobre todos los pasos del proceso:

• Planificación (concepción). • Ejecución (organización, empleo de recursos, relaciones de contribución y

cooperación). • Operación • Efectos e impactos.

Es importante reconocer que el Monitoreo y la Evaluación no son varitas mágicas que pueden hacer que los problemas desaparezcan, que se solucionen u ocurran cambios milagrosos sin un duro trabajo en el proyecto o la organización. Ellos no son la solución, más son herramientas valiosas. El efecto del Monitoreo y Evaluación puede verse en el siguiente ciclo. Note que usted monitoreará y ajustará varias veces antes que esté listo para evaluar y replanificar.

Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro.2003.

1.3 El sistema de Monitoreo y Evaluación. El sistema de M&E- como ya se ha dicho - tiene como referentes a las actividades del proceso, los resultados esperados y los objetivos trazados. El sistema debe contener los elementos que responden a las siguientes preguntas:

Planificar

Implementar

Monitorear

Reflexionar/aprender/ decidir /ajustar Implementar

Monitorear

Reflexionar/aprender/ decidir/ ajustar

Implementar

Evaluar/aprender/ decidir


¿Qué, Quién, Cuándo, Cómo y Con qué recursos?

¿Qué?: ¿Qué se debe medir, controlar o evaluar? La respuesta corresponde a las actividades en el ámbito operativo; los resultados a través de sus indicadores; los efectos y su sostenibilidad. ¿Quién?: ¿Quién controla, evalúa y apoya? El control y evaluación debe en lo posible, corresponder a los propios participantes. ¿Cuándo?: ¿Cuándo se debe controlar o evaluar? El sistema debe proponer la frecuencia o periodicidad con la que deben realizarse el monitoreo y las evaluaciones.

¿Cómo?: ¿Cómo efectuar las tareas de Monitoreo y Evaluación? corresponde a la definición previa de herramientas: Formularios, guías, reuniones y talleres, en los que se concreten las tareas de control de avance y medición de cumplimiento de metas, así como objetivos. ¿Con qué recursos? Los recursos necesarios –adicionales- que demande el Monitoreo y Evaluación (encuestas e investigaciones) deben estar previstos como parte del costo que demande el Plan de Acción.

La evaluación se ocupa de quién o qué grupo se ha beneficiado (ó ha sido adversamente afectado), en qué cuantía (en comparación con la situación imperante antes de la actividad de que se trate), de qué manera (directa o indirectamente) y por qué (estableciendo en la medida de las posibles relaciones causales entre las actividades y los resultados). Dentro de la gestión institucional, la evaluación es el cuestionamiento, la revisión y la adecuación de la planificación, así como de las realizaciones. Se realiza interna y externamente:

• Antes de la ejecución, examinando la planificación: "Evaluación ex-ante". • Durante la ejecución, para analizar si las hipótesis y supuestos de la evaluación ex-

ante siguen válidos, a fin de introducir ajustes: "Evaluación continua" (Interna y/o externa).

• Al concluir la ejecución, para valorar el logro de los efectos y el impacto: "Evaluación fin de proyecto".

• Años después de terminar las actividades, para obtener enseñanzas para las futuras planificaciones: "Evaluación ex-post".

Esta información se dirige a las instancias encargadas de la dirección y de políticas institucionales para tener una orientación óptima hacia la situación/problemas para la nueva planificación ó re-adecuación del sistema de gestión/ejecución. Con la evaluación se califica:

Quién, en qué, de qué manera y por qué se ha beneficiado.


1.4 Tipos de Monitoreo y Evaluación. ¿Qué es lo que el Monitoreo y la Evaluación tienen en común? Pues que ambos conducen hacia el aprendizaje sobre lo que se está haciendo, cómo se lo hace, enfocándose en:

• Eficacia. • Efectividad. • Impacto.

La Eficacia avisa si los insumos puestos en el trabajo son apropiados en términos del producto de salida. Esto puede ser colocado en términos de dinero, tiempo, personal, equipamiento y otros. Cuando usted conduce un proyecto y está preocupado sobre su replicabilidad o sobre su crecimiento (scaling-up), entonces es muy importante tener este elemento correcto. Ejemplo:

• Número de clientes conectados o volumen de ventas. • Frecuencia de enfermedades (tales como problemas respiratorios). • Gasto de energía (con servicio equivalente).

La efectividad es una medida del alcance en el cual un programa de desarrollo o proyecto adquiere los objetivos específicos establecidos. Si, por ejemplo, los actores (incluyendo a los usuarios finales) pueden crear “nuevos usos” para el servicio de electricidad. El impacto avisa si lo que uno ha realizado, ha implicado una diferencia sobre la situación o problema al que estamos abocándonos. En otras palabras, ¿fue la estrategia la correcta? Por ejemplo, al haberse incrementado los usos de electricidad ha repercutido en la mejora de condiciones sociales y económicas de los beneficiarios. Antes de que se decida crecer o replicar el proyecto en otro lugar, necesitará estar seguro de que lo que está haciendo tiene sentido en términos del impacto que desea alcanzar. A partir de esto, debe tener claro que el M&E es mejor realizado cuando existe una adecuada planificación contra la cual medir el progreso y los logros. Existen herramientas en este documento que tratan sobre la planificación: una mirada a la planeación estratégica y a la planificación operativa.

1.4.1 Monitoreo y Evaluación de proceso. “Se denomina “monitoreo de proceso” a las tareas obtenidas a través de una selección consciente de determinados pasos y su observación de forma selectiva y sistemática, a fin de compararlos con otros y dialogar sobre ellos para extraer enseñanzas que puedan aplicarse provechosamente en la conducción de procesos”6. Los indicadores de proceso que se usan, miden y verifican los cambios que se producen en el corto plazo, como resultado inmediato y directo de las actividades realizadas por el proyecto corresponden al nivel de actividades y dan cuenta de la puesta en marcha del proyecto. Se hallan en un nivel operacional.

6 GTZ, “Seguimiento de Procesos, una ayuda para personal de proyectos” Eschborn, 1993.


1.4.2 Monitoreo y Evaluación de medio término. El Monitoreo y Evaluación de medio término, como su nombre lo indica, se realiza alrededor de la mitad del tiempo previsto para la ejecución del proyecto, con la finalidad de obtener información importante para la toma de decisiones. Cabe mencionar que el M&E es un proceso continuo; sin embargo la evaluación de medio término tendrá un proceso de documentación, reflexión y comparación de las actividades, avances y logros alcanzados, en comparación con las prestaciones establecidas en el Marco Lógico del Proyecto y los compromisos contractuales a los que se arriben.

1.4.3 Evaluación de cierre. La evaluación final del proyecto se realizará una vez recibido el último reporte técnico y financiero del mismo. Este reporte deberá contener ejemplos concretos sobre: lecciones aprendidas en los aspectos técnicos de aplicación de los diferentes componentes del proyecto; construcción de capacidad; promoción de la conciencia pública; participación con enfoque de género; pueblos indígenas involucrados; co-financiamiento; relaciones con política y entidades gubernamentales; acuerdos con donantes y otros programas; así como la replicabilidad para el futuro. En esta evaluación se recomienda que participen activamente los actores involucrados en el proyecto.

1.4.4 Monitoreo y Evaluación de efectos e impacto. Este tipo de monitoreo y evaluación al impacto del Proyecto es necesario para valorar el aporte del proyecto y el cumplimiento de sus objetivos. Los impactos que se esperan lograr están en relación al cambio de hábitos de la población involucrada en el proyecto. También es importante analizar el impacto sobre los involucrados en el proyecto, respecto a la actitud para con los proyectos futuros. El Monitoreo y evaluación de los efectos se refiere sólo a la Planificación, en la medida en que ésta se interesa por los objetivos a largo plazo. De momento, no podemos sino avanzar en supuestos o hipótesis sobre los efectos deseados y los no deseados. Las repercusiones sólo se hacen sentir con el tiempo y están en interacción con las influencias desfavorables y favorables del entorno. Si los efectos son sostenibles en el tiempo, podemos hablar de “impacto”. El "impacto” consta de las consecuencias a mediano y largo plazo que tiene un proyecto para el entorno y su población, sean deseadas (planificadas) o no deseadas.

Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto” (CDMA& GTZ).

GOOOOOL

… y sus efectos secundarios


El monitoreo y evaluación del impacto se interesa por los efectos socioeconómicos y ecológicos de un proyecto o de un programa, es decir: los efectos son aquellos que trascienden los objetivos perseguidos y los resultados esperados. Dichos efectos, deseados o no, se manifiestan ya durante el desarrollo del proyecto o únicamente concluido éste. Por este motivo, ya es posible elaborar un monitoreo y evaluación del impacto durante el transcurso del proyecto; pero a menudo se debe proseguir una vez terminado el programa o proyecto para permitir afirmaciones claras. El monitoreo y evaluación del impacto establece un puente entre los resultados y las correlaciones de los efectos en el contexto. Por eso, sirve ante todo para el manejo estratégico y la formulación de la política para los futuros proyectos. Generalmente, el monitoreo y evaluación del impacto requiere muchos esfuerzos cuando trasciende las correlaciones entre resultado del proyecto y transformaciones. La organización del monitoreo y evaluación del impacto debe, si las circunstancias lo requieren, convertirse en un acto independiente durante el desarrollo del proyecto. Por ejemplo, cuando, a nivel de un programa, se crea una pequeña comunidad de trabajo o instancia de coordinación compuesta de asesores/as locales y externos/as para asumir labores de monitoreo de diferentes proyectos. Además, ello posee la ventaja de que se mantiene el conocimiento metodológico adquirido y se sigue desarrollando. De ese modo, también se garantiza mejor el monitoreo del impacto a largo plazo. Los procedimientos e instrumentos para el monitoreo y evaluación de impacto son idénticos a los del M&E de los resultados: resumen de información en cuadros y secuencias temporales, Benchmarking7, etc., sin embargo, la forma de encarar el monitoreo y evaluación del impacto difiere fundamentalmente. Aquí, el primer paso consiste en formular las hipótesis de impacto. Con estos supuestos sobre posibles efectos seleccionamos los campos de observación, que examinamos periódicamente a la luz de indicadores. El Monitoreo y evaluación de impacto se distingue de otras formas de M&E por la larga duración del período de observación y por la estrecha relación entre los efectos provocados por un proyecto y el contexto.

Fuente: Martina Vahlhaus, 1999, ¿Cómo implantar y ejecutar el monitoreo del impacto? GTZ.

7 Benchmarking significa mutua cooperación y aprendizaje común con otros proyectos/programas. Es una forma estructurada de intercambio de experiencias que permite comparar resultados y procedimientos.


Para la correcta introducción e implementación del M&E de impacto, se deben seguir seis pasos secuenciales, los cuales se explican en el gráfico anterior.

Valoración del monitoreo y evaluación de impacto. La valoración del M&E de impacto y la visualización de los cambios en el entorno se puede realizar, por ejemplo, mediante un diagrama de "araña” (véase Gráfico). Para este propósito, es útil una clasificación para cada indicador (por ej. de 5 "el cambio se considera muy bueno” a 1 "el cambio se considera muy malo”). La puntuación para cada indicador ya debería prepararse en esta fase, mediante una discusión entre todos los participantes. Hay que responder en relación con cada indicador seleccionando las preguntas: "¿Dónde estamos?” y "¿Dónde queremos estar?”. El mejor logro realista posible para cada indicador es 5 (muy bien) y el peor 1 (muy mal).

Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto" (CDMA& GTZ).

1.5 ¿Qué son los indicadores? La palabra indicador, que proviene del latín indicare (señalar, avisar y estimar), alude a hechos o datos concretos que prueban la existencia de cambios conducentes hacia los resultados e impactos buscados. Los indicadores son como las marcas de señalización al borde de las carreteras y caminos: muestran si usted sigue en la ruta correcta y cuánto ha avanzado. En la vida cotidiana es muy común el uso de indicadores (horas y minutos como indicadores de tiempo, puntajes en pruebas y exámenes como indicadores de progreso académico, kilogramos y metros como indicadores de peso y longitud respectivamente, entre otros). Un indicador es un instrumento que permite a los actores de un proyecto observar y medir resultados. Los indicadores constituyen señales de cambio reconocidas por diferentes actores. Se establecen preguntando: ¿Cómo saber de modo claro y fehaciente que se está logrando el resultado propuesto o previsto?8. Los indicadores son parámetros seleccionados para representar una situación compleja y a menudo imposible de medir directamente. Estos pueden ser cuantitativos o cualitativos; y la combinación de ellos resulta en indicadores mixtos. Por ejemplo, para el M&E de indicadores para el desarrollo sostenible han sido formulados 30 indicadores, clasificados en tres dimensiones (social, económica y ambiental), a su vez

8 Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGÉNERO, FIDA. 2004.


han sido reclasificados en 7 temas y 19 sub temas por la Comisión de Desarrollo Sostenible de las Naciones Unidas (CSD):

Ejemplo en la dimensión social:

Tema Sub-tema Indicador de energía Componentes

Equidad Accesibilidad Porcentaje de viviendas (o personas) sin electricidad o energía comercial, o altamente dependiente de energía no comercial.

Viviendas (o personas) sin electricidad, energía comercial o altamente dependiente de energía no comercial.

Número total de viviendas o población.

Ejemplo en la dimensión económica:

Modelos de Uso y producción

Usos finales Intensidad energética en agricultura.

(relación entre el consumo de energía de un sector o segmento determinado y el valor agregado de dicho sector o segmento)

Uso de energía en sector agrícola.

Valor añadido correspondiente.

Ejemplo en la dimensión ambiental:

Tierra Forestación Tasa de deforestación atribuida al componer parte de la oferta de biomasa para la matriz energética.

Área Forestada en dos diferentes momentos.

Utilización de biomasa.

Fuente: “Energy indicators for sustainable development: guidelines and methodologies”, International Atomic Energy Agency, United Nations Department of Economic and Social Affairs, International Energy Agency, Eurostat and European Environment Agency y aportes propios.

En el ámbito de proyectos energéticos se utilizan indicadores cuantitativos, cualitativos o mixtos.

1.5.1 Indicadores cuantitativos. Sus principales características son las siguientes:

• Expresan cantidad (cuánto/as) y frecuencia.


• Las unidades de medida son el número y el porcentaje. • Los principales métodos e instrumentos utilizados para verificarlos son los censos, las

encuestas, las entrevistas estructuradas, aplicando –en algunos casos- modelos matemáticos y econométricos.

Ejemplos de indicadores cuantitativos:

• Nº de personas que han accedido a un sistema de suministro energético, • Con valores: • De 10,000 personas de una población, 80% tienen el suministro energético.

1.5.2 Indicadores cualitativos. Sus principales características son las siguientes:

• Expresan cualidades, características o fenómenos intangibles. • Se refieren a percepciones, prácticas, opiniones, habilidades o hechos. • Describen, entre otras cosas, la situación y condiciones de vida de las personas; las

relaciones de poder y desigualdad; los cambios en la sensación, satisfacción y comprensión de las personas sobre algún hecho.

• Por lo general, las unidades de verificación de los indicadores cualitativos son: tipo, grado y nivel.

• Para su formulación se requiere la definición de escalas. En general, los indicadores cualitativos son particularmente útiles para comprender el punto de vista, los intereses y las prioridades de los actores del proyecto. Cuando el cambio esperado se refiere a variaciones en conocimientos, actitudes y prácticas (capacidades) de las personas para desarrollar sus potencialidades y superar la pobreza, la aplicación de este tipo de indicadores es relevante y necesaria durante y después de la implementación del proyecto. Ejemplos de indicadores cualitativos: Existe la predisposición de los pobladores del lugar para la administración del sistema energético en base al marco legal establecido. Grado de capacidad de las mujeres para gestionar recursos, expresado en la siguiente escala: i) Hacen trámites legales relativos a su actividad. ii) Elaboran planes estratégicos y operativos para sus organizaciones. iii) Elaboran y presentan proyectos ante entidades públicas y privadas.

1.5.3 Indicadores mixtos. Son aquellos que permiten verificar cambios cualitativos y, al mismo tiempo, determinar en cuántos individuos, organizaciones o instancias se presentan esos cambios. Por lo anterior, en los indicadores mixtos siempre se presenta una unidad de medida (número o porcentaje) y una unidad de verificación (tipo, grado o nivel). Por ejemplo: Número (cantidad) de mujeres según grado (cualidad) de participación en la toma de decisiones en la gestión de la empresa eléctrica. Número (cantidad) y tipo (cualidad) de


microempresas que manifiestan interés por conocer tecnologías energéticas limpias para su actividad productiva. Los indicadores mixtos son particularmente importantes en la evaluación, ya que permiten verificar, tanto la magnitud o profundidad de los cambios obtenidos como la amplitud con que se presentan, lo que hace posible una mayor comprensión acerca de la obtención de los resultados esperados.

1.5.4 ¿Cuáles son las características principales de los indicadores? La identificación de un correcto indicador es muy importante para el M&E. Para este fin se deben observar necesariamente las características de los indicadores, verificando la inclusión de estas características, ya sea en la formulación de los indicadores, como también en la revisión de indicadores ya formulados anteriormente.

Basándose en la Matriz de Planificación del Proyecto (MPP), se analiza la lógica horizontal y vertical, enfatizando en la segunda columna: Indicadores. Los indicadores permiten verificar el cumplimiento de objetivos y de resultados. Caracterizan su contenido. Especifican / Acotan los objetivos y/o resultados. Son la base para el M&E.

Los Indicadores Verificables Objetivamente (IVO’s) que se encuentran en la MPP, son “hechos con los cuales se pueden medir otros hechos”. En otras palabras, es una parte que da cuenta del todo e indican la consecución de los objetivos y resultados. Cabe mencionar que en el contexto de proyectos, los IVO’s son redactados en uno o varios párrafos, que denotan la composición de las variables que se pueden medir o identificar. Las variables involucradas en un indicador pueden ser todas o algunas que se muestran en el cuadro siguiente:

Se definen en términos de: Características de un buen indicador

Variables Descripción LE AMO MAREA…..R

⇒ Calidad ¿Cuán positivo / cuán

bueno?

Limitado en tiempo y cantidad

Medible

⇒ Cantidad ¿Cuánto? Específico: orientado al logro del objetivo.

Alcanzable

⇒ Tiempo ¿Cuándo? ... Realista

⇒ Localización ¿Dónde? Alcanzable Específico

⇒ Grupo meta ¿Quiénes? Medible Acotado

Observable Reto Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001.

También hay que tener una visión de proceso al hacer los indicadores. En los primeros años se puede ver si se va a lograr o no.


A manera de ejemplo, se muestra un indicador que está compuesto por las variables mencionadas en el cuadro anterior.

“En la localidad de Charagua perteneciente al Chaco boliviano (Localización), la asociación de pequeños ganaderos (Grupo meta), ha logrado establecer durante el segundo semestre del año 2007 (Tiempo), un sistema de bombeo de agua con sistema fotovoltaico con capacidad de 2 l/s que les permite atender un abrevadero de 30 cabezas de ganado vacuno al día (Cantidad); con lo cual el índice de mortalidad del ganado atribuible a la sequía ha disminuido un 30% (Calidad)”.

1.6 ¿Qué puede lograr el M&E? El monitoreo, al observar la implementación de un proceso (programa, estrategia, planificación) a distintos niveles, desde el inicio hasta el fin, nos permite reflexionar. No siempre las decisiones implican hacer correcciones, a veces la situación observada es la situación esperada. En el caso que no lo sea, es necesario hacer correcciones y se debe reflexionar sobre las medidas de corrección.

LAS 4 OPCIONES DE CONDUCCIÓN Y/O DE TOMA DE DECISIONES • Continuar: no hacer nada y seguir sin cambiar algo. • Reorientar: hacer ajustes de implementación. • Reorientar: hacer ajustes del concepto / de los objetivos. • Parar el proyecto / programa.

Ajustes de implementación se pueden hacer internamente. En cambio, si se requiere hacer ajustes de concepto o a nivel de estrategia, se involucran otros actores, implica otros niveles de mando. El equipo de monitoreo suele proponer, mas no tomar decisiones. En los años 80, el monitoreo se enfocaba en las actividades; en los noventa se empieza e integrar los productos, resultados y servicios. Actualmente, se habla sobre monitoreo orientado principalmente a impactos.

1.7 Cambios en los enfoques del monitoreo a nivel internacional.

Antes Ahora

Tendencias en el pasado. Enfoque principal a lo operativo. Finalidad más hacia control y legitimación.Orientación más hacia el pasado y problemas. Afán por acumular datos y documentarlos.Normas y procedimiento definido. Delegación a pocas personas y especialistas.

Orientación al futuro. Enfoque principal a lo estratégico. Finalidad hacia mejoramiento de la calidad del trabajo. Orientación hacia cambios en el futuro. Afán por proveer las informaciones que necesitan los usuarios. Procedimientos flexibles. Participan aquéllos / aquéllas que influyen en la calidad del trabajo.

Fuente: Memoria del Taller de Monitoreo de Resultados e Impacto. Comisión multisectorial de reducción de riesgos para el desarrollo. PCM – GTZ. Febrero de 2004.


La idea no es sólo monitorear lo que hemos hecho o hemos logrado, sino si hubo impacto en nuestra sociedad, bajo la idea que nosotros invertimos recursos para lograr cambios en otros. Las actividades y los productos son medios para lograr cambios. En este sentido, se deben gestionar las actividades y los productos orientados hacia estos cambios. ¿Esta actividad sirve para lograr este cambio?; ¿existe una hipótesis lógica detrás de mi estrategia y los impactos que quiero lograr? Cuando se hace una estrategia, plan, proyecto, primero se tienen que identificar los cambios que queremos lograr y establecer nuestras intervenciones en base a una hipótesis sobre el cambio que van a producir. Esta hipótesis es la cadena de impacto. Entonces, se deben monitorear, tanto las actividades como los cambios que se producen y ver si hay enlace entre las dos. Se dice que los cambios se producen después de la implementación; de ser cierto, sólo tendría que monitorear las actividades y los productos. Sin embargo, la realidad no es así, los cambios no se dan de un momento a otro. El cambio se va desarrollando durante el proceso y se pueden reflejar en pequeños aspectos. Por ejemplo, si se quiere cambiar la forma de monitorear estrategias, no se puede trabajar por 2 años en manuales y al final ver que no funciona este método para recién empezar a buscar otra manera. Paralelamente a las acciones, se van a dar los cambios. Esto representa una nueva visión de cómo se gestionan los programas.

1.8 ¿De dónde sale la información para la toma de decisiones? La respuesta es del cambio, después de una intervención se refleja otra. Sin embargo, otro factor a considerar, es que los responsables de los programas tomen como criterio los datos elaborados por la unidad de monitoreo en sus decisiones.

1.9 Pasos para conducir el monitoreo De acuerdo al tipo de proyecto y al énfasis que tenga el mismo, se elaborarán: objetivos, resultados, actividades e insumos; cuidando siempre de incluir la perspectiva de género, pero tomando en cuenta las características de la participación y rol de las mujeres en su grupo social correspondiente. Más allá de la inclusión de la perspectiva de género, se debe cuidar que la planificación sea participativa, legítima y acorde a los “usos y costumbres” de cada grupo social involucrado en el proyecto, ya que las visiones y realidades de cada grupo social, no son necesariamente coincidentes con otros grupos o personas que puedan intervenir en un proyecto. Un ejemplo, a modo de introducción de lógica de planificación, se encuentra en el Anexo del presente módulo, un caso de uso productivo, energía, género y metas de desarrollo del milenio.

Actuar Decidir Observar

ActuarDecidir ObservarActuar

Implementación de la planificación


Puesto que existen diferencias entre el diseño de un sistema de monitoreo y un proceso de evaluación, trataremos ambos aspectos de manera separada. Cuando diseña un sistema de monitoreo, usted toma un punto de vista para su elaboración y establecerlo proveerá información oportuna en una base concurrente, de tal manera que pueda mejorar lo que hace y cómo lo hace A continuación se encuentra el proceso paso a paso que puede usar para diseñar el sistema de M&E para su organización o proyecto. Paso 1: Introducción del concepto de eficacia, efectividad e impacto (Ver glosario de Términos). Paso 2: Generar una lista de indicadores para cada uno de los tres aspectos y clarifique qué variables (ver Glosario de términos), necesitan estar enlazadas. Realizar este paso de manera participativa en un taller donde podrá seleccionar las variables que lo ayudarán a responder las preguntas que piensa que son importantes, por ejemplo: Edad, género, religión, urbano – rural, categoría económica, ambiente familiar, duración de la iniciativa del proyecto y número de talleres realizados. Con la información correcta Ud. podrá responder preguntas tales como:

• ¿El mensaje recibido varía con la edad? • La categoría económica: ¿las personas jóvenes en áreas responden mejor o peor al

mensaje o no hay diferencia? • ¿El número de talleres a los que asisten las personas hace una diferencia en temas

de impacto? Preguntas a este tipo de inquietudes permiten al proyecto o a la organización tomar decisiones acerca del qué hacer, cómo hacer y también a medir su efectividad e impacto. Respuestas a preguntas tales como:

• ¿Más personas participan en sesiones cuando se organizan con antelación? • ¿Existe más participación cuando no se cobra para los cursos? • ¿Participan más jóvenes cuando las sesiones son realizadas en fines de semana o en

las noches? • ¿Es mejor realizar un taller en la comunidad o traer a las personas a un centro de

capacitación? Paso 3: Decidir cómo realizará la recolección de la información que necesita y dónde se guardará (en la computadora o en archivos manuales). Paso 4: Decidir cuán frecuentemente se analizará la información – esto significa colocarla toda junta y procurar responder a preguntas que piensa son importantes. Paso 5: Recolectar, analizar y reportar.


1.10 Pasos para conducir la evaluación. En la evaluación nosotros analizamos los términos de referencia, el objetivo de la evaluación, las preguntas claves de evaluación y la metodología.

Términos de Referencia: El diseñar el proceso de evaluación significa estar en capacidad de desarrollar términos de referencia para el proceso (si Ud.es parte del proyecto o de la organización) o estar en capacidad de diseñar una propuesta para satisfacer las necesidades del proyecto o de la organización (si Ud. es el consultor). Las principales secciones en los términos de referencia para un proceso de evaluación generalmente incluyen: Antecedentes: Sobre el entorno o condiciones del proyecto o de la organización, información sobre el problema identificado, qué es lo que se hace, hace cuánto que inició actividades y por qué ha decidido realizar la evaluación. Objetivo: En este sector debe indicar qué es lo que la organización o proyecto quiere que la evaluación consiga. Preguntas clave de evaluación: cuáles son las preguntas principales a las que la evaluación debe dirigirse. Objetivos específicos: Cuáles son las áreas específicas, internas y/o externas que debe abordar la evaluación. Por ejemplo, si desea que la evaluación incluya una revisión económica o que incluya ciertos temas específicos del programa. Metodología: en esta parte Ud. debe dar parámetros amplios sobre el tipo de enfoque que favorecerá en la evaluación. Ud. puede sugerir el tipo de técnicas que le gustaría utilice el equipo de evaluación. Temas logísticos: Tiempo, costo, requerimientos en la composición del equipo, etc.

1.11 Propósito de la evaluación. El propósito de una evaluación es la razón por la cual la está realizado. Va más allá de lo que Ud. quiere saber y por qué lo quiere saber. Generalmente es una oración o párrafo que tiene dos partes:

• Qué quiere que sea evaluado. • Con qué finalidad quiere realizarla.

A continuación se plantea algunos ejemplos de propósitos de evaluación: Proveer a la organización con la información necesaria para tomar decisiones acerca del futuro del proyecto.


Asesorar sobre si la organización del proyecto tiene el impacto planeado de manera de decidir si se debe o no replicar el modelo en otros lugares. Asesorar al programa en términos de efectividad, impacto en el grupo meta, eficiencia y sostenibilidad de manera de mejorar su funcionamiento. De esta manera, el propósito enunciado dará el enfoque principal al proceso de evaluación.

1.11.1 Preguntas clave de evaluación. Las preguntas clave de evaluación son las preguntas principales que quiere que sean respondidas a través del proceso de evaluación. No son preguntas simples y normalmente raras veces son respondidas por un “sí” o “no”. Una puede hacerse preguntas útiles para la evaluación, analizando por ejemplo si:

• Provocan cuestionamientos. • Asumen desafíos. • Enfocan la investigación y reflexión • Provocan otras preguntas adicionales.

A continuación, se presentan algunos ejemplos de preguntas clave de evaluación, relacionadas al objetivo del proyecto: El propósito de la evaluación es asesorar sobre cuán eficiente es el proyecto en la entrega de beneficios a la comunidad identificada para así informar las decisiones del Directorio sobre la continuidad y replicación:

• ¿Quién se está beneficiando actualmente del proyecto y de qué manera? • ¿Los insumos (tiempo y dinero) justifican los resultados y, si es así o no; sobre qué

base se puede justificar? • ¿Qué mejoraría la eficiencia, efectividad e impacto del proyecto? • ¿Cuáles son las lecciones que pueden aprenderse del proyecto en términos de

replicabilidad? Note que ninguna de estas preguntas trata sobre un elemento específico o área del funcionamiento interno o externo del proyecto u organización. La mayoría de las respuestas requerirán que el equipo de evaluación pueda manejar un rango de elementos del proyecto u organización de manera de responderlas. Otros ejemplos de preguntas clave de evaluación podrían ser:

• ¿Cuáles son las maneras más efectivas en las cuales un proyecto de este tipo puede abordar el problema identificado?

• ¿En qué forma el funcionamiento interno y la estructura de la organización impactan positivamente en el programa de trabajo?

• ¿Qué aprendizajes de este proyecto tendrían pertinencia a lo largo del desarrollo completo del espectro?

Claramente podría haber muchos ejemplos. Nuestra experiencia muestra que un proceso de evaluación está diseñado con tales preguntas en mente, de manera de producir muchos más puntos de vista interesantes que simplemente preguntando cuestiones obvias como: ¿El directorio tiene un rol importante en la organización? o ¿Qué impacto estamos teniendo?


1.12 Metodología. “Metodología” es diferente a “Métodos”, tiene más relación con el enfoque que usa en el proceso de evaluación. Ud. Puede – por ejemplo – encargar o llevar adelante un proceso de evaluación que se encuentra en gran parte en fuentes escritas, primarias o secundarias: informes, fichas, etc. Por otra parte, Ud. puede solicitar un proceso de evaluación que involucre la obtención de insumos a través de actores clave. La mayoría de los términos de referencia solicitarán una combinación de ambos; pero también se deben especificar cómo se desea que el equipo de evaluación obtenga los insumos de los grupos de actores, por ejemplo:

• A través de encuestas. • A través de informantes clave. • A través de grupos focales.

La información también servirá para elaborar los estudios de línea de base, tomando en cuenta que se debe prever el control de daños. Por control de daños, nos referimos a lo que se necesita hacer si Ud. falla al obtener la información de línea de base al inicio. En esta parte, también uno esperaría encontrar algunos indicios de los formatos de reporte: ¿Todos los informes serán escritos?; ¿El equipo reportará al gerente, a todo el personal, al personal, al Directorio y a los beneficiarios?; ¿Habrán reportes intermedios o sólo un informe final?; ¿Qué tipo de evidencias requiere la organización o el proyecto para sostener las opiniones vertidas por los evaluadores?; ¿Quiénes estarán involucrados en el análisis? La sección “Metodología” en los Términos de Referencia deben proveer un marco general de cómo se espera que el trabajo de evaluación sea realizado para el proyecto u organización. Cabe aclarar que existe muchas veces una confusión generalizada sobre los términos “metodología”, “métodos”, “técnicas”, “instrumentos de investigación”, entre otros; sin embargo a objeto del presente Manual, lo que se denomina “metodología” en los programas y proyectos son en realidad métodos, técnicas y/o instrumentos de medición o de investigación.


1.13 Diferentes enfoques para la Evaluación. Un resumen de los diferentes enfoques usados para la evaluación, se puede observar en el siguiente cuadro:

Enfoques Objetivos

principales

Preguntas tipo

principales

Metodología afín

Basada en objetivos

Valoración de logro de metas y objetivos.

¿Fueron alcanzados los objetivos?; ¿De manera eficiente?; ¿Eran los objetivos correctos?

Comparación de línea de base (ver glosario de términos) y progreso de los datos para encontrar las formas de medir indicadores.

Toma de decisiones Provisión de información.

¿Es efectivo el proyecto?; ¿Debería continuar?; ¿Cómo debería ser modificado?

Valoración del rango de opciones relacionadas con contexto del proyecto, insumos, procesos y productos. Establecimiento de cierto tipo de consenso en la toma de decisiones.

Libre de objetivos Valoración amplia de los efectos del proyecto, tanto de los esperados como de los no esperados.

¿Cuáles son los resultados?; ¿Qué valor tienen los resultados?

Determinación independiente de las necesidades y estándares para juzgar la valía del proyecto. Uso de técnicas cualitativas y cuantitativas para descubrir cualquier resultado posible.

Juicio de expertos Uso de expertise ¿Cómo valora un profesional externo este proyecto?

Revisión crítica basada en la experiencia, encuesta informal y percepciones subjetivas.

Fuente: (PACT’s Evaluation Sourcebook, 1984.)

Nuestra percepción es que los mejores evaluadores usan una combinación de estos enfoques.


1.14 Ventajas y desventajas de la evaluación interna y externa de un proyecto. Las evaluaciones de un proyecto o programa pueden ser internas y/externas. Cada una de ellas conlleva una serie de ventajas y desventajas. El cuadro que se muestra a continuación denota estas características.

Tipo de

evaluación

Ventajas Desventajas

Evaluación interna Los evaluadores están muy familiarizados con el trabajo, la cultura organizacional, las intenciones y los objetivos. Algunas veces las personas están más dispuestas a hablar con los de adentro que con los externos. Una evaluación interna es una herramienta de gestión, una forma de auto – corrección y mucho menos amenazante que una evaluación externa. Esto puede hacer más fácil para los involucrados el aceptar los hallazgos y críticas. Una evaluación interna cuesta menos que una externa.

El equipo de evaluación puede tener intereses vertidos en alcanzar conclusiones positivas acerca del trabajo u organización. Por esta razón, otros actores, tales como los donantes pueden preferir una evaluación externa. El equipo puede no tener las destrezas o entrenamiento en evaluación. La evaluación tomará una cantidad considerable de tiempo de la organización – mientras que tendría un costo menor que la evaluación externa - los costos de oportunidad pueden ser altos.

Evaluación externa (realizada por un equipo o persona que no tenga intereses vertidos en el proyecto)

La evaluación es más objetiva, puesto que los evaluadores tendrán cierta distancia del trabajo. Los evaluadores deben tener destrezas y experiencias de evaluación. Algunas personas están más predispuestas a hablar con extraños que con los del interior de la organización. Utilizar un evaluador externo da mayor credibilidad a los hallazgos, especialmente a los hallazgos positivos.

Alguien extraño a la organización o proyecto puede no entender la cultura o incluso el trabajo que se está tratando de lograr. Aquéllos directamente involucrados pueden sentirse amenazados por extraños y ser menos abiertos a hablar abiertamente y a cooperar en el proceso. La evaluación externa puede ser altamente costosa. Un evaluador externo puede malinterpretar lo que usted espera de la evaluación y no darle lo que precisaba.

Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003.

Es recomendable tener ambos tipos de evaluación.

1.15 Pasos para elaborar un plan de monitoreo y evaluación. Previamente a establecer un plan de M&E, es importante que se revise y perfeccione la matriz de planificación del proyecto, ya que de la calidad de la planificación, también


depende la calidad del plan de M&E. En ese sentido, recomendamos revisar los pasos mencionados en el “M&E Guide for Energy Projects” del Grupo Internacional de trabajo de M&E en Energía para el Desarrollo (M&EED).

a) Identifique los actores involucrados en las necesidades de M&E. b) Elabore un diagrama de su proyecto. c) Asigne resultados del proyecto a los vínculos con su cadena de efectos. d) Elija los indicadores y métodos de recolección de información. e) Trate los temas transversales. f) Elabore un borrador del esquema de M&E. g) Valide su esquema con los actores del M&E. h) Integre los aportes de los actores en el diseño del M&E: i) Ejecute el M&E como parte del proyecto. j) Elabore conclusiones, presente los resultados del M&E, los acuerdos para el

seguimiento de las recomendaciones. El proceso planteado para el diseño del plan de Monitoreo y Evaluación, prevé cinco pasos que son los siguientes: Construcción de la matriz; Agregación de fuentes; Mapa de fuentes; Investigación, negociación y acuerdos; así como el Diseño de herramientas.

1.15.1 Construcción de la matriz: determinación de datos y variables. El proceso se inicia con la determinación de los datos y variables que posibilitan la construcción de cada uno de los indicadores. Esta operación se efectúa para cada uno de los resultados de la matriz. Establecidas las variables se complementa la matriz con: La identificación de la fuente u origen de cada una de ellas; para lo cual conviene precisar la entidad o instancia en la que se genera el dato y, de ser posible, la persona responsable de

Diseño de herramientas

Mapa de fuentes

Construcción de la matriz

Investigación, negociación y acuerdos

Agregación de fuentes


hacerlo, la frecuencia o periodicidad con la que debe generarse el dato, y la herramienta para su recuperación. A continuación se presenta un modelo de matriz:

Resultado

Indicador Variables / datos

Fuente: Frecuencia Herramienta

Entidad Responsable

1.15.2 Agregación de fuentes. Una vez establecida la información consignada en la matriz, es posible agregar las variables por fuente, de manera de visualizar toda la información que debe ser recuperada de cada una de las fuentes.

1.15.3 Mapa de fuentes. Con base en la identificación de las diversas fuentes existentes, para generar la información necesaria para el Monitoreo y Evaluación, es posible elaborar un mapa institucional de fuentes. Simplemente consiste en construir un diagrama de los diversos actores que intervienen en la producción de información.

FUENTE VARIABLES

A Variable X Variable y Variable z

B Variable x C Variable y

SISTEMA DE INFORMACION

B A

D

A1

A2

B1

C1

B2

A3

C


1.15.4 Investigación, negociación y acuerdos. Establecido el conjunto de actores que pueden intervenir en la generación de información, es posible iniciar un proceso de investigación, negociación y acuerdos, orientados a asegurar la provisión periódica y oportuna de información necesaria para el sistema. Condición indispensable para poder establecer esta red articulada de transmisión de datos, es que la información a ser recabada por cada uno de los actores o agentes, le sea útil, es decir necesaria a cada uno de ellos. Muchas veces será preciso recurrir a una inducción con miras a sensibilizar a los agentes acerca de la conveniencia y utilidad de la extracción y empleo de la información.

1.15.5 Diseño y acuerdo de herramientas. Establecida esta red articulada de actores del sistema de información, será necesario diseñar, conjuntamente con cada uno de ellos, las herramientas o mecanismos para la generación y transmisión de la información. En el cuadro siguiente se muestran algunos formatos que podrían dar una idea para elaborar, diseñar y manejar un Banco de Indicadores. Es importante mencionar que estos formatos no son los únicos y que el responsable de M&E podría adoptar cualquier otro formato o crear uno nuevo, siempre que mantenga la coherencia lógica.

Formato A: Indicador

Formato B: Indicador

Formato C: Indicador

Justificación. Valor inicial. Requerimiento de datos. Momento del levantamiento de datos. Responsabilidad. Requerimiento de recursos. Calidad de los datos. Flujo de datos. Competencias de evaluación / decisión. Logros efectivos. Valoración. Medidas de corrección.

Valor inicial. Explicación racional. Explicaciones para la formulación. Dimensiones cualitativas. Metas cuantitativas. Validez. Costo de verificación. Instrucciones para la recolección de datos: Datos requeridos. Fuente de datos. Recolección de datos (fecha, y procedimiento). Control de calidad de los datos. Procesamiento de los datos.

Justificación.

Medición / levantamiento de datos.

Observaciones.


Teniendo construida la matriz de M&E, ésta servirá para ejecutar las actividades necesarias para la recolección y procesamiento de la información (preparación, análisis y documentación), así como también para el análisis y valoración de la información, con miras a tener la decisión y reacción correctas en el gerenciamiento del proyecto.


1.15.6 Procedimiento para la construcción de indicadores. Describir el concepto y llegar a un acuerdo por consenso. Por ejemplo: En consecuencia con los objetivos y resultados del proyecto, ¿Qué significa capacidad de gestión? Por ejemplo: para capacidad de gestión se podrían haber identificado las siguientes dimensiones, entre otras: apalancamiento de recursos, manejo administrativo-contable y formulación de proyectos. Revisar si las dimensiones e indicadores corresponden al nivel de resultado que se quiere evaluar (Impactos, efectos, proceso, etc.). La siguiente pregunta puede guiar esta reflexión: ¿Tiene cada indicador de la lista elaborada en relación con el nivel de objetivos que el proyecto debe verificar o medir? Para cada dimensión, formular indicadores medibles, objetivamente verificables y con enfoque de género. Recordar que un paso clave será la determinación de la unidad de análisis: ¿Quiénes serán objeto de la medición o verificación? (personas, instituciones, organizaciones o grupos). Identificar la unidad de medida o verificación: número o porcentaje para información cuantitativa: tipo y nivel o grado para información cualitativa. Una vez obtenida la lista de indicadores, preguntarse si efectivamente los indicadores son medibles, objetivamente verificables. La siguiente pregunta puede guiar esta reflexión: ¿Hasta qué punto indican lo que quiero observar y medir?

• Depurar la lista seleccionando los indicadores más relevantes y viables. • Preguntarse quiénes y a través de qué técnicas recogerán la información para cada

indicador o para un grupo de ellos. • Estimar la periodicidad del recojo de información y el costo que esto implicará.

Algunas recomendaciones que se deben tener en cuenta al formular indicadores:

• Un solo indicador no puede captar la compleja totalidad de un hecho ni sus múltiples dimensiones. Por ello, se requiere seleccionar cuidadosamente un conjunto de indicadores que expliquen mejor el hecho o fenómeno que se quieren evaluar y comunicar.

• Los indicadores no son rígidos ni invariables, sino más bien referenciales. Estos se podrán ir ajustando o corroborando a la luz de la experiencia práctica. Los indicadores requieren ser puestos a prueba permanentemente.

• Es recomendable e importante contar con el número necesario de indicadores, con el fin de asegurar su utilización y de justificar la inversión para el levantamiento de información.

• Los indicadores deben corresponder a las necesidades de información de los actores. Una vez identificadas las demandas, será importante acordar qué actores participarán en procesos de:

• Recolección de información. • Análisis.


• Comunicación de la información. • Toma de decisiones (uso de la información).

1.16 Pasos para elaborar un plan de Monitoreo y Evaluación (GRUPO M&EED).

El enfoque del M&E que se presenta a continuación fue preparado por el Grupo de M&EED9 con algunas modificaciones. Se debe resaltar que el M&E es una herramienta de apoyo para el proyecto y el involucramiento de especialistas del área que pueden apoyar para mejores resultados.

1.16.1 Acciones necesarias para las mediciones de M&E.

Información requerida Responsabilidad

Valoración/ Revisión. Análisis de actores.

Especialistas sociales/ Jefes de proyecto. Los expertos de M&E.

Dibuje el diagrama del proyecto de energía.

Líderes del proyecto / Especialistas sociales para obtención de información.

Desarrolle indicadores / Plan de M&E y recolección de información.

Expertos de M&E / Especialistas sociales con insumos de los actores.

Mejora de estructura del informe. Expertos de M&E / Especialistas sociales. Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001.

1.16.2 Valoración/revisión; Análisis de actores.10 Elabore una lista de los actores más importantes y su interés en el proyecto. Se debe incluir a las autoridades gubernamentales, donantes, implementadores, gestores del proyecto, consultores, usuarios y otros que sean relevantes. ¿Están los actores interesados en el M&E de los proyectos? Si es así, cuáles son sus planes? Si no, entonces pase al próximo paso. ¿Qué información puede ser obtenida de los diversos actores? Haga una lista o tabla de la información requerida.

1.16.3 Dibuje el diagrama del proyecto de energía. El diagrama del proyecto puede ser graficado usando el enfoque de DAC-OECD explicado en el inciso 2.2.5.

9 El M&E para el Grupo de Trabajo de Energía y Desarrollo (M&EED) está representado por varias organizaciones e individuos que trabajan en temas energéticos y de desarrollo. Ver: www.gvep.org para mayores detalles y documentos de trabajo en M&E. 10 El primer informe para el D25 del proyecto “Crecer con Energía” detalla los actores y su involucramiento tanto en Bolivia como Paraguay.


1.16.4 Desarrolle indicadores / Plan de M&E y recolección de información. Como se mencionó en el marco de M&E DAC, los indicadores específicos necesitan ser desarrollados para cada paso (insumos, resultados, objetivos e impacto). Los indicadores deben ser medibles para obtener resultados concretos. Sin embargo, los indicadores cualitativos, tales como cambios de comportamiento también pueden ser definidos. Es importante imaginar los métodos de recolección de información que serán usados para medición de indicadores.

Cuadro para el Plan de M&E Elementos

en el diagrama de la cadena causal

Indicadores Métodos de recolección de datos

Calendario ¿Quién llevará a cabo la recolección de los datos & su procesamiento?

Costo estimadoLínea

de base

Frecuencia

Insu

mos

Act

ivid

ades

Res

ulta

dos

Impa

ctos

Síntesis e informes

Fuente: M&EED. A guide to monitoring and evaluation for energy projects. M&EED. 2006.


1.16.5 Plan borrador de M&E. La tabla anterior es un ejemplo breve de cómo escribir el borrador del plan de M&E. Es importante definir, antes del inicio del proyecto de M&E, quién llevará a cabo la tarea de recolectar la información y el conocimiento que sea necesario. La frecuencia de la información es también importante. La duración y costo de cada tarea también necesita ser completada.

1.16.6 Validar el esquema de M&E con los actores e integrar sus aportes. Presente el borrador del esquema de M&E a los actores identificados en el paso 1, para ver si satisface sus necesidades. Con los aportes, finalice el esquema de M&E con un plan de acción para la recolección de información, acciones posteriores al monitoreo en cada paso y un marco de tiempo para todo el proceso. Idealmente, el M&E necesitaría ser ejecutado como parte de todo del proyecto. En este proyecto, un plan detallado de M&E utilizando el esquema anterior será puesto en marcha si la implementación actual del proyecto se demora.

1.16.7 Escribir informes. El proceso y resultados del M&E deben ser documentados, revisados y las lecciones aprendidas deben alimentar a nuevos proyectos. Estudios de caso pueden prepararse y difundirse.

1.17 Pautas para la toma de decisiones en el monitoreo y evaluación. Con el fin de visualizar el estado del proyecto a través del M&E, conviene establecer características que alerten a tiempo al equipo involucrado en el proyecto del estado en el que se encuentra la gestión del proyecto, para la consecuente toma de decisiones. La toma de decisiones en todo el ciclo del proyecto puede ser realizada utilizando como base las pautas descritas en el siguiente cuadro.

Semáforo para indicar la necesidad de tomar decisiones.

Semáforo Planificación Monitoreo Evaluación Toma de decisiones Rojo

Prioridad en el análisis. Prioridad en la toma de decisiones.

Alerta para analizar. Actividad detenida (stand-by)

Alerta para corregir. Actividad que debe “curar” su enfermedad, con propuestas.

Definiciones.

Amarillo

Segunda prioridad para análisis. Continuar actividad automáticamente.

Proceso. Avance normal.

En proceso. Avance normal. A definir si se precisa evaluar la actividad.

Apoyando el proceso normal.

Verde

Sin prioridad. No se considera la misma actividad para planificar nuevamente.

Concluido / terminado Finalización “normal”

Evaluación de eficacia. A definir si se requiere evaluar la actividad.

Posible toma de decisiones para la retroalimentación de acciones futuras.

Azul

No se analiza. No se considera actividad para planificar.

Muerte repentina. Conclusión forzosa. (Se realiza el análisis previamente).

No se considera su evaluación después de haber definido su muerte.

No se emplea normalmente.


1.18 Equipo de personas para monitoreo y evaluación. Cada proyecto debe elegir a un(a) integrante(a) del proyecto como responsable de la configuración del proceso de Monitoreo y Evaluación. Esta persona debe estar en condiciones de conducir los pasos ya descritos así como moderar el proceso. En proyectos o programas complejos, se recomienda formar un equipo de M&E, a fin de que este proceso pueda estructurarse de manera eficiente y proporcione resultados razonables al logro de los objetivos. El personal que tenga las tareas de Monitoreo & Evaluación deberá estar en condiciones de efectuarlas, tanto a nivel del monitoreo específico en relación al proceso de ejecución de encuestas, evaluaciones cuantitativas y cualitativas, como también a nivel del monitoreo general de la Matriz de Planificación del Proyecto e indicadores de desempeño, ya que será el receptor de toda la información que genere el proyecto, a través de reportes de los ejecutores del proyecto, fuentes externas públicas y privadas como de consultorías que se desarrollen en el marco del proyecto. Estas competencias no son fáciles de encontrar en personas que no hayan tenido experiencias previas en M&E; sin embargo con un proceso de capacitación y asistencia técnica es posible contribuir al logro de estas capacidades. Los miembros del equipo de M&E deberían tener las siguientes destrezas.

• Conocimiento profundo sobre programas de energía o implementación de políticas. • Experiencia en análisis de información de M&E. • Experiencia en trabajo multi o interdisciplinario. • Destrezas de escritura. • Disponibilidad para supervisar actividades en campo o en recolección de información. • Capacidad de escucha especialmente para cambios a realizar. • Familiaridad con culturas e idiomas locales.

1.19 Selección de un evaluador externo o de un equipo de evaluación. Entre las cualidades para buscar un evaluador exterior o un equipo de evaluación están las siguientes:

• Comprensión de los temas a desarrollar. • Comprensión de aspectos organizacionales. • Experiencia en evaluaciones de proyectos de desarrollo, programas u organizaciones. • Un buen historial con anteriores clientes. • Destrezas de investigación. • Compromiso de excelencia. • Compromiso con fechas tope. • Objetividad, honestidad y equidad • Lógica y capacidad de trabajar sistemáticamente. • Capacidad de comunicación verbal y escrita. • Un estilo y acercamiento que calza con su organización. • Valores compatibles con las de la organización. • Tasas (tarifas) razonables, medidas contra honorarios actuales.


Cuando se decida a utilizar un evaluador externo: • Verifique sus referencias. • Reúnase con los evaluadores antes de tomar una decisión final. • Comunique lo que quiere claramente – buenos Términos de Referencia (ver Glosario

de Términos) son la base de una buena relación contractual. • Negocie un contrato que tenga previsiones para escenarios posibles en caso de que

el objeto y expectativas no fuesen satisfechas. • Solicite un plan de trabajo con resultados e hitos. • Mantenga el contacto – solicite informes intermedios como parte de su contrato, ya

sean verbales o escritos. • Establezca tiempos de retroalimentación. • No espere que cualquier evaluador sea completamente objetivo. Tendrá sus

opiniones e ideas – Ud. no está esperando a alguien que sea una página en blanco! Sin embargo, su opinión debe ser claramente establecida como tal, y no debe ser disfrazada como “hechos”. Es también útil tener alguna idea de su enfoque de evaluación.


1.20 Puntos de discusión

Ejercicio a realizar PLANIFICACIÓN DEL MONITOREO & EVALUACIÓN Objetivo de la Tarea:

Aplicar los conceptos y los mecanismos propuestos para la planificación de un sistema de monitoreo y evaluación.

Actividades a realizar: 1. Con base en los indicadores de los resultados asignados en la MPP proporcionada

en la plenaria, establecer la información necesaria (datos o variables) para la estructuración del indicador.

2. Para cada uno de los datos o variables empleadas, establecer: Fuente concreta y específica de obtención del dato. Frecuencia o periodicidad de recuperación de las variables.

Ejercicio: Preparación del M&E: Solicite a los participantes realizar una lluvia de ideas e identificar todas las tareas que están involucradas en la preparación para conducir las actividades de M&E. Deje unos 15 minutos para esta actividad y luego permita que los participantes compartan sus respuestas en plenaria y escríbalas en un rotafolio. Respuestas de ejemplo requeridas del ejercicio: El monitoreo debe cubrir la planificación logística y financiera, marcos temporales, movilización de Recursos Humanos, equipamiento requerido, número de visitas de campo, sistemas de información y otros. De manera similar, los puntos de evaluación deben cubrir la formulación del equipo, los términos de referencia, la presentación del equipo de evaluación a los actores apropiados, incluyendo a comunidades, etc. Desarrollo de un Plan y Presupuesto: Desarrollo de un cronograma, cartilla o gráfico que sintetice los sistemas de M&E y cuánto tiempo se utilizará para cada tarea. Presupueste cada tarea. Tiempo recomendado para la tarea: 45 minutos. Respuestas de ejemplo requeridas del ejercicio: Incluir preparación, capacitación, ejecución, análisis de datos, informes y difusión de resultados. Realice una lluvia de ideas sobre ítems a presupuestar y costos.


RESULTADO INDICADORES DATO/VARIABLE FUENTE FRECUENCIA

RESULTADO 1

Indicador 1

Variable 1 A Mensual

Variable 2 B Trimestral

Variable 3 C Anual

Indicador 2

Variable 4 A Mensual

Variable 1 C Mensual

Variable 1 A Anual

Indicador 3 Variable 1 A Mensual

RESULTADO 2

3. Agregación y clasificación por fuentes y periodicidad. 4. Construcción del “Mapa de relaciones”. 5. Propuesta de mecanismos o medios de recuperación de la información (Listados). 6. Propuesta de uso (análisis y decisiones) según agregados por período. 7. Diseño de dos formularios (uno para recuperación de la información con un agente y

otro para uso de la información).

Instrucciones: Luego de los dos primeros bloques de actividades, se tendrá 15 minutos para una feria de resultados, en la que los participantes e instructores, visitarán y observarán los resultados alcanzados por los grupos.

Se requerirá que utilice los conceptos y herramientas de todos los módulos de este manual.

Forma de presentación: mediante visualización


ANEXO 1 Ejemplo de lógica de planificación, de un caso con uso productivo, energía, género y metas de Desarrollo del Milenio11. REDUCCIÓN DE HAMBRUNA EN ÁREAS RURALES A TRAVÉS DE MEJORA DE LA PRODUCTIVIDAD EN LA AGRICULTURA. (Apoyo a la MDM) Cerca del 70% de la gente pobre en países en vías en desarrollo viven en áreas rurales y dependen directa o indirectamente de la agricultura para sobrevivir. La extrema pobreza y el hambre empujan a las personas a terrenos marginales y ecosistemas frágiles con alta sequía y baja fertilidad del suelo. El incremento de la productividad en la agricultura puede traer rápida disminución del hambre y la pobreza. Perspectiva de género: En los lugares en los que las mujeres son las primeras responsables para el crecimiento agrícola en países en desarrollo, la promoción de la equidad de género y el empoderamiento a la mujer es importante para alcanzar el desarrollo sostenible del agro. Objetivo inmediato: Incremento de la producción de alimentos en áreas que sufren de sequía y erosión. Perspectiva de género: Cerca del 70 % de las personas que viven en pobreza en el mundo son mujeres. Las preguntas fundamentales del diseño del proyecto son: Tanto hombres como mujeres se benefician del incremento de la producción de alimentos?; ¿Qué actividades adicionales pueden añadirse que beneficien a las mujeres?; ¿Algunas actividades incrementarán la penuria experimentada por las mujeres? Objetivos: Más alimentos producidos en terrenos donde los sistemas de riego han sido añadidos o mejorados. Más alimentos producidos en terrenos donde los residuos de cosecha son usados para nutrición del suelo. Perspectiva de género: ¿Las mujeres obtienen igual cantidad de alimentos adicionales producidos?; ¿Existen algunas cargas y tiempos requeridos que compensan el valor de las cantidades incrementadas de alimentos disponibles? El incremento en la producción de la cosecha para venta en efectivo (dominio del varón) o es para auto subsistencia (dominio de la mujer) o ¿ambos? Resultados: Mejorar los sistemas de micro riego y distribuir agua de manera más eficiente, incrementar la producción de la cosecha y diversificar las opciones. Enriquecer el terreno, resultante de aumentar los campos de cosecha y el abastecimiento de alimentos. Incremento de la productividad por las actividades de valor añadido, basado en productos agrícolas.

11 Extractado de: “Gender and Energy for Sustainable Development: A Toolkit and Resource Guide”


Perspectiva de género: Los beneficios son compartidos por hombres y mujeres en la comunidad, o existen barreras culturales o socio-económicas que evitan que las mujeres participen en las actividades. Actividades:

Mejorar la disponibilidad y eficiencia de los sistemas de distribución de riego. Incremento en la producción de alimentos vendrá principalmente del uso eficiente e intensivo de recursos limitados, especialmente del agua. La productividad de terrenos no irrigados es generalmente muy baja.

Mejorar los servicios de riego, tales como suministro adecuado y oportuno de agua beneficiará especialmente a los pobres. Perspectiva de género: Los sistemas de riego se usarán sólo para terrenos donde crecen plantaciones y por lo tanto, ¿Existen ingresos generados para pagar por los sistemas o también estará disponible para la producción de alimentos en el terreno de la vivienda? Si la gente tiene para prestarse dinero para los sistemas de riego, las mujeres tienen el mismo acceso a facilidades de crédito como los hombres? ¿Habrán bombas de agua para los sistemas de riego?; ¿Podrán también usar las bombas de agua para usos domiciliarios, aliviando potencialmente la carga de transporte a las mujeres?; ¿Qué tipo de sistema de energía se usará para bombear?; ¿Podrá el equipo también ser usado para proveer otros tipos de servicios energéticos?

Incrementar el nivel de nutrientes del suelo, dejando residuos de la cosecha en los campos. La mejora en la nutrición de terrenos puede lograrse almacenando materia orgánica en terrenos con baja fertilidad.

Perspectiva de género: ¿Los residuos de la cosecha constituyen una importante fuente de biomasa para usar como combustible?; ¿Existen fuentes sustitutas de combustibles disponibles? Si las mujeres son las responsables de proveer el combustible para usos domésticos, ¿disminuirá la disponibilidad de residuo de cosecha por causa de que la mujer debe buscar leña u otros combustibles alternativos?; ¿Las actividades del proyecto que ampliarán el acceso a combustibles alternativos serán las adecuadas? Insumos:

Inversión de capital y mano de obra en mejora de sistemas de riego y planes de gestión del agua.

Perspectiva de género: ¿Tanto hombres como mujeres estarán en la capacidad de proveer la mano de obra y el capital necesario para alcanzar los servicios de riego?; ¿Existen tiempos, ingresos, activos, y restricciones que afecten a las mujeres más que a los hombres? (2) Identificación de áreas apropiadas para fertilización, utilizando residuos de la cosecha, programas de educación y entrenamiento, así como servicios de extensión, además de la implementación de prácticas de enriquecimiento de nutrientes. Perspectiva de género: ¿Mujeres y varones tienen el mismo acceso a información, programas de capacitación y servicios de extensión?


Modulo 2: Estructura del monitoreo y Evaluación


2.1 LA IMPORTANCIA DE LA ESTRUCTURA DEL M&E. ............................................................................ 55 2.2 TIPOS DE MÉTODOS DE M&E. ........................................................................................................ 55

2.2.1 Planificación orientada a objetivos (ZOPP) – Cooperación técnica Alemana. . 55

2.2.2 Marco Lógico de USAID. ......................................................................................... 56

2.2.3 Enfoque en la demanda – ESMAP ......................................................................... 58

2.2.4 El enfoque basado en Resultados – Banco Mundial. .......................................... 59

2.2.5 El enfoque de sistema de gestión basado en resultados de OECD - DAC. ....... 62 2.3 PUNTOS DE DISCUSIÓN .................................................................................................................. 64



Objetivo del Módulo Entender los conceptos básicos y estructura del Monitoreo & Evaluación.

Objetivos de aprendizaje Explicar en detalle los marcos principales de M&E utilizados por diferentes organizaciones. Explicar los indicadores a detalle.


Comprender la diferencia entre marcos de M&E y cómo es que cada uno de ellos conlleva a diferentes resultados. Lograr identificar cuál de los marcos de M&E se ajusta mejor a los diferentes tipos de proyectos.


75 minutos

Forma de trabajo Exposición dialogada del facilitador y trabajos grupales (enseñanza entre iguales)

ACRÓNIMOS

DAC-OECD (Development Aid Committee - Organization for Economic Cooperation and Development) Comité de Ayuda al Desarrollo – Organización para la Cooperación y el Desarrollo Económicos.

ER Electrificación Rural.

ESMAP Energy Sector Management Assistance Program. (Programa de Asistencia y Manejo del Sector Energía).


IVO’s Indicadores Verificables Objetivamente.


MPP Matriz de planificación de proyectos.

SIG Sistema de Información Geográfico

USAID Agency for International Development. Agencia para el desarrollo internacional de los Estados Unidos de Norteamérica.

ZOPP Ziel Orientierte Projekt Planung. (Sistema de Planificación de Proyectos Orientada a Objetivos)


GLOSARIO

Planificación orientada a objetivos ZOPP

Desarrollada por la GTZ, se basa en un análisis de situación (o de problemas) para plantear las soluciones a través de objetivos a alcanzar, utilizando la lógica de causa – efecto y resultados – objetivos, a través de una matriz de planificación del proyecto. Provee la base para los planes de acción y el desarrollo del sistema de monitoreo y evaluación.

Marco Lógico Desarrollado por USAID, en una herramienta que se utiliza para mejorar el diseño de las intervenciones, más frecuentemente a nivel del proyecto. Comprende la identificación de elementos estratégicos (insumos, productos, efectos, impacto) y sus relaciones causales, indicadores y los supuestos o riesgos que pueden influir en el éxito o el fracaso. De esa manera facilita la planeación, la ejecución y la evaluación de una intervención para el desarrollo.

Enfoque en la Demanda

El enfoque desarrollado por el ESMAP, concentra la atención en la incorporación de impactos de desarrollo socio – económico visualizados desde la demanda. El enfoque trata de comprender las necesidades de los usuarios finales y los posibles impactos que un proyecto o programa, de manera previa al proceso de ejecución.

Enfoque basado en resultados.

El enfoque basado en Resultados del Banco Mundial no es específicamente un enfoque de M&E; pero sí incluye un fuerte elemento de M&E respecto de cómo los proyectos deben tomar en cuenta el logro de resultados a partir de cualquiera de los insumos. Es un enfoque designado a centrarse en instituciones públicas que son responsables y producen resultados a través de ayuda o fondos públicos.

Enfoque de evaluación y gestión basada en resultados.

Enfoque desarrollado por OECD – DAC que se centra en la estrategiade gestión en base al desempeño y el logro de productos, efectos e impacto. La estructura basada en resultados se enfoca en los objetivos e impactos logrados por cualquier intervención: política, institucional o específica del proyecto.



Brook J Penelope and Suzanne M. Smith (Eds). Contracting for public services: Output-based aid and its applications. World Bank. 2001.

Earl Sarah, Fred Carden, and Terry Smutylo. Outcome Mapping: Building Learning and Reflection into Development Programs. International Development Research Centre. Canadá. 2001.

ESMAP. Monitoring and Evaluation in Rural Electrification Projects: A Demand- Oriented Approach. UNDP/ The World Bank. 2003.

GTZ. Results based Monitoring Guidelines for Technical Co-operation Projects and Programmes. Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH. 2004.

GTZ. ZOPP flipcharts, Cuadros de presentación. GTZ. 1987.

M&EED. Monitoring and Evaluation for Energy and Development. Technology Specific Module for Institutional Support Projects. 2006.

Rai Kavita. Monitoring and Evaluation of the Impact of Renewable Energy Programmes: A Toolkit for Applying Participatory Approaches. IT Power and REEEP. 2005.

Kavita Rai/ Alba Gamarra/ Victorio Oxilla/ María Emilia de Castel/Elvio Enciso. Monitoring and evaluationframeworks and indicators: A review of energy stakeholders in Bolivia & Paraguay. European Commision. IT Power. 2007.

Planificación del proceso enseñanza - aprendizaje


30 minutos Secciones: 2.1 a 2.2 Presentación dialogada. Data display.

45 minutos Sección 2.3 Trabajo grupal y casos de estudio.

Papelógrafos y marcadores.


2.1 La importancia de la estructura del M&E. Es de gran importancia comprender que hay diversos marcos de trabajo que pueden proporcionar diferentes resultados. Los marcos de trabajo apoyan en la comprensión de formas heterogéneas de conceptos y a su vez de resultados que traerá el proceso de M&E. En el contexto internacional, es usual hallar que la mayoría de los enfoques comunes del M&E son desarrollados por las “organizaciones de cooperación internacional”. Los gobiernos nacionales generalmente no tienen marcos de trabajo de M&E rígidos para revisar la efectividad de sus políticas o programas y la presencia de uno es generalmente “por un compromiso con la fuente financiera del exterior”. Subyacente a cualquier marco de trabajo de M&E, está la noción de que los insumos que proveen a cualquier desarrollo de política o programa necesita una afirmación de resultados. La interpretación de resultados puede ser diferente según los diversos enfoques de M&E, generalmente en varios grados de avance del trabajo. Los ejecutores del programa recogen datos antes, durante y después de la implementación, de esa manera tenemos un sistema de M&E que ayuda a verificar los niveles de eficacia y efectividad de sus insumos. Sin embargo, los detalles de este proceso se tornan complicados en función de una u otra institución. A continuación, se describen en este módulo algunos de los marcos de trabajo utilizados por varias instituciones.

2.2 Tipos de métodos de M&E. Existen unos cuantos marcos de trabajo de M&E desarrollados específicamente para el sector energético y unos cuantos están siendo utilizados por agencias de cooperación tales como la GTZ (Sociedad de Cooperación Técnica Alemana). La indiferencia puede existir a causa de la incomprensión del valor de un adecuado sistema de M&E o que los presupuestos para varias de las actividades no fueron incluidas cuando se implementaban los programas. Sin embargo, muchos actores de sectores no gubernamentales realizan seguimiento a los enfoques, que están listados de una u otra manera a continuación, adaptándolas a sus necesidades locales.

2.2.1 Planificación orientada a objetivos (ZOPP) – Cooperación técnica Alemana. La historia del ZOPP comienza con la fundación de la GTZ como empresa de derecho privado en 1975. La intención general de flexibilizar la cooperación técnica y elevar su eficiencia se reflejan no sólo en la elección del status legal de una empresa privada, sino también en la adopción de instrumentos modernos de gestión. Muy pronto el interés se centró en el “Logical Framework Approach (LFA)”, un instrumento de gestión muy conocido a nivel internacional y de gestión muy adecuado como base para la planificación, la ejecución y la evaluación de proyectos. En los años setenta, la GTZ, por deseo del Ministerio de Cooperación al Desarrollo de Alemania, puso a prueba en algunos proyectos el “Logical Framework Approach”. En 1980-1981, tras realizar las primeras experiencias positivas, la GTZ llevó a cabo una fase piloto y a partir del LFA desarrolló el ZOPP. Éste incluía algunos elementos nuevos, como el análisis de participantes (involucrados), de problemas y de objetivos. El trabajo en equipos interdisciplinarios e interculturales, es decir, en talleres en los que tomaban parte la GTZ, las organizaciones contraparte y los grupos destinatarios pasó paulatinamente a ser la norma. Desde el punto de vista formal, el ZOPP fue introducido primero provisionalmente, en 1983, mediante una instrucción organizativa, y en 1987 como norma obligatoria y parte integral del ciclo del proyecto, conforme a lo establecido en el capítulo 4211 del Manual de Organización de la empresa.


Esta herramienta se basa en un análisis de situación (o de problemas). Provee la base para los planes de acción, el desarrollo del sistema de monitoreo y evaluación. Permite cambios y ajustes durante el ciclo del proyecto. Construye cohesión y consenso en el equipo del proyecto, debido a los procesos participativos de diseño. Establece de manera clara: Objetivo superior: ¿A qué estamos contribuyendo? Objetivo / Propósito: ¿Qué estamos logrando? Resultados: ¿Qué debemos hacer? Actividades: ¿Cómo lo hacemos? ¿Quién debe hacerlo?

ZOPP Hipótesis de desarrollo y factores manejables Objetivo superior: Meta de la política de desarrollo a la cual contribuye esencialmente el proyecto. Impacto de largo plazo. Considerando los objetivos prácticos y estratégicos de Género.

Objetivo de desarrollo: Situación futura que representa el estado de mejoramiento al que aspiran los grupos destinatarios. ´´Cambio de actitudes”. Especificar de forma diferenciada por Género donde corresponda.

Objetivo del proyecto: Modificación (efecto del proyecto) que se aspira a ejercer sobre el comportamiento y actuación de los grupos destinatarios (*) Motivación.

Resultados: Prestaciones del proyecto. (*) Productos.

Actividades: Paquetes de medidas que se deben llevar a cabo para obtener los resultados. Trabajo a ser desarrollado. Refleja la división actual por Género de trabajo/roles, al igual que los cambios planeados. Especificar de forma diferenciada por Género donde corresponda. Se aclaran asimismo, los insumos, el presupuesto para su logro. En riesgos y supuestos se pueden trabajar precondiciones.

2.2.2 Marco Lógico de USAID. Incluimos a continuación el esquema del Marco Lógico utilizado por USAID (Agencia para el Desarrollo Internacional de los Estados Unidos de Norteamérica) para que el lector(a) tenga elementos de comparación, según la escuela recibida en etapas previas de su formación. La Matriz de Marco Lógico es una técnica de análisis y de toma de decisiones, para la formulación, el control y la evaluación de proyectos, cuyos principios obligan al analista a examinar, de forma sistemática, los elementos decisivos de su propuesta. En el enfoque del Marco Lógico se considera que la ejecución de un proyecto es consecuencia de un conjunto de componentes con una relación causal interna: insumos,


actividades, resultados, objetivos específicos y objetivo global, donde hay una dependencia directa entre ellos en forma descendente, partiendo de los insumos, hasta garantizar el cumplimiento del objetivo general. La Matriz de Marco Lógico se utiliza en tres momentos: • Para formular técnicamente el proyecto • Como referencia para orientar la ejecución • Como criterio de monitoreo y evaluación del proyecto. Columnas del Marco Lógico: Jerarquía de los objetivos ⇒ Intervención lógica. Indicadores para mostrar si los objetivos y resultados son logrados ⇒ Indicadores verificables objetivamente (IVO). Fuente de información ⇒ Medios de verificación. Influencia de factores externos para el éxito del proyecto y que añaden incertidumbre acerca del logro en la lógica de intervención ⇒ Riesgos & supuestos.

MARCO LÓGICO USAID

Jerarquía o Sistema de objetivos

Fin: Objetivo de mayor nivel jerárquico. Alude a un objetivo de desarrollo12 o a una apuesta política de largo aliento que justifica la existencia de la organización y que por sus dimensiones complejas no es posible determinar cuándo se alcanzará.

Propósito: Es el objetivo que justifica la intervención de la institución a través de un proyecto específico. Nos señala el cambio más importante que esperamos alcanzar con nuestra intervención. El objetivo a nivel de propósito determina el impacto del proyecto. (Nace como respuesta al problema central identificado).

Resultados: Son los objetivos específicos que se propone alcanzar el proyecto para garantizar el logro del Propósito. Los cambios propuestos a este nivel representan los efectos esperados como producto de nuestra intervención y por los cuales asumimos responsabilidad directa.

Acciones: Actividades principales que ejecutándose colectivamente deben producir resultados. Las acciones nos indican cómo se desarrollará el proyecto y el tipo de recursos humanos y materiales necesarios para su cumplimiento.

12 Nota.- No confundir con el objetivo de desarrollo mencionado en ZOPP.


2.2.3 Enfoque en la demanda – ESMAP En este enfoque elaborado por el Programa de Asistencia para la Gestión del Sector Energético (ESMAP) del Banco Mundial, a través de su documento técnico “Monitoring and Evaluation in Rural Electrification Projects”: A Demand-Oriented Approach’, los autores ven al sector energético desde el paradigma proporcionado desde la demanda versus el paradigma clásico del “lado de la oferta”. El enfoque concentra la atención en la incorporación de impactos de desarrollo socio – económico en los servicios energéticos en el área rural, como un componente importante del proceso de desarrollo del proyecto. En ese documento, los autores hacen hincapié en que el M&E no es sólo un proceso de “recolección de información”. El enfoque trata de comprender las necesidades de los usuarios finales y los posibles impactos que un programa de energía traerá, de manera previa al proceso de ejecución. El enfoque trata de reconocer que los proyectos de energía para el área rural, en particular necesitan estar relacionados con todo el desarrollo económico. El enfoque orientado a la demanda comienza con el supuesto que los temas de género y pobreza son una parte importante del desarrollo y ejecución de proyectos de desarrollo rural. El enfoque también enfatiza en la evaluación del “impacto” de las tecnologías de electricidad y servicios para las personas del área rural. Metodología: El enfoque se centra en dos métodos / técnicas para la recolección de información, por ejemplo la evaluación participativa y las encuestas de impacto socio – económico. Las técnicas participativas permitirán una evaluación social más comprehensiva que vincule las sostenibilidad con la demanda de energía y de género. Los métodos socio económicos de encuestas cuantitativas permitirán cuantificar los beneficios de las intervenciones en electrificación rural. Se asume que utilizando estos dos métodos complementarios, la planificación y la valoración de proyectos eléctricos serán fortalecidas y los jefes de proyectos podrán obtener mejores ideas y tomar decisiones apropiadas. Análisis del enfoque: Este enfoque se concentra las más de las veces en integrar el M&E desde la fase de preparación del proyecto más que en el enfoque convencional del monitoreo durante la ejecución y la realización de evaluaciones de impacto. (Ver Fig. 2.1).

Estadío del Proy.

Preparación Diseño Ejecución Evaluación de Impacto

M&E convencional

Nuevo enfoque de M&E

Fig. 2.1: Enfoque orientado a la demanda

En este enfoque, el insumo de beneficiarios potencial es esperado para apoyar en el diseño del programa o proyecto a través de la identificación de sus necesidades de priorización. Estos insumos son integrados en la ejecución, esperando que los impactos beneficien directamente a los usuarios. El enfoque basado en la demanda supone que el éxito y la sostenibilidad de los proyectos o programas energéticos se basan en la influencia positiva del entorno institucional y político donde los temas de género y pobreza han sido tomados en consideración. Por lo tanto, bajo


el enfoque del M&E, los ejecutores de proyectos deberían medir el grado de apoyo político y de políticas para los temas de género en el proyecto, incluyendo las formas de participación en los servicios energéticos. El enfoque del M&E en la demanda prioriza en el nivel del monitoreo de “proyecto” con comparaciones transversales que permiten examinar los beneficios en el largo plazo de la electrificación rural y el uso a lo largo de periodos de tiempo. De esta manera, el enfoque contribuye al fortalecimiento de políticas, en el señalamiento de los aspectos de pobreza y género que se deben tratar en detalle por las instituciones y políticas para el crecimiento sostenido del sector energético, en relación con el desarrollo social y económico. El enfoque se centra en la participación, necesidades e impactos. No provee especificidades sobre posibles indicadores o la importancia de desarrollar criterios de relevancia. Sin embargo, provee pasos importantes para llevar adelante evaluaciones participativas, así como desarrollar evaluaciones de impacto socio-económico. ¿Cómo puede el enfoque centrado en la demanda ser utilizado por hacedores de política y actores del sector público? Para el uso de este enfoque por “hacedores de política”, debe existir una base de datos con rangos distintos e información de la demanda de servicios energéticos en los niveles nacionales o regionales, así como la vinculación de energía con las necesidades inter-sectoriales de otros sectores como el de agua, medio ambiente, salud y educación. La construcción de información tomará insumos de diferentes ministerios, incluyendo a las instituciones que trabajan en energía y los actores. Las cifras de la demanda pueden ser yuxtapuestas con información física actual o mapeo SIG (Sistema de Información Geográfica) u otras facilidades, incluyendo los mercados para planificar la electrificación rural de todo el país, proveyendo un mejor vínculo en áreas donde hay pobreza.

2.2.4 El enfoque basado en Resultados – Banco Mundial. El enfoque de ayuda basado en Resultados del Banco Mundial no es un enfoque de M&E; pero sí incluye un fuerte elemento de M&E respecto de cómo los proyectos deben tomar en cuenta el logro de resultados a partir de cualquiera de los insumos. El enfoque se centra en el financiamiento y entrega de servicios, así como también ha sido usado en el desarrollo de programas de electrificación rural. Similar al enfoque centrado en la demanda, el de ayuda basada en resultados vino como respuesta a los enfoques tradicionales del gasto público y la ayuda que no benefició con la mejora a largo plazo en los servicios sostenibles, especialmente para los pobres. De esta manera, la distribución y los servicios públicos, así como el apoyo basado en resultados fue formulado para distribuir y designar los servicios públicos - la energía entre uno de éstos - promoviendo su eficacia e incrementando la responsabilidad dentro de los presupuestos limitados. El enfoque basado en resultados es interesante para niveles de M&E en ámbitos de política, puesto que es un enfoque designado a enfocarse en instituciones públicas que son responsables y producen resultados a través de ayuda o fondos públicos. El enfoque busca definir objetivos y especificar el desempeño esperado en términos de resultados (en algunos casos objetivos) más que sólo enfocarse en actividades. El enfoque reta al gobierno y donantes a pensar claramente en los desavíos para mejorar la distribución de servicios y acomodar mejor los recursos. La contratación en el sector público estaría basada simplemente en el desempeño de acuerdos contractuales y un efectivo compromiso del sector privado para la esperada distribución de servicios. Estos “contratos de desempeño” permitirán una clara identificación de los objetivos de política pública y una especificación cuidadosa del rendimiento esperado para la distribución del servicio.


La ayuda basada en resultados extiende el tradicional contrato gubernamental y las reformas de infraestructura a una provisión de servicio a través de la movilización de financiamiento comercial. El enfoque complementa las tarifas de los usuarios con pagos cuidadosamente seleccionados de subsidio y trata de movilizar fondos para asegurar al mismo tiempo un alto nivel de responsabilidad.

Bajo el enfoque de ayuda basada en resultados, el rol de los proveedores de servicio y de las instituciones financieras privadas son cruciales para el proceso de M&E. Es también un enfoque basado en servicios, con claros resultados tales como los receptores, las condiciones de elegibilidad para los beneficiarios y los tipos de servicios con indicadores importantes para medir el avance y resultados. El enfoque es algo atado a los marcos contractuales, y por lo tanto, las necesidades claras de los resultados deben estar establecidas antes de que el financiamiento esté aprobado.

2.2.4.1 Identificación de los indicadores de resultados correctos para este enfoque. Los elaboradores de políticas pueden usar un enfoque basado en resultados de manera efectiva. Sin embargo, una vez que el alcance del trabajo ha sido definido, el monitoreo y verificación de entrega de resultados depende de la gestión del administrador de los fondos. El monitoreo puede ser contratado a través de una firma privada, las Organizaciones no Gubernamentales pueden usar un enfoque basado en resultados efectivamente. Sin embargo, una vez que el alcance del trabajo está definido, el monitoreo y verificación de la conclusión del resultado depende del administrador de los fondos. El monitoreo puede ser contratado a través de firmas privadas, organizaciones no gubernamentales, entidades públicas que proveen la concesión, tales como autoridades locales, agencias de electrificación rural o incluso las distribuidoras. Para hacer esto, las agencias de administración necesitan ser efectivas en el establecimiento de confianza con los proveedores de los servicios y las fuentes de financiamiento; así como desarrollar buenas

Proveedor del servicio

Insumos

Proveedor del servicio

Receptores

Insumos

Receptores

Enfoque tradicional Enfoque basado en resultados

Financiamiento privado

Financiamiento público

Financiamiento privado gestionado por el proveedor del servicio.

Financiamiento público para el servicio

Fig 2.2: Enfoque basado en Resultados


prácticas de control. Si el monitoreo es llevado a cabo por una entidad independiente, puede haber apoyo adicional en temas de implementación financiera, técnica y de gestión. Con este enfoque, los beneficiarios y usuarios puedes ser involucrados en los esquemas de M&E. Ellos pueden aclarar sobre las necesidades de subsidio y tener un rol activo en la especificación de los servicios durante la fase de monitoreo, además de ayudar a evaluar los esquemas durante la evaluación de proyectos piloto. Empresarios y grupos locales comunitarios pueden juagar un rol como proveedores de servicios y los usuarios pueden ayudar en el monitoreo y verificación del resultado, especialmente en el desempeño de los proveedores de servicio. En Chile, las redes aisladas están reguladas por contrato con las comunidades locales. Por su parte, las comunidades sienten un enlace cercano al esquema y avisan al regulador o gobierno si los programas prometidos no son entregados. Bajo un enfoque basado en resultados (Fig. 2.3), se usan los siguientes indicadores: Insumos: son recursos para la realización de los servicios tales como: fondos, mano de obra y tecnología. Los insumos son entregados a través de un proveedor de servicios. Resultados: son aquellos inmediatos ante las actividades de ejecución de los proveedores de servicios, tales como el número y calidad de los servicios provistos. Objetivos: son los últimos efectos de los servicios y pueden estar influenciados por otros factores que están fuera del servicio de los proveedores, distinguiéndolos de los resultados. Por lo tanto, bajo este enfoque, la confianza recae mayormente en los proveedores del servicio que son evaluados basados en los resultados producidos. Este tipo de M&E limita el efecto de la energía a una estrategia de reducción de la pobreza más amplia y que generalmente los hacedores de política pueden elegir, puesto que es cuantificable directamente y no tiene objetivos muy extensos. El énfasis en la medición de los objetivos no es muy fuerte.

Si los fondos públicos o de donación serán usados efectivamente, y las políticas de planificación, así como de ejecución de programas pueden distinguir la pobreza relacionada con indicadores de resultados, tales como el número de sistemas de salud y de educación, o un determinado número de hogares pobres que se conectarán al suministro eléctrico, etc. puede haber un programa de distribución de servicios más equitativo. Estos resultados están visibles en la mayoría de los casos y no serían difíciles de agregar para crear una base común de monitoreo para el resto del país, si se adoptara a un nivel nacional o regional. Los

Resultados

Insumos Proveedor del servicio

Fig. 2.3: M&E para un enfoque basado en resultados

Otras influencias

Objetivos


indicadores de resultados pueden ser fácilmente medidos y los primeros estratos de efectos de cualquier política o ejecución de programa pueden ser fácilmente monitoreados. Es importante establecer una base de datos con los Departamentos de Electrificación Rural o de oficinas de desarrollo regional para relevar una producción coherente de información.

2.2.5 El enfoque de sistema de gestión basado en resultados de OECD - DAC. En esta sección el enfoque del Comité de Ayuda al Desarrollo – Organización para la Cooperación y el Desarrollo Económicos (Development Aid Committee - Organisation for Economic Cooperation and Development (DAC-OECD) es utilizado como uno de los principales marcos de trabajo. La Figura 2.4 muestra un marco general, tanto en términos de gestión así como también del uso de indicadores específicos de M&E para alcanzar los objetivos o impactos del proyecto o programa.

A continuación, se encuentra una descripción sucinta de los indicadores de M&E utilizados en este enfoque. Los Insumos serán los materiales y servicios aportados por los actores. Pueden ser en forma de dinero, destrezas técnicas, socio-económicas, equipos y otros. Los insumos influirán directamente a las actividades e impacto de cualquier programa. Las Actividades detallarán cómo los insumos son puestos en marcha por el implementador del proyecto. Las actividades se encuentran en forma de planes de implementación o construcción de proyectos energéticos, encuentros grupales, reuniones de planificación, talleres y actividades de entrenamiento. Los Resultados son generalmente el primer efecto del proyecto directo y visible. Pueden ser: número de comunidades o viviendas conectadas a la electricidad, número de empresas productivas establecidas, número de empleos generados, x cantidad de leña o kerosene ahorrado, etc.

Impacto

Objetivos

Resultados

Procesos

Insumos

Metas

Propósito

Resultados

Actividades

Insumos

Indicadores de M&E Gestión

Incr

emen

to

en

nive

les

de

riesg

o. D

ism

inuc

ión

en la

G

estió

n

Res

ulta

dos

Pla

nific

ació

n &

Ej

ecuc

ión

Fig. 2.4: Resultados basados en la gestión del M&E


Los Objetivos deberían mostrar un nivel de efectos de proyecto más alto, luego que los servicios energéticos estén en operación. Generalmente, son formas avanzadas de productos tales como ahorro en tiempo usando equipo eléctrico, efectos en educación y salud, integración de comunidades a través de la participación en proyectos de energía, incremento en los ingresos para los pobres a través de la generación de nuevos empleos por parte del proyecto, etc. Los Impactos son los efectos en el largo plazo referidos a una meta superior, tal como la mejora de condiciones de vida, objetivos de ámbito nacional, etc. Es muy común asociar los Objetivos e Impactos. Si en el largo plazo un proyecto necesita ser evaluado, es fundamental producir una gama de información de línea de base y monitorear el progreso de los efectos del proyecto a lo largo de un periodo de tiempo para determinar su impacto.

Figura 2.5: Ejemplo de indicadores para el M&E

Nota: Los indicadores de la izquierda son del nivel macro/político; mientras que el nivel de los indicadores de la derecha están a un nivel micro, a nivel de indicadores de programa o proyectos.


2.3 Puntos de discusión

Ejercicio: Estructura de diferentes enfoques del M&E: Desarrollo de una cartilla o gráfico que sintetice los enfoques de M&E, su aplicación en proyectos concretos que conozcan los participantes y con qué agencia de cooperación han trabajado. Tiempo recomendado: 20 minutos. Respuestas de ejemplo requeridas del ejercicio: 2.1.- Enfoque sistémico orientado en resultados – GTZ. 2.2.- Enfoque en la demanda – ESMAP. 2.3.- El enfoque basado en Resultados – Banco Mundial. 2.4.- El enfoque de OECD DAC. Comparación de enfoques del M&E: Analice con el grupo de participantes una discusión comparativa de los enfoques estudiados en el módulo, apuntando ventajas y desventajas de cada enfoque. Tiempo recomendado: 20 minutos. Adicionalmente los participantes, realizarán una descripción de sus experiencias buenas y malas al haber utilizado anteriormente algún enfoque y apuntar qué recomendaciones darían para estos temas. Comprensión de los diferentes niveles en la cadena de efectos: Solicite a los participantes realizar una lluvia de ideas y mencionar las características de los conceptos de la lógica en la cadena de efectos: Impactos, Objetivos, Resultados, Actividades e Insumos. Deje unos 15 minutos para esta actividad y luego permita que los participantes compartan sus respuestas en plenaria y escríbalas en un rotafolio. Respuestas de ejemplo requeridas del ejercicio: Impacto: efectos de largo plazo. Objetivos: cambio de actitudes en el grupo meta. Resultados: Prestaciones del proyecto. Actividades: Puesta en marcha de acciones (formuladas en infinitivo).


Módulo 3: Análisis de los participantes en el Monitoreo y Evaluación TABLA DE CONTENIDOS MODULO 3

3.1 ¿QUÉ ES EL ANÁLISIS DE LOS PARTICIPANTES? .............................................................................. 68

3.1.1 ¿Quién es el actor? ................................................................................................. 68

3.1.2 Tipos de Actores. ..................................................................................................... 69

3.1.3 Procesos de consulta a los actores. ..................................................................... 69

3.1.4 Aspectos a discutir en un taller de actores. ......................................................... 69 3.2 EL PROPÓSITO DEL ANÁLISIS DE LOS PARTICIPANTES. .................................................................... 70

3.2.1 Objetivo/ Propósito. ................................................................................................. 70

3.2.2 Aplicación. ................................................................................................................ 70

3.2.3 Procedimiento. ......................................................................................................... 71

3.2.4 Síntomas de resistencia. ........................................................................................ 71 3.3 EL ANÁLISIS DE FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS (FODA). ..................... 73

3.3.1 La dimensión del tiempo y la matriz FODA. ......................................................... 74

3.3.2 Identificación de los actores energéticos y sus necesidades de M&E. ............. 74 3.4 PUNTOS DE DISCUSIÓN. ................................................................................................................. 78



Objetivo del Módulo Entender el rol de los diversos actores y tipos de información que puede ser obtenida a través del proceso de M&E.

Objetivos de aprendizaje Explicar el rol y significado de los actores.


Comprender que el concepto de actor se basa en la idea de que la cooperación para el desarrollo acompaña procesos de cambio de la contraparte. Identificar los intereses específicos de los actores en los proyectos. Lograr determinar qué tipo de resistencias se encuentran en las organizaciones o proyectos.


80 minutos

Forma de trabajo Exposición dialogada y trabajo grupal en base al informe D25 y la información proporcionada por los participantes.

ACRÓNIMOS

CINER Centro de Información en Energías Renovables.

FAO Food Agronomic Organization.

FODA Fortalezas, Oportunidades, Debilidades, Amenazas.


kWh Kilovatio-hora


ONG Organización No Gubernamental.

PIB Producto Interno Bruto


GLOSARIO

Actores Los actores son participantes individuales o institucionales de un programa o proyecto que tienen el poder de decidir en el ciclo del proyecto.

FODA Es el análisis de las fortalezas, oportunidades, debilidades y amenazas, de los involucrados en un proyecto o programa. Es una técnica simple y efectiva de planificación, monitoreo y evaluación que se dirige a los aspectos de la planificación estratégica y el proceso de ejecución.

Interesados Denominados en inglés “Stakeholders” son participantes que pueden obtener beneficios o sufrir daños a consecuencia de los efectos del proyecto o programa.

Participantes Son las personas, grupos u organizaciones involucrados activa o pasivamente en un proyecto o programa, en los cuales tienen interés en los objetivos o actividades del proyecto.


International Institute for Environment and Development (IIED), Forestry and Land Use, 'Power Tools', Stakeholder Power Analysis, http://www.iied.org/forestry/tools/stakeholder.html (#2.23). Refiérase a los Anexos A y B. Borrini-Feyerabend, G. (ed.), Beyond Fences: Seeking Social Sustainability in Conservation, IUCN, Gland (Switzerland), 1997 http://www.iucn.org/themes/spg/Files/beyond fences/bf section4 _1.html

Monitoring and Evaluation for Energy and Development Working Group. 2006. A Guide to Monitoring and Evaluation for Energy Projects. (Download from: http://www.gvep.org/WorkArea/showcontent.aspx?id=1628)

Sistemas de Análisis Social2 Jacques M. Chevalier, ‘SAS

2 1.0: Identificación Nominal’, en 1.0,

http://www-sas-pm.com/


Planificación del proceso enseñanza – aprendizaje



20 minutos Sección 3.3 Presentación dialogada y trabajo grupal.

Data display, papelógrafos y marcadores.

45 minutos Sección 3.4 Trabajo grupal y casos de estudio. Nota.- El facilitador verá la conveniencia de realizar los 2 ejercicios o sólo 1, en función del tiempo disponible


3.1 ¿Qué es el análisis de los participantes? La participación es una manera de involucrar las diversas percepciones, actitudes, opiniones y objetivos de los diferentes grupos de interés mediante negociaciones en un entorno de la vida real. La diversidad de los participantes significa manejar intereses opuestos, pero también incluye un potencial enorme de posibilidades para solucionar problemas corrientes. Por lo general, en el taller de planificación de un proyecto se efectúa un análisis de los participantes, el mismo que debería servir de punto de partida para las posteriores reflexiones. De todas maneras, para efectuar el monitoreo del impacto es importante concientizar a aquellos (mayormente consultoras) que inician esta actividad sobre quiénes van a intervenir, quiénes son los actores y los interesados y quiénes deberían participar en el diseño e implementación del monitoreo del impacto. Todas estas personas, grupos u organizaciones participan activa o pasivamente en “su” proyecto o programa, en los cuales tienen interés en los objetivos o actividades del proyecto y:

• pueden influir y decidir en los servicios del proyecto (actores): • pueden obtener beneficios o sufrir daños a consecuencia de los efectos (Interesados).

La participación de los actores es la clave del éxito en cualquier proyecto o programa. Una reunión de participantes proporciona una buena oportunidad para escuchar diferentes “voces” y discutir los temas que pueden surgir antes y luego de la implementación del proyecto.

3.1.1 ¿Quién es el actor? Un actor es la persona u organización con influencia, interés y poder de decisión en el ciclo del proyecto o programa. Los actores pueden ser miembros de organizaciones involucradas en el proyecto, tales como donantes, ONGs, gobierno (nacional, regional o local), instaladores y fabricantes, empresas eléctricas, distribuidores, partidos políticos, o cualquier persona o institución involucrada en el proyecto. Los representantes de las comunidades, hombres y mujeres, pobres y ricos o líderes involucrados en el proyecto también son diferentes tipos de actores. Recuerde que cada actor tiene un rol y función diferente en la ejecución de energías renovables. (Fuente Manual IT – Power)


Es importante diferenciar al actor con el “interesado” (stakeholder), ya que los interesados son participantes que tienen interés y son afectados positiva o negativamente de alguna manera con el proyecto o programa.

3.1.2 Tipos de Actores.

Primarios Individuos o grupos afectados directamente con la intervención del proyecto.

Secundarios Actores involucrados como intermediarios en el proyecto tales como miembros de ONGs, empresas eléctricas, instaladores, etc.

Externos Actores que no están involucrados formalmente en el proyecto; pero cuyas acciones y decisiones pueden crear impacto en las decisiones y actividades del proyecto o programa. Donantes o gobernantes (si es que no son ejecutores) pueden entrar en esta categoría.

3.1.3 Procesos de consulta a los actores. El análisis de participantes requiere de un facilitador experto y otras personas de apoyo para el proceso de toma de notas e informe. Los talleres de actores deberían ser de un día de duración y necesitan estar bien preparados para ser exitosos. Se precisan tarjetas y tableros para los ejercicios participativos que son importantes en la discusión de los actores para tener diferentes ideas y explicaciones. Los temas relativos a las necesidades de equidad y género deben ser discutidos específicamente en una reunión de actores. Esto asegurará la participación institucional y apoyo al proyecto. La sesión puede ayudar en sensibilizar acerca de los temas analizados. En la medida de lo posible, es recomendable que haya presencia femenina de la comunidad así como representantes de diferentes grupos étnicos y gente pobre, pero para lo cual se requiere un análisis previo sobre el rol de las mujeres en las comunidades donde se realiza el proyecto y de su potencial participación; para evitar en definitiva que con el proyecto se esté forzando a posibles cambios culturales no deseados.

3.1.4 Aspectos a discutir en un taller de actores.

• Fortalezas, Oportunidades, Debilidades y Amenazas para cada actor. • Encuentre los intereses e impacto potencial del proyecto con respecto a sus

intereses. • Encuentre las influencias como poder, control sobre los recursos y relaciones. • Establecimiento de indicadores para el proyecto o programa. • Expectativas y necesidades del proyecto de energía. • Involucramiento / retroalimentación en diferentes estadios del proceso de M&E. • Planes de acción (Insumos, participación y recursos).

En un encuentro de actores, los miembros de la comunidad pueden brindar retroalimentación sobre el soporte institucional recibido. Esta es la principal razón por la que los miembros de la comunidad necesitan ser participantes en la reunión de actores. Es muy importante que


las evaluaciones participativas de los actores sean llevadas a cabo en el idioma local o dialecto. Por el otro lado, se pueden buscar traductores si hay algunos miembros que no se entienden entre ellos. Las discusiones grupales en estas reuniones deben ser planificadas para asegurar la presencia de los miembros apropiados en cada reunión. Entre los primeros pasos, al diseñar un plan específico de M&E, se encuentra la identificación de actores que desean participar y/o recibir información. Por ejemplo:

• Autoridades beneficiarias del sector público. • Donantes. • Autoridades públicas donantes del país. • Usuarios, clientes. • Equipo de gestión del proyecto. • Microempresarios. • Equipo interno del proyecto.

Para cada actor, el equipo del proyecto precisa comprender qué tipo de información requiere, cuán seguido precisa la información de retroalimentación y cómo la usarán. Es importante acordar el formato de la información (video, informe, fotografías, grabaciones) y su terminología. Lo que el M&E necesita de sus actores puede describirse en convocatorias, acuerdos de subvención o en los manuales del proceso necesarios para tener una idea precisa de lo que su plan de M&E necesita. Se debe tener conciencia que los resultados se usarán para: recaudación de fondos, incremento en la escala o disminución, revisión de contratos, comunicación, etc. A continuación hay algunos ejemplos de las necesidades que pueden ser expresadas por algunos de los actores:

Actores Necesidades

Donantes (públicos y privados)

Verificar el cumplimiento o no de los objetivos generales. Puede incluir temas transversales (género, sostenibilidad).

Autoridades locales Verificar el cumplimiento o no de los objetivos locales. Muestra los efectos en la población y lo donantes.

Operadores Informes de gestión operativa y financiera.

Usuario Debe expresar sus necesidades, valores culturales, opiniones, obtiene respuestas y mejoras.

Evaluador Verifica métodos, gana notoriedad.

3.2 El propósito del análisis de los participantes.

3.2.1 Objetivo/ Propósito. Identificar intereses de los participantes y la forma cómo éstos influyen sobre el proyecto.

3.2.2 Aplicación. Este análisis debe llevarse a cabo siempre al inicio de un proyecto y luego cuando se revisa el plan.


Los participantes son todas las personas, grupos y organizaciones que tienen interés en el proyecto. Participantes claves (Key stakeholder) son aquellos que influyen significativamente sobre el éxito del proyecto. Pueden ser identificados mediante el “Stakeholder-Analyse” (Análisis de los participantes), en el cual se evalúan los intereses de los participantes y sus posibilidades de influencia. El análisis de los participantes ayuda a comprender el entorno organizativo, los intereses y relaciones (incluso posibles conflictos) entre los participantes así como su correspondiente colaboración en el monitoreo y evaluación. La participación es una manera de involucrar las diversas percepciones, actitudes, opiniones y objetivos de los diferentes grupos de interés mediante negociaciones en un entorno de la vida real. La diversidad de los participantes significa manejar intereses opuestos, pero también incluye un potencial enorme de posibilidades para solucionar problemas corrientes. Por lo tanto, una de las primeras tareas en la planificación del proyecto es un análisis de los participantes que se puede usar simultáneamente para el monitoreo y la evaluación. Un proyecto puede causar cambios en su entorno mediante sus resultados. Pero son los participantes los que en realidad realizan el cambio mediante procesos sociales como el aprendizaje, la adaptación, el rechazo, etc. Por lo tanto, es necesario que los participantes estén involucrados activamente en el procedimiento desde su inicio.

3.2.3 Procedimiento. • Elaborar relación de participantes • Evaluar la importancia de cada participante en relación al logro del éxito del proyecto

así como su poder relativo y capacidad de influencia. • Identificar riesgos o hipótesis que pueden influir en la concepción y el éxito del

proyecto. Las siguientes interrogantes pueden constituir el punto de partida para una discusión con los participantes en relación con sus expectativas:

• ¿Por qué los participantes tienen interés en los avances del proyecto? • ¿Qué información requieren sobre el proyecto? • ¿Qué esperan los participantes de un sistema de monitoreo y evaluación?

3.2.4 Síntomas de resistencia. En los procesos de cambio que resultan de una intervención, por ejemplo un proyecto, o más aún un proyecto nuevo en una institución con muchos años de establecimiento, pueden manifestarse resistencias que conviene identificarlas para tomar decisiones que permitan levantar las barreras que impiden el logro de los objetivos. De igual manera pueden sucederse resistencias en los grupos de posibles usuarios, los ofertantes de servicios, etc. Existen diversos tipos de resistencia o de “mimetización” que pueden adoptar las personas en una organización o un proyecto. Cabe mencionar que pueden identificarse diferentes combinaciones de resistencias o también cambiantes en el tiempo, ya que se tratan de sistemas dinámicos. Puede haber resistencias verbales, no verbales, activas o pasivas. Por ejemplo, cuando los involucrados en el proyecto, o los especialistas contratados, que esperan una respuesta de la Unidad de monitoreo y evaluación del proyecto, una retroalimentación y éstas no se presentan de manera oportuna o lo hacen con una calidad no esperada, puede fracasar el proyecto por este tipo de factores que son intangibles. Estos


aspectos son convenientes de valorar a través de evaluaciones cualitativas y por equipos externos al proyecto, como parte del Sistema de Monitoreo y Evaluación.

SÍNTOMAS DE RESISTENCIA

VERBAL NO VERBAL

RESISTENCIA ACTIVA Argumentación Reproches Polémicas Formalismo

Nerviosismo Intrigas Pelea

RESISTENCIA PASIVA Silencio Chismes

Falta de ánimo Cansancio Ausentismo Olvido Migración interna

Una comunidad no es un bloque monolítico, que decide por sí misma, sino que la comunidad está compuesta por individuos con diversas expectativas, necesidades, intereses propios y posibilidades económicas, interrelacionados por una estructura social específica para este lugar y esta época. En la práctica se observa la importancia de un protocolo formal de actuación, establecido para el abordaje de una nueva comunidad, con el objetivo de hacer manejable esa complejidad descrita para los profesionales y para garantizar la eficacia y el avance del proyecto. Se debe tomar en cuenta el plan de monitoreo y evaluación como el instrumento que sirva a los involucrados en este proceso para el levantamiento de información, entrevistas, encuestas, etc. En caso de no seguir las directrices planteadas, el profesional se puede encontrar con muchas dificultades, y puede pisar “trampas” por el camino, como por ejemplo las siguientes13: La “trampa” del tiempo: Uno puede querer hacer todo muy rápido, todo a la vez o pasando por alto algunos pasos importantes. Pero los atajos no siempre son el camino más seguro, porque de esa manera ignoramos el ritmo propio del proceso, ignoramos también el ritmo propio de la comunidad, donde tiene que crecer y madurar la demanda, así como las ideas sobre el proyecto, hasta que puedan decidirse libremente a favor del mismo y asumir su parte en las responsabilidades. Hay el peligro, que aborten el proyecto antes de iniciarlo. La “trampa” económica: Como la tecnología de energías renovables sigue siendo costosa y las subvenciones a veces no alcanzan para ofrecer la instalación a un precio más competitivo, el Operador puede limitarse a la instalación y dejar de lado la preparación de los usuarios, el adecuado servicio postventa y el seguimiento. La “trampa” de comunicación: Cuando dos personas conversan, cada persona entiende lo que puede comprender desde su contexto cultural, profesional y personal. La trampa se abre, cuando pensamos que los demás entienden todo exactamente como nosotros mismos. Si los profesionales hablamos en nuestra jerga a los que tienen otra formación u otro nivel socio-cultural, nos aseguramos los malentendidos.

13 Fuente: Casper, Claudia, 2001. en “Electrificación rural mediante micro redes con generación solar híbrida” presentación en Quito / Ecuador, 27-29 Noviembre 2001


La “trampa” personal: Podemos pensar, que es más económico que una persona “multi-funcional” y “multi-profesional” se encargue de todo el proceso y de todas las tareas. De esta manera, ignoramos las ventajas de la interdisciplinaridad, de los distintos conocimientos, así como experiencias personales y profesionales, de lo enriquecedor y revelador que es el intercambio entre las personas y no apreciamos la óptica múltiple. Cuando uno sólo percibe y decide, y nadie le asesora, apoya y rectifica, las probabilidades de equivocarse aumentan considerablemente. La “trampa” política: Como cada proyecto es diferente respecto a los participantes, interlocutores, instituciones y organismos locales, si uno no sigue un protocolo establecido de actuación, puede sentir desorientación acerca de la pregunta, con qué interlocutores hay que tratar qué tema y en qué momento preciso.

3.3 El análisis de fortalezas, oportunidades, debilidades y amenazas (FODA).

El análisis de las fortalezas, oportunidades, debilidades y amenazas, análisis FODA, es una técnica simple y efectiva de planificación, monitoreo y evaluación que se dirige a los aspectos de la planificación estratégica y el proceso de ejecución. El análisis FODA puede ayudar en dos direcciones. Primero este análisis ayuda a identificar qué fortalezas y debilidades tienen los diferentes participantes del proyecto (podría incluir a los socios del proyecto, comunidades incluyendo hombres y mujeres, empresarios, fabricantes, proveedores, etc.) y también las oportunidades y amenazas que existen para cada grupo de estas personas. En el proceso de análisis FODA, se consideran los factores económicos, políticos, sociales y culturales que representan las influencias del ámbito externo al proyecto, que inciden sobre su quehacer interno, ya que potencialmente pueden favorecer o poner en riesgo el cumplimiento de los objetivos del proyecto. La previsión de esas oportunidades y amenazas posibilita la construcción de escenarios anticipados que permitan reorientar el rumbo del proyecto. Las fortalezas y debilidades corresponden al ámbito interno del proyecto, y se debe realizar el análisis de cuáles son esas fortalezas con las que cuenta y cuáles las debilidades que obstaculizan el cumplimiento de sus objetivos estratégicos. Las oportunidades y amenazas corresponden al análisis del medio ambiente externo y se deben considerar muchos factores. Las amenazas podrían incluir los problemas de inflación, escasez de energía, cambios tecnológicos, aumento de la población y acciones gubernamentales. En general, tanto las amenazas como las oportunidades podrían quedar agrupadas en las siguientes categorías: factores económicos, sociales o políticos, factores del producto o tecnológicos, factores demográficos, mercados y competencia, y otros.El análisis FODA se sistematiza en una matriz, apuntando el listado de Fortalezas, Oportunidades, Debilidades y Amenazas, con sus correspondientes acciones previstas para cada uno de estos factores, con la finalidad de potenciar las fortalezas, aprovechar la oportunidades, superar las debilidades y minimizar las amenazas que se tienen en el proyecto. El cuadro que se muestra a continuación denota la estructura para el análisis FODA.


Matriz FODA

FORTALEZAS ACCIONES DEBILIDADES ACCIONES

F1. F2. F3. . . .

D1 D2 D3 D4 . . .

OPORTUNIDADES ACCIONES AMENAZAS ACCIONES

O1 O2 O3 O4 . . .

A1 A2 . . .

Al tener ya determinadas cuáles son las fortalezas, oportunidades, debilidades y amenazas (FODA) en un primer plano, nos permite determinar los principales elementos, que a través de un ejercicio de mayor concentración, teniendo como referencias a la Misión y la Visión del proyecto, se determine cómo afecta cada uno de los elementos de este FODA. Después de obtener una relación lo más exhaustiva posible, se ponderan y ordenan por importancia cada uno de los FODA a efecto de quedarnos con los que revisten mayor importancia para el proyecto.

3.3.1 La dimensión del tiempo y la matriz FODA. Hasta ahora, los factores que se incorporan en la matriz FODA corresponden al análisis en un punto particular del tiempo. Pero tanto el ambiente externo como el interno, son dinámicos; algunos factores cambian fuertemente con el tiempo, otros cambian muy poco. Debido a este carácter dinámico del medio ambiente, se deben preparar varias matrices FODA en diferentes puntos del tiempo. Así, podríamos empezar con un análisis FODA del pasado, continuar con un análisis FODA del presente y, quizás más importante, hacer varios análisis FODA en diferentes tiempos del futuro.

3.3.2 Identificación de los actores energéticos y sus necesidades de M&E. El primer paso al diseñar un proyecto/política específicos en el plan de M&E pasa por realizar una:

• Identificación de actores de energía. • Identificación de las necesidades de M&E.

Se debe tener una referencia de estadísticas del país y elaborar una lista completa de actores con la información siguiente:


Estadísticas básicas del país

Indicadores

Superficie

Población

Población urbana (% del total)

Expectativa de vida al nacer

Tasa de escolaridad (% de población en edad +15)

Producto Bruto interno (actual en US$)

Crecimiento del PIB (% anual )

Uso de energía (kWh per cápita)

Importación de energía, neta (% del uso de energía)

Consumo de energía eléctrica (kWh per cápita)


Lista de actores del sector energético en el país.

Rol Autoridades públicas

Internacional (multi y bilaterales)

Sector no gubernamental (nacional o regional)

Sector privado (empresas, bancos)

Creación de políticas para la reducción de la pobreza.

Implementación de políticas y programas de reducción de pobreza.

Creación y trabajo en niveles de políticas/planes y programas específicos a nivel nacional y regional.

Implementación de políticas energéticas y programas.

Ejemplo de la ficha de identificación de una institución participante en un proyecto de energía.

Nombre del actor: CINER

Rol principal / responsabilidad (nombre de contacto)

Alba Gamarra de Guardia

Indicar si el actor cumple un rol en micro-financiamiento/ o en modelos de acceso al financiamiento.

No

Detalles de contacto: (persona, cargo, dirección, e-mail, pág. Web)

Alba Gamarra de Guardia - Directora Av. Santa Cruz esq. Beni Edif. Center Piso 3 Of. 3 Telf.: (591) 4 428702 Fax: (591)4 4295996 / [email protected] www.ciner.org

Involucramiento en política energética

A través de Cooperaciones Técnicas para estudios y consultorías de proyectos específicos

Involucramiento en la ejecución de proyectos energéticos.

Sí, desde el enfoque de asistencia técnica, capacitación, difusión, Planificación, Monitoreo & Evaluación (M&E).

Involucramiento en nivel nacional / regional o local.

Sí, en todos los niveles mencionados, dependiendo de los alcances de los proyectos bajo estudio o consulta, inclusive con proyectos bi y tri-nacionales.


¿Trabaja en la región del Chaco? Sí, mediante Cooperación Técnica en varias misiones de evaluación, concertación de políticas y ejecución de talleres.

Fortaleza/s Al no participar en la ejecución directa de proyectos CINER es convocada por un amplio espectro de instituciones por el hecho de no competir con ellas, lo que la constituye en el referente nacional en M&E.

Debilidades La dependencia a la existencia o no, de proyectos dentro las temáticas que abarca el CINER

Oportunidades La principal oportunidad institucional, es la modalidad misma del monitoreo, siendo cada vez más una especialidad descentralizada de las instituciones ejecutoras que -para no entrar en conflicto de intereses- delegan esta responsabilidad a terceros.

Planes de Monitoreo y Evaluación M&E / actividades que se llevan a cabo o están planeadas (Si no lo hacen, indicar Ninguno y el por qué)

Los planes de monitoreo se sujetan a las jerarquías a evaluar dentro del marco lógico: Resultados, Objetivos y Objetivo superior, con diferentes formularios y periodos de evaluación. Actualmente, ejecutando el M&E para el Proyecto “Energy for Sustainable Development” con el establecimiento de Línea de Base, monitoreo a “Actividades”, “Resultados y Rendimiento crucial” y “Sostenibilidad”. Se monitorean aspectos técnicos y socio –económicos para intervenir en un proyecto, en base de indicadores, se generan datos, se evalúan los mismos y se toman decisiones, en función del ciclo de proyectos (se establece un estudio de línea de base, se realiza un plan, se ejecuta, se hacen evaluaciones de medio término, al cierre y en algunos casos hasta 10 años después como evaluación de impacto. Se realiza el M&E a nivel de procesos, a contenido (lecciones aprendidas, estrategias de salida, etc.); a los actores (personal, comunidades, evaluadores externos, financieras o cooperación); a los resultados (lecciones sobre los efectos, impactos: financieros, sociales, ambientales, instituciones), etc.

Información requerida para el M&E de sus políticas y programas: ¿Qué indicadores utilizan y para qué niveles?

Véase matrices utilizadas en proyecto “Acceso a Servicios Energéticos” PROAGRO GTZ, las mismas son básicamente cuantitativas y cualitativas midiendo cambios de actitud generadas en grupos metas u otro tipo de actores: (a) Nivel beneficiario (b) Municipios (c) Oferentes de servicios (d) Instituciones intermediarias (e) Instancias gubernamentales (f) Cooperación Internacional. La información requerida según el tipo de proyecto será en dimensiones socio-económicas, ambientales, técnicas o de gobernabilidad.


3.4 Puntos de discusión.

Ejercicio participativo: Matriz de análisis FODA para proyectos o programa de energías renovables Tome nota que Ud. debe discutir aspectos específicos con los diferentes actores para conocer sus percepciones. Ud. puede llevar adelante un ejercicio en plenaria para analizar diversos temas. Una aproximación será el de usar 4 diferentes colores de hojas de papel, cortados en pequeños cuadrados distribuidos a los participantes para indicar sus puntos de vistas. Las tarjetas individuales pueden ser pegadas en una hoja de rotafolio o tablero. Las ideas similares se agrupan en un solo sector Discuta los diferentes puntos de vista en detalle y solicite a los participantes que determinen los más importantes (pueden ser unos cinco). Se requiere un facilitador para completar este ejercicio. El/ella deben conocer el análisis FODA, donde una amenaza puede volverse una oportunidad. Tiempo recomendado para el ejercicio: 30 minutos.

Fortalezas Acciones* Debilidades Acciones*

Disponibilidad de financiamiento

Presupuestar adecuadamente todas las actividades.Establecer un comité de gestión.

No hay financiamiento asegurado.

Búsqueda de préstamos. Creación de fondos.

Disponibilidad de provisión de mano de obra por las comunidades.

Listar las responsabilidades. Elaborar un plan de acción.

No existencia de destrezas técnicas o de gestión.

Evaluar posibles entidades de capacitación para usuarios / personal.

Oportunidades Acciones* Amenazas Acciones*

Buenos fabricantes locales.

Vincularlos con las comunidades.

Posibilidad de acceso a red convencional a través de presiones políticas.

Obtener información del departamento de electrificación respectivo.

Financiamiento a través de subsidios gubernamentales u otras agencias.

Acercamiento a entidades financieras con un plan.

Conflictos sobre la distribución de energía y uso de los recursos.

Participación activa y consenso de todos los usuarios/comunidad.

* Indique quién será el responsable para la acción.


Ejercicio de aplicación 1. Escoja uno o varios métodos de la siguiente lista, para ayudarle a identificar a los actores o grupos principales que pueden incidir o resultar afectados por el problema, acción, proyecto o programa y haga un listado de los mismos para un ejemplo dado. • Identificación por parte de expertos Consulte al personal, a las agencias principales (tales como las organizaciones no gubernamentales) o a los habitantes locales o académicos que posean un vasto conocimiento sobre la situación para identificar a los actores. • Identificación por selección propia Utilice anuncios en reuniones, periódicos, la radio local u otros medios de comunicación para invitar a los actores a presentarse. Esto atraerá a aquellos que crean que pueden ganar algo al comunicar sus puntos de vista y lo puedan hacer. • Identificación por parte de otros actores Identifique a uno o dos actores claves. Solicíteles que sugieran a otros actores que compartan sus puntos de vista e intereses, al igual que a aquellos que puedan tener una forma diferente de analizar los problemas. • Identificación utilizando registros escritos y datos poblacionales Los datos poblacionales y de censos pueden brindarle información útil sobre la cantidad de gente por edad, género, religión, residencia, etc. (consulte el Muestreo de Actores). También puede obtener información sobre los actores en directorios, organigramas, encuestas, informes o registros escritos emitidos por las autoridades locales, agencias donantes, órganos gubernamentales, expertos, académicos, organizaciones no gubernamentales, el sector comercial e industrial, etc. • Identificación utilizando relatos orales o escritos de los acontecimientos importantes Puede identificar a todos los actores o grupos principales al solicitarle a alguien que describa los acontecimientos más importantes en la historia de un problema y los actores que estuvieron involucrados en los mismos (refiérase a Raíces Históricas). • Identificación utilizando listas de verificación Puede identificar a los actores utilizando las listas de verificación que se incluyen en el Anexo A. Modifique estas listas según sus necesidades Puede incluirse a sí mismo(a) en su lista, al igual que a quienes estén conduciendo el análisis. Puede definir a los representantes de un grupo como un actor distinto de quienes representan. También puede incluir en su lista a la comunidad de todos los actores, como un grupo con su propio perfil. Podría tener que referirse nuevamente a este ejercicio en el futuro para que pueda identificar a los actores que dejó por fuera o que no incluyó durante las primeras etapas de su proyecto. Cuando identifique a los actores, tenga presente que algunos de ellos podrían aceptar a los ancestros, generaciones futuras, espíritus y especies no humanas como partes legítimas de la situación. 2. Escriba (o dibuje) el nombre de cada actor en su propia tarjeta. Si su lista de actores es demasiado extensa, utilice la Clasificación para organizarlos en grupos de actores y, después, anote cada grupo en su propia tarjeta.


3. Elabore el diagrama de un arco iris al trazar una línea horizontal con la mitad de un círculo alrededor de la misma. Dibuje dos semicírculos dentro del gráfico utilizando el punto medio de la línea horizontal como su centro. También divida el arco iris en tres partes iguales: una parte a la izquierda, una en el medio, y una a la derecha. Observe el ejemplo del Paso 5. 4. Inserte las tarjetas que representen a los actores principales en el semicírculo pequeño. Estos son los actores que más inciden o resultan afectados por el problema o acción que identificó en el Paso 1. En el semicírculo del medio, inserte las tarjetas de los actores que de forma moderada inciden o resultan afectados por el problema o acción. En el semicírculo grande, inserte las tarjetas de los actores que menos inciden o resultan afectados por el problema o acción. 5. En la parte izquierda de su diagrama, coloque las tarjetas que representen a los actores que inciden en su problema central o acción. En la parte de la derecha, coloque a aquellos actores que resultan afectados por el problema o acción. En el medio, coloque a aquellos que inciden y resultan afectados por el problema o acción. Tiempo recomendado para el ejercicio: 45 minutos.

Insumos de Jacques M. Chevalier, ‘SAS2 1.0: Identificación Nominal’, en Sistemas de Análisis Social2

El siguiente es un ejemplo de un diagrama del arco iris:

Actores que inciden y que resultan afectados

8.

6. Que inciden 7. Afectados


Puede adaptar este diagrama al utilizar otras características que mejor describan las diferencias más importantes entre sus actores principales. Por ejemplo, puede utilizar el semicírculo para identificar a aquellos actores que trabajan en los ámbitos local, regional y nacional. También puede utilizar una sola línea vertical para separar a los actores del sector público de los del sector privado.


Anexo A: Lista de Verificación para la Identificación Nominal

• Individuos (tales como los propietarios de compañías) • Familias y hogares (tales como los residentes locales permanentes) • Grupos tradicionales (como los clanes) • Grupos de base (como las organizaciones de interés propio para usuarios de

recursos, asociaciones de vecinos, y asociaciones basadas en el género o la edad) • Autoridades locales tradicionales (tal como el consejo de ancianos del poblado o el

cacique tradicional) • Autoridades políticas reconocidas por las leyes nacionales (tales como los

representantes electos en el ámbito del pueblo o del distrito) • Organismos no gubernamentales que interrelacionan a las diferentes

comunidades (tales como el consejo de representantes del pueblo, una asociación de pescadores a nivel distrital)

• Estructuras locales de gobernabilidad (administración, policía, el sistema judicial) • Agencias con jurisdicción legal sobre los recursos naturales (tal como la agencia

estatal de parques) • Servicios gubernamentales locales en las áreas de educación, salud, silvicultura y

agricultura, etc. • Organizaciones gubernamentales relevantes a nivel local, nacional o internacional • Estructuras de partidos políticos (en varios niveles) • Entidades religiosos (en varios niveles) • Organizaciones de intereses nacionales (tales como sindicatos de trabajadores —

también denominadas asociaciones del pueblo) • Organizaciones nacionales de servicio (tal como el Club de Leones) • Asociaciones culturales y de voluntarios de varios tipos (tal como un club para el

estudio de singulares paisajes nacionales, una asociación de turistas, etc.) • Empresas comerciales y de negocios (desde cooperativas locales hasta

corporaciones internacionales) • Universidades e instituciones investigativas • Bancos e instituciones crediticias • Autoridades gubernamentales en los ámbitos distrital y regional • Gobiernos nacionales • Agencias extranjeras de ayuda • Personal y consultores de proyectos y programas relevantes • Organismos gubernamentales internacionales (como UNICEF, FAO, PNUMA) • Organismos internacionales (como la UICN)

Fuente: versión editada de Borrini-Feyerabend.


Modulo 4: Indicadores de Monitoreo y Evaluación TABLA DE CONTENIDOS MODULO 4

4.1 ¿QUÉ RESULTADOS SE ESPERAN DEL MONITOREO Y EVALUACIÓN? ................................................. 91 4.2 INDICADORES DE INSUMO. .............................................................................................................. 94 4.3 INDICADORES DE RESULTADOS. ..................................................................................................... 98

4.3.1 Problemas en la especificación de indicadores de resultados. ....................... 101 4.4 INDICADORES DE OBJETIVOS. .......................................................................................................102 4.5 INDICADORES DE IMPACTO. ..........................................................................................................102

4.5.1 ¿Para qué se requieren indicadores de impacto? ............................................. 103

4.5.2 Niveles de Impactos. ............................................................................................. 104 4.6 IDENTIFICACIÓN DE OBJETIVOS E IMPACTOS DE UN PROYECTO. ......................................................104 4.7 USOS PRODUCTIVOS. ..................................................................................................................107 4.8 ANÁLISIS DE INDICADORES PARA RESULTADOS. ...........................................................................108 4.9 OPERACIONALIZACIÓN DE LOS INDICADORES. ...............................................................................109 4.10 INDICADORES DEL SECTOR ENERGÉTICO. .....................................................................................110 4.11 PUNTOS DE DISCUSIÓN. ...............................................................................................................116



Objetivo del Módulo Comprender la identificación de indicadores para sistemas de M&E basados en resultados.

Objetivos de aprendizaje Explicar la importancia de establecer indicadores apropiados.


Tener habilidad para distinguir y establecer indicadores para un adecuado proceso de M&E. Determinar adecuadamente indicadores para los distintos niveles de M&E. Diseñar herramientas de monitoreo para lograr impacto.


100 minutos

Forma de trabajo Exposición dialogada y trabajo grupal en base al informe D25 y la información proporcionada por los participantes.

ACRÓNIMOS

USAID Agency for International Development. Agencia para el desarrollo internacional de los Estados Unidos de Norteamérica.

CEPAL Comisión Económica para América Latina.


ERD Electrificación Rural Descentralizada.

FODA Fortalezas, Oportunidades, Debilidades y Amenazas.

GEF Global Environment Fund

SFV Sistema Fotovoltaico.

kWh Kilo Watt hora.

MDM’s Metas de Desarrollo del Milenio.


NRECA National Rural Electrification Cooperative Association.

OLADE Organización Latinoamericana de Energía.



PNUD Programa de Naciones Unidas para el Desarrollo.

UNFPA Fondo de Población de las Naciones Unidas.

VMEEA Viceministerio de Electricidad y Energías Alternativas de Bolivia.

W Watt (Unidad de potencia).

GLOSARIO

Impacto El Impacto realiza una apreciación de todos los efectos (positivos y/o negativos) de una acción sobre el medio, en el sentido más amplio (técnico, económico, social, político, ecológico).

Indicadores Los Indicadores proveen información del nivel en el que nos estamos acercando al logro de los objetivos. Son los criterios de éxito. Por lotanto describen exactamente qué se quiere decir por propósito, resultados y supuestos, y cómo éstos son medidos. Al mismo tiempo se usa en la gestión del proyecto para el M&E.

Objetivo El Objetivo es el estado que se aspira alcanzar en un sistema (una cosa, una circunstancia, una persona) y que se formula – generalmente a partir del estado actual – de modo que sea mensurable o, al menos verificable, en contraposición a un deseo que se expresa en forma relativamente desprovista de compromiso. Representado en un estado (positivo) ubicado en el futuro y en pretérito imperfecto

Resultados Los Resultados describen las acciones que la gestión del proyecto debe asegurar a través de sus actividades. Son los productos y servicios provistos por la institución para que se pueda lograr el objetivo. Deben ser formulados de tal modo que su alcance se encuentre dentro del accionar de la institución. Son obras, servicios y capacitación requerida expresados en trabajo terminado (sistemas instalados, gente capacitada, etc.



CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003.


Kavita Rai/ Alba Gamarra/ Victorio Oxilla/ María Emilia de Castel/Elvio Enciso. Monitoring and evaluation frameworks and indicators: A review of energy stakeholders in Bolivia & Paraguay. European Commision. IT Power. 2007.

3. http://gefweb.org: Ahorrar energía y facilitar el uso de tecnologías de la energía renovable, ampliar el suministro de energía eléctrica a las comunidades rurales y reducir la dependencia de tecnologías menos eficientes que contaminan el aire y contribuyen a la reducción de gases efecto invernadero, son los principales objetivos de los proyectos que financia el GEF (por sus siglas en inglés –Global Environment Fund-), en diferentes programas operacionales y prioridades estratégicas en el Área Temática de Cambio Climático. Los usos productivos de la energía renovable constituye una de sus prioridades estratégicas.

4. http://www.bun-ca.org: Biomass Users Network, una ONG centroamericana conocida como BUN-CA, pone a disposición su experiencia en el desarrollo de proyectos en las área de Energía Renovable, Eficiencia Energética y Reconversión Agroindustrial, así como una variedad de textos y manuales surgidos en la realización de sus experiencias en el campo desde 1990. 5. http://www.fenerca.org: FENERCA es un programa patrocinado por la Agencia de los Estados Unidos para el Desarrollo Internacional (United States Agency for Internacional –USAID-) que busca incrementar el uso de las energías renovables en cinco países de la Región Centroamericana: Guatemala, El Salvador, Honduras, Nicaragua y Panamá. FENERCA desarrolla herramientas especializadas de formación de capacidad que permitan formular soluciones y alternativas para la remoción de las barreras existentes para los proyectos de energía renovable a pequeña escala y la eficiencia energética; ya sean éstas políticas legales o financieras. Una de las áreas principales de FENERCA desde el año 2000 ha sido el apoyo a proyectos relacionados con el uso productivo de la energía renovable. 6. http://www.nreca.org: La Asociación Nacional de Cooperativas de Electrificación Rural de Estados Unidos (-National Rural Electrification Cooperative Association –NRECA-), es una organización de servicio dedicada a representar los intereses de las cooperativas eléctricas norteamericanas y de los consumidores a los que sirve. Además, el propósito original de los programas internacionales de NRECA es exportar el modelo norteamericano de la electrificación rural hacia los países en desarrollo. 7. http://www.fao.org: La Organización de las Naciones Unidas para la Agricultura y la Alimentación (Food Agronomic Organization –FAO- por sus siglas en ingles), conduce diversas actividades internacionales encaminadas a erradicar el hambre. Al brindar sus servicios tanto a países desarrollados como a países en desarrollo, la FAO actúa como un foro neutral donde todos los países pueden, en igualdad de condiciones, negociar acuerdos y debatir políticas. La FAO también es una fuente de conocimientos y de información, incluyendo los usos productivos de la energía para la producción de alimentos. Desde su fundación en 1945, la FAO ha prestado especial atención al desarrollo de las zonas rurales, donde vive el 70 por ciento de la población mundial pobre. 8. http://www.esmap.org: El Programa de Asistencia y Manejo del Sector Energía del Banco Mundial, conocido como ESMAP por sus siglas en inglés (Energy Sector Management Assistance


Programme) es un programa global de asistencia técnica que elabora y facilita asesoramiento en políticas para el desarrollo sostenible energético a los gobiernos en desarrollo y con economías en transición. ESMAP también contribuye en la transferencia de tecnología y conocimiento en el manejo del sector energía, incluyendo los usos productivos de la energía, y el abastecimiento de servicios modernos energéticos a los más necesitados. 9. www.cepal.org: La Comisión Económica para América Latina es una de las cinco comisiones regionales de las Naciones Unidas. Su sede está en Santiago, Chile. Contribuye al desarrollo económico de América Latina y el Caribe, coordina las acciones encaminadas a su promoción y refuerza las relaciones económicas de los países entre sí y con las demás naciones del mundo. 10. http://www.oas.org: La Organización de Estados Americanos (Organization of American States –OAS-), desarrolla diversos programas en los países miembros de Latinoamérica y el Caribe, por ejemplo programas de desarrollo sostenible para la conservación de biodiversidad, planificación para abordar los problemas de calentamiento global, mitigación de los desastres naturales y manejo de cuencas fluviales, entre otros. 11. www.ccad.ws: Fue durante la Cumbre de Presidentes centroamericanos celebrada en febrero de 1989 en San Isidro de Coronado, Costa Rica, los días 10, 11 y 12 de diciembre de 1989 que los Presidentes de Costa Rica, El Salvador, Guatemala, Honduras y Nicaragua suscribieron, de común acuerdo, el Convenio Constitutivo de la Comisión Centroamericana de Ambiente y Desarrollo. Por medio del presente Convenio, los Estados Contratantes establecen un régimen regional de cooperación para la utilización óptima y racional de los recursos naturales del área, el control de la contaminación, y el restablecimiento del equilibrio ecológico, para garantizar una mejor calidad de vida a la población del istmo centroamericano. 12. www.reeep.org: Es una organización global activa (REEEP-Renewable Energy Energy Efficiency Partnership) que estructura iniciativas de política para los mercados de energía limpia, incluyendo el financiamiento de proyectos. 13. http://www.itpower.co.uk: es una de las principales firmas de consultoría en energía renovable y desarrollo sostenible. Desde 1981, ITPOWER ha emprendido cerca de 800 proyectos en 91 países, para clientes institucionales y privados. ITPOWER está establecida en el Reino Unido, pero trabaja alrededor del mundo con una red de oficinas regionales. 14. http://www.energyhouse.com: Su casa matriz se encuentra en Bloomfield, New Jersey, Estados Unidos. E+Co es una organización que asiste en la creación de empresas locales viables que provean energía limpia, confiable y a precios razonables, facilitando la unión entre el capital humano, los recursos financieros y las diferentes tecnologías. Con representación en América Latina, el Caribe, África y Asia, E+Co ofrece servicios de desarrollo empresarial y realiza préstamos e inversiones patrimoniales a empresas o proyectos de energía limpia y eficiencia energética, donde el apoyo a los usos productivos de la energía es una área importante de su trabajo. 15. http://www.preeica.ca: “Proyecto Regional de Energía Eléctrica para el Istmo Centroamericano”, conocido como PREEICA, asiste a Guatemala, El Salvador, Honduras, Nicaragua, Costa Rica y Panamá a llevar a cabo el proceso de reforma y reestructuración de sus sectores eléctricos con el fin de mejorar la eficiencia, participación del sector privado, confiabilidad y equidad en el suministro de electricidad, así como tomar ventaja de los ahorros realizables por medio de la cooperación regional. 16. http://www.olade.org: La Organización Latinoamericana de Energía (OLADE), es la organización política y de apoyo técnico, mediante la cual sus Estados Miembros realizan esfuerzos comunes para la integración y el desarrollo del mercado energético regional. OLADE promueve acuerdos entre sus Miembros y realiza acciones para satisfacer sus necesidades energéticas, mediante el desarrollo sustentable de las diferentes fuentes de energía. 17. www.worldenergy.org: El Consejo de la Energía Mundial WEC-por sus siglas en inglés es la organización global de energía con miembros de 90 países. Sus programas incluyen todo tipo de


energía, petróleo, carbón, gas natural, energía nuclear y energía renovable. 18. http://europa.eu.int: Es el sitio de la Unión Europea (UE) –Los países europeos democráticos, que se han comprometido a trabajar juntos en aras de la paz y la prosperidad-. La sección de energía incluye los temas de energía renovable, abastecimiento energético y desarrollo.

PAISES

19. http://www.re.sandia.gov: El Programa de Energía Renovable del Sandia Nacional Laboratorios de los Estados Unidos promueve el aprovechamiento de las tecnologías de energía renovable, principalmente en los sistemas fotovoltaicos y eolo-eléctricos para la aplicación productiva en zonas remotas no conectadas a la red de servicio público. Este sitio cuenta con Guías, Manuales, presentaciones y documentos interactivos que dan información sobre la energía fotovoltaica y sus aplicaciones, incluyendo bombeo de agua, y otras formas de aprovechamiento. 20. www.nrel.gov: El Laboratorio Nacional de Energía Renovable, NREL por sus siglas en inglés (National Renewable Energy Laboratory), es parte del Departamento de Energía de los Estados Unidos y desarrolla programas en torno a las formas de energía ambiental y económicamente sostenibles. 21. http://www.nmsu.edu: La Universidad de Estado de Nuevo México responde a las necesidades educativas de la población diversa de ese Estado norteamericano con programas comprensivos en los temas de educación, investigación, incluyendo la energía sostenible, entre otros. Además cuenta con un Colegio de agricultura y economía doméstica, donde surgen proyectos relacionados a los usos productivos de la energía. 22. http://www.conae.gob.mx: La Comisión Nacional para el Ahorro de Energía (CONAE) es un órgano administrativo desconcentrado de la Secretaría de Energía de México; goza de autonomía técnica y operativa. CONAE tiene por objeto fungir como órgano técnico de consulta de las dependencias y entidades de la Administración Pública Federal, así como de los gobiernos de las entidades federativas, de los municipios y de los particulares, en materia de ahorro y uso eficiente de la energía y de aprovechamiento de energías renovables. 23. www.funtener.org: Sitio de publicación del boletín Transición Energética, el cual contiene artículos y noticias de cambio climático, energía renovable, co-generación y generación distribuida, principalmente en el contexto de México. 24. http://solar.nmsu.edu/funsolar: La Fundación Solar es una Organización Privada de Desarrollo (OPD) establecida en Guatemala desde septiembre de 1994. La Fundación coordina acciones para la ejecución de proyectos relacionados con el medio ambiente y el manejo de los recursos naturales renovables. 25. http://dei.uca.edu.sv: La Universidad Centroamericana "José Simeón Cañas” en El Salvador – la UCA-, cuenta con diversos departamentos y especialidad en la enseñanza de Ciencias Naturales y Energía Renovable. La principal misión de estos departamentos dentro de la UCA es servir de base científica a las diferentes carreras de la Facultad de Ingeniería y Arquitectura y al Profesorado en Ciencias Naturales de la Facultad de Ciencias del Hombre y de la Naturaleza; así como desarrollar la investigación en diversas áreas, todo ello enmarcado dentro de las líneas de proyección social de la Universidad. 26. http://rds.org.hn: En Honduras, el portal de la Red de Desarrollo Sostenible –RDS-cuenta con sitios web especializados en distintas áreas temáticas, incluyendo los usos productivos en áreas rurales. La Red cuenta con espacios de interés general, en el área social/cultural, ambiente y recursos naturales, económicos y políticos. 27. http://www.cne.gob.ni: La Comisión Nacional de Energía de Nicaragua (CNE), es un organismo interinstitucional adscrito al Poder Ejecutivo. Algunas de sus funciones consisten en la formulación de los objetivos, políticas, estrategias y directrices generales de todo el sector energético en Nicaragua. Además la CNE se encarga de la planificación indicativa y estrategia de desarrollo del sector energía. Tiene a su cargo la promoción de la electrificación rural, con el fin de procurar el


desarrollo y óptimo aprovechamiento de los recursos energéticos del país. Actualmente, es la agencia de ejecución nacional de un Proyecto PNUD/GEF que desarrolla los usos productivos de hidroeléctrica en zonas aisladas del Sistema Nacional Interconectado, incluyendo un componente de adaptación al cambio climático. 28. http://www.cnfl.go.cr: La Compañía Nacional de Fuerza y Luz, es la principal empresa de distribución eléctrica de Costa Rica, la cual desarrolla acciones sostenibles que permiten satisfacer las necesidades de sus clientes en cuanto a programas, asesorías, proyectos y educación sobre Uso Racional de Energía y Manejo de la Demanda, manteniendo la calidad de vida de la población y la protección del ambiente. 29. http://udenor.gov.ec: En Ecuador, la Unidad de Desarrollo Norte –UDENOR-promueve y acelera el proceso de Desarrollo Sustentable en Ecuador, gestionando recursos y coordinando la ejecución del Programa de Desarrollo Preventivo Alternativo y Reactivación Social con enfoque comunitario y regional, mediante la aplicación de modelos de gestión efectivos y transparentes. En relación a los proyectos productivos en áreas rurales, UDENOR prioriza las áreas de forestación, educación para la producción y apoyo a la pequeña industria. Están gestionando recursos para la ejecución de proyectos forestales y han Iniciado la operación de 8 granjas educativas integrales. 30. http://www.ecuadorexplorer.com: Información de la Fundación Ecuatoriana de Tecnología Apropiada (FEDETA) que enfoca su trabajo en la organización de proyectos sostenibles relacionados a tecnologías de biogas en el sector aro-industrial 31. www.conama.cl: La Comisión Nacional del Medio Ambiente es la institución del Estado Chileno que tiene como misión promover la sustentabilidad ambiental del proceso de desarrollo y coordinar las acciones derivadas de las políticas y estrategias definidas por el gobierno en materia ambiental. Dentro de los temas incluye las actividades productivas y la energía. 32. http://www.pnud.bo/webportal: Programa de Electrificación Rural con Energías Renovables Mediante el Proceso de Participación Popular. Este Programa promueve la remoción de barreras para la implementación exitosa de proyectos de electrificación rural usando tecnología de energía renovable, pequeñas centrales hidroeléctricas y sistemas fotovoltaicos. 33. http://www.energetica.info/: Energética es una institución boliviana, privada sin fines de lucro, que trabaja en el área rural del país, en el campo de la energía-desarrollo-medio ambiente y pobreza, desde 1993. Sus principales áreas de trabajo son: Desarrollo Energético Rural, Recursos Naturales y Medio Ambiente, Capacitación y Promoción en Energía y, Desarrollo Institucional y Gestión Empresarial. 34. www.ciner.org: Es el Centro de Información de Energías Renovables en Bolivia que vela por el uso racional de la energía promoviendo el intercambio de información entre instituciones, empresas y personas que trabajan el tema energético. 35. www.bariloche.com.ar: La Fundación Bariloche es una Institución privada de bien público, sin fines de lucro, asociada a la Universidad de las Naciones Unidas (UNU), a la UNESCO, a la Federación Internacional de Institutos de Estudios Avanzados (IFIAS) y a la Asociación de Televisión Educativa Iberoamericana (ATEI). Fue fundada el 28 de marzo de 1963 por un núcleo de científicos y empresarios argentinos con el fin de contribuir a la realización, tiene su sede en San Carlos de Bariloche, Argentina, de actividades de investigación, creación, capacitación, asistencia técnica y difusión. Entre sus áreas de trabajo contempla energía, medio ambiente y cambio climático.

OTRAS REFERENCIAS 36. http://www.ecotopia.com: Este sitio ilustra como se pueden desarrollar y promover las metodologías del mercado, así como las tecnologías y los productos que ayudan a conservar los recursos naturales y dirigen nuestro planeta hacia la sostenibilidad con el uso de la energía solar 37. http://solstice.crest.org/renewables/re-kiosk/solar: Sitio informativo sobre aplicaciones, tecnologías y aspectos económicos de la energía solar (en inglés). 38. http://witss.gdl.iteso.mx/solar/curso.html Curso en línea, de energía solar, tanto térmica


como fotovoltaica, del Grupo Solar del Instituto Tecnológico y de Estudios Superiores de Occidente, México. 39. http://www.dianet.com.ar/dianet/users/Solis/Informe2.htm#Energía Solar: Este sitio ofrece información principalmente sobre el funcionamiento de la energía solar y de otras fuentes de energía. 40. http://aleph.gdl.iteso.mx:8080/acad/deptecno/invest/solarcap09.htm

Este sitio ofrece información sobre calentamiento de agua para uso doméstico. 41. http://www.rwedp.org: Sitio de proyecto de biomasa de la FAO en Asia, con información

sobre su producción, procesamiento y uso, con énfasis en el desarrollo de proyectos en el contexto asiático, pero que podrían ser relevante para Latinoamérica.

42. http://www.cookstove.net: Este sitio ofrece información sobre estufas mejoradas. 43. http://omega.ilce.edu.mx:3000/sites/ciencia/volumen3/ciencia3/119/htm/orosolar.htm: “El

Oro Solar y Otras Fuentes De Energía”, información sobre diferentes fuentes de energía, incluyendo la energía hidráulica, Biblioteca digital del Instituto Latinoamericano de la Comunicación Educativa.

44. http://ww.unam.edu.ar/microt/barney0.htm: Guía Metodológica para la implementación de pequeños emprendimientos hidráulicos.

45. http://www.microhydropower.net/ Sitio dedicado a sistemas micro-hidros, con un enfoque en aplicaciones para los países en vías de desarrollo

46. http://www.windmillpower.com/homeSP.html: Sitio con información sobre fabricantes de sistemas eólicos para bombeo de agua como por ejemplo: Windtech Internacional.

47. http://www.awea.org: Es el sitio de la Asociación Americana de la Energía Eólica, se presenta información técnica relacionada al tema

48. http://www.igc.org/energy/wind.html Recursos en la Internet sobre la energía eólica. 49. http://retscreen.gc.ca: El Laboratorio de Investigación y Diversificación de Energía en

Canadá (CEDRL) ha desarrollado un programa de computación para el análisis de proyectos de energía renovable ayudando a los usuarios a identificar, evaluar y comparar las oportunidades costo-eficientes de la energía renovable.

50. http://ez.embajada-alemana-bolivia.org/Instrumentos_Institucionales.htm: La Agencia de Cooperación Financiera Alemana (KFW-por sus siglas en alemán). La cooperación alemana se caracteriza por la gran diversidad de sus instrumentos e instituciones. Se trata de un sistema pluralista y flexible que comprende tanto a las agencias implementadoras de la ayuda bilateral (gubernamental) como GTZ, KfW y DED, con representación en Bolivia como también a las grandes ONG's alemanas financiadas parcialmente con fondos del gobierno alemán e igualmente grupos privados de apoyo que operan, principalmente, en base a fondos propios provenientes de donantes privados.






60 minutos Sección 4.11 Trabajo grupal y casos de estudio. Nota.- El facilitador verá la conveniencia de realizar los 2 ejercicios o sólo 1, en función del tiempo disponible



4.1 ¿Qué resultados se esperan del monitoreo y evaluación? El M&E basado en resultados es el más usado y desarrollado como marco de trabajo, adaptado de una y otra forma por muchas instituciones, particularmente en el sector energético.

El esquema de M&E basado en resultados se refiere a cuatro estratos:

Insumos → Resultados → Objetivos → Impactos

Los impactos con cambios en el largo plazo pueden no ser logrados directamente. Para alcanzar un nivel de impacto satisfactorio, los productos o servicios directos a los que se llegan después de que la puesta en marcha de una política o proyecto (producto) y los resultados luego de concluidos los resultados (Objetivos) necesitan tomar su lugar. Los objetivos son el primer estrato de impacto e involucra un cambio de comportamiento en las personas u organizaciones a causa de la intervención, política o proyecto. Mientras que los indicadores son desarrollados para cada nivel y etapa, es importante que se desarrollen de manera simultánea los indicadores para controlar los efectos adversos en los resultados. Una de las influencias positivas de usar enfoques de M&E basados en resultados por parte de los diferentes actores es la generación de información de objetivos e impactos, aspecto trascendental para elaborar opciones de política y formulación. Un enfoque en resultados y actividades no provee orientaciones políticas y está generalmente relacionada con las instituciones de desarrollo o proyectos específicos. Bajo un sistema basado en la gestión, los siguientes procesos son tomados en cuenta:

• Formulación de objetivos: Identificación de términos claros, medibles para los resultados que se espera alcanzar y conceptualizar los logros de los resultados.

• Identificación de indicadores: Especificación de indicadores para cada objetivo y medición a lo largo de una escala y dimensión.

• Monitoreo: Desarrollo de sistemas de desempeño para recolección de información de varios indicadores.

• Informes de resultados: Comparación de logros actuales y las trazadas. • Evaluación: Conducir la evaluación. • Usar información: para el aprendizaje de la gerencia, toma de decisiones y mejora o

creación de nuevas políticas o programas. A la luz del M&E basado en resultados; los insumos, resultados, objetivos e impactos para políticas y programas de energía pueden ser analizados utilizando la siguiente tabla indicativa. Los indicadores son genéricos y mediciones específicas pueden ser realizadas por la medición detallada de los indicadores.


Insumo Resultados Objetivos Impactos

Financieros: Presupuesto para implementación de políticas o programas específicos Capital humano: Técnico, socio económico, institucional, expertos en finanzas, otros actores. Datos, Medios e instrumentos: Específicos para Políticas o programas. Conocimiento e información.

Identificación/ Consenso en las metas para políticas de acceso a energía y programas Propuestas para políticas, estrategias o reformas institucionales. Establecimiento de sistemas de información. Entrenamiento / creación de capacidades.

Integración de metas en ER en Planes nacionales y de desarrollo. Marco legal de energía para el sector rural. Identificación de zonas prioritarias para la provisión de servicios energéticos. Personal mejor capacitado en regulación de energía e implementación de programas.

Modificación a planes nacionales de desarrollo o integración energética. Creación de programas energéticos para el sector rural. Mejora del marco regulatorio para el sector energético en apoyo a la electrificación para pobres.

La siguiente tabla es enunciativa, no implica una lógica; sino meramente ejemplos en diferentes niveles. Indicadores en relación a los impactos, objetivos y resultados.

Contenido Indicadores de objetivos (ejemplos)

Indicadores de resultados (ejemplos)

Métodos Fuentes de información

Servicios energéticos

Cambios y diferencias en el acceso a servicios energéticos. Beneficios económicos del ahorro de combustibles.

Uso/ acceso a servicios de ER (electricidad, cocción, calentamiento) Acceso a salud /escuelas donde hay provisión de servicios con ER.

Mapa de recursos. Discusión con Grupos focales. Análisis de actores. Entrevistas en viviendas.

Usuarios de las tecnologías energéticas Actores. Comité gestor. Técnicos locales.


Efectividad de la gestión

Tasa de constancia de reuniones de gestión. Tiempo de carencia de provisión de energía. Frecuencia de la recolección de la tarifa. Frecuencia de reglas y uso de normas. Cambios en la gestión con la incorporación de pobres y de mujeres.

Cantidad de reuniones realizadas.Número de hombres/mujeres en el comité. Cantidad de problemas solucionados por el Comité.

Grupos focales. Discusiones grupales. Entrevistas domiciliarias. Análisis FODA.

Miembros del comité gestor/ propietarios Usuarios.

Efectividad de la capacitación.

Incremento en el número de servicios de calidad provistos por los técnicos.

Número de personas capacitadas. Número de problemas técnicos solucionados.

Discusión con Grupos focales. Entrevistas.

Técnicos (locales) Comité gestor o propietarios

Fuente: Kavita Raí, IT Power. Monitoring and Evaluation of the impact of renewable energy programmes. IT Power, REEEP. 2005

Ejemplos de indicadores según secuencia lógica de M&E en un marco lógico.

Insumos Materiales y servicios que brinda el proyecto o los actores del proyecto.

Actividades. Qué es lo que el proyecto hace.

Resultados. Bienes y servicios cuya producción está bajo control directo del equipo del proyecto.

Objetivos. Es un primer nivel de consecuencias. Generalmente dependen de insumos, acciones y decisiones que no están bajo control directo del equipo del proyecto.

Impactos. Consecuencias de las acciones del proyecto que están relacionadas a metas de desarrollo nacionales y/o a MDMs.

Dinero. Equipos. Servicios de asistencia técnica. Asesores y expertos.

Movilización de comunidades y realización de talleres. Construcción de centrales de energía y redes eléctricas. Demostración de

Servicio eléctrico a “X” comunidad.Cocinas mejoradas y eficientes a leña.Prácticas sostenibles de gestión forestal. Leyes para el

Suministro domiciliario de agua potable. Programa de vacunación. Tiempo ahorrado por las mujeres. Incremento en el crecimiento de

Equidad de género (mayor asistencia de niñas a colegio). Salud (reducción de enfermedades debido a vacunación menor inhalación de


tecnología. Instalación de sistemas termosolares.

sector energético.

nuevos cultivos. Integración del planeamiento energético en la planificación de transporte.

humo). Crecimiento económico (por la venta de productos). Mejora de la calidad de vida.


4.2 Indicadores de insumo.

Los indicadores de insumo son declaraciones cuantitativas y con hitos. La información de estos indicadores proviene de la contabilidad y las herramientas de gestión. Los indicadores de insumo se dejan para discusiones del monitoreo del proyecto, aunque son parte del sistema de información administrativo. Se precisa un buen sistema de contabilidad para realizar el seguimiento a los gastos y proveer un análisis de desempeño de los costos de los resultados. Los indicadores de insumo son usados generalmente por los responsables próximos a las tareas de ejecución y son consultados frecuentemente, diaria o semanalmente.

Ejemplos: Costos operativos del vehículo para servicios de extensión, niveles de aportes financieros del gobierno o co-financiadores, reuniones del personal, etc.

Se considera – en este caso – que estamos en el nivel del proyecto (o programa). El proyecto es resultante de la combinación de diferentes insumos económicos, sociales y técnicos.

Los proyectos de electrificación rural descentralizada usan generalmente algunos o todos los insumos siguientes. En los esquemas de elaboración de un proyecto, es útil construir indicadores para la mayoría de los insumos críticos. Las siguientes fichas pueden ser útiles en el establecimiento del plan de M&E en el nivel de insumos.

Ficha de insumos

Nombre del insumo

Proyecto de electrificación rural descentralizada (ERD) o diseño del proyecto

Naturaleza Material: Existen dos tipos de proyecto de ERD: individuales (una fuente de energía por cliente) y colectivos (una fuente de energía para varios clientes). Los equipos que serán destinados para el uso en el proyecto serán definidos desde el diseño. En muchos casos habrá un tipo específico, por ejemplo Sistemas fotovoltaicos domiciliarios (SFV) o pequeñas microcentrales hidroeléctricas para comunidades. Podría existir una combinación de soluciones aplicadas y podría (o no) a pre establecido uso para la electricidad generada. Las razones para la selección tecnológica pueden ser de índole diversa: Ideológica (preferencia por las energías renovables). Industrial (orientado a industrias locales). Económica: (solución de menor costo).


Social (solución más fácilmente aceptada por la sociedad). Ambiental (la solución menos contaminante).

Económica/financiera: Las tasa internas de retorno en proyectos de ERD son generalmente negativas. Los costos son altos debidos a la baja densidad de la demanda y a las dificultades de acceso. Los ingresos son bajos debidos a la baja solvencia. Esto significa que el financiamiento de proyectos de ERD está casi siempre basado en subsidio. El subsidio puede que cubra de manera total o parcialmente los costos de inversión y/o los costos de operación. A continuación algunos ejemplos: Subsidio brindado (una vez) para cada cliente electrificado. Subsidio parcial para un determinado proyecto/programa. Subsidio porcentual a los costos reales de inversión. Subsidio por cada kWh vendido. Subsidios indirectos tales como el levantamiento de impuestos aduaneros e impuestos. El subsidio puede ser una donación o un préstamo preferencial. A continuación hay ejemplos de organizaciones que pueden ofrecerlos: Organizaciones multi y bilaterales (Banco Mundial y Bancos regionales, Naciones Unidas y afiliados). Instituciones de ayuda internacional (DFID, JICA, KfW, etc.) Gobiernos locales y nacionales (ministerios, agencias provinciales, autoridades provinciales). Organizaciones no Gubernamentales, donantes y patrocinadores.

Institucional: El contexto institucional perteneciente a un proyecto involucrará ciertamente al menos a alguno de los siguientes actores: Elaboradores de política y Gobierno nacional. Ministerio de Energía (o el nombre afín). Empresas de generación eléctrica. Agencias/Departamentos de electrificación rural. Agencias / Direcciones de alivio a la pobreza. Ministerio de asuntos indígenas. Ministerio de Agricultura. Estructuras gubernamentales locales. El contexto institucional, a través de políticas, leyes, regulaciones y subsidios definirán muchos aspectos organizacionales del proyecto. Los diseñadores y operadores, por lo tanto, pueden o no tener libertad de elegir cómo organizarán sus proyectos. A continuación se enuncian algunos tipos de proyectos: Concesión de la operación de un servicio público. Concesión de construcción y operación de un servicio público (construir-operar-mantener, construir-operar a través de uno mismo, construir-operar-a través de uno mismo-transferir).


Proyectos comerciales basados en la venta de bienes o servicios a precios reales + margen. Donaciones (totales o parciales) de equipos acompañados por el establecimiento de estructuras operativas. Donaciones (totales o parciales) de equipos. Los tipos de proyectos mencionados pueden o no incluir el suministro de usos de electricidad, tales como lámparas, radios, televisores, bombas, refrigeradores, molinos, aserraderos, etc. Las instituciones pueden proporcionar asistencia no financiera a los proyectos, por ejemplo en la simplificación de procedimientos (autorizaciones, visas, calidad de equipos, etc.), capacitación, apoyo en el establecimiento de asociaciones en la comunidad, entre otros. En consecuencia los proyectos serán de uso domiciliario, colectivo, productivo o una combinación de los tres.

Social: El nivel de aceptación social puede tener gran influencia en la factibilidad y sostenibilidad de un proyecto. El ambiente social, y en particular los propios beneficiarios, deben (idealmente) aceptar todos o la mayoría de los siguientes aspectos del proyecto: Las tarifas. Los servicios. La tecnología. La organización. Los grupos (étnicos, sociales, religiosos) e individuales involucrados. Campañas de información, grupos de discusión y otros métodos participativos pueden usarse para influir en los niveles de aceptación de un proyecto.

¿Quién aporta el insumo?

El insumo puede ser aportado por el proyecto mismo, por otro proyecto de desarrollo, por autoridades públicas, por actores privados o una combinación de estos. El marco del proyecto especificará cómo es que se aportarán los insumos a las actividades. El esquema de M&E que debe explícitamente hacer mención a éste aspecto.

Objetivos y unidades de medición

El proyecto / programa puede tener objetivos cuantificables que se pueden considerar insumos, en el sentido de que sirven de estructura. A continuación algunos ejemplos, las unidades de medida sugeridas se encuentran en paréntesis: Número de clientes conectados (número de viviendas) o volumen de ventas (kWh). Penetración de la electrificación en las viviendas (porcentaje del total de viviendas). Diversidad de suministro (número de horas de suministro por día, limitado o libre). Usos productivos (número de nuevas y mejores actividades), empleo directo (número de empleos creados).


Frecuencia de enfermedades (frecuencia de ciertos problemas respiratorios).

Temas asociados con el insumo

A continuación una lista de temas relativos a esos insumos. Algunos de ellos pueden ser pertinentes al proyecto:

Aspecto potencial o problema

Aspectos a tomar en cuenta en un esquema de M&E

Mantenimiento Los sistemas descentralizados generalmente presentan una carencia de mantenimiento efectivo por la dificultad de acceso, climas extremos, grado de dispersión, etc. El clásico concepto erróneo de que los equipos de tecnologías energéticas renovables no requieren de mantenimiento es totalmente falso. Los generadores a diesel también necesitan un mantenimiento regular. Los proyectos deben establecer un mantenimiento efectivo, lo ideal con profesionales, lo peor por usuarios finales entrenados. El financiamiento de este mantenimiento y cualquier repuesto o cambio, es de gran importancia.

Producción limitada de energía.

Especialmente en sistemas individuales de electricidad como los SFVs, eólicos y pico turbinas, donde sólo existen pequeñas cantidades de energía disponible por día. Estos sistemas, generalmente adaptados para usos domésticos, no pueden apoyar usos productivos por las cantidades de energía que requieren, lo cual limita el desarrollo del potencial local.

Suministro de energía discontinua

Los sistemas individuales y colectivos (generadores a diesel, pequeñas estaciones eólicas y fotovoltaicas) proveerán servicio discontinuo. El generador, por ejemplo, se activará un gran número de horas día (noche). Las horas de suministro energético pueden no acompañar a ciertas actividades. El suministro discontinuo hace complicado por ejemplo: el uso de refrigeradores.

Contaminación de las baterías

Los generadores de energías renovables, con excepción de las turbinas hidráulicas, usarán baterías para acumular energía. Éstas son peligrosas para la salud (pueden ocasionar quemaduras) y contaminación si son desechadas inadecuadamente.

Uso de recursos acuíferos

En el caso de generación con energía hidráulica, se usan fuentes de agua. El proyecto debe tomar en cuenta los derechos de uso de agua (si existen) y las necesidades locales respecto al agua para consumo humano, pesca y riego. Asimismo, se


deberá tener en cuenta la flora y la fauna.

Tarifa por el servicio: rehusar pagar.

Este es un aspecto que puede dar lugar a la negación a pagar por parte de los usuarios. Esto ocurre en poblaciones acostumbradas a programas totalmente subvencionados, donaciones de ONGs, donde se consideran demasiado pobres para pagar por lo que consideran un servicio público que debe serles proporcionado. Se precisa un gran esfuerzo “de abajo hacia arriba” para la apropiación y participación.

Cambios en las condiciones económicas

Cuando ocurren cambios radicales en las condiciones económicas, por ejemplo, el valor de los productos agrícolas en el mercado cae, los usuarios se encuentran en la capacidad de pagar, aún cuando las tarifas del proyecto hayan sido acordadas desde el inicio.

Fuente: A Guide to monitoring and evaluation for energy projects. M&EED. 2006.

4.3 Indicadores de Resultados. Los indicadores de Resultados muestran las prestaciones inmediatas tanto físicas como financieras del proyecto: cantidades físicas, fortalecimiento organizacional, flujos iniciales de servicios. Ellos incluyen mediciones de desempeño basados en costos o promedios operativos. Ejemplos: Kilómetros de una carretera para todo clima completada a fines del mes “X”; porcentaje de granjeros que asisten a un puesto de demostración para un cultivo específico antes de utilizar un fertilizante, número de profesores entrenados en el uso de un texto, costo por kilómetro de construcción de carretera, cultivos por hectárea, promedio de textos por alumno, tiempo empleado en la aplicación de un crédito, número de demostraciones manejadas por el extensionista, pasos para el establecimiento de una asociación de agua. Los proyectos de Electrificación rural descentralizada producirán, voluntariamente o no, un cierto número de resultados. Estos pueden ser referidos como “observables”. Algunos son difíciles de diferenciar de los objetivos y pueden aparecer en ambos niveles del modelo.

Nombre del Resultado

Diseño de un Programa/Proyecto de electrificación rural descentralizada.

Naturaleza del Resultado

Variaciones en las condiciones económicas y sociales de los beneficiarios.

¿Quién participa en el resultado?

Todos los actores.

¿Qué se debe medir? (Observables)

Listados en orden creciente de dificultad en la observación: Resultados para usos domésticos: Número de clientes conectados o volumen de ventas. Penetración del porcentaje de electrificación. Diversidad de suministro. Aspectos legales (a través de la factura).


Confort domiciliario. Seguridad (fuego, electrocución). Métodos de generación de energía. Continuidad del servicio y estabilidad en el voltaje. Incremento del valor real de la propiedad. Distribución de pobreza de los beneficiarios entre las viviendas. Frecuencia de enfermedades (como las respiratorias). Relaciones sociales. Ahorro de tiempo. Usos colectivos (escuelas, clínicas, centros comunales, entidades religiosas, iluminación pública…) Número de clientes conectados o volumen de ventas. Diversidad de suministro. Seguridad (fuegos, cortes, electrocuciones…) Métodos de generación de energía. Continuidad del servicio y estabilidad en el voltaje. Relaciones sociales. Ahorro de tiempo. Usos productivos: Actividad productiva (actividades nuevas o mejoradas). Generación de empleo. Diversidad de suministro. (libre, limitado, bloqueado) Seguridad (fuegos, cortes, electrocuciones…) Métodos de generación de energía. Continuidad del servicio y estabilidad en el voltaje. Gasto de energía (con servicio equivalente). Ahorro de tiempo.

Opciones para unidades de medición

Número de clientes conectados o volumen de ventas: kWh. Penetración del porcentaje de electrificación: % del total de viviendas. Diversidad de suministro: número de horas de suministro por día, uso limitado o libre para el usuario. Aspectos legales (a través de la factura): número de viviendas legalizadas a través de la facturación. Confort domiciliario. No hay unidad de medida. Seguridad (fuego, electrocución): reducción en el número. Métodos de generación de energía: reducción en frecuencia de derramamiento de combustible, emisiones percibidas o mediciones de emisiones de humo. Continuidad del servicio y estabilidad en el voltaje: número y/o duración de cortes y % de variaciones en voltaje. Incremento del valor real de la propiedad: incremento del valor por m2 en el mercado.


Distribución de pobreza de los beneficiarios entre las viviendas: % de cobertura de electrificación en grupos de escasos recursos. Frecuencia de enfermedades (como las respiratorias): Frecuencia de ciertos problemas respiratorios. Relaciones sociales: no hay unidades de medida. Ahorro de tiempo: reducción en el tiempo empleado en algunas tareas de la vivienda. Usos colectivos (escuelas, clínicas, centros comunales, entidades religiosas, iluminación pública…) Número de clientes conectados o volumen de ventas: kWh. Diversidad de suministro: número de horas de suministro por día, uso limitado o libre para el usuario. Seguridad (fuegos, cortes, electrocuciones…): reducción en frecuencia de derramamiento de combustible, emisiones percibidas o mediciones de emisiones de humo. Métodos de generación de energía. Continuidad del servicio y estabilidad en el voltaje: número y/o duración de cortes y % de variaciones en voltaje. Relaciones sociales: no hay unidades de medida. Ahorro de tiempo: reducción en el tiempo empleado en algunas tareas de la vivienda. Usos productivos: Actividad productiva: Número de actividades nuevas o mejoradas. Generación de empleo: Cantidad de puestos de trabajo creados. Diversidad de suministro. (libre, limitado, bloqueado): número de horas de suministro por día, limitado o libre para el usuario final. Seguridad (fuegos, cortes, electrocuciones…): reducción en número de incendios, cortes y electrocuciones. Métodos de generación de energía: reducción en frecuencia de derramamiento de combustible, emisiones percibidas o mediciones de emisiones de humo. Continuidad del servicio y estabilidad en el voltaje: número y/o duración de los cortes y % de variaciones de voltaje. Gasto de energía (con servicio equivalente): variaciones en costo de energía con el servicio recibido o los resultados finales. Ahorro de tiempo: reducción del tiempo utilizado en ciertas tareas productivas.

La tabla a continuación contiene una lista de temas o problemas para cuantificar o calificar al indicador. Algunos de estos puntos pueden ser pertinentes al proyecto.

Aspecto potencial o problema

Aspectos a tomar en cuenta en un esquema de M&E

Cuantificación Para algunos resultados la cuantificación es difícil


debido a una carencia de tiempo, medios o razones intrínsecas. Ejemplos: relaciones sociales, educación, comodidad, etc. Soluciones para mejorar este inconveniente existen; pero deben ser reconocidas por los actores para tener valor. A continuación algunas soluciones posibles: Uso de un valor aproximado. Uso de un vocabulario estándar. Referencia a estudios anteriores, reconocidos en el campo energético. Uso de frases ilustrativas de los entrevistados.

Tipología del resultado

El límite entre los usos domésticos, colectivos y productivos puede ser confusos (por ejemplo cuando una vivienda tiene usos productivos informales, estructura familiar). En estos casos no se precisaría aplicar esta tipología.

Muestra Como en todo proceso de recolección de información se debe usar muestras. Sin embargo, se debe poner atención especial a este tema de representatividad. Una “muestra” que se elige por un actor del proyecto o autoridad local puede no ser representativa. Asimismo, la dispersión de la población puede significar que se tienen contextos heterogéneos sociales y étnicos.

Recolección centralizada de datos

Algunos datos pueden ser obtenidos de una fuente centralizada, como el instituto Nacional de Estadísticas, el ministerio, autoridades locales. Se debe estar cociente que los datos – en muchos países - pertenecientes al área rural es generalmente extemporánea y relativamente incorrecta. Por esta razón las comparaciones de esta información con la de las áreas urbanas son riesgosas.


4.3.1 Problemas en la especificación de indicadores de resultados. En el caso de una revisión realizada por la UNFPA (Fondo de Población de las Naciones Unidas) destaca algunas debilidades en la especificación de indicadores de resultados: Los indicadores no corresponden al nivel de resultados. Por ejemplo, para un resultado de “mejora de los servicios de operación y mantenimiento”, se coloca un indicador de actividad, como la cantidad de equipo construido. Los indicadores no incluyen un patrón objetivo contra el que se pueda evaluar el logro. Por ejemplo, un indicador de “sistema desarrollado” es utilizado como un resultado tal como “sistema de coordinación, monitoreo y evaluación de programas sociales”. El parámetro debe ser definido explícitamente.


Las metas de los indicadores sin referencia a una línea de base. Demasiados indicadores con poca consideración del tiempo, los recursos humanos y el costo requerido para recolectar la información. Indicadores no realistas debido a la ausencia de información para construir los indicadores especificados y/o por la dificultad en su medición. Inconsistencia entre el universo de los resultados y los indicadores. Por ejemplo, el resultado relacionado a una muestra de lugares cuando los indicadores especifican que se refiere al país. Copia textual de indicadores contenidos en guías sin considerar su importancia para el contexto específico del programa. El poco uso de indicadores sensibles al género.

4.4 Indicadores de objetivos. Los objetivos son cambios logrados a través de insumos específicos que son provistos cuando se logran los resultados. En un nivel institucional y de políticas, los objetivos son mejoras en las metas de energía en las políticas y planes en consecuencia, incremento en el nivel de destrezas del personal capacitado, etc. Un objetivo puede ser inmediato, intermedio o final, puede ser positivo o negativo, directo o indirecto, intencional o involuntario. Un objetivo puede ser un resultado acumulado de objetivos y tomar tiempo en lograrse. En términos de desarrollo de políticas, hay una necesidad de establecer claramente las metas de inicio, los objetivos superiores y la priorización de objetivos de desarrollo priorizando “quién” implementará la política. Los vínculos a la reducción de la pobreza en cualquier meta de política energética son algo débiles. Sin embargo, existen oportunidades tanto en los países con documentos y estrategias para energía así como también para reducción de la pobreza. La carencia de recursos y la voluntad política se citan generalmente como uno de los principales obstáculos para alcanzar los objetivos, sin embargo una participación coherente de los actores, la determinación de una buena información de base y el nivel mejorado del personal capacitado, especialmente en formulación de políticas mitiga algunos de estos obstáculos.

4.5 Indicadores de impacto. El Impacto se refiere a cambios en el desarrollo a mediano o largo plazo. Las mediciones de cambio involucran estadísticas complejas sobre el bienestar económico y social y dependen de información que es obtenida de los beneficiarios. Indicaciones tempranas de impacto pueden ser obtenidas a través de encuestas de percepción de los beneficiarios sobre los servicios del proyecto. Este tipo de indicadores tiene los beneficios de asesoramiento de consulta con los actores y alertas tempranas de los problemas que pueden suscitarse. Ejemplos de impacto: (Salud) incidencia de enfermedades respiratorias agudas, (Educación) tasas de continuidad de primaria a secundaria por sexo, (Forestal) porcentaje disminuido de áreas deforestadas, incremento en el porcentaje de ingreso de la familia por la venta de leña u otros combustibles. Ejemplos de percepciones de los beneficiarios: cantidad de agricultores que han tratado con una nueva variedad de semillas y procuran usarlas nuevamente; porcentaje de mujeres satisfechas con el servicios de salud que reciben. El impacto es el efecto en el largo plazo con respecto a los actores, instituciones y entorno resultante de las políticas, programas o de la intervención del proyecto. Un impacto puede ser positivo, negativo, intencional o involuntario. La integración de los temas energéticos generalmente no se toma en consideración. La carencia de agencias de energía rural o de programas de electrificación rural, particularmente gubernamentales es evidente de un impacto débil en la formulación de políticas energéticas.


Los recursos necesarios deben ser puestos de lado y el establecimiento de información sistematizada necesita ser desarrollada para el gobierno y actores no gubernamentales para trabajar juntos y tener un impacto positivo. Existe una multiplicidad de cambios en diferentes niveles y áreas que se esperan lograr mediante la ejecución de proyectos. Junto a los objetivos compartidos, los participantes tienen (directa e indirectamente) diversos y nuevos objetivos que persiguen con el proyecto. Además, debido al breve tiempo que dura el taller de planificación, usualmente es imposible describir con mucha precisión las diferentes áreas de influencia que se pretenden cubrir14. Todas estas áreas deberían incluirse dentro de las áreas de Influencia a ser monitoreadas. Mediante un proyecto se puede aspirar a lograr múltiples cambios como por ejemplo:

a nivel macro, meso y micro; a nivel de determinadas organizaciones, empresas, grupos y/o personas; en el ámbito del conocimiento, la conciencia, las acciones y los resultados de las

acciones.

Las medidas de fomento económico y promoción del empleo se orientan, en la mayoría de los casos, a empleados de organizaciones intermediarias. A través de las actividades del proyecto se producen cambios en primera instancia a nivel meso, es decir, en el nivel en el cual actúan una o varias organizaciones. Esto comprende, por ejemplo, el fortalecimiento de la orientación al cliente y a la demanda. El personal de estas instituciones va tomando conciencia que la contribución al fomento sólo puede ser aceptada y el aprendizaje puesto en práctica cuando corresponde a los reales requerimientos de apoyo de los grupos destinatarios. En consecuencia, hay que tomar muy en serio las necesidades e intereses de los clientes al momento de estructurar la oferta de servicios.

4.5.1 ¿Para qué se requieren indicadores de impacto?

Se requieren indicadores, es decir, “características”, “señales de itinerario”, “hitos” para:

• Conocer -con la ayuda de ellos- si son correctas las hipótesis sobre el impacto y en qué medida se producen los cambios previstos, así como los no deseados.

• Elegir sólo aquellos datos, entre la abundante información, que son relevantes para la toma decisiones.

• Obtener información en forma panorámica.

La presencia de indicadores se justifica porque llama la atención sobre múltiples circunstancias, temas, situaciones problemáticas y las reduce a una dimensión concreta.

Los indicadores de impacto miden y verifican los cambios sostenibles y de largo plazo en las personas (hombres y mujeres). El impacto se refiere principalmente a variaciones en los niveles de pobreza, en la calidad de vida, en las actitudes y prácticas. Los indicadores de género referidos al impacto miden de manera específica las variaciones en la posición de hombres y mujeres en la familia, las organizaciones y la comunidad. Los indicadores de impacto tienen como referente y corresponden al propósito (situación final esperada) y fin (objetivo de desarrollo) de un proyecto.

Véase también Dolzer H. Dütting M., Galinski D., Meyer R.L., Rotländer P., “Wirkungen und Nebenwirkungen”, Edition Weltweite Solidarität, 1998.


En la mayoría de los casos no basta un sólo indicador para describir o evaluar un status que o un cambio (“mejor” o “peor” que antes). Para las diferentes áreas de influencia seleccionadas se requiere un set completo y entendible de indicadores cualitativos y cuantitativos en la medida de lo posible. Hasta la fecha, el procedimiento practicado en muchos proyectos fue elegir indicadores bajo presión de tiempo en el último día del taller de planificación, lo que ha dado lugar a contar con indicadores poco diferenciados entre sí e insuficientes.

4.5.2 Niveles de Impactos. Al momento de evaluar los impactos es preciso distinguir tres niveles diferentes, en los

cuales se espera esos se concreten: Un primer nivel o nivel inferior, en el cual se miden y verifican los efectos o Impactos directos sobre los grupos destinatarios. En el caso de los proyectos sociales aquí se hallan los indicadores sobre los beneficios directos de la acción o inversión. En el caso de la asistencia técnica, aquí deben medirse sus efectos sobre las funciones esenciales de las instituciones contrapartes.


El nivel intermedio corresponde al "tejido socio - institucional" que asegure la permanencia de esos efectos en el tiempo y tiene que ver, en consecuencia, con la sustentabilidad de los resultados, en la medida en que estos se traduzcan en capacidades internas de los propios beneficiarios, para el caso: las municipalidades. El tercer nivel o superior a ser considerado en la medición de impactos corresponde necesariamente a la generación de valores y principios, que como resultado de los niveles anteriores, se afincan. Los servicios de energía son transversales por naturaleza: los economistas los consideran como “factores técnicos de producción” que contribuyen a producir otros bienes y servicios. En consecuencia, los planes de M&E para un proyecto de energía cubrirán probablemente, en el nivel de objetivo e impacto, productos o servicios no energéticos.

4.6 Identificación de objetivos e impactos de un proyecto. La tabla siguiente indica algunos de los parámetros que pueden resultar de los proyectos de electrificación rural descentralizada, ordenados de manera de incrementar la dificultad de su observación. Note que la clasificación de estos resultados tales como “objetivos” o “impactos” dependerá del marco lógico y del contexto del proyecto. Las metas de desarrollo del milenio MDMs son usadas para referencia de la terminología de objetivos/resultados. Se amplía un ejemplo también para proyectos con usos productivos.

Efectos directos (beneficios) sobre los grupos destinatarios.

Efectos sobre el tejido socio institucional y sustentabilidad.

Valores y patrones culturales

1

2

3


OBJETIVOS DEL MILENIO METAS del MILENIO

Erradicar la pobreza extrema y el hambre

1.1 Reducir a la mitad entre 1990 y 2015 el porcentaje de personas cuyos ingresos sean inferiores a 1 dólar por día.

1.2 Reducir a la mitad entre 1990 y 2015 el porcentaje de personas que padezcan hambre.

Lograr la enseñanza primaria universal

2.1 Velar para que el año 2015 los niños y las niñas de todo el mundo puedan terminar un ciclo completo de enseñanza primaria.

Promover la igualdad entre los sexos y la autonomía de la mujer

3.1 Eliminar las desigualdades entre los géneros en la enseñanza primaria y secundaria, preferiblemente para el año 2005 y en todos los niveles de la enseñanza antes de fin del año 2015.

Reducir la mortalidad infantil 4.1 Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niños menores de 5 años.

Mejorar la salud materna 5.1 Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes.

Combatir el VIH/SIDA, el paludismo y otras enfermedades

6.1 Haber detenido y comenzado a reducir, para el año 2015 la propagación del VIH/SIDA.

6.2 Haber detenido y comenzado a reducir para el año 2015 la incidencia del paludismo y otras enfermedades graves.

Garantizar la sostenibilidad del medio ambiente

7.1 Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e invertir la pérdida de recursos del medio ambiente.

7.2 Reducir a la mitad, para el año 2015, el porcentaje de personas que carezcan de acceso sostenible a agua potable.

7.3 Haber mejorado considerablemente, para el año 2020 la vida de por lo menos 100 millones de habitantes de villas.


OBJETIVOS DEL MILENIO METAS del MILENIO

Conformar asociaciones voluntarias (alianzas) entre países para el desarrollo sostenible

8.1 Haber mejorada la asistencia oficial y la ayuda a bilateral para reducir la pobreza

8.2 Ampliar el acceso al mercado para países enclaustrados y pequeños estados islas

8.3 Reducir la deuda de los países en vías de desarrollo

Fuente: CINER, trabajos sectoriales. Conferencia regional: “ALIANZA GLOBAL DE ENERGÍA COMUNAL”. Aprovechando la energía para la reducción de la pobreza Latino América y el Caribe (GVEP-LAC). 2003

Parámetros MDMs u objetivos similares de impacto

Número de clientes conectados por volumen de ventas.

Todas las MDMs, reducción de pobreza (acceso a energía moderna)

Porcentaje de penetración en las viviendas electrificadas.

Reducción de la pobreza.

Diversidad de suministro (gratis, limitada, bloqueada, …)

Reducción de la pobreza. (Acceso para los pobres)

Usos colectivos (escuelas, clínicas, centros comunales, religiosos, iluminación pública)

Educación, salud, gobernabilidad, seguridad.

Confort domiciliarios (iluminación, TV., equipos, …)

Calidad de vida, relaciones de género.

Actividades productivas (actividades nuevas o mejoradas) así como empleo directo.

Reducción de la pobreza (ingreso), creación de capacidades.

Seguridad (fuego, electrocución) Salud, Reducción de la pobreza (material de salud, costo a la comunidad)

Método de producción de energía Ambiente (efecto de gases invernadero) contaminación de suelos, calidad de aire,…) salud.

Frecuencia de enfermedades (tales como problemas respiratorios)

Salud.

Relaciones sociales. Gobernabilidad, relaciones de género.

Ahorro de tiempo Salud, relaciones de género. Fuente: A Guide to monitoring and evaluation for energy projects. M&EED. 2006.


4.7 Usos Productivos. En el taller de GEF/FAO: “Workshop on Productive Uses of Renewable Energy: Experience, Strategies, and Project Development FAO Headquarters”. Rome, Italy, June 18-20, 2002, se realizó una sistematización de usos productivos con energía. Esta información se muestra a continuación: Calentamiento y enfriamiento Aire acondicionado. Cocinas comerciales y hornos, fabricas de hielo, enfriamiento de leche, refrigeración de vacunas, calentamiento de agua. Procesamiento Secado de carne y pescado, flores comestibles, secado de caucho, deshidratado de especias, secado de granos, procesamiento de fibra de coco, molienda, aserraderos, producción de seda y tintes para industria textil.

Relacionados con agua Bombeo para riego, desalinización, bombeo para agua potable, purificación.

Comunicación Cine, educación a distancia, Internet, Sistemas de apoyo geográfico, teléfono, video. Generación de energía o conversión. Cargado de baterías, combustibles líquidos y gaseosos.

Varios Elaboración de ladrillos, carpintería, cercos eléctricos, monitoreo ambiental, trampa para peces, artesanía, producción de energía para equipos médicos, costura, soldadura, trabajo en talleres, herramientas manuales.

Iluminación Iluminación de centros comunales, de clínicas, de escuelas, de Talleres. A nivel general se elabora un listado de insumos para determinar los indicadores:

Número y tipo de empresas productivas que surgen luego del proyecto de energías renovables.

Número de empresas que funcionan con asesoría del proyecto. Años de operación de cada empresa. Electricidad requerida/usada por la empresa. Costos de inversión y retorno. Tipo y calidad de gestión de la empresa. Número de viviendas / familias que se benefician de la empresa productiva. Niveles de tomas de conciencia de tarifas por parte de los usuarios / satisfacción del cliente.

La tabla siguiente muestra diversos tipos de usos productivos, así como indicadores posibles.


Uso

s pr

oduc

tivos

Tipo Uso Indicador medible y

cuantificable Sugerencia para la implementación

Agr

icul

tura

de

gana

do y

pas

tore

o Bombeo Riego 1. Capacidad y uso de la

bomba. Mejora de la calidad de los productos vendidos, tiempo de conservación, productividad, (1, 5 y 6) Posibilidades de diversificación de productos. (1, 2, 3, 5, 6, 7, 8)

Transformación de cereales

Molino 2. Frecuencia de uso.

Descascaradoras de grano.

3. Frecuencia de uso

Conservación 4. Tipo de producto conservado.

Conservación de alimentos frescos.

Conservación de carne.

5. Tipo de producto y finalidad de conservación.

Conservación de frutas y vegetales.

6. Tipo de producto y finalidad de conservación.

Transformación de otros

Secado. 7. Tipo de transformación y posibilidades de venta.

Productos Cocción (jamones, salsas)

8. Tipo de transformación y posibilidades de venta.

Pro

ducc

ión Máquinas Artesanías 9. Tipo de máquinas y

utilización. Incremento en la calidad y productividad.

Cooperativas

Fábricas

Com

erci

aliz

ació

n Refrigeración, congelamiento

Bebidas, productos frescos.

10. Tipo de productos refrigerados o congelados.

Productos frescos mejor conservados. Posibilidad de diversificación en comercio (bebidas frescas, Internet,…) Atractividad de los puestos de ventas (7).


4.8 Análisis de Indicadores para Resultados. Ya sea que se enfoque en el monitoreo o la evaluación, en algún momento el responsable de M&E se encontrará con una gran cantidad de información y tendrá que decidir cómo hacer que cobre sentido o cómo la analizará. Si se tiene un equipo de evaluación externa, ese equipo hará el análisis; pero en la evaluación y de todas maneras en el monitoreo, el responsable de M&E, la organización o el proyecto, tienen que hacer el análisis.


El análisis es el proceso de volcar información detallada en un modelo comprensible, tendencias e interpretaciones. El punto inicial para el análisis en el contexto de un proyecto u organización es generalmente muy poco científico. Es nuestra intuición de los temas claves que salen a flote en el proceso de búsqueda de información. Una vez que tiene los temas claves definidos, es posible trabajar con la información, estructura y su organización. El próximo paso es el de escribir el análisis de los hallazgos sobre la base de las conclusiones a las que se llegue y realizar las recomendaciones. De esa manera, el proceso será algo así:


4.9 Operacionalización de los indicadores. Para formular el indicador hay un trabajo de profundización, discusión y consenso para ver qué variables sirven. Una vez formulado el indicador, debe definirse con qué relación y con qué valor de partida debe ser medido. Una vez claro el indicador, se deberá establecer línea de base, es decir un conjunto de valores iniciales que se utilizará para la toma de decisiones. Requerimiento de datos. ¿Qué datos concretos se requieren para verificar con precisión el indicador? Método de recopilación ¿Cómo se pueden obtener los datos requeridos?

Determine algunos indicadores clave para el proceso de monitoreo / evaluación.

Obtención de información acerca de los indicadores.

Desarrolle una estructura para el análisis de los temas emergentes y preocupaciones, donde Ud. suponga que pueden esperarse variaciones de lo esperado y/o planificado.

Analice la información, organícela bajo temas y asuntos.

Identifique modelos, tendencias y posibles interpretaciones.

Escriba sus descubrimientos y conclusiones. Trabaje posibles vías para seguir adelante (recomendaciones).


Frecuencia de recopilación. ¿Cuándo y con qué frecuencia habrá de obtenerse los datos requeridos? El monitoreo es continuo, en el sentido que se hace con cierta frecuencia. Se debe definir la fecha oportuna para recopilar datos; involucrar a la gente que utiliza el dato, y para cuando lo necesitan. Responsabilidad. ¿Quién debe obtener los datos? La responsabilidad consiste en hacer llegar los datos para la toma de decisión. Cálculo de costo para utilizar este indicador en el monitoreo ¿Cuánto costará levantar la información para este indicador?

4.10 Indicadores del sector energético.

Grado actual de cobertura energética en la zona. Inversión por usuario. Grado de dispersión de los pobladores. Incremento de la tasa de electrificación. Disponibilidad de recursos energéticos. Gasto en energéticos alternos. Sistema de suministro actual de energía (cocción, iluminación, comunicación, etc.).

Tipos de usos previstos de la energía (individuales, comunitarios, productivos).

Usos productivos de la energía. Combustible utilizado para cocinar. Legitimidad de la demanda energética. Proyectos previos de energización. Sustitución de fuente energética o ampliación del servicio. Cantidad de posibles usuarios del sistema energético. Calidad del servicio energético. Cantidad de energía utilizada actualmente (energía sustituta por usuario). Tipos de organizaciones o empresas a cargo de sistemas energéticos. Beneficios del proyecto por diferenciación de género. Incremento de la participación femenina en las decisiones de proyectos energéticos.

Reducción de la carga de trabajo para las mujeres por beneficios del nuevo sistema energético.

Tendencia de crecimiento del mercado energético. Voluntad de pago por servicio energético.


Indicadores de viabilidad técnica para proyectos de energía

Indicador Red Gas Natural Diesel MCH SFV S. Eólico

Potencia por Consumidor (W/Consumidor):

>300 >200 >200 >200 <30 <30

Grado de dispersión de los usuarios (usuarios/km):

<10 <10* <10* <10* _____** _____**

Energía por Consumidor doméstico (kWh/Consumidor-mes):

>45 >40 >40 >40 <20 <20

* En el caso de estas tres tecnologías se analiza, principalmente, la red de distribución. ** No es un parámetro a considerarse. Fuente: Manual para elaboración de proyectos de electrificación rural, VMEEA – Bolivia, 2002.

Indicadores de viabilidad económica en proyectos energéticos

Indicador Red Gas Nat. Diesel MCH SFV Eólico

Costo de la energía ($US/kWh): 0.12-0.15 0.10 - 0.20 0.20 - 0.25 0.04 - 0.24 0.9 - 1.2 0.3 - 1.4

Inversión por Consumidor ($US):

400-1650 200-500* 100-300** 650 - 1200** 560 - 960 700 -1200

Fuente: Manual para elaboración de proyectos de electrificación rural, VMEEA – Bolivia, 2002.


Tipo y uso de la energía:

TIPO DE ENERGIA 1.

Leñ

a

2. V

elas

3. B

ater

ías

de c

elda

sec

as

4. D

esec

hos

anim

ales

/pla

ntas

5. H

uman

a/A

nim

al

6. G

asol

ina/

dies

el

7. K

eros

ene

8. C

arbó

n ve

geta

l

9. C

arbó

n m

iner

al

10. G

as (a

cetil

eno,

oxi

geno

, et

c.)

11. B

ater

ías

de a

uto

12. S

iste

ma

Sol

ar P

V 1

3131

fo

tovo

ltaic

os)

13. C

alen

tado

res

sola

res

de

agua

14

. Ele

ctric

idad

de

la R

ed

15. G

ener

ador

a

Die

sel/g

asol

ina

16. S

olar

/Luz

del

día

17. O

tros

CONCEPTO

1. Comunicación

a. Social (radio, tv, etc.)

b. Personal (telef., radio, etc.)

2. Cocinar / calentar

3. Iluminación

4. Higiene

5. Producción

6. Transporte

7. Unidad de medida (bs.)

8. Consumo Mes

Elaboración: GAMARRA Alba, SOLOGUREN Jaime. Estudios de línea de base, Componente Energía – PROAGRO GTZ Bolivia. 2006


BASE DE DATOS

CONSUMO DE COMBUSTIBLE Y CAMBIO POSITIVO

CON LA IMPLEMENTACION DE LAS COCINAS MEJORADAS

BOMBORI

Nº Reg Apellido Nombre

SEXO Nº

Integrantes de Familia

Nº de Hijos

Ingreso Mes

Ingreso por año

Uso de combustible (Etapa I) Bs. por semana

Uso de combustible (Etapa II) Bs. por semana

Cocina Mejorada

Contraparte Bs.Selección

Hombre Mujer Gas Leña Yareta Bosta Total Bs. Gas Leña Yareta Bosta Total

Bs. Cambio

+ Solar Eficiente Muestra Control

Elaboración: Fundación CEDESOL – CINER. Evaluación a los municipios de Colquechaca y Pocoata para el Componente Energía – PROAGRO GTZ Bolivia. 2006


Selección de alternativas viables (económicamente)

Usos / Opciones de suministro Red Gas Diesel FV Hidro Eólico Observaciones (1)

a) Satisfacción de la Demanda Distancia y Distancia y - Surtidor. Radiación Caudal, altura Velocidad y * Consultar con

Link encuesta sección 1. potencia dispo- presión del - Distancia. solar y distancia duración Distribuidoras.

nible. gasoducto. - Demanda en com- (>4.5 kWh/día).

del aprovecha- del viento.

** Con Distribuidoras

* ** bustible (cantidad en miento. y transportadora.

surtidor más frecuencia de compra)

b) Disponibilidad local de la Base de datos Base de datos Base de datos Base de datos

Base de datos Base de datos Ubicación general

tecnología. de proveedores de proveedores de proveedores

de proveedores

de proveedores de proveedores de proveedores

(quién / dónde) y equipos. y equipos. y equipos. y equipos. y equipos. y equipos. en la guía.

c) Disponibilidad local de fuentes.

- Datos meteo- Curva de Datos *** Promedios

(cuánto) kW. mil pie3/mes. Litros/mes. rológicos. *** duración de meteorológicos. diarios, mensuales.

- kWh/año. caudal

(l/s)/año.

d) Permanencia de la fuente horas/día. Sirve para todos,

Energética en el lapso de 20 años. días/mes. * * * * * se puede expresar

meses/año. según el caso.

*


e) Experiencia del operador local - cuánto factura

por tecnología utilizada. año? * * * * *

- No. de clientes

* Viable tecnológicamente. atendidos.

- (Patrimonio de la empresa) ****

(1) Siempre referido a la electrificación. Fuente: Manual para elaboración de proyectos de electrificación rural, VMEEA – Bolivia, 2002.



Ejercicio a realizar TAREA : CONSTRUCCIÓN DE INDICADORES Objetivo de la Tarea: Reforzar la comprensión de la lógica de la MPP y el conocimiento de los métodos recibidos para el análisis de los indicadores. Resultados esperados al final de la tarea: Conclusiones y sugerencias resultantes del análisis de la lógica vertical y horizontal de la Matriz de Planificación del Proyecto. Análisis de los indicadores de los resultados de la Matriz, asignados al grupo, empleando para ello, alguno de los métodos sugeridos en la sesión anterior y sugerir, de ser pertinente, la modificación del indicador. Construcción de los indicadores para la MPP de algún proyecto o programa energético.

Instrucciones: Luego de concluir con el trabajo grupal, se tendrá 15 minutos par una feria de resultados, en la que los participantes e instructores, visitarán y observarán los resultados alcanzados por los grupos. Se requerirá que utilice los conceptos y herramientas de todos los módulos de este manual. Tiempo recomendado: 90 minutos. Forma de presentación: mediante visualización.

Resultados Indicadores

Objetivos Indicadores


Ejercicio o tarea a realizar TAREA: ANALISIS DE IMPACTOS

Objetivo de la Tarea: Reforzar la comprensión de los participantes acerca de los niveles de impacto de un proyecto. Actividades a realizar: Con base en el análisis particularizado de la matriz de planificación proporcionada, identificar los deferentes niveles de impacto que en ella constan y otros que, según los objetivos y alcance del proyecto, deberían además considerarse en la evaluación de los impactos del proyecto. Tiempo recomendado: 30 minutos. Forma de presentación: mediante visualización con papelógrafos.

Efectos directos (beneficios) sobre los grupos destinatarios.

Efectos sobre el tejido socio institucional y sustentabilidad.

Valores y patrones culturales

1

2

3


Modulo 5: Proceso de Implementación de un Plan de Monitoreo y Evaluación


5.1 RECOLECCIÓN DE INFORMACIÓN: IMPORTANCIA Y MÉTODOS. .................................................. 121

5.1.1 Métodos cuantitativos y cualitativos. .................................................................. 121 5.2 MÉTODOS PARA EL MONITOREO Y EVALUACIÓN DE PROYECTOS DE ENERGÍA. ......................... 126

5.2.1 Métodos cualitativos: el proceso de consulta y participación. ........................ 126

5.2.2 Métodos cuantitativos. .......................................................................................... 126 5.3 RETROALIMENTACIÓN Y REVISIÓN. ......................................................................................... 128 5.4 EVALUACIÓN Y DIFUSIÓN DE RESULTADOS. ............................................................................. 129

5.4.1 Manejo de la información. .................................................................................... 130

5.4.2 Informes del monitoreo y evaluación. ................................................................. 130

5.4.3 Contenido de un Informe de monitoreo & evaluación. ...................................... 132

5.4.4 Difusión de los resultados del monitoreo y evaluación. ................................... 132 5.5 PUNTOS DE DISCUSIÓN. ......................................................................................................... 133



Objetivo del Módulo Comprender el proceso de llevar adelante la ejecución de un plan de M&E.

Objetivos de aprendizaje Explicar la importancia de disponer de datos confiables. Explicar los métodos que pueden ser utilizados para la recolección de información. Explicar el establecimiento y proceso de evaluación. Comprender las características de la difusión de información y retroalimentación.


Tener habilidad para definir y usar los diferentes métodos para la recolección de información para el M&E. Diseñar la evaluación para un programa o proyecto.


100 minutos

Forma de trabajo Exposición dialogada del facilitador y trabajo grupal.

ACRÓNIMOS


FODA Fortalezas, Oportunidades, Debilidades y Amenazas.




GLOSARIO

Entrevistas estructuradas, semi-estructuradas y no-estructuradas.

Las entrevistas estructuradas siguen un conjunto de preguntas establecidas en un cuestionario previamente elaborado por el entrevistador. Las entrevistas no-estructuradas, no tienen ningún cuestionario elaborado y la información recolectada debe ser sistematizada por el entrevistador, usando el criterio de extractar un resumen. Las semi-estructuradas contienen un conjunto base de preguntas orientadoras, pero que solamente sirven de guía para el


entrevistador, añadiendo otras que puedan surgir en base a la entrevista en curso.

Grupo focal Reunión de un grupo de individuos seleccionados por los evaluadores para discutir y elaborar, desde la experiencia personal, una temática o hecho social que es objeto de investigación. Tiene como propósito registrar cómo los participantes elaboran grupalmente su realidad y experiencia

Recolección de información

Procedimiento mediante el cual se identifican fuentes de información y se consiguen datos durante el M&E.

Triangulación Uso de tres o más teorías, fuentes o tipos de información, o tipos de análisis para verificar y sustentar una evaluación. Nota: Al combinar múltiples fuentes de datos, métodos, análisis o teorías, los evaluadores procuran eliminar el sesgo que surge cuando se recurre a una sola fuente de información, a un solo método, a un único observador o a una teoría única.


CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003.

Dorsi Germann / Eberhard Gohl. Monitoreo participativo de impactos. GATE – GTZ. 1990.

Monitoring and Evaluation for Energy and Development Working Group. A Guide to Monitoring and Evaluation for Energy Projects. 2006. (Download from: http://www.gvep.org/WorkArea/showcontent.aspx?id=1628)






60 minutos Sección 5.5 Trabajo grupal. Nota.- El facilitador verá la conveniencia de realizar los 3 ejercicios o mínimo 1, en función del tiempo disponible



5.1 Recolección de información: Importancia y métodos. Cuánta información necesitamos?

Un error común es intentar recolectar demasiada información Fuente: Dorsi Germann / Eberhard Gohl, Monitoreo participativo de impactos“ GATE – GTZ.

Muy a menudo, la gente recopila grandes cantidades de datos que nunca llegan a utilizar. No todo el mundo necesita todas las informaciones. La información interna del grupo no necesariamente tiene que ser entregada a personas externas, a organizaciones de desarrollo (ONG, etc.), a agencias financiadoras o a otros actores externos (autoridades gubernamentales, intermediarios, etc.). Debe haber un acuerdo dentro de su grupo y de éste a su vez con las contrapartes externas, sobre cuales informaciones serán para uso interno o cuales serán canalizadas para el uso externo, y con qué frecuencia. Es por lo tanto vital asegurar que los distintos tipos de datos recopilados sean transformados en información útil.

5.1.1 Métodos cuantitativos y cualitativos. Existen dos tipos de métodos principales de recolección de información: Cuantitativo o cualitativo. Mientras que los datos cualitativos son principalmente en forma descriptiva, los datos cuantitativos son numéricos. Las mediciones cuantitativas avisan “cuanto o en qué magnitud”. Cuántas personas asistieron a un taller, cuantos aprobaron sus exámenes finales, cuánto costó una publicación, cuánto deben caminar para obtener agua o leña, etc. Las mediciones cuantitativas pueden ser expresadas en números absolutos o en porcentaje. De una forma u otra la información cuantitativa se obtiene contando o midiendo. Las mediciones cualitativas avisan “cómo se sienten las personas sobre una situación, sobre cómo están siendo hechas las cosas o sobre cómo es el comportamiento de la gente. La información cualitativa se obtiene preguntando, observando e interpretando. Las evaluaciones con enfoque cualitativo, tienen la posibilidad de utilizar diferentes métodos en función de los elementos a investigar. Generalmente las entrevistas semiestructuradas son las que mejor se ajustan para fines de recoger información confiable. En el contexto del proyecto los responsables que efectuarán el monitoreo & evaluación sobre temas cualitativos, como por ejemplo la satisfacción de los clientes de sistemas y/o servicios, deberán utilizar los formularios correspondientes. Sin embargo para complementación se podrá utilizar los métodos que mejor se ajusten a los fines del proyecto. Algunas personas encuentran que la información cuantitativa es reconfortante – parece más solida, confiable y “objetiva”. Ellos encuentran que la información cualitativa no es


convincente y “subjetiva”. Es un error decir que la información “cuantitativa” habla por sí sola. Se requiere mucha interpretación de manera tal de volverla significativa así como lo hace la información cualitativa. Es un “hecho” que la asistencia de niñas a las escuelas en algunos países en vías de desarrollo está decayendo – si nos ponemos a contabilizar; pero no nos dice nada acerca de por qué está sucediendo esta caída. Para saberlo, necesitaremos visitar y hacer preguntas, para obtener información cualitativa. La selección de indicadores también es subjetiva, ya sea que use métodos cuanti o cualitativos para hacer la actual medición. Los investigadores eligen medir la matriculación de las niñas puesto que suponen que este aspecto puede decirles cómo está siendo tratada o vista la mujer en la sociedad. El proceso de M&E requiere de una combinación de información cuantitativa y cualitativa para ser detallada. En definitiva, la selección de los métodos depende por un lado, de los objetivos del monitoreo y evaluación y las expectativas de los participantes referidas a la calidad y cantidad de la información. Por otro lado, esto es determinado también por las exigencias que plantean los participantes al monitoreo y evaluación, es decir, con qué recursos y con cuánto tiempo se cuenta para llevar a cabo esta actividad. Para definir las expectativas y requisitos que deben reunir los métodos hay que discutir este tema con los participantes, entre otras personas, para lo cual los siguientes criterios pueden resultar valiosos:

• ¿Cuán precisa debe ser la información? • ¿Cuán confiable debe ser la información? • ¿Cuán representativa debe ser la información? • ¿A qué nivel de agregación debe estar la información? (por familia/ empresa, por

gremio/ pueblo, etc.) En este capítulo nosotros le proporcionaremos una lista de chequeo de diferentes tipos de métodos que pueden usarse para propósitos de recolección de información para el M&E. Para ello precisa seleccionar cual de los métodos satisface sus objetivos y recursos. No pretenda hacer una encuesta exhaustiva de 100 000 viviendas si tiene dos semanas y poco dinero. En ese caso utilice una muestra. Muestreo es otro concepto importante cuando usamos varias herramientas para el proceso de M&E. El muestreo no es una herramienta por sí misma, sino un concepto de importancia al utilizar diversas herramientas para el M&E. El muestreo responde a preguntas como: ¿Quién hace la encuesta, entrevista, incluye a grupos focales, etc.? Es una forma de disminuir el número posible de entrevistados para hacerlo más manejable y asequible. Algunas ocasiones es necesario ser amplio. Ello significa llegar a cada casa, escuela, profesor o clínica. En una evaluación, puede usar la información recolectada en cada caso durante el proceso de monitoreo en un análisis general. Generalmente, sin embargo, a menos que los números estén demasiado pequeños, esa indagación a profundidad será cambiada por una muestra. Las técnicas de muestreo incluyen: Muestreo randómico (tipo lotería) donde – por ejemplo – todos los nombres entran en un recipiente y se sacan al azar. Este tipo de muestreo aleatorio es difícil de usar en el tipo de trabajo del que estamos hablando. De manera práctica usted puede elegir cada número 7 números de una lista de viviendas o por cada número tres en la lista de personas. La idea es que no haya una selección por favoritismo. El muestreo estratificado (por ejemplo cada séptima vivienda de ingresos superiores, cada tres viviendas en el estrato más bajo). El muestreo tipo “Cluster” (por ejemplo aquellas personas que han estado en el proyecto por lo menos dos años).


Generalmente es mejor usar la triangulación. Esta palabra significa que una serie de datos o información es confirmada por otras.

Herramienta Descripción Utilidad Desventajas

Entrevistas Pueden ser estructuradas, semi-estructuradas o no estructuradas. (ver glosario) Las entrevistas involucran el solicitar preguntas específicas con el objetivo de obtener información que permitirá medir los indicadores. Las preguntas pueden ser abiertas o cerradas (respuestas con si/no. Pueden ser una fuente de información cuanti y cualitativa.

Pueden ser utilizadas por casi todas las personas que tienen un involucramiento con el proyecto. Pueden ser realizadas por una persona mediante el teléfono e incluso por correo electrónicos. Es una herramienta flexible.

Requiere algunas destrezas para el entrevistador. Para conocer más sobre destrezas en las entrevistas, puede ver más adelante en este módulo.

Entrevistas a informantes clave

Estas entrevistas son llevadas adelante por especialistas en un tema o por alguien que puede tener un interés particular en el proceso.

Puesto que esos informantes generalmente tienen poco que hacer con la organización del proyecto, pueden ser bastante objetivos y ofrecer una visión muy útil. Pueden proveer una “gran foto” donde más gente esté involucrada en el nivel “micro”.

Se precisa un encuestador con habilidades, con buena comprensión del tema. Debe ser cuidadoso(a) de no volcar en una verdad absoluta todo lo enunciado, basado en que se dijo que es un informante clave.

Cuestionarios Estas preguntas por escrito se usan para dar respuestas también escritas, que al ser analizadas, permitirán medir los indicadores.

Esta herramienta puede ahorrar gran cantidad de tiempo en auto completarse. Haciéndolo de esta manera se permite a las personas una sensación de anonimato y pueden decir cosas que no se animarían ante un encuestador.

Con personas que no saben leer y escribir, alguien tiene que apoyarles en el llenado del cuestionario, lo que significa que no hay ahorro de tiempo y los números que se obtienen son limitados. Con los cuestionarios no es posible averiguar lo que la gente dice adicionalmente. Los cuestionarios también son sobre utilizados y la gente se cansa de llenarlos. Los cuestionarios deben ser comprendidos para no ser malinterpretados. Si el cuestionario es complejo y necesitará un análisis computarizado,


ayuda de un experto en su diseño.

Grupos focales En un grupo focal, de cerca de 6 a 12 personas entrevistas en un mismo momento por un facilitador experimentado con una agenda clara y estructurada. Las preguntas se enfocan generalmente en un tema en particular.

Puede ser una forma muy útil de obtener opiniones de una muestra grande de personas.

Es difícil tener una muestra aleatoria para grupos focales, lo que significa que varios de los hallazgos pueden no ser generalizados. Algunas veces las personas influyen sobre otras ya sea en lo que va a decir o lo que va a callar. Si es posible se debería grabar las intervenciones y luego transcribirlas. Esto requiere de equipo especial y puede consumir mucho tiempo.

Encuentros comunales

Esto involucra el reunir a un gran número de beneficiarios a quienes se les pregunta sobre problemas o situaciones de las que se espera ayuda para la medición de indicadores.

Las reuniones comunales son útiles para obtener una respuesta amplia de muchos temas específicos. También es una forma de involucrar a los beneficiaros de manera directa en la evaluación, dando un sentido de apropiación del proceso. Son útiles en algunos puntos críticos en los proyectos comunitarios.

Difícil de facilitar – requiere de facilitadores experimentados. Pueden requerir de trabajo en grupos seguidos de sesiones en plenaria conde todos nuevamente se reúnen.

Informes de campo

Informes estructurados que asegurar que las preguntas relacionadas a los indicadores son preguntas y grabadas, así como las observaciones de cada visita

Es una extensión del trabajo normal, por lo que es barata y no consume tiempo.

Confianza en trabajadores de campo que sean disciplinados y perspicaces.

Clasificación Involucra el obtener lo que la gente dice, lo que piensan y lo que es más útil, más importante, menos útil, etc.

Puede ser utilizado con individuos y grupos, como parte de una agenda de entrevistas, cuestionario o en una sesión directa. En los casos que hay personas analfabetas se pueden utilizar fotos.

La clasificación es un concepto difícil para llevar adelante y requiere de explicaciones cuidadosas así como el asegurarse que las personas entienden lo que está solicitando. Si ellos no comprenden bien sus datos pueden ser completamente distorsionados

Estímulos audiovisuales.

Incluye películas, grabaciones, cuentos, juego

Muy útil para usar con otras herramientas,

Debe tener un estímulo apropiado y el facilitador


de roles, fotografías, usados para ilustrar sobre temas o problemas; así como sobre eventos anteriores e incluso sobre eventos futuros.

especialmente con gente que no saben leer ni escribir.

precisa tener destrezas en usar cada estímulo.

Escalas de medición

Esta técnica hace uso de un rango, donde se espera que las personas coloquen sus propios sentimientos, observaciones, etc. Se solicita a las personas si están fuertemente de acuerdo, de acuerdo, no conocen, están en desacuerdo o si están totalmente en desacuerdo. Puede usar cuadros y símbolos en caso de que las personas no sepan leer ni escribir.

Es útil para medir actitudes, opiniones, percepciones.

Debe verificar las aseveraciones de manera cuidadosa para asegurarse que no haya posibilidad de mala comprensión. El problema más común es cuando dos conceptos están incluidos en la oración y usted no está seguro de sí una opinión es dada en una forma, otra o ambas.

Evento/incidente crítico. Análisis

Este método es una forma de enfocarse en entrevistas a individuos o grupos sobre acontecimientos o incidentes. El propósito de hacer esto es de tener una imagen completa de lo verdaderamente sucedido.

Muy útil cuando ha ocurrido algo problemático y las personas tienen sentimientos muy fuertes acerca de esto. Si todos los involucrados están incluidos, pueden incluso ayudar, pudiendo apoyar al equipo de evaluación a tener una imagen más aproximada a lo que sucedió y a ser capaces de diagnosticar que fue lo que estuvo mal.

El equipo de evaluación puede terminar sumergido en una gran cantidad de detalles contradictorios y un monto de “el dijo / ella dijo”. Puede ser difícil no tomar parte y permanecer objetivo.

Observación participativa

Esto involucra observar directamente los eventos, procesos, relaciones y comportamientos. Lo de “participativa” implica que el observador se involucra en actividades en lugar de mantener distancia.

Puede ser una forma útil de confirmar, Puede ser una forma útil de confirmar o por el contrario, proveer información de otra manera.

Es difícil observar y participar. El proceso consume mucho tiempo.

Auto dibujos Esto hace que los participantes dibujen imágenes, generalmente de cómo sienten o piensan sobre algo.

Pueden ser muy útiles, especialmente con jóvenes y niños.

Puede ser difícil de explicar e interpretar.



5.2 Métodos para el Monitoreo y Evaluación de proyectos de Energía. Diversos métodos pueden ser usados para recolectar información durante la línea de base, el M&E de un proyecto/programa. La mayoría de los métodos son genéricos y pueden ser usados para la mayoría de las evaluaciones; pero una metodología mixta combinando tanto métodos cuantitativos como cualitativos de recolección de información proveerán mejores perspectivas para tener gran éxito e impacto, especialmente en la entrega de proyectos de energía enfocados en el alivio a la pobreza. La información cualitativa y cuantitativa puede obtenerse mediante encuestas y observando a los beneficiarios/grupos destinatarios.

5.2.1 Métodos cualitativos: el proceso de consulta y participación. El análisis social es generalmente dependiente de los cambios de percepciones de una sociedad dinámica. Los métodos cualitativos son más eficientes para acercarse a esos cambios. Los métodos cualitativos son útiles especialmente durante la fase inicial de consulta con las comunidades beneficiarias. Las percepciones de la gente local, la trasparencia de los servicios provistos y beneficios obtenidos, así como otra información crítica pueden requerir un acercamiento “suave” usando entrevistas y discusiones con grupos focales. Existen muchos métodos cualitativos como se muestra en la tabla a continuación. Mientras que la mayoría de ellos son participativos y pueden ser llevados a cabo en grupos pequeños (tales como mapeos sociales, grupos focales), otros como los estudios de caso y las entrevistas a profundidad obtendrán mejores resultados de información que si son administrados en el nivel personal.

Los métodos cualitativos pueden ofrecer dependencia de las interpretaciones del gerente / administrador; sin embargo si se lleva a cabo con total participación y consulta, proveerá una visión más amplia del análisis. Otros métodos cualitativos como la narración vivencial de historias pueden proveer información detallada de cambios en la vida de las personas, familias o comunidades.

5.2.2 Métodos cuantitativos. Los indicadores están mejor valorados usando métodos cuantitativos. Sin embargo, el proceso de cuantificación puede ser elaborado (si el proyecto es grande) o puede ser realizado mediante una valoración rápida. La recopilación de información para la línea de base o para el proceso de M&E debe primero tomar en cuenta la información básica y generalmente las encuestas son el mejor modo de tener información de línea de base detallada, especialmente en el caso de beneficiarios de hogares. Algunas veces las encuestas de percepción pueden ser llevadas a cabo durante los procesos iniciales de línea de base.

Métodos cualitativos

Observación Consulta a los actores

Entrevistas de estudio de caso a profundidad. Documentación

Discusiones con grupos focales / Consultas. Estudios de caso

Líneas de tiempo / cronogramas temporales. Entrevistas abiertas personales.

Mapeos sociales Análisis FODA

Etnografía Ranking de riqueza.


Los métodos cuantitativos son usados más para medir diferencias del estadio de línea de base respecto del estadio de impacto, si se administra de manera regular. La información puede apoyar a comprender la percepción, disponibilidad y capacidad de la población de implementar un proyecto de energía. Una de las fortalezas de usar un método cuantitativo es que la información puede ser desagregada fácilmente de acuerdo a los grupos, género, instituciones, regiones, y otros. El uso combinado de datos cuantitativos con cualitativos permitirá incrementar la implementación efectiva del plan y estrategias.

Cuantitativa

Cuestionarios Encuestas

Entrevistas estructuradas (escritas) Análisis costo-beneficio.

Revisión de información contable. Análisis técnico

Censo de población Mapas con Sistemas de Información Geográfico. Cuando se trata de levantamiento total de la información cuantitativa hay que encuestar a todas las personas (beneficiarios/grupos destinatarios) involucradas en el tema. Una ventaja de esta modalidad es su exactitud. Sin embargo, no hay que perder de vista la desventaja de incurrir en elevados costos e insumo de mucho tiempo. Por esta razón, sólo hay que llevar a cabo levantamiento total cuando el número de unidades a ser estudiadas es relativamente pequeño. Si sólo se va a encuestar a un porcentaje de la totalidad básica de personas, entonces hay que llevar a cabo un levantamiento parcial cuanto mayor es la exigencia en precisión y representatividad de los datos mayor es por lo general la inversión en tiempo y costos. Para lograr el más bajo nivel de tolerancia de errores posible deben ser representativas las personas elegidas en función de las características a evaluar; la muestra debe ser grande; hay que aplicar determinados procedimientos de selección (p.e. muestra aleatoria, procedimiento de selección por cuotas, etc.). ¿Cómo obtendremos la información? Esto es visto con mayor detalle en la sección correspondiente al monitoreo, recolección de información, etc. Los métodos de recolección de información deben ser insertados en su plan de acción. Debe procurar tener un buen flujo de información canalizado en el proyecto u organización respecto del trabajo, de cómo se está realizando, sin sobre cargar a nadie. La información recolectada debe significar algo, no obtenga información para estar ocupado, solo trate de investigar lo que precisa y asegúrese de que la información está guardada de tal forma que es de fácil acceso. Generalmente puede usar informes, minutos, registros de participación, declaraciones financieras que son parte de su trabajo como una fuente de información de M&E: Sin embargo, algunas veces debe usar herramientas especiales que son simples y útiles que pueden añadir algo más a la información recolectada según lo establecido en el trabajo. Algunas de las más comunes son:

• Estudios de caso. • Observaciones grabadas. • Diarios. • Grabación de incidentes o análisis importantes (denominados “análisis de incidentes

críticos” • Cuestionarios estructurados. • Entrevistas personales.


• Grupos focales. • Encuestas por muestreo. • Revisión sistemática de información oficial de importancia.

¿Quiénes deben estar involucrados? Casi todas las personas en la organización o proyecto deben estar involucrados de alguna manera en la obtención de información que pueda ser utilizada en el M&E. Esto incluye a:

• Administrador quien puede participar unos minutos en una reunión y/o hace circular el registro de asistencia

• Los trabajadores de campo que preparan sus informes de las visitas al campo. • El contador que guarda la documentación sobre ingresos y egresos.

De manera de maximizar los esfuerzos, la organización o proyecto precisa: • Preparar formatos de informe que incluyan mediciones, sean estas cuanti o

cualitativas de los principales indicadores. Por ejemplo, si quiere saber cómo está la participación de las mujeres en las actividades del proyecto, estructure los informes de los trabajadores de campo de manera tal que puedan realizar sus comentarios sobre esos hechos.

• Preparar formatos para sistematizar que incluyen mediciones de los indicadores relevantes. Por ejemplo, si desea conocer cuántos hombres y mujeres asistieron a determinado tipo de reuniones, deberá incluir una columna de género en la lista de participantes.

• Sistematizar información de tal manera que sea posible sacar lo que uno precisa. Por ejemplo, si necesita saber si un proyecto es sostenible financieramente, y cuáles son los elementos de mayor costo, debe asegurar que los libros del contador reflejen ese tipo de información de importancia.

Un principio útil es mirar a cada actividad y preguntarse: ¿Qué preciso saber sobre esta actividad, tanto proceso (cómo está siendo ejecutada) como producto (qué se supone que se debe lograr); cuál es la mejor forma de averiguarlo y sistematizarlo a lo largo del tiempo?

5.3 Retroalimentación y revisión. La forma cómo se analiza la información y en qué medida es utilizada para la dirección del proyecto, varía de proyecto a proyecto.


SISTEMA INTERNO DE RETROALIMENTACION DEL MONITOREO

Diseño de los reportes del Progreso del Proyecto.

Definición del Cronograma de retroalimentación.

Elaboración de recomendaciones y conclusiones.

Proceso de toma de decisiones.

Recepción de reportes / informes individuales.

Entrenamiento del equipo del proyecto y contrapartes.

Evaluación, discusión, modificaciones.

Distribución de los reportes

Elaboración e introducción de cambio.

Seguimiento de recomendaciones.

Evaluación de resultados e impactos.

5.4 Evaluación y difusión de resultados. Los resultados obtenidos al levantar información deben ser analizados y evaluados inmediata y continuamente a fin de poder introducir ajustes oportunamente. Para discutir los resultados de la evaluación con los participantes puede programar específicamente un taller o reunirse con ellos en el gremio correspondiente al cual asisten regularmente.


Entre otros temas debe tratar las siguientes interrogantes: ¿Sabemos lo suficiente por qué se han logrado o no cambios importantes o han surgido efectos inesperados? ¿Qué aspectos merecen profundizarse? ¿Cómo se pueden trasladar las experiencias positivas a otros proyectos? ¿Qué actividades deben emprenderse para lograr los efectos deseados?

5.4.1 Manejo de la información. ¿Qué tipo de datos se almacenarán?, ¿Dónde se almacenarán los datos? ¿Quién tendrá acceso a los datos? Se recomienda almacenar la información tanto en formato magnético como impreso, en un lugar que esté bajo control del responsable de M&E que se designe entre el personal del proyecto. El lugar debe estar suficientemente ventilado y alejado de la incidencia directa de los rayos del sol, para evitar daños permanentes al material elaborado. Para cada grupo se debe presentar la información de una manera o con un medio apropiado y entendible. Al igual, los medios de comunicación y de divulgación de la información se determinan en función de las necesidades de cada grupo. Finalmente, la información tiene que ser almacenada de tal manera que sea accesible para cada persona que tenga interés en ella. El acceso a la información debe ser abierto, para ser consecuentes con el principio de transparencia. Sin embargo el manejo de la documentación deberá estar bajo responsabilidad del encargado de M&E, para evitar inconvenientes de pérdida de documentos. Los documentos deberán codificarse preferentemente de acuerdo a normas internacionales de codificación de archivos o en su defecto según formato que se decida en la Dirección del proyecto. Le ayudará a estructurar el manejo de la información si responde a las siguientes preguntas- guía en un ejercicio participativo: ¿Qué grupos de interés participarán en el M&E (usuarios de un sistema energético, asociaciones de mujeres, el equipo del proyecto, etc.)? ¿Qué tipo de información pueden proporcionar (técnica, del trasfondo cultural, etc.)? ¿Qué tipo de información necesitan / es relevante para ellos (técnica, económica, etc.)? ¿Qué tipo de presentación prefieren (informes, discusiones, etc.)? ¿Cuál es la mejor manera para comunicar y divulgar la información (folletos, programas de radio, etc.)? ¿De qué manera debería ser almacenada la información para asegurar un acceso permanente y una difusión adecuada (bases de datos, archivos, visualizaciones, reportes, etc.)?

5.4.2 Informes del monitoreo y evaluación. Ya sea si está monitoreando o evaluando, en determinado momento o momentos, habrá un proceso de informe. Este proceso de reporte sigue al estadio de análisis de información. Ud. podrá reportar sobre los diferentes actores de maneras diferentes, algunas veces de manera escrita, otras verbalmente y haciendo uso de herramientas como presentaciones en Powerpoint, slides y videos. A continuación se presenta una tabla, sugiriendo diferentes mecanismos de informe que pueden ser apropiados para diferentes actores en diferentes tiempos del ciclo del proyecto.


Grupo meta Estado en el ciclo de proyecto

Formato adecuado

Directorio Interno, basado en análisis de monitoreo

Documento escrito.

Evaluación Documento escrito con un resumen ejecutivo, una presentación verbal del equipo evaluador

Dirección Interno, basado en análisis de monitoreo

Documento escrito con una presentación en reunión de equipo directivo.

Evaluación Documento escrito, presentado verbalmente por el equipo de evaluación.

Personal Interno, basado en análisis de monitoreo

Presentación escrita y verbal a los niveles de departamentos y áreas.

Evaluación Documento escrito, presentado verbalmente por el equipo de evaluación, seguido de una discusión a profundidad de las recomendaciones relevantes a los diferentes departamentos o niveles del equipo.

Beneficiarios Interno; pero sólo en puntos de importancia y evaluación.

Presentación verbal, respaldada por un documento sintético, usando tablas apropiadas, gráficos, apoyos audiovisuales o visuales. Esto es de gran importancia especialmente si la organización o el proyecto están contemplando un cambio que impactará en los beneficiarios.

Donantes Interno, basado en el monitoreo

Resumido en un documento escrito.

Evaluación Documento completo escrito con resumen ejecutivo o una versión específica según sus formatos, enfocados en las preocupaciones e intereses de los financiadores.

Desarrollo más amplio de la comunidad.

Evaluación Artículos de prensa, seminarios, conferencias y sitios WEB.

Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003


5.4.3 Contenido de un Informe de monitoreo & evaluación. RESUMEN EJECUTIVO (Generalmente no más de cinco páginas, si es más corto, mejor; se procura brindar la información suficiente para personas ocupadas, pretendiendo satisfacer al mismo tiempo lo que quisieran encontrar en el informe detallado). PRÓLOGO (No es importante; pero es un buen espacio para agradecer a las personas y comentar sobre el proceso, los hallazgos, etc.) INDICE (Con numeración de páginas, para apoyar a la gente a encontrar su vía a lo largo del documento). SECCION 1: INTRODUCCIÓN: (Generalmente trata sobre antecedentes al proyecto / organización, antecedentes de la evaluación, un resumen corto del equipo de evaluación, la metodología, el proceso realizado y problemas si se hubiesen presentado). SECCION 2: CONTENIDO: (En esta parte usted colocará los hallazgos, las áreas: eficacia, efectividad e impacto, o los temas que hayan surgido. SECCION 3: CONCLUSIONES: (En esta sección Ud. deberá elaborar las conclusiones a partir de lo vivenciado – de la interpretación - del significado. Es muy útil usar un análisis FODA – Ver Glosario. SECCION 4: RECOMENDACIONES: (Esto dará ideas específicas para continuar en términos de atacar las debilidades y construir sobre las fortalezas). ANEXOS: (En esta parte Ud. incluirá los Términos de referencia, la lista de personas entrevistadas, cuestionarios utilizados, un mapa del área u otros aspectos afines).

5.4.4 Difusión de los resultados del monitoreo y evaluación. Visualice los resultados del monitoreo y evaluación mediante el uso de tablas, gráficos y otros medios. Existen diferentes medios para difundir la información: informe, resumen ejecutivo, periódico, video, cuadros, talleres, poster, teatro, etc. La visualización minimiza el peligro que los participantes no puedan distinguir el árbol del bosque, porque existe mucha información estadística. Realice reuniones periódicas en las cuales presentará y discutirá los avances del cambio, esto es también un elemento motivador.



Ejercicio: Recolección de información: Solicite a los participantes definir para un proyecto energético, qué tipo de método utilizarían para recabar información en una comunidad referente a percepciones sobre el tipo de organización que debería encargarse de la operación y mantenimiento de un sistema energético a implementarse en la comunidad. Deje unos 15 minutos para esta actividad y luego permita que los participantes compartan sus respuestas en plenaria y escríbalas en un rotafolio. Tiempo recomendado para el ejercicio: 30 minutos. Respuestas de ejemplo requeridas del ejercicio: El tipo de información que se solicita, solamente se podría recabar utilizando un enfoque cualitativo. Podría usarse por ejemplo una entrevista semiestructurada, dando opciones de tipos de organizaciones o empresas que podrían manejar un sistema energético en base a usos y costumbres de la comunidad y en concordancia con el marco legal vigente en el país. Evaluación y difusión de resultados: A manera de aplicación de lo aprendido en el presente módulo, solicite a los participantes que en trabajo grupal elaboren la estructura de un informe de evaluación y difusión de los resultados del presente curso taller, que permita socializar en su organización el desarrollo del curso y lo aprendido en él. Respuestas de ejemplo requeridas del ejercicio: Deben diferenciar los métodos cuantitativos y cualitativos para la recolección de información. Deben discriminar qué tipo de información brindarán, cómo la sistematizarán, qué medio direccional usarán para la difusión y cuál será la estructura del informe. Tiempo recomendado para el ejercicio: 30 minutos.

Ejercicio a realizar APLICABILIDAD Y COMPROMISO Objetivo de la Tarea:

El objetivo de la tarea es examinar la aplicabilidad institucional del contenido del curso-taller en los proyectos y/o acciones de Monitoreo y Evaluación de la entidad en la que colaboran los participantes, y de cuyo análisis integral se extraen determinaciones concretas acerca de los cambios y mejoras sobre los sistemas de M&E.

Actividades a realizar: 1. Identificar las principales acciones que se podrían emprender para mejorar los sistemas

de monitoreo y evaluación de su institución, proyecto o programa. 2. Para la aplicación de esas acciones, identificar los principales obstáculos que pueden

presentarse.


3. Establecer las medidas administrativas, técnicas y financieras y otras que deba realizar para superar los obstáculos y lograr el mejoramiento del sistema

Instrucciones: El trabajo se realizará en grupos constituidos por participantes de diferentes instituciones y el análisis se hará por cada institución representada por alguno de los colegas. El representante de la institución relatará su percepción sobre cada una de las actividades listadas en el párrafo anterior y el resto del equipo colaborará en complementar con sus experiencias a nivel de recomendaciones. En caso de tener más de dos participantes por institución, proyecto o programa, ellos conformarán un grupo de trabajo por cada institución.

Tiempo recomendado: 20 minutos. Forma de presentación: mediante visualización

manual m&e crecer con energía alba gamarra

Documents