taller de retroalimentacion sistema de monitoreo y evaluación de políticas

Componente 1

Efectividad de las políticas que inciden en la seguridad alimentaria a través de los agronegocios rurales

Taller de revisión y retroalimentación sobre los avances en el diseño del Sistema de Indicadores sobre Resultados de Instrumentos de Políticas Agrícolas que Inciden en la SAN a través de los agronogocios rurales (REDISAN)

San Salvador, El SalvadorOctubre 16-17, 2014

Objetivos REDISAN

Objetivo general

Recibir retroalimentación sobre los principales elementos propuestos para el diseño del Sistema de Monitoreo y Evaluación de instrumentos de políticas agrícolas que inciden en la Seguridad alimentaria en Centroamérica y República Dominicana a través de su efecto en el ambiente de los agronegocios.

Objetivos específicos Conocer los avances sobre el concepto, diseño metodológico y diseño funcional que

fundamentan el REDISAN en elaboración.

Revisar los indicadores propuestos para medir los resultados en SAN y el tipo de instrumentos que serán objeto del REDISAN.

Plantear propuestas sobre el arreglo institucional para la implementación del REDISAN en los países participantes.

Obtener recomendaciones para mejorar el diseño final del REDISAN.

Definir acciones a seguir para la finalización del diseño del REDISAN y su implementación.

Resultados esperados REDISAN

Los elementos conceptuales y metodológicos para el diseño del Sistema de Monitoreo y Evaluación de instrumentos de políticas, que inciden en la seguridad alimentaria en Centroamérica y República Dominicana a través de su efecto en el ambiente de los agronegocios rurales REDISAN, han sido analizados y retroalimentados por los participantes.

Las acciones a seguir para la finalización del REDISAN han sido discutidas con los participantes.

Agenda del tallerREDISAN

I. Condiciones del contexto para el Monitoreo y Evaluación

Los sistemas de M&E

Las políticas

La medición de la SAN

II. Diseño conceptual del REDISAN

III. Elementos metodológicos

Resultados de productos, efectos e impacto

Tipo de instrumentos objeto del REDISAN

Metodologías y herramientas para la recopilación, almacenamiento, análisis de información y reportes

IV. Diseño funcional del REDISAN

V. Acciones a seguir

Alfredo

No tenemos en la presentación algo relacionado con el tipo de instrumento objeto del REDISAN

I. Condiciones del contexto para el REDISAN

REDISAN

Contexto de monitoreo y evaluación en el sector

Reconocimiento y apoyo al M&E por los niveles superiores Demanda eficaz de M&E en todos los niveles de decisión Creación de expectativas realistas Vinculación con el proceso presupuestario Balance entre seguimiento y evaluación e información Énfasis en sistemas de información vs. sistemas de M&E La evaluación como herramienta para el análisis de impactos Coordinación entre diferentes iniciativas sobre monitoreo y evaluación Calidad metodológica Comunicación de resultados Monitoreo a los resultados Personal adecuado y capacitación.


REDISAN

Contexto de las políticas nacionales y agrícolas

Abundancia de políticas e instrumentos

Preocupación por la armonización de las políticas, no obstante existen vacíos

Inconsistencia en la jerarquía de los instrumentos de política

Diferente tratamiento sobre la SAN:

Políticas e instrumentos nacionales y sectoriales, no son exclusivos de la SAN, dan un tratamiento marginal a la SAN

Políticas e instrumentos SAN son más acotados, con abundantes acciones y medidas difíciles de cuantificar.

Políticas e instrumentos desde el sector que responden a situaciones de coyuntura en SAN (planes de emergencia anticrisis alimentaria) con acciones y medidas cuantificables, pero de corta duración.


REDISAN

La medición de la SAN con la participación del sector

Preocupación creciente por medir resultados en SAN

Sistemas de información sobre variables vinculadas a la SAN (alertas tempranas y toma de decisiones):

Variables estadísticas sobre

Demografía-población

Económicas (canasta básica alimentaria, sector real y sector externo, agricultura)

Sociales (pobreza, empleo y remuneraciones, distribución del ingreso, vivienda y servicios básicos, salud y educación) y

Antropométricas (desnutrición, sobrepeso, obesidad, delgadez)

Resultados de las acciones de múltiples factores, muestran evoluciones, tendencias; no se basan en cambios esperados a cumplir.


REDISAN

¿Cómo tener un sistema de monitoreo y evaluación útil y sostenible que muestre los resultados de los instrumentos de política del sector agrícola en SAN?

II. Diseño conceptual del REDISAN REDISAN

Objeto

Servir como herramienta de gestión pública basada en resultados operada desde el sector agrícola de los países para:

a) Retroalimentar la planificación estratégica, de inversiones, el gasto y las políticas del sector agrícola para contribuir a reducir la inseguridad alimentaria y nutricional de la población.

b) Contribuir a la creación de una demanda y cultura de monitoreo y evaluación sobre los resultados de las políticas e instrumentos del sector agrícola vinculados con la seguridad alimentaria y nutricional.

c) Hacer visible la contribución del sector a la SAN a través de instrumentos de política específicos.


Es una herramienta diseñada para formar parte de los sistemas de M&E de los instrumentos de política (planes, programas, proyectos), al incorporar en el modelo lógico del sistema de M&E los indicadores de resultados sobre la SAN que se seleccionen para el instrumento.

Complementa al sistema de M&E propio del instrumento, y no es un sustituto de dicho sistema, al focalizar en resultados sobre la SAN.

No se centra en la medición del desempeño de todo el instrumento de la política, sino que lo refuerza con resultados específicos de SAN en tres niveles (producto, efecto e impacto) en los cuales se incide.


Sistema de M&E de Instrumentos de Política Sistema de M&E de Instrumentos de Política

REDISAN

Modelo Lógico

Fin

O.G.

O.E.

Act.

INDICADORES SAN

Impacto

Resultados

Productos

Relación del sistema de M&E del Instrumento y el REDISAN


• Plan. Conjunto integrado de programas que responden al cumplimiento de objetivos y metas de desarrollo.

• Programa. Conjunto de subprogramas o proyectos que responden a un objetivo común para la producción de bienes y servicios; es una intervención limitada en cuanto a recursos y tiempo. Puede abarcar diversas instituciones, temas o zonas geográficas, así como recibir el apoyo de varias fuentes de financiación.

• Proyecto. Es el nivel más concreto de programación que consiste en un conjunto articulado de actividades integradas; destinado a lograr objetivos específicos, con un presupuesto dado y un tiempo determinado, orientado a la producción de bienes y servicios.

PolíticaCurso o línea de acción definida para orientar o alcanzar un fin, que se expresa en directrices,

lineamientos u objetivos estratégicos sobre un tema

y la atención o transformación de un

problema de interés público para garantizar el bienestar

de la población.

La política pública y los instrumentos de política


Enfoques orientadores

a) Gestión basada en resultados

b) Dimensiones de la SAN.

Además de:

Sencillez

Flexibilidad

Amigabilidad.


Gestión para resultados de desarrollo (GpRD)

“…facilitar a las organizaciones públicas la dirección efectiva e integrada de su proceso de creación de valor público, centrada en resultados, asegurando la máxima eficacia y eficiencia de su desempeño, la consecución de los objetivos de gobierno y la mejora continua de sus instituciones” (BID y CLAD, 2007).

Busca alcanzar los resultados previstos haciendo una relación directa a los objetivos propuestos y sobre todo a medir los cambios o resultados a nivel de los efectos e impactos.


Todo instrumento de política es planificado a través de un modelo lógico (MGR, ML, CR), según enfoque GpRD

El REDISAN también utiliza un modelo lógico: Cadena de resultados, a través del cual se busca:

a) Establecer la relación entre la jerarquía de los objetivos (desarrollo o fin, el objetivo general y los objetivos específicos) con los resultados de impacto, efecto y productos respectivamente. Gráficamente:


Objetivo de Desarrollo o Fin

Objetivo general o Próposito

Resultados de Impacto

Resultados de Efecto

Resultados de Productos

Jerarquía de objetivos del instrumento y los resultados


El REDISAN también utiliza el modelo lógico de Cadena de resultados, para que:

b) Los objetivos, los indicadores y las metas cubran desde las actividades más desagregadas hasta el nivel más agregado relacionado con el efecto indirecto (impacto a largo plazo) asociado con la finalidad de un instrumento.


Insumos Actividades Producto Efecto

Vacío de atribución

Impacto

Asesores

Financiamiento

Información

Investigación

Extensión

Capacitación

Productores capacitados

Hectáreas bajo riego

Producción mejorada

Inst. de acopio operando

Cambios en: patrones de consumo, pobreza, inseguridad alimentaria

Cadena de Resultados


Nivel de Resultado Preguntas guía

Impacto¿Qué cambios o transformaciones de largo plazo en la seguridad alimentaria de la población objetivo se desean producir?

Efecto ¿Cuáles resultados en el corto y mediano plazo se espera producir debido a los productos de la intervención con un instrumento de política?

Producto¿Qué es lo que la intervención pone concretamente a disposición de la población objetivo? ¿Cuál es el resultado esperado de las actividades?

Actividad¿Qué hace la institución y el equipo vinculado al instrumento de política? ¿De qué manera se movilizarán los insumos para generar productos determinados?

Insumo ¿Cuáles son los recursos financieros, materiales y humanos que se emplearán en un instrumento?


DISPONIBILIDADExistencia de cantidades suficientes de

alimentos de calidad adecuada, suministrados a través de la producción del país o de importaciones (comprendida la ayuda

alimentaria)

ACCESOAcceso de las personas a los recursos

adecuados (recursos a los que se tiene derecho) para adquirir alimentos

apropiados y una alimentación nutritiva

CONSUMOCircunscribe la aceptabilidad individual, familiar y comunitaria que constituyen el fundamento de los patrones de consumo de acuerdo a las características propias de

cada cultura

UTILIZACIÓNUtilización biológica de los alimentos a

través de una alimentación adecuada, agua potable, sanidad y atención médica, para lograr un estado de bienestar nutricional

en el que se satisfagan todas las necesidades fisiológicas

Dimensiones de la SAN


OG: Medir resultados en SAN derivados de la implementación de instrumentos de política agrícola, que orienten la toma de decisiones

del sector sobre su incidencia en la SAN

R 1: Información generada sobre la contribución sectorial

en SAN desde los instrumentos de política

implementados por el sector agrícola

R 2: Toma de decisiones documentada sobre los instrumentos de política

agrícola que inciden en la SAN

Objetivo y Resultados Esperados del REDISAN


Destinatarios del REDISAN

Instituciones del sector público agrícola:

a) Unidades de planificación

b) Unidades de políticas

c) Unidades de seguridad alimentaria.

Centroamérica yRepública Dominicana

REDISAN

Componente Monitoreo

Componente Evaluación

Datos Informaciones

Estudios Investigaciones

Componente Gestión de la Información

DIF

USI

ÓN

II. Diseño conceptual del REDISANA

DM

INIS

TR

ACI

ÓN

DEL

SIS

TEM

A IN

FOR

MÁ

TIC

O

Componentes del REDISAN

REDISAN

• Se monitorea la entrega de productos que inciden en la SAN de parte de los instrumentos de política agrícola.

Monitoreo de indicadores de producto

• Comprende la medición y reporte de los efectos de los productos entregados por los instrumentos de política agrícola que inciden en la SAN.

Monitoreo de indicadores de efecto


Componente de Monitoreo

Colección sistemática de información y análisis de indicadores de Producto y Efecto

REDISAN

• Valora el efecto neto sobre SAN atribuible a un instrumento de política agrícola al comprar el resultado de esta con respecto a la situación inicial (línea de base).

• Considera también el efecto que se habría tenido sobre grupos similares que no son beneficiarios de la intervención (grupos de control) mediante un análisis contrafactual.

Evaluación de impactos


Componente de evaluación

REDISAN

• Incluye reportes generados por cada componente, incluyendo síntesis de recomendaciones y lecciones aprendidas.

Módulo de datos e información de monitoreo y

evaluación

• Consiste de links a sitios de información estadística relacionados con SAN y el sector agrícola

Módulo de sitios de interés

• Incluye elaboración de boletines, actividades de intercambio, diálogo de políticas, etc.

Módulo de difusión


Componente de gestión de la información

III. Elementos metodológicos del REDISAN REDISAN

Definición de los resultados y su medición

a) En el REDISAN se miden los resultados en tres niveles:

i. Producto. Corresponden al resultado esperado de las actividades realizadas por el instrumento.

ii. Efecto. Corresponde al efecto después de la ejecución de las actividades y el logro de los productos.

iii. Impacto. Corresponden miden cambios en variables de la seguridad alimentaria.


Definición de los resultados y su medición

a) Los resultados están formulados según la dimensión de la SAN y se subdividen en diferentes categorías:

Dimensión SAN Resultados por Categoría

Disponibilidad

Tecnologías de producción sostenible Infraestructura productiva Comercialización Comercio exterior

Acceso

Emprendimientos y empleo Servicios financieros Huertos familiares y agricultura de traspatio Transferencia de insumos

Consumo Educación sobre el consumo saludable de alimentosUtilización biológica Infraestructura social

Estabilidad Vulnerabilidad climática

Gestión integral del riesgo


Descripción de los Resultados de Producto• Corresponden al resultado esperado de las actividades realizadas

• Se planean y ejecutan para un año y se incluyen en los POAs

• Se reportan semestralmente

• El avance en la ejecución se realiza sobre la meta anual, así como sobre la meta global (período de ejecución del instrumento)

• Se miden por medio de indicadores cuantitativos y sencillos. Ejemplos:

• Número de hectáreas con sistemas de riego construidos o rehabilitados (dimensión de Disponibilidad)

• Número de productores (hombres y mujeres) con paquetes de insumos suministrados (Dimensión de Acceso)


Selección de los Resultados de Producto• Realizada por el equipo (director, técnicos) que forman parte del instrumento

• Se parte de una revisión cuidadosa de todo el conjunto de indicadores para determinar los que son relevantes y pertinentes para el instrumento

• Se seleccionan según el componente, área, eje o pilar de cada instrumento y se vincularan con cada dimensión de la SAN

• Se deben incluir en el modelo lógico (marco lógico, marco de resultados, cadena de resultados, etc.) del instrumento. Algunos ya podrían estar incluidos

• La selección se realiza según las características de cada instrumento, tomando en cuenta que éstos sean pertinentes y medibles

• No existe un número mínimo ni máximo de indicadores a seleccionar, sino que el número dependerá de cuántos indicadores permitan describir los resultados de producto que el instrumento espera alcanzar.


Descripción de los Resultados de Efecto• Corresponde al efecto después de la ejecución de las actividades y el logro de los

productos

• Miden los cambios obtenidos en las personas, las familias y en las organizaciones

• Están vinculados a uno o más resultados de primer nivel y, en general, pueden ser de eficacia y de sostenibilidad

• Estos indicadores se empiezan a reportar anualmente, después del momento en que se tenga un nivel de ejecución suficiente y se presenten evidencias de su logro (generalmente, a partir del segundo año de ejecución).


Selección de los Resultados de Efecto

• Los resultados de efecto se seleccionan siguiendo los mismos criterios de los indicadores de primer nivel; es decir, su selección depende de las características del instrumento y la pertinencia del resultado.


Medición de los Resultados de Efecto• Se cuantificará el valor individual de cada uno de los resultados que lo

conforman, en el caso de que esté compuesto de más de un indicador

• El sistema de M&E del instrumento es la fuente primordial de la información utilizada para su estimación

• Pueden medirse utilizando fuentes de información primaria y secundaria, y combinando métodos y técnicas cualitativas y cuantitativas (talleres de interesados, observaciones directas, grupos focales, encuestas, estudios, entrevistas con beneficiarios, debates grupales)


Medición de los Resultados de Efecto

• Escala de calificación para dar una apreciación sobre el grado de eficacia en su cumplimiento:

Valoración de la Eficacia

Rango de logro de eficacia (%)

Puntuación

Alta 81-100 5

Moderadamente alta

61-80 4

Moderadamente baja

31-60 3

Baja 1-30 2

Nula 0 1


Descripción y selección de los Resultados de Impacto• Corresponden a cambios en variables de SAN, a nivel de la población

• Se han propuesto tres indicadores de impacto:

– Patrones de consumo de alimentos

– Proporción del gasto en alimentos de la familia

– Desnutrición infantil.

• La medición de los resultados requerirá hacer encuestas (evaluación), que se prevén se efectuarían en tres momentos:

Al inicio de la ejecución del instrumento (medición de referencia)

A medio período

Al finalizar la ejecución.

• Pueden ser medidos utilizando fuentes de información secundaria, siempre y cuando los datos correspondan lo más aproximado posible al grupo objetivo.

Trabajo de Grupo

1) Revisar la pertinencia y relevancia de los resultados propuestos según la dimensión y nivel (producto, efecto e impacto).

2) Ajustar/proponer nuevos resultados o eliminar resultados. Justificar los cambios.

REDISAN

¡Gracias!

REDISAN

taller de retroalimentacion sistema de monitoreo y evaluación de políticas

Government & Nonprofit