taller de retroalimentacion sistema de monitoreo y evaluación de políticas ii

Componente 1

Efectividad de las políticas que inciden en la seguridad alimentaria a través de los agronegocios rurales

Taller de revisión y retroalimentación sobre losavances en el diseño del Sistema deIndicadores sobre Resultados de Instrumentosde Políticas Agrícolas que Inciden en la SAN através de los agronogocios rurales (REDISAN)

San Salvador, El SalvadorOctubre 16-17, 2014

ObjetivosREDISAN

Objetivo general

Recibir retroalimentación sobre los principales elementos propuestos para el diseño delSistema de Monitoreo y Evaluación de instrumentos de políticas agrícolas que inciden en laSeguridad alimentaria en Centroamérica y República Dominicana a través de su efecto enel ambiente de los agronegocios.

Objetivos específicos

Conocer los avances sobre el concepto, diseño metodológico y diseño funcional quefundamentan el REDISAN en elaboración.

Revisar los indicadores propuestos para medir los resultados en SAN y el tipo de instrumentosque serán objeto del REDISAN.

Plantear propuestas sobre el arreglo institucional para la implementación del REDISAN en lospaíses participantes.

Obtener recomendaciones para mejorar el diseño final del REDISAN.

Definir acciones a seguir para la finalización del diseño del REDISAN y su implementación.

Resultados esperadosREDISAN

Los elementos conceptuales y metodológicos para el diseño delSistema de Monitoreo y Evaluación de instrumentos de políticas,que inciden en la seguridad alimentaria en Centroamérica yRepública Dominicana a través de su efecto en el ambiente de losagronegocios rurales REDISAN, han sido analizados yretroalimentados por los participantes.

Las acciones a seguir para la finalización del REDISAN han sidodiscutidas con los participantes.

Agenda del tallerREDISAN

I. Condiciones del contexto para el Monitoreo y Evaluación

Los sistemas de M&E

Las políticas

La medición de la SAN

II. Diseño conceptual del REDISAN

III. Elementos metodológicos

Resultados de productos, efectos e impacto

Tipo de instrumentos objeto del REDISAN

Metodologías y herramientas para la recopilación, almacenamiento,análisis de información y reportes

IV. Diseño funcional del REDISAN

V. Acciones a seguir

I. Condiciones del contexto para el REDISAN

REDISAN

Contexto de monitoreo y evaluación en el sector

Reconocimiento y apoyo al M&E por los niveles superiores

Demanda eficaz de M&E en todos los niveles de decisión

Creación de expectativas realistas

Vinculación con el proceso presupuestario

Balance entre seguimiento y evaluación e información

Énfasis en sistemas de información vs. sistemas de M&E

La evaluación como herramienta para el análisis de impactos

Coordinación entre diferentes iniciativas sobre monitoreo y evaluación

Calidad metodológica

Comunicación de resultados

Monitoreo a los resultados

Personal adecuado y capacitación.


REDISAN

Contexto de las políticas nacionales y agrícolas

Abundancia de políticas e instrumentos

Preocupación por la armonización de las políticas, no obstante existen vacíos

Inconsistencia en la jerarquía de los instrumentos de política

Diferente tratamiento sobre la SAN:

Políticas e instrumentos nacionales y sectoriales, no son exclusivos de la SAN,dan un tratamiento marginal a la SAN

Políticas e instrumentos SAN son más acotados, con abundantes acciones ymedidas difíciles de cuantificar.

Políticas e instrumentos desde el sector que responden a situaciones decoyuntura en SAN (planes de emergencia anticrisis alimentaria) con acciones y

medidas cuantificables, pero de corta duración.


REDISAN

La medición de la SAN con la participación del sector

Preocupación creciente por medir resultados en SAN

Sistemas de información sobre variables vinculadas a la SAN (alertastempranas y toma de decisiones):

Variables estadísticas sobre

Demografía-población

Económicas (canasta básica alimentaria, sector real y sector externo, agricultura)

Sociales (pobreza, empleo y remuneraciones, distribución del ingreso, vivienda yservicios básicos, salud y educación) y

Antropométricas (desnutrición, sobrepeso, obesidad, delgadez)

Resultados de las acciones de múltiples factores, muestran evoluciones,tendencias; no se basan en cambios esperados a cumplir.


REDISAN

¿Cómo tener un sistema de monitoreo yevaluación útil y sostenible que muestre losresultados de los instrumentos de política delsector agrícola en SAN?

II. Diseño conceptual del REDISANREDISAN

Objeto

Servir como herramienta de gestión pública basada en resultadosoperada desde el sector agrícola de los países para:

a) Retroalimentar la planificación estratégica, de inversiones, el gasto y laspolíticas del sector agrícola para contribuir a reducir la inseguridadalimentaria y nutricional de la población.

b) Contribuir a la creación de una demanda y cultura de monitoreo yevaluación sobre los resultados de las políticas e instrumentos delsector agrícola vinculados con la seguridad alimentaria y nutricional.

c) Hacer visible la contribución del sector a la SAN a través deinstrumentos de política específicos.


Es una herramienta diseñada para formar parte de los sistemas de M&E delos instrumentos de política (planes, programas, proyectos), al incorporar enel modelo lógico del sistema de M&E los indicadores de resultados sobre laSAN que se seleccionen para el instrumento.

Complementa al sistema de M&E propio del instrumento, y no es un sustitutode dicho sistema, al focalizar en resultados sobre la SAN.

No se centra en la medición del desempeño de todo el instrumento de lapolítica, sino que lo refuerza con resultados específicos de SAN en tresniveles (producto, efecto e impacto) en los cuales se incide.


Sistema de M&E de Instrumentos de Política

REDISAN

Modelo Lógico

Fin

O.G.

O.E.

Act.

INDICADORES SAN

Impacto

Resultados

Productos

Relación del sistema de M&E del Instrumento y el REDISAN


• Plan. Conjunto integrado de programas que respondenal cumplimiento de objetivos y metas de desarrollo.

• Programa. Conjunto de subprogramas o proyectos queresponden a un objetivo común para la producción debienes y servicios; es una intervención limitada en cuantoa recursos y tiempo. Puede abarcar diversasinstituciones, temas o zonas geográficas, así como recibirel apoyo de varias fuentes de financiación.

• Proyecto. Es el nivel más concreto de programación queconsiste en un conjunto articulado de actividadesintegradas; destinado a lograr objetivos específicos, conun presupuesto dado y un tiempo determinado,orientado a la producción de bienes y servicios.

Política

Curso o línea de acción definida para orientar o

alcanzar un fin, que se expresa en

directrices, lineamientos u

objetivos estratégicos sobre

un tema y la atención o

transformación de un problema de interés público

para garantizar el bienestar de la

población.

La política pública y los instrumentos de política


Enfoques orientadores

a) Gestión basada en resultados

b) Dimensiones de la SAN.

Además de:

Sencillez

Flexibilidad

Amigabilidad.


Gestión para resultados de desarrollo (GpRD)

“…facilitar a las organizaciones públicas la dirección efectiva e integradade su proceso de creación de valor público, centrada en resultados,asegurando la máxima eficacia y eficiencia de su desempeño, laconsecución de los objetivos de gobierno y la mejora continua de susinstituciones” (BID y CLAD, 2007).

Busca alcanzar los resultados previstos haciendo una relación directa alos objetivos propuestos y sobre todo a medir los cambios o resultadosa nivel de los efectos e impactos.


Todo instrumento de política es planificado a través de un modelológico (MGR, ML, CR), según enfoque GpRD

El REDISAN también utiliza un modelo lógico: Cadena de resultados, através del cual se busca:

a) Establecer la relación entre la jerarquía de los objetivos (desarrollo ofin, el objetivo general y los objetivos específicos) con los resultados deimpacto, efecto y productos respectivamente. Gráficamente:


Objetivo de Desarrollo

o Fin

Objetivo general o Próposito

Objetivos específicos

Resultados de Impacto

Resultados de Efecto

Resultados de Productos

Jerarquía de objetivos del instrumento y los resultados


El REDISAN también utiliza el modelo lógico de Cadena de resultados, para que:

b) Los objetivos, los indicadores y las metas cubran desde lasactividades más desagregadas hasta el nivel más agregadorelacionado con el efecto indirecto (impacto a largo plazo)asociado con la finalidad de un instrumento.


Insumos Actividades Producto Efecto

Vac

ío d

e a

trib

uci

ón

Impacto

Asesores

Financiamiento

Información

Investigación

Extensión

Capacitación

Productores

capacitados

Hectáreas

bajo riego

Producción

mejorada

Inst. de acopio

operando

Cambios en:

patrones de

consumo,

pobreza,

inseguridad

alimentaria

Cadena de Resultados


Nivel de Resultado Preguntas guía

Impacto

¿Qué cambios o transformaciones de largo plazo en la

seguridad alimentaria de la población objetivo se desean

producir?

Efecto

¿Cuáles resultados en el corto y mediano plazo se espera

producir debido a los productos de la intervención con un

instrumento de política?

Producto

¿Qué es lo que la intervención pone concretamente a

disposición de la población objetivo? ¿Cuál es el resultado

esperado de las actividades?

Actividad

¿Qué hace la institución y el equipo vinculado al instrumento

de política? ¿De qué manera se movilizarán los insumos para

generar productos determinados?

Insumo¿Cuáles son los recursos financieros, materiales y humanos que

se emplearán en un instrumento?


DISPONIBILIDAD

Existencia de cantidades suficientes de alimentos de calidad adecuada, suministrados a

través de la producción del país o de importaciones (comprendida la ayuda

alimentaria)

ACCESO

Acceso de las personas a los recursos adecuados (recursos a los que se tiene

derecho) para adquirir alimentos apropiados y una alimentación nutritiva

CONSUMO

Circunscribe la aceptabilidad individual, familiar y comunitaria que constituyen el

fundamento de los patrones de consumo de acuerdo a las características propias de cada

cultura

UTILIZACIÓN

Utilización biológica de los alimentos a través de una alimentación adecuada, agua potable,

sanidad y atención médica, para lograr un estado de bienestar nutricional en el que se satisfagan todas las necesidades fisiológicas

ESTABILIDAD

Acceso de una población, hogar o persona a alimentos adecuados en todo momento

Dimensiones de la SAN


OG: Medir resultados en SAN derivados de la implementación de instrumentos de política agrícola, que

orienten la toma de decisiones del sector sobre su incidencia en la SAN

R 1: Información generada sobre la contribución sectorial en SAN desde los instrumentos de política

implementados por el sector agrícola

R 2: Toma de decisiones documentada sobre los instrumentos de política agrícola que inciden en la SAN

Objetivo y Resultados Esperados del REDISAN


Destinatarios del REDISAN

Instituciones del sector públicoagrícola:

a) Unidades de planificación

b) Unidades de políticas

c) Unidades de seguridad alimentaria.

Centroamérica yRepública Dominicana

REDISAN

Componente

Monitoreo

Componente

Evaluación

Datos

Informaciones

Estudios

Investigaciones

Componente

Gestión de la

Información

DIF

USI

ÓN


AD

MIN

IST

RA

CIÓ

N D

EL

SIS

TE

MA

IN

FO

RM

ÁT

ICO

Componentes del REDISAN

REDISAN

• Se monitorea la entrega de productos que inciden en la SAN de parte de los instrumentos de política agrícola.

Monitoreo de indicadores de producto

• Comprende la medición y reporte de los efectos de los productos entregados por los instrumentos de política agrícola que inciden en la SAN.

Monitoreo de indicadores de efecto


Componente de Monitoreo

Colección sistemática de información y análisis de indicadores de Producto y Efecto

REDISAN

• Valora el efecto neto sobre SAN atribuible a uninstrumento de política agrícola al comprar elresultado de esta con respecto a la situacióninicial (línea de base).

• Considera también el efecto que se habríatenido sobre grupos similares que no sonbeneficiarios de la intervención (grupos decontrol) mediante un análisis contrafactual.

Evaluación de impactos


Componente de evaluación

REDISAN

• Incluye reportes generados por cada componente,incluyendo síntesis de recomendaciones y leccionesaprendidas.

Módulo de datos e información de monitoreo y

evaluación

• Consiste de links a sitios de información estadísticarelacionados con SAN y el sector agrícola

Módulo de sitios de interés

• Incluye elaboración de boletines, actividades deintercambio, diálogo de políticas, etc.

Módulo de difusión


Componente de gestión de la información

III. Elementos metodológicos del REDISANREDISAN

Definición de los resultados y su medición

a) En el REDISAN se miden los resultados en tres niveles:

i. Producto. Corresponden al resultado esperado de lasactividades realizadas por el instrumento.

ii. Efecto. Corresponde al efecto después de la ejecución de lasactividades y el logro de los productos.

iii. Impacto. Corresponden miden cambios en variables de laseguridad alimentaria.


Definición de los resultados y su medición

a) Los resultados están formulados según la dimensión de la SAN yse subdividen en diferentes categorías:

Dimensión SAN Resultados por Categoría

Disponibilidad

Tecnologías de producción sostenible

Infraestructura productiva

Comercialización

Comercio exterior

Acceso

Emprendimientos y empleo

Servicios financieros

Huertos familiares y agricultura de traspatio

Transferencia de insumos

Consumo Educación sobre el consumo saludable de alimentos

Utilización biológica Infraestructura social

Estabilidad Vulnerabilidad climática

Gestión integral del riesgo


Descripción de los Resultados de Producto

• Corresponden al resultado esperado de las actividades realizadas

• Se planean y ejecutan para un año y se incluyen en los POAs

• Se reportan semestralmente

• El avance en la ejecución se realiza sobre la meta anual, así como sobre la meta global (período de ejecución del instrumento)

• Se miden por medio de indicadores cuantitativos y sencillos. Ejemplos:

• Número de hectáreas con sistemas de riego construidos o rehabilitados (dimensión de Disponibilidad)

• Número de productores (hombres y mujeres) con paquetes de insumos suministrados (Dimensión de Acceso)


Selección de los Resultados de Producto

• Realizada por el equipo (director, técnicos) que forman parte del instrumento

• Se parte de una revisión cuidadosa de todo el conjunto de indicadores paradeterminar los que son relevantes y pertinentes para el instrumento

• Se seleccionan según el componente, área, eje o pilar de cada instrumento y sevinculan con cada dimensión de la SAN

• Se deben incluir en el modelo lógico (marco lógico, marco de resultados, cadenade resultados, etc.) del instrumento. Algunos ya podrían estar incluidos

• La selección se realiza según las características de cada instrumento, tomando encuenta que éstos sean pertinentes y medibles

• No existe un número mínimo ni máximo de indicadores a seleccionar, sino que elnúmero dependerá de cuántos indicadores permitan describir los resultados deproducto que el instrumento espera alcanzar.


Descripción de los Resultados de Efecto

• Corresponde al efecto después de la ejecución de las actividades y el logro de los productos

• Miden los cambios obtenidos en las personas, las familias y en las organizaciones

• Están vinculados a uno o más resultados de primer nivel y, en general, pueden ser de eficacia y de sostenibilidad

• Estos indicadores se empiezan a reportar anualmente, después del momento en que se tenga un nivel de ejecución suficiente y se presenten evidencias de su logro (generalmente, a partir del segundo año de ejecución).


Selección de los Resultados de Efecto

• Los resultados de efecto se seleccionan siguiendo losmismos criterios de los indicadores de primer nivel; es decir,su selección depende de las características del instrumento yla pertinencia del resultado.


Medición de los Resultados de Efecto

• Se cuantificará el valor individual de cada uno de los resultados que loconforman, en el caso de que esté compuesto de más de un indicador

• El sistema de M&E del instrumento es la fuente primordial de lainformación utilizada para su estimación

• Pueden medirse utilizando fuentes de información primaria ysecundaria, y combinando métodos y técnicas cualitativas y cuantitativas(talleres de interesados, observaciones directas, grupos focales,encuestas, estudios, entrevistas con beneficiarios, debates grupales)


Medición de los Resultados de Efecto

• Escala de calificación para dar una apreciación sobre el grado de eficaciaen su cumplimiento:

Valoración de la Eficacia

Rango de logro de eficacia (%)

Puntuación

Alta 81-100 5

Moderadamentealta

61-80 4

Moderadamente baja

31-60 3

Baja 1-30 2

Nula 0 1


Descripción y selección de los Resultados de Impacto

• Corresponden a cambios en variables de SAN, a nivel de la población

• Se han propuesto tres indicadores de impacto:

– Patrones de consumo de alimentos

– Proporción del gasto en alimentos de la familia

– Desnutrición infantil.

• La medición de los resultados requerirá hacer encuestas (evaluación), que se prevén se efectuarían en tres momentos:

Al inicio de la ejecución del instrumento (medición de referencia)

A medio período

Al finalizar la ejecución.

• Pueden ser medidos utilizando fuentes de información secundaria, siempre y cuando los datos correspondan lo más aproximado posible al grupo objetivo.

Trabajo de Grupo

1) Revisar la pertinencia y relevancia de los resultadospropuestos según la dimensión y nivel (producto,efecto e impacto).

2) Ajustar/proponer nuevos resultados o eliminarresultados. Justificar los cambios.

REDISAN

IV. Funcionamiento y sostenibilidad del REDISAN

REDISAN

Costa Rica

• Secretaria Ejecutiva De Planificación Sectorial Agropecuaria

El Salvador

• Oficina de Políticas y Planificación Sectorial

Honduras

• Unidad de Planeamiento y Evaluación de la Gestión.

IV. Funcionamiento y sostenibilidad del REDISAN

REDISAN

Competencias

• Monitoreo y Evaluación

• Experticia en SAN

• Tecnologías de la información

USO DEL SISEMA

SOSTENIBILIDAD

¡Gracias!

REDISAN

taller de retroalimentacion sistema de monitoreo y evaluación de políticas ii

Government & Nonprofit