sistema de monitoreo y evaluación basado en resultados ... · pdf fileevaluación...

www.coneval .gob.mx

Nereida Hernández ReyesDirección General Adjunta de Coordinación

Septiembre 2008

Sistema de Monitoreo y Evaluación basado en resultados:

Caso México

ÍNDICE

� Antecedentes

� Marco Normativo Anterior

� Nuevo Marco Normativo

� Coneval

� La Estrategia de Evaluación y Monitoreo

� Avances en el tema de evaluación

� Avances en el tema de indicadores

ANTECEDENTES

• 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestación

• 2000: Inicio normativo sin una estrategia clara

• 2000-2006: Desarticulación de la evaluación con la mejora en la gestión

− PEF y Acuerdo entre SHCP y SFP− Ausencia de una estrategia de monitoreo− Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad

Gubernamental− Sistema de Metas Presidenciales

• 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública

− Creación del Coneval

− Primer impulso normativo al monitoreo

− Vínculo con Pobreza

ÍNDICE

� Antecedentes



� Coneval




MARCO NORMATIVO PREVIO

¿Qué demandan las autoridades?

• Presupuesto de Egresos de la Federación (a partir del 2000)– Informes Trimestrales sobre el avance de presupuesto– Evaluación Externa y Anual– Informar los recursos entregados a beneficiarios– Apartado específico sobre el bienestar, la equidad, la igualdad y la

no discriminación de las mujeres, jóvenes e indígenas.– Difusión a través de Internet– El objeto: Proceso de análisis y aprobación del presupuesto del

siguiente año

• Existe una mezcla de Monitoreo y Evaluación de “fin o impacto”, en dos instrumentos específicos y diferentes


¿Qué demandan las autoridades?

• Acuerdo de Requisitos Mínimos (2002)– Porcentaje de cumplimiento de objetivos

– Cobertura– Satisfacción de la población objetivo

– Cumplimiento de Reglas de Operación– En términos de impacto, beneficios económicos y sociales– Costo-beneficio de los recursos asignados– Verificación en campo del cumplimiento de metas físicas y financieras– Escenario prospectivo y opinión sobre permanencia, readecuación o

conclusión• Existe una mezcla de Monitoreo, Evaluación de “fin o impacto”, Evaluación

de “Resultados o Propósito” y Evaluación de “Componentes y/o Actividades”, todo en un mismo instrumento.

• No necesariamente refleja el espíritu de la demanda del PEF

Esquema de Evaluación 2002-2006• Características:

– Evaluación Externa– Periodo Anual, con dos informes (septiembre y marzo)– Se distribuye a la SHCP, SFP y el Congreso– Difusión a través de Internet– El proceso de contratación es individual y a través de la Ley de

Adquisiciones– Algunos programas:

– Entregan los informes sólo por cumplir y no usan la información– Agregan y/o eliminan temas en la evaluación– En una menor proporción, usan información para informes

oficiales, planeación y monitoreo


DIAGNÓSTICO - VENTAJAS

• Se ha avanzado en la cultura de la evaluación

• Existen casos particulares de evaluaciones que han apoyado la toma de decisiones

• Existe un respaldo normativo para institucionalizar un M&E

– Ley General de Desarrollo Social,

– CONEVAL,

– Ley Federal de Presupuesto y Responsabilidad Hacendaria,

– PEF 2007

• Actores principales conscientes de la poca efectividad del sistema vigente: SHCP, Función Pública, Congreso

• Transición política favorable para la introducción de cambios

• Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente

• Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año.

… y con poca utilidad• Percepción del sistema de M & E como instrumento de fiscalización, y

no de gestión y rendición de cuentas• La medición de Resultados no es una prioridad para el programa o la

dependencia.Mucho énfasis en indicadores de ejercicio del recurso y de cantidades de bienes y servicios entregados

• No hay claridad en los objetivos estratégicos de las dependencia• Muchos indicadores que no se usan para una gestión por resultados• Lineamientos actuales poco flexibles• Seguimiento limitado a las recomendaciones generadas de la

evaluación

DIAGNÓSTICO - DESVENTAJAS

ÍNDICE

� Antecedentes



� Coneval




NUEVAS REGLAS DEL JUEGO

2007: Una oportunidad para mejorar el marco normati vo

• Ley General de Desarrollo Social (2004)

– Establece un Sistema Nacional de Desarrollo Social en el que participen los gobiernos municipales, de las entidades federativas y el federal;

– Mecanismos de evaluación y seguimiento de los programas y acciones de la Política Nacional de Desarrollo Social

• Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)

– Todos los programas: evaluación externa

– Sistema de Evaluación del Desempeño

– Programa de Mejoramiento de la Gestión (SFP)

• PEF 2007. Cámara de Diputados

– Establecer Objetivos Estratégicos

– Matriz de Indicadores, ligada a Objetivos Estratégicos

– CONEVAL, SHCP y SFP coordinan el sistema de evaluación y monitoreo

• CONEVAL (2005)

• Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)

• Programa de Mejoramiento de la Gestión SFP

• PEF 2007. Cámara de Diputados

NUEVAS REGLAS DEL JUEGO

Lineamientos de Evaluación y Monitoreo (Marzo 2007)

Lineamientos de Evaluación y Monitoreo (Marzo 2007)

ÍNDICE

� Antecedentes



� Coneval




EL CONEVAL

• Ley General de Desarrollo Social establece la creación del CONEVAL, cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de:– Normar y coordinar la evaluación de la Política y Programas de Desarrollo Social

– Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF

– Establecer los criterios para la definición, identificación y medición de la pobreza

• Contribuir a la toma de decisiones de Política de desarrollo Social y combate a la pobreza y rezago social en México– Información útil, objetiva y oportuna

• El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública – También lo integran el Secretario de Desarrollo Social y un Secretario Ejecutivo

designado por el Ejecutivo Federal

Alineación del Coneval a la Planeación Nacional

EJE 5.DEMOCRACIA EFECTIVA.

Objetivo 4. Mejorar la regulación, la gestión, los procesos y los resultados de la APF

EJE 5.DEMOCRACIA EFECTIVA.

Objetivo 4. Mejorar la regulación, la gestión, los procesos y los resultados de la APF

OBJETIVOS DEL PROGRAMA DE DESARROLLO SOCIAL

OBJETIVOS DEL PROGRAMA DE DESARROLLO SOCIAL

OBJETIVO ESTRATÉGICO DEL CONEVAL

Mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social mediante la evaluación y monitoreo de programas y políticas sociales y la medición de la pobreza

OBJETIVO ESTRATÉGICO DEL CONEVAL

Mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social mediante la evaluación y monitoreo de programas y políticas sociales y la medición de la pobreza

PND

PDS

Entidad

COMISIÓNINTERSECRETARIAL

COMISIÓNNACIONAL

CONSEJO CONSULTIVO

• Analiza y propone programas y acciones que inciden en la Política Nacional de Desarrollo Social

•Propone partidas y montos de gasto social

•Ordena la Política Social a nivel Federal

•Coordinación de programas y acciones de dependencias y entidades federales

CONSEJO DE EVALUACIÓN

•Norma y analiza las evaluaciones

•Evalúa la política•Define pobreza•Recomendaciones

DEPENDENCIAS Y ENTIDADES

•Operación de los programas, acciones y fondos

CONSULTIVA POLÍTICA OPERATIVA

TÉCNICA-EVALUACIÓN

SISTEMA NACIONAL DE DESARROLLO SOCIAL

ÍNDICE

� Antecedentes



� Coneval




Rendiciónde cuentas

• PND• Programas Sectoriales• Objetivos de las Dependencias• Programas Federales

• PND• Programas Sectoriales• Objetivos de las Dependencias• Programas Federales

Diagnóstico

Diseño

Presupuesto

Operación

Evaluación y Monitoreo (Indicadores)

HERRAMIENTAS DE PLANEACIÓN

Objetivos EstratégicosObjetivos

Estratégicos

Matriz de Marco Lógico


Sistema de EvaluaciónDel Desempeño (SED)

Sistema de EvaluaciónDel Desempeño (SED)

Resultados Diferentes tipos de Evaluación

Diferentes tipos de Evaluación

Programa Anual de Evaluación


EvaluacionesComplementarias

EvaluacionesComplementarias

Programas NuevosProgramas Nuevos

Gestión para Resultados

Convenio de Compromisos para el Mejoramiento de la Gestión

Convenio de Compromisos para el Mejoramiento de la Gestión

SISTEMA DE EVALUACIÓN Y MONITOREO

Política de Desarrollo Social Nivel 1

Programas Sectoriales

Nivel 2

Objetivos de las dependencias

Nivel 3

Programas presupuestarios

Nivel 4

Objetivos NacionalesEjes política pública

Objetivos y Estrategias

Objetivos NacionalesEjes política pública

Objetivos y Estrategias

Objetivos de los Programas

del PNDEstrategias

Líneas de acción

Objetivos de los Programas

del PNDEstrategias

Líneas de acción

Objetivo estratégico de la Dependencia

Objetivo estratégico de la Dependencia

FinPropósitoComponentesActividad

Reglas de operaciónReglas de operación

PLANEACIÓN INCOMPLETA SI NO SE LLEGA A ROP

PROGRAMAS POR OBJETIVO NACIONAL

2

OBJETIVO NACIONALPROGRAMAS ALINEADOS

Objetivo 1Garantizar la integridad y asegurar la viabilidad del Estado y de la democracia

1

Objetivo 2Garantizar la vigencia plena del Estado de Derecho, fortalecer el marco institucional y afianzar una sólida cultura de legalidad

0

Objetivo 3 Alcanzar un crecimiento económico sostenido 5

Objetivo 4Economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles

25

Objetivo 5 Reducir la pobreza extrema y asegurar la igualdad de oportunidades 52

Objetivo 6 Reducir significativamente las brechas sociales, económicas y culturales 21

Objetivo 7 Garantizar que los mexicanos cuenten con oportunidades efectivas 6

Objetivo 8 Asegurar la sustentabilidad ambiental 23

Objetivo 9 Consolidar un régimen democrático 0

Objetivo 10 Aprovechar los beneficios de un mundo globalizado para impulsar el desarrollo nacional

0

Total 133

2

Reducir las brechas sociales, económicas y culturales persistentes en la sociedadIgualdad de Oportunidades

Grupos Prioritarios

3.4 Pueblos Indígenas3.5 Igualdad entre mujeres y

hombres3.6 Grupos Vulnerables 3.7 Familia, niños y jóvenes

15. Incorporar plenamente a los pueblos y comunidades indígenas al desarrollo económico, social y cultural con respeto a sus tradiciones históricas

16. Eliminar cualquier discriminación por motivos de género y garantizar la igualdad de oportunidades

17. Abatir la marginación y el rezago que enfrentan los grupos sociales vulnerables para proveer igualdad en las oportunidades

18. Desarrollar una política pública dirigida a la familia con el fin de reducir la vulnerabilidad social

19. Garantizar las condiciones necesarias para el desarrollo integral de los jóvenes

20. Promover el desarrollo sano e integral de la niñez mexicana

Turismo Alternativo en Zonas Indígenas (PTAZI)

Apoyo a las Instancias de Mujeres en las Entidades Federativas

Mujer en el Sector Agrario (PROMUSAG)

Atención a Familias y Población Vulnerable (18)

Coordinación para el Apoyo a la Producción Indígena (PROCAPI)

Guarderías y estancias infantiles para apoyar a madres trabajadoras

Coinversión SocialProtecció n y Desarrollo Integral de la

Infancia (20)

Atención a Indígenas Desplazados (Indígenas urbanos y migrantes

desplazados)

Atención a los Adultos Mayores de 70 años y más en Zonas Rurales

Proyectos de comunicación indígena

Atención a Jornaleros Agrícolas

Infraestructura Social Básica (PIBAI)Modelo de Educación para la Vida y

el Trabajo (INEA)

Promoción de Convenios en Materia de Procuración de Justicia (PCMJ)

Fortalecimiento de la Educación Especial y de la Integración

EducativaFomento y Desarrollo de las Culturas Indígenas (PFDCI)

Atención a Personas con Discapacidad

Fondos Regionales Indígenas (PFRI)

Organización Productiva para Mujeres Indígenas (POPMI)

Albergues Escolares Indígenas (PAEI)

PRINCIPALES INSTRUMENTOS DE ESTA NUEVA GESTIÓN PARA RESULTADOS

• “Matriz de Indicadores” (marco lógico). Permite focalizar la atención y los

esfuerzos de una dependencia o entidad, así como apoyar los procesos de

planificación, diseño, monitoreo y evaluación

• “Lineamientos generales de evaluación” (DOF, marzo 2007) con varios tipos de

evaluaciones y mayor libertad para temas específicos

EVALUACIÓN DE CONSISTENCIA Y RESULTADOS: OBJETIVOS

• Busca medir, de manera homogénea , el desempeño global de los

Programas (gestión y RESULTADOS)

• Con base en los resultados de la evaluación, se espera que los

programas mejoren su diseño y gestión ; volverán a ser evaluados en

un futuro

• La evaluación 2007 fue un “Diagnóstico” de la orientación de los

programas hacia una gestión para RESULTADOS

• En años posteriores, la evaluación deberá contener adicionalmente una

comparación con los resultados encontrados en la evaluación de

consistencia y resultados que se haya efectuado con anterioridad

IMPORTANCIA DE LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS

• La evaluación servirá para tomar decisiones de política pública con el fin de

mejorar la gestión y los resultados de los programas

• Se desarrollan seminarios entre evaluadores, junto con servidores

públicos, para analizar conjuntamente los resultados de las evaluaciones y

metodologías aplicadas

• Los evaluadores presentaron al H. Congreso de la Unión, al CONEVAL, a

la SHCP y a la SFP, los resultados obtenidos de la evaluación

• Las evaluaciones son difundidas públicamente con el objetivo de que los

actores claves y la ciudadanía en general, conozcan el desempeño de los

programas

• El CONEVAL también elabora una evaluación del proceso de evaluación,

que incluye la calidad de las evaluaciones

EVALUACIÓN DE CONSISTENCIA Y RESULTADOS

• Evaluación exclusivamente de gabinete

• 5 temas de evaluación: diseño, planeación estratégica, cobertura y

focalización, operación, percepción de los beneficiarios, resultados

• 100 preguntas específicas relacionadas con los temas de evaluación

• Respuestas específicas, en su mayoría, en esquema binario (SI o NO)

fundamentada con evidencia documental y análisis de la misma

– Respuestas apoyadas en la información y documentación con la que

cuenta el programa

• Identificación concisa de fortalezas y oportunidades, debilidades y amenazas

para cada tema de evaluación

• Al menos una recomendación precisa para solventar el problema identificado y

mejorar el diseño y la gestión del programa

TEMAS RELEVANTES

• ¿El programa lleva a cabo una gestión para Resultad os? ¿Cómo poder

apoyarlo para que así suceda?

• ¿El programa tiene una clara razón de ser ? ¿Está claramente combatiendo

un problema , identificado de manera objetiva?

• ¿El programa tiene una lógica interna clara?

• ¿El programa tiene indicadores de Resultados , que son recabados de

manera sistemática?

• ¿Más allá de metas financieras, el programa ha podido documentar que ha

venido resolviendo el problema que busca atender?

• ¿El programa cuenta con instrumentos que le permitan medir el grado de

satisfacción de la población objetivo con los servicios que se brindan?

• ¿El programa tiene mecanismos para establecer y definir metas e

indicadores?

• ¿El programa ha identificado claramente a la población objetivo? ¿Cuál es

su cobertura ?

• ¿Existe información sistematizada y actualizada que permita conocer

quiénes reciben los apoyos y sus características (Padrones )?

• ¿Existe evidencia documental de que el programa cumple con los procesos

de ejecución establecidos en las ROP?

• ¿Existe evidencia de que el programa tiene un adecuado sistema de

monitoreo que proporcione información oportuna y confiable para la toma

de decisiones?

• ¿El programa le ha dado seguimiento a las recomendaciones

provenientes de las evaluaciones externas previas?

TEMAS RELEVANTES

MATRIZ DE INDICADORES (MARCO LÓGICO)

• Hoy en día es difícil conocer la lógica interna de los programas y por lo tanto saber si su diseño es el adecuado para alcanzar los objetivos planteados (resultados en la población objetivo)

• Por otro lado, se reportan muchos indicadores , no necesariamente útiles para medir el desempeño del programa y tomar decisiones (medición parcial: GESTIÓN)

• En el 2007 los programas iniciaron la construcción de una matriz de indicadores que permita la identificación de sus objetivos, sus relaciones causales, los indicadores y los supuestos o riesgos que pueden influir en el éxito o fracaso del mismo.

Componentes

Actividades

Propósito

Fin

Impl

emen

taci

ónR

esul

tado

s

Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad

Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema

1.- Capacitación a individuos en pobreza extrema desempleados2.- Beca de apoyo a familias beneficiadas

- Focalización Geográfica1.1 Identificación y selección de familias en pobreza extrema2.1 Distribución de las becas de apoyo

ESQUEMA LÓGICO DE UN PROGRAMA

Porcentaje de capacitados que obtienen un mejor trabajo

Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados

1.- Porcentaje de cursos y talleres realizados2.- Porcentaje de becas repartidas3.- Monto total de las becas repartidas4.- Porcentaje de desempleados capacitados

1.- % del presupuesto ejercido2.- Costo promedio x actividad3.- Costo promedio de distribución de la beca

Componentes

Actividades

Propósito

Fin

Impl

emen

taci

ónR

esul

tado

sMENOS Y MEJORES INDICADORES

Componentes

Actividades

Propósito???Im

plem

enta

ción

Res

ulta

dos

QUEREMOS PASAR DE ESTO …

Componentes

Actividades

Propósito?Im

plem

enta

ción

Res

ulta

dos

… A ESTO EN UN PRIMER MOMENTO

Componentes

Actividades

Propósito

Fin

Objetivos Nacionales

Res

ulta

dos

… Y A ESTO EN UN SEGUNDO MOMENTO

PROGRAMAS NUEVOS

• La evaluación de los programas nuevos analiza la consistencia del diseño del programa

• Como parte de la evaluación externa, o a través de un ejercicio interno, las dependencias o entidades deberán realizar:– Los mecanismos de elegibilidad para la selección de proyectos

y/o beneficiarios;– Los mecanismos de atención del programa;– La entrega o distribución del apoyo del Programa;– El registro de operaciones programáticas y presupuestales;– La rendición de cuentas, transparencia y difusión de

información; y– Otros aspectos que solicite el Consejo o que considere

conveniente incluir el Programa.

INICIOINICIO

1 UE y PROGRAMA

Análisis y selección de los aspectos

susceptibles de mejora

1 UE y PROGRAMA

Análisis y selección de los aspectos


2 UE y UR

Clasificación de los aspectos


2 UE y UR

Clasificación de los aspectos


3 UE y UR

Formulación de instrumentos


3 UE y UR

Formulación de instrumentos


4 DEPENDENCIAS Y ENTIDADES

Difusión de los aspectos susceptibles de mejora

4 DEPENDENCIAS Y ENTIDADES

Difusión de los aspectos susceptibles de mejora

FINFIN

Criterios de selección

a) Claridadb) Relevanciac) Justificaciónd) Factibilidad

Criterios de selección

a) Claridadb) Relevanciac) Justificaciónd) Factibilidad

Rubros de Clasificación

a ) Específicosb) Institucionalesc) Coordinación intergubernamentald) Generales de Política pública

Rubros de Clasificación

a ) Específicosb) Institucionalesc) Coordinación intergubernamentald) Generales de Política pública

SEGUIMIENTO A LOS RESULTADOS DE LAS ECR 2007

Niveles de Prioridad

a ) Altab) Mediac) Baja

Niveles de Prioridad

a ) Altab) Mediac) Baja

2007 2008 2009 2010-12

Evaluación de Consistencia

(Gabinete)

1. Diseño

2. Cobertura y focalización

3. Planeación

4. Operación

5. Resultados

6. Percepción de los Beneficiarios

Evaluaciones Estratégicas


Diseño del Sistema de Evaluación del

Desempeño

(SED-SHCP)

SED SED SED

Est

rate

gia

de E

valu

ació

n y

Mon

itore

o

Evaluación de Impacto

Matriz de Marco LógicoMatriz de Marco

LógicoMatriz de Marco

Lógico


Evaluaciones Temáticas













SED:

-Monitoreo de Indicadores

-Resultado de las Evaluaciones

-Seguimiento a Recomendaciones

SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN

Evaluación Externa1. Diseño 8

2. Cobertura y focalización 9

3. Planeación 5

4. Operación 9

5. Resultados 7

6. Percepción de los Beneficiarios 9

SED

2007

Preparación para un SM&E basado en Resultados

2008 2009 …2010 2011

0 < p < 1

Evaluación Externa

1. Diseño 8

2. Cobertura y focalización 93. Planeación 8

4. Operación 5

5. Resultados 7

6. Percepción de los Beneficiarios 9

SE REQUIERE UNA EVALUACIÓN DE

OPERACIÓN

SE REQUIERE UNA EVALUACIÓN DE

PLANEACIÓN

Evaluación de Consistencia1. Diseño2. Cobertura y focalización3. Planeación4. Operación5. Resultados6. Percepción de los Beneficiarios




Desempeño

(SED-SHCP)




Evaluación de Consistencia

1. Diseño

2. Cobertura y focalización

3. Planeación

4. Operación

5. Resultados

6. Percepción de los Beneficiarios




Desempeño

(SED-SHCP)





SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN

ÍNDICE

� Antecedentes



� Coneval




� En octubre de 2007 se recibieron 116 Informes del tema de Diseño de las Evaluaciones de Consistencia y Resultados

� El CONEVAL analizó 116 Informes detectado las siguientes recomendaciones:1. Elaborar o actualizar diagnósticos que sustente la razón de ser del programa y que dé

cuenta de la situación actual del problema a resolver

2. Ampliar las capacidades de los sistemas de información que permitan contar con indicadores más precisos

3. Establecer medios de verificación validados para los indicadores

4. Identificar, definir y caracterizar de manera puntual a la población potencial y objetivo

5. Identificar las fuentes de información más actualizadas y confiables para la cuantificación de la población que se pretende atender

6. Construir sistemas de información que registren a los beneficiarios del programa

7. Que las ROP y la Matriz de Indicadores guarden consistencia y expresen adecuadamente el diseño de los programas

8. Evaluar la posibilidad de coordinación y colaboración con otras dependencias y entidades, para potenciar las complementariedades y evitar duplicidades entre programas

9. Delimitar el ámbito de competencia de los programas eliminando la posibilidad de duplicidad con otros programas

Resultados de Evaluación

RESULTADOS EN EVALUACIÓN

� Se recibieron106 Evaluaciones de Consistencia y Resultados

� Se recibieron 13 Evaluaciones de Diseño

� Se realizó un análisis por programa evaluado, así como el análisis por tema evaluado

Documenta Resultados

Tipo Resultados

1Programa De Abasto Social De Leche (LICONSA)

1,941.5 100% 71% 50% 100%

2Programa De Desarrollo Humano (OPORTUNIDADES)

37,211.0 100% 27% 75% 100%

Resultados FinalesNo. Programa

Presupuesto 2008

Diseño Planeación Cobertura Operación


Tipo Resultados

1Fondo Para Atender A La Población Rural Afectada Por Contingencias Climatológicas

900.0 56% 29% 25% 100%

2 Programa De Apoyos Directos Al Campo 16,678.0 16% 43% 25% 63%

No.Resultados Finales

ProgramaPresupuesto

2008Diseño Planeación Cobertura Operación

SEDESOL:

SAGARPA

EJEMPLOS ESPECÍFICOS


Tipo Resultados

1 Programa Comunidades Saludables 64.3 100% 86% 25% 63%

2Programa de Atención a Personas con Discapacidad (SNDIF)

325.9 44% 57% 50% 100%

OperaciónResultados Finales

No. ProgramaPresupuesto

2008Diseño Planeación Cobertura

SSA

HALLAZGOS DISEÑO

TEMA HALLAZGOS

Identificación del problema

71 % de los programas tiene claramente identificado el problema que atienden

67 %cuenta con objetivos que corresponden a la solución del problema que atienden

Población a atender

58 %tiene un diseño adecuado para alcanzar su propósito y atender a la población objetivo

47 % de los programas tiene definida a la población total que presenta el problema

Lógica causal

76 %de los programas tienen claro que el logro de su propósito contribuye a la solución de un problema de desarrollo o la consecución de los objetivos estratégicos de las dependencias y entidades

44 % cuentan con una matriz de indicadores clara y válida (lógica vertical)

66 % tienen un diseño claramente expresado en la normatividad

50 % de los programas definieron bienes y servicios públicos necesarios y suficientes para el logro del su propósito

Instrumentos de monitoreo

41 % tienen indicadores claros, relevantes, económicos, monitoreables y adecuados

35 %de los programas pueden medir el nivel de logro de sus resultados esperados a cada nivel de sus objetivos (lógica horizontal)

HALLAZGOS PLANEACIÓN ESTRATÉGICA

TEMA HALLAZGOS

Orientación a resultados

58 %de los programas utilizan los resultados de las evaluaciones para mejorar su desempeño

51 %tienen metas pertinentes y plazos específicos para sus indicadores de desempeño

49 %tienen un número suficiente de indicadores orientados a resultados que reflejen su propósito

21 % de los planes establecen claramente los resultados que se buscan alcanzar

Instrumentos de planeación

25 % cuentan con planes estratégicos a corto, mediano y largo plazo

23 %de los planes establecen indicadores, metas, estrategias, políticas y programas de trabajo

27 %de los programas tienen mecanismos para establecer y definir metas e indicadores

HALLAZGOS COBERTURA Y PERCEPCIÓN

COBERTURA Y FOCALIZACIÓN:

TEMA HALLAZGOS

Definición de la Población Objetivo

y Estrategia de Cobertura

24 % de los programas cuantifica su población objetivo y potencial

25 % tienen un avance adecuado para cumplir con su propósito

23 % cuenta con una estrategia de cobertura a corto, mediano y largo plazo

21 % de los programas se considera que la estrategia de cobertura es la adecuada

TEMA HALLAZGOS

Medición de la percepción de los

beneficiarios

54 %de los programas cuentan con instrumentos para medir el grado desatisfacción de la población objetivo

37 % presentan información objetiva

PERCEPCIÓN DE BENEFICIARIOS:

HALLAZGOS OPERACIÓN

TEMA HALLAZGOS

Cumplimiento con normatividad

84 %de los programas cumplen con la normatividad establecida para la entrega de apoyos

89 %tienen evidencia documental de que cumple con los procesos de ejecución establecidos

Eficacia en la operación

76 % tienen procedimientos adecuados para procesar solicitudes de apoyo

72 %tienen procesos estandarizados y adecuados para la selección de proyectos y beneficiarios

Infraestructura necesaria

80 % cuentan con una estructura organizacional que le permite alcanzar su propósito

80 % tienen información sistematizada que permita dar seguimiento oportuno a la ejecución de obras y/o acciones

84 % de los programas cuentan con indicadores de eficacia en la operación

61 %tienen información sistematizada adecuada en la administración y operación del programa

HALLAZGOS RESULTADOS

TEMA HALLAZGOS

Información sobre el

progreso en el cumplimiento de

objetivos

36 % de los programas han demostrado adecuado progreso en alcanzar sus objetivos

42 %de los programas recolectan información veraz y oportuna sobre los indicadores que miden sus objetivos

26 % han llevado a cabo evaluaciones externas que le permitan medir su impacto

ÍNDICE

� Antecedentes



� Coneval




– 389 programas presupuestarios con matriz de indicadores,

identificando indicadores de resultados, no sólo de gestión y de

producto

– Presupuesto 2008 con 3,975 indicadores estratégicos y de gestión

– La SHCP en coordinación con las dependencias seleccionaron

258 indicadores para dar seguimiento al presupuesto (178 son

de resultados)

– 87% de los programas presupuestarios que otorgan subsidios

(modalidad presupuestal S y U) presentaron una matriz de

indicadores parcial o totalmente consistente

– 2,128 indicadores, de los cuáles 564 son de resultados

AVANCES EN EL TEMA DE MI

SEMÁFORO GENERAL ABRIL DE 2008

Semaforización de las matrices de indicadores, Abril 2008

• 133 MI fueron analizadas considerando:–El cumplimiento de la definición de sus elementos (PND, Fin,

Propósito, Componentes y Actividades)–La lógica que presenta cada uno de ellos (Vertical y Horizontal)

(19%) Matrices de Indicadores consistentes,(68%) Matrices de Indicadores parcialmente consistentes,requieren cambios, principalmente en sus indicadores(13%) Matrices de Indicadores con insuficiente consistencia. En ellas se requieren cambios significativos para fortalecer la coherencia del diseño

SEMÁFORO: DISEÑO DE LAS MATRICES

– El 50% de las matrices no cuentan con los componentes (bienes y servicios que produce o entrega) necesarios y suficientes para que el programa alcance su propósito.

– En el 26% de las matrices se identifican múltiples propósitos, y no es claro cuál es el objetivo esperado en la población como resultado de la ejecución del programa.

– En el 24% de las matrices no se identifica con claridad la contribución que el propósito hace al fin del programa.

– En el 10% el fin no está claramente vinculado con el objetivo estratégico de la dependencia.

SEMÁFORO: DISEÑO DE LAS MATRICES

– El 61% de las matrices no cuenta con indicadores necesarios y suficientes que permitan medir adecuadamente el desempeño del Programa a nivel de Componentes.

– Esto también se observa en el 55% y 59% de las matrices a nivel de Fin y Propósito, respectivamente.

– Las matrices de indicadores no tienen identificados de manera clara y precisa los medios de verificación, a nivel de los Componentes (68%), Propósito (59%) y Fin (57%)

EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSANTES

• Indicadores de Resultados de las Reglas de Operación 2004

En el Informe de Labores 2006, la dependencia reporta como resultados del Programa los siguientes:

•De enero a junio de 2006 se atendieron a 180,390 personas

•Se lograron colocar en un empleo 90,325 personas (50.1%)

•Se comprometieron 324.6 millones de pesos

•Los resultados de algunas estrategias en el 2005 fueron:

• BÉCATE atendió a 207,118 personas y logró colocar al 54.5%

• Empleo Formal atendió a 118,425 personas y logró colocar al 54.9%

• Jornalero Agrícolas atendió a 47,936 personas y logró colocar al 42.9%

EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSANTES

• Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora

cuenta con los siguientes indicadores de RESULTADOS

EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSAHORA

EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLANTES

• Indicadores de Resultados de las Reglas de Operación 2008

NOTA: El programa no ha actualizado los indicadores de las ROP

X 100

X 100

X 100

En el informe de labores 2007, la dependencia reporta como resultados del programa lo siguiente:

•Para el presente ejercicio, el Programa cuenta con un techo presupuestal de 220 millones de pesos. A julio de 2007 se han realizado un total de 696 proyectos, de los cuales:

– 40.9% son obras de pavimentación, urbanización y mejoramiento urbano;

– 12.5% son proyectos de agua potable;

– 9.9% son de drenaje, mientras que las electrificaciones fueron un 8.8% de

los proyectos realizados;

– 10.6% son obras de infraestructura educativa, deportiva y de salud;

– 2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos de

proyectos (productivos, orfanatos, asilos, centros comunitarios, centros culturales, rehabilitación de edificios históricos y becas).

EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLANTES

• Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora

cuenta con los siguientes indicadores de RESULTADOS

X 100

X 100

EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLAHORA

Índice

� Antecedentes


� Diagnóstico


� Coneval




� A mediano Plazo

• Promover la gestión y evaluación basada en “Resultados”

• Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado

• Menor número de indicadores a reportar, pero de mejor calidad

• Que el sistema tenga nexos con el proceso presupuestario

• Promover el uso sistemático de la información de evaluación y monitoreo

• Que la información se utilice para mejorar la gestión de los programas y dependencias

• Que se puedan evaluar políticas en su conjunto, especialmente políticas sociales

• Con esta información más la evolución de los indicadores de pobreza nacionales, estatales y municipales, poder evaluar la política social en su conjunto

• Reforzar la transparencia y la rendición de cuentas

LO QUE SE ESPERA EN EL MEDIANO PLAZO

TEMAS A CONSIDERAR

• Diferencias entre:

– Evaluación: ¿Las cosas que se hacen son las correctas?

– Auditoria: ¿Las cosas se están haciendo correctamente?

• Vínculo entre:

– Gestión y evaluación;

– Resultados y presupuesto,

• Coordinación entre diferentes actores

– Al interior y entre de las secretarias

– Con el Jefe de Gobierno y el Congreso Local

– Definir roles de los diferentes actores

• Impulsar los “resultados” y mejorar la gestión (agenda política)

• Implementación gradual y/o aplicación de pilotos

– Temas, instrumentos, alcances, etc.

TEMAS A CONSIDERAR

• Iniciar por “voluntad política” y luego se impulsa normativamente

• Fortalecer capacidad técnica de las secretarías

• Fortalecer la oferta de evaluadores

– Normatividad de adquisiciones

• Diagnóstico de lo existente y lo aprendido hasta el momento

– Normatividad y prácticas actuales

– Nomenclatura y conocimientos básicos

– Detectar prácticas exitosas ya existentes

• Analizar la experiencia internacional

– Pocos casos locales, más experiencia federal

• Definir con claridad lo que se busca

• Evaluar constantemente los avances que se tengan

– Apoyado con un organismo externo nacional o internacional

• Considerable demanda gubernamental

• Objetividad y calidad

• Grado de utilización (oferta adecuada de instrumentos y productos)

• Importancia de los incentivos para generar información

• Diagnóstico del SE&M existente

• Peligro de complejidad excesiva

• Esfuerzo de largo plazo, impulso por etapas

• …

• Promotor “influyente”

• Impulso de una secretaría competente

• Normatividad (limitaciones y ventajas)

• …

FACTORES DE “ÉXITO” DE LOS SE&M x RESULTADOS

www.coneval .gob.mx

Gracias

[email protected]

sistema de monitoreo y evaluación basado en resultados ... · pdf fileevaluación...

Documents