www.coneval.gob.mx experiencia de implementación de la metodología de marco lógico en méxico...

48
www.coneval.gob.mx www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

Upload: maria-victoria-aranda-salas

Post on 02-Feb-2016

217 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

www.coneval.gob.mx

Experiencia de implementación de la Metodología de Marco Lógico en

México

Julio de 2011

Page 2: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

ÍNDICE

Antecedentes

Matrices de Indicadores para Resultados de la APF

Proceso de Aprobación de Indicadores

Retos

Page 3: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Antecedentes

El escenario de la APF en 2006, a pesar de que algunos de los

programas con reglas de operación tenían una historia de

evaluación se caracterizaba por los siguientes aspectos:

No siempre tenían objetivos ligados con “resultados”

Los objetivos eran muy generales y ambiguos

No existían indicadores de resultados

Sin una metodología homogénea aplicada por todos los

programas

No era clara la lógica del programa para alcanzar resultados

La mayoría de los indicadores establecidos medían gestión

más no resultados

Page 4: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Antecedentes

CONEVAL analizó distintas metodologías y casos

internacionales para identificar la metodología más adecuada

para el diseño y la construcción de la matriz de

indicadores:

Caso Chile (DIPRES)

Implementación de la MML en 1994

Análisis de vinculación con presupuestación (Indicadores de

Desempeño)

Caso Colombia (SINERGIA)

Introducción de instrumentos de medición de resultados desde

1994

Caso Estados Unidos (OMB)

Criterios para la especificación de Indicadores (SMART)

Caso Canadá (Oficina del Tesoro)

Inicio de implementación del Sistema en los años 70

Page 5: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Antecedentes

¿Por qué se definió la Metodología de Marco Lógico (MML) como

instrumento?

* Porque permite:

la identificación de objetivos a nivel Resultados e Implementación (gestión)

establecer relaciones causales entre los objetivos que se plantean

diseñar indicadores vinculándolos a los objetivos

identificar la lógica interna de los programas (valorar su diseño)

presentar el programa en forma resumida, estructurada y sintética

* Al mismo tiempo, la SHCP estaba en busca de metodología para incorporar información al Sistema de Evaluación del Desempeño (SED)

Page 6: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Los indicadores más relevantes hoy en día son:

– El presupuesto asignado a cada programa

– El % del presupuesto ejercido cada año

– El número de becas/cursos de capacitación/litros de

leche/pasaportes entregados/juntas realizadas, etc, etc.

• Pero falta medir RESULTADOS:– ¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito?– ¿Los desempleados que recibieron capacitación aprendieron y

encontraron trabajo?– ¿Más mujeres se incorporan a trabajar a raíz del programa de

estancias infantiles?– ¿Disminuyó la delincuencia por el programa de seguridad?– ¿Se disminuyó el tiempo de trámite de los pasaportes?

Objetivo: Planear, evaluar, presupuestar (tener una gestión) para buscar y medir resultados

Page 7: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Componentes

Actividades

Propósito

Fin

Imp

lem

en

tació

nR

esu

ltad

os

Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema

1.- Capacitación a individuos en pobreza extrema desempleados2.- Beca de apoyo a familias beneficiadas

- Focalización Geográfica1.1 Identificación y selección de familias en pobreza extrema 2.1 Distribución de las becas de apoyo

ESQUEMA LÓGICO DE UN PROGRAMA

Page 8: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Porcentaje de capacitados que obtienen un mejor trabajo

Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados1.- Porcentaje de cursos y talleres realizados2.- Porcentaje de becas repartidas3.- Monto total de las becas repartidas4.- Porcentaje de desempleados capacitados1.- % del presupuesto ejercido2.- Costo promedio x actividad3.- Costo promedio de distribución de la beca

Componentes

Actividades

Propósito

Fin

Implementación

Resu

ltado

s

MENOS Y MEJORES INDICADORES

Page 9: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Componentes

Actividades

Propósito

Fin

Objetivos Nacionales

Resu

ltad

os

Implementación

Esquema lógico de objetivos de un programa

Antecedentes

Page 10: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Antecedentes

Componentes

Actividades

Propósito???Im

plementación

Resu

lta

dos

Se pretendía pasar de esto…

Page 11: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Componentes

Actividades

Propósito?Im

plementación

Resu

ltado

s

Antecedentes

…a este esquema en un primer momento

Page 12: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Componentes

Actividades

Propósito

Fin

Objetivos Nacionales

Resu

ltad

os

Implementación

…a esto en un segundo momento…

Antecedentes

Page 13: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

ÍNDICE

Antecedentes

Matrices de Indicadores para Resultados de la APF México

Proceso de Aprobación de Indicadores

Retos

Page 14: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Matrices de Indicadores para Resultados

Del total de las MIR de la APF (cerca de 600), el CONEVAL coordina 231, de acuerdo con el Programa Anual de Evaluación

Las modalidades presupuestarias de estas MIR son las siguientes:

S Programas Sujetos a Reglas de

Operación U Otros subsidios E Prestación de Servicios Públicos B Provisión de Bienes Públicos

Page 15: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

35% de las MIR son de programas de Educación; Medio Ambiente y Desarrollo Social cuentan con 10% de los programas, respectivamente

Cerca del 45% de las MIR se refieren a programas de seguridad social, Hacienda y Crédito Público, agrícolas, ganaderos, pesca, laborales.

Matrices de Indicadores para Resultados

Page 16: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx 16

Indicadores contenidos en las MIR 2011

El total de MIR de la APF para 2011 es de 586 que incluyen 4,997 indicadores de desempeño.

183 Matrices corresponden a Programas Sociales

Nivel del Indicador

Indicadores en el PASH

Indicadores Programas

sociales

Total % Total %

Total 4,997 100 1,970 100

FIN 675 13.5 231 11.7

Propósito 790 15.8 304 15.4Componentes 1,545 30.9 674 34.2

Actividades 1,987 39.8 761 38.6

Promedio por Programa 11

Page 17: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

ÍNDICE

Antecedentes

Matrices de Indicadores para Resultados

Proceso de Aprobación de Indicadores

Retos

Page 18: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Mandato para Coneval

Ley General de Desarrollo Social

Artículo 77. El Consejo Nacional de Evaluación, antes de

aprobar los indicadores a que se refiere este artículo, los

someterá a la consideración de la Secretaría de Hacienda y

Crédito Público y a la Cámara de Diputados por conducto de

la Auditoría Superior de la Federación, para que emitan las

recomendaciones que en su caso estimen pertinentes.

Page 19: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

•Lineamientos de Evaluación y de la MIR

•Capacitación en MML•Carga de MIR 2007 en PASH

• Capacitación y Asistencia Técnica

• Carga de MIR 2008 al PASH (Revisión MIR)

• Diagnóstico MIR 2008

•Capacitación y Asesoría

•Revisión 31 programas federales en Mesa Técnica de Indicadores

Normativa / Implementación

2007

Revisión MIR / Diagnóstico

2008

Mejoramiento indicadores / Revisión

2009

Revisión Indicadores / Consideración

2010

Ejecución Integral

2011

Consolidación de Aprobación

2012

• Revisión 34 programas federales en MTRI

• Envío de información 3 programas federales a ASF y SHCP

• Diagnóstico MIR 2010

• Revisión todos los programas federales en MTRI (S y U)

• Lineamientos Generales de Aprobación de indicadores

•Cierre del proceso de aprobación de indicadores

PROCESO DE MEJORAMIENTO DE INDICADORES

Page 20: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Mejoramiento de MIR y de indicadores

ETAPA I•Lineamientos de Evaluación

•Lineamientos de la matriz de indicadores

ETAPA II•Capacitación básica en Marco Lógico

•Carga de MIR 2007 al PASH

ETAPA III•Capacitación y Asistencia Técnica

•Carga de MIR 2008 al PASH

•Revisión de la consistencia MIR

ETAPA IV*• Diagnóstico

de las MIR 2008

• Capacitación en construcción indicadores

ETAPA V - A•Capacitación básica y asesoría

•Programas mejoran sus MIR y actualizan PASH

ETAPA VI - AAprobación de

Indicadores (Revisión de

31 Programas Federales)

ETAPA V - B•Capacitación y asesoría técnica

•Mejoramiento de MIR y actualización en PASH

ETAPA VI – B• Aprobación de

Indicadores (34 Sesiones de

Comité Técnico de Revisión de Indicadores)

Normativa / Implementaci

ón

2007Revisión

MIR / Diagnóstico

2008Mejoramiento indicadores / Aprobación

2009Aprobación

de Indicadores

2010

Page 21: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

¿Qué hemos hecho en cada Etapa?

2007: Sentando las bases de implementación

Etapa I

Emisión de Lineamientos Generales de Evaluación de los Programas Federales de la Administración Pública Federal

Se incluyen elementos de los Objetivos Estratégicos Se integran elementos de la matriz de indicadores Se relaciona a la Evaluación de Consistencia y Resultados

Lineamientos de MIR

Se vincula con el presupuesto: Integración en el Anexo 1 de los Lineamientos Generales para el Proceso de Programación y Presupuestación para el ejercicio fiscal 2008 de la Metodología para la elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF

Page 22: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Primeros avances del proceso de implementación de la MML Se emite normatividad para fijar las bases de diseño

de indicadores Se comienza una herramienta que facilita el proceso

de planeación La MML se incorpora en un capítulo de la Evaluación

de Consistencia y Resultados La SHCP integra elementos de la MIR en el análisis de

presupuestación para el ejercicio 2008

Normatividad

Planeación EvaluaciónPresupuesta

ción

Implementación de la MML

¿Qué hemos hecho en cada Etapa?

Page 23: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

¿Qué hemos hecho en cada Etapa?

2007: Sentando las bases de implementación

Etapa II Capacitación de funcionarios públicos en materia de

Metodología de Marco Lógico Cursos de Sensibilización de la MML para 595 funcionarios

públicos de todos los sectores de la APF (se integran incluso los Ramos como Defensa Nacional, Gobernación, etc.)

En Agosto, impartición de Talleres para la Construcción de la primera versión de la MIR de los programas

Primera carga de la MIR de 133 programas federales en el PASH

Se vincula la MIR con la ECR (Capítulo de Diseño) CONEVAL realiza la primera revisión de las MIR de los

programas S y U mediante criterios establecidos Derivado de los resultados de la revisión se diseña un

Curso de MML con mayor nivel de profundidad en los temas

Page 24: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

¿Qué hemos hecho en cada Etapa?

En marzo se carga una nueva versión de las MIR de programas federales al PASH

Con base a la nueva versión de MIR, se elabora el Diagnóstico de Matrices de Indicadores para Resultados 2008

Envío de recomendaciones para el mejoramiento de las MIR de 133 programas federales en dos períodos (Julio y Noviembre)

Las MIR por primera vez son utilizadas en el proceso de presupuestación (para el ejercicio fiscal 2009)

En conjunto con la SHCP, se emitieron los Lineamientos para la actualización de la Matriz de Indicadores de los programas presupuestarios para el ejercicio fiscal 2008

486 funcionarios

públicos capacitados

en MML

Incorporación de

Asistencia Técnica para mejorar las

MIR

Diseño de Curso

Específico de

Indicadores de

Desempeño

2008: Mejorando la aplicación de la MetodologíaEtapa III y IV

Page 25: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

¿Qué hemos hecho en cada Etapa?

2009: Diseñando de mejor manera los indicadores de desempeño

Etapas V-A

Continuación de capacitación a funcionarios públicos 1,428 funcionarios públicos capacitados en Metodología de

Marco Lógico para la Construcción de la Matriz de Indicadores para Resultados

Capacitación de 365 funcionarios públicos en Diseño de Indicadores de Desempeño

Proceso menos masivo debido a restricciones presupuestales Incorporación de nuevos apartados en el Curso para adecuarlo a

la evolución de las MIR de los programas Mayor Asistencia Técnica a los programas para el mejoramiento

de las MIR

Actualización de las 110 MIR de programas federales S y U con versión 2008

Incorporación al análisis de 47 nuevas MIR modalidad S y U y 67 E y B

Page 26: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Aprobación de Esquema de Aprobación de Indicadores por parte de la Comisión Ejecutiva (Sesión de Comisión Ejecutiva Mayo de 2009)

Durante el mes de octubre se realizaron las primeras Sesiones de la Mesa Técnica de Revisión de Indicadores de Resultados (31 programas federales) Selección de programas considerando las siguientes

variables: Presupuesto 2009 Valoración MIR Valoración indicadores Indicadores PEF Programa estratégico SHCP

2009: Diseñando de mejor manera los indicadores de desempeño

Etapa V-B

¿Qué hemos hecho en cada Etapa?

Page 27: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

¿Qué hemos hecho en cada Etapa?

2010: Consolidando el proceso de aprobación de indicadores

Etapas VI-A

Adecuación del esquema de Capacitación:

582 funcionarios públicos capacitados en Metodología de Marco Lógico para la Construcción de la Matriz de Indicadores para Resultados

Modificación de esquema de Capacitación ahora por demanda de los programas que así lo requirieron

Mayor énfasis al mejoramiento de las MIR e indicadores

Capacitación de 191 funcionarios públicos en Diseño de Indicadores de Desempeño

Diagnóstico de Matrices de Indicadores para Resultados

Page 28: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

En abril, se enviaron recomendaciones para el mejoramiento de las MIR versión 2011 de 220 programas federales

Continuación del Proceso de Aprobación de Indicadores Realización de la Segunda Ronda de Sesiones de la

Mesa Técnica de Revisión de Indicadores de Resultados para 34 programas federales Mismos Criterios de selección que en versión 2009

Envío de la información de 3 programas federales a consideración de la Auditoría Superior de la Federación y la SHCP

Selección de 5 programas federales de la Segunda Ronda de Sesiones susceptibles a enviar a la ASF y SHCP

¿Qué hemos hecho en cada Etapa?

2010: Consolidando el proceso de aprobación de indicadores

Etapas VI-B

Page 29: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Esquema de Aprobación de Indicadores

Pasos

I. Validación integral de todos los Indicadores

REPORTE de Criterios

Mínimos por

Programa

Revisión de indicadores con FICHA TÉCNICA *

Diseño de Ficha

Técnica de Revisión General

Reporte + VALORACIÓ

N indicadores Resultado

Revisión de Indicadore

s de Resultados por MTRI

Selección de Experto Temático y Estadístico

II. Valoración especifica de Indicadores de Resultado

III. Aprobación de los indicadores

DICTAMEN sobre

Indicadores por

programa

Se turna Dictamen a

Comité Directivo

Se turna Dictamen a Comisión Ejecutiva

Page 30: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

¿Qué hemos hecho en cada Paso del Esquema?

I Validación Integral de Indicadores

Se diseñó la Ficha Técnica de Valoración de Indicadores, la cual mide las siguientes características mínimas con que debe contar un indicador:

Claridad Relevancia Monitoreabilidad Adecuación

La aplicación de la Ficha Técnica se realizó para cerca de 2,000 indicadores contenidos en las MIR de 220 programas federales

Los resultados fueron enviados a los programas federales en conjunto con las recomendaciones de mejora de las MIR

Page 31: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

¿Qué hemos hecho en cada Paso del Esquema?

II Validación Específica de Indicadores de Resultados

El objetivo de esta etapa es revisar la consistencia de los indicadores de resultados tanto del nivel de Fin como de Propósito

Implica la conformación de una Mesa Técnica de Revisión de Indicadores (MTRI) integrada por los siguientes representantes:

Secretaría de Hacienda y Crédito Público Auditoría Superior de la Federación CONEVAL Unidades de Evaluación de las Coordinadoras de Sector Representantes de los programas Experto Temático Experto Estadístico

Page 32: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Resultados de las Sesiones de la MTRI

Principales Comentarios en los Informes

Los indicadores miden efectivamente los objetivos del Programa; Los medios de verificación para la estimación del indicador provienen de medios confiables y robustosLas variables planteadas en los objetivos son medidas parcialmente en los indicadores, por lo que es necesario su modificación;Las fórmulas de cálculo deben plantearse con mayor exactitud, de manera que no se existan dudas acerca de su estimaciónEl indicador no mide lo que se encuentra planteado en los objetivos del programa;Los métodos de cálculo del indicador son confusos y no se describen las variables utilizadas

Page 33: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

ÍNDICE

Antecedentes

Matrices de Indicadores para Resultados

Proceso de Aprobación de indicadores

Retos

Page 34: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Convencimiento a los programas federales de la importancia del mejoramiento de los indicadores para la consolidación del proceso

Aceleración en la adopción de mejoras tanto a los objetivos como a los indicadores de los programas / Mayor asistencia técnica

La MIR es un instrumento que es dinámico en el tiempo pero debe contar con una consolidación

Concientización de que la aprobación de indicadores es un proceso gradual en el que los programas mejoran continuamente y es además, un proceso dinámico en el tiempo

Retos

Page 35: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

ANEXOS

Page 36: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Variables Calificación MIR

Page 37: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Diagnóstico General de las matrices Se determinó una calificación en la que se consideran

elementos que debe contener la Matriz de Indicadores para Resultados:

Cumplimiento

Calidad

Planeación Nacional (6 puntos)

Fin (6 puntos)

Propósito (12 puntos)

Componentes (10 puntos)

Actividades (6 puntos)

Lógica Vertical (30 puntos)

Lógica Horizontal (30 puntos)

Ponderación 40%

Ponderación 60%

Semaforización

Calificación Características

Mayor a 80 puntos

Consistente requiere cambios menores

Entre 50 y 80 puntos

Parcialmente consistente, requiere cambios para fortalecer la coherencia

Menor a 50 puntos

No consistente, con deficiencias en la identificación de objetivos e indicadores

Page 38: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Para el análisis de la calidad de las MIR, en cuanto a “Diseño” e “Indicadores“ se consideraron los siguientes elementos:

Diseño

Indicadores

Fin debe estar vinculado con el objetivo estratégico de la dependencia o entidad

Propósito único y cambio específico en la población objetivo

Componentes suficientes y necesarios

Indicadores de los diferentes niveles de la MIR permiten monitorear el programa

Los medios de verificación planteados son suficientes y necesarios para obtener información y verificar estimaciones

Diagnóstico General de las matrices

Page 39: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Diagnóstico MIR 2010

Page 40: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Comparativo Diagnósticos 2008 – 2010 (Global)

19%(25)67%

(89)

14%(19)

SEMAFORIZACIÓN MIR 2008(CLASIFICACIÓN S Y U)

SEMAFORIZACIÓN MIR 2010

(CLASIFICACIÓN S Y U)

SEMAFORIZACIÓN MIR 2010

DISEÑO(CLASIFICACIÓN S Y U)

SEMAFORIZACIÓN MIR 2008DISEÑO

(CLASIFICACIÓN S Y U)

27%(36)

32%(42)

41%(55)

51%(57)

9%(10)

40% (44)

29%(32)

17%(19)

54% (60)

13%(17) 28%

(38)

59%(78)

42%(47)

41%(45)

17%(19)

SEMAFORIZACIÓN INDICADORES 2008

(CLASIFICACIÓN S Y U)

SEMAFORIZACIÓN INDICADORES 2010

(CLASIFICACIÓN S Y U) Mejoras en

diseño y relación con el objetivo que mide

Semaforización roja disminuyó de casi 60% a 41%

Mayor vinculación entre los objetivos

Más de la mitad de las MIR en semaforización verde

Avance en diseño de la MIR y mejores indicadores

Semaforización verde aumentó de 25 a 40 programas

Page 41: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Diagnóstico general MIR 2010

Cerca del 40 por ciento de los programas mejoraron la calidad de sus MIR (11 de rojo a amarillo, 30 de amarillo a verde).

47 por ciento de las matrices permanecieron en el mismo nivel que en 2008, sin embargo una gran parte de las MIR se acercaron a su nivel inmediato superior

16 por ciento de los programas disminuyeron en la calidad de su MIR y requieren de una mayor labor para regresar al nivel que tenían anteriormente (aunque únicamente 8 disminuyeron de verde a amarillo)

Page 42: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Diagnóstico general MIR 2010

(DICONSA) Oportunidades Rescate de espacios públicos Programa de la Mujer en el Sector Agrario

(PROMUSAG)

Becas para realizar estudios de posgrado Programa de Apoyo a Contingencias

Climatológicas PRONABES Programa Escuelas de Calidad

Programa Asesor Técnico Pedagógico Fondo de Apoyo para la Calidad de los Institutos

Tecnológicos Programa Nacional de Financiamiento al

Microempresario

Page 43: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Comentarios PrincipalesProgramas enviados a ASF

Page 44: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Resultados de las Sesiones de la MTRI

Programa de Desarrollo Humano OportunidadesPrincipales Comentarios por Participante

Experto Temático

Experto Estadístico SHCP ASF

Unidad de Evaluación y Programa

Inclusión de indicadores similares al de Fin en al menos otra dimensión, por ejemplo, salud

Se recomienda establecer mediciones respecto a promedios nacionales y no solamente respecto a la población beneficiaria

Algunos indicadores podrían considerarse como una doble diferencia

Algunos indicadores pudieran expresarse en términos relativos y no absolutos

Si la inclusión de nuevos indicadores no implican mayor desembolso para el programa se sugiere realizarlo

En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición

El programa acepta la mayoría de las sugerencias, sin embargo se considerará aumentar en lo mínimo el número de indicadores

Page 45: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Resultados de las Sesiones de la MTRI

Programas del Fondo Nacional de Fomento a las ArtesaníasPrincipales Comentarios por Participante

Experto Temático

Experto Estadístico SHCP ASF

Unidad de Evaluación y Programa

Uno de los indicadores de resultados podría medir el impacto del programa comparando los cambios en algunas variables de los beneficiarios respecto a un grupo de control

Deben especificarse de mejor manera los medios de verificación de donde se obtienen los datos para el cálculo de los indicadores.

Al integrar indicadores es necesario que el Programa considere que las MIR deben ser lo más ejecutivas posible

En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición

El programa acepta todas las sugerencias pero la integración de indicadores que requieran de una Evaluación de Impacto está en función de la autorización del presupuesto del programa

Page 46: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Resultados de las Sesiones de la MTRI

Programa de Uso Sustentable de Recursos Naturales para la Producción Primaria

Principales Comentarios por Participante

Experto Temático

Experto Estadístico SHCP ASF

Unidad de Evaluación y Programa

El programa podría considerar la inclusión de un indicador sobre sustentabilidad de los sistemas productivos para medir los objetivos del programa

Los medios de verificación deben ser más explícitos y detallados.

Una vez calculados algunos indicadores se recomienda verificar el ajuste de los datos.

Sin comentarios adicionales.

En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición

El programa acepta todas las sugerencias.

Page 47: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

2. OBJETIVO

i) Claridad Status COMENTARIOS i.1 ¿El nombre del indicador es autoexplicativo? i.2 ¿La fórmula de cálculo del indicador es coherente con su nombre? i.3 ¿Existe coherencia dentro de los elementos (numerador y denominador) que conforman la fórmula de cálculo del indicador? i.4 ¿La unidad de medida del indicador corresponde a lo que se pretende medir?i.5 ¿La descripción de las variables de la fórmula de cálculo permite tener claridad sobre cualquier concepto incluido en la misma?ii). Relevanciaii.1 ¿El indicador refleja un factor o variable central del logro del objetivo? ii.2. ¿El ámbito de desempeño del indicador corresponde al nivel de objetivo de la matriz? (Impacto-Resultados, Producto, Proceso) ii.3 ¿El indicador está asociado a una meta (s) específica (s), de acuerdo a la frecuencia de medición establecida? ii.4 ¿La estructura del indicador permite realizar análisis longitudinales en el tiempo?iii) Monitoreableiii.1 ¿El indicador tiene un valor de línea base para su seguimiento? iii.2. ¿El indicador tiene establecido el año de la línea base? iii.3 ¿La frecuencia de medición del indicador es consistente con los medios de verificación planteados? iii.4 ¿Es consistente la frecuencia de medición entre el numerador y el denominador?iii.5 ¿Los medios de verificación identificados corresponden a lo que busca medir el indicador?iv). Adecuadoiv.1. ¿El indicador está expresado como una relación entre dos o más variables? iv.2 ¿Los valores de la meta concuerdan con el "tipo de valor de la meta" (relativo o absoluto) que se establece en la Ficha Técnica del Indicador?iv.3 ¿Existe congruencia en el establecimiento de metas anuales y sexenales?iv.4 ¿La dimensión del indicador está bien identificada (eficacia, eficiencia, calidad, economía)?

2. RESUMEN DE LA CALIFICACIÓN DE LOS INDICADORES DE LA MATRIZ

Rubros y Sub-rubros de Evaluación de Calidad de los Indicadores de Resultados

FICHA TÉCNICA DE REVISIÓN DE INDICADORES

DESCRIPCIÓN: ENUNCIADO O NOMBRE DEL INDICADOR:

Page 48: Www.coneval.gob.mx Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

www.coneval.gob.mx

Contexto de Indicadores de Desempeño La APF cuenta con aproximadamente 500 programas

presupuestarios de diversas modalidades con Matriz de Indicadores para Resultados (MIR)

Las casi 500 MIR cuentan con cerca de 4,500 indicadores de desempeño

Los programas con modalidad S y U tienen más de 1,700 indicadores

464 – 26% de resultados (Fin y Propósito)

1,309 – 74% de gestión (Componentes y Actividades)

En 2008, la normatividad presupuestaria obligaba a presentar MIR a los programas presupuestarios S y U

y en 2010 obligaba también , entre

otras, las modalidades B y E

El promedio de indicadores por

programa de las modalidades S y U

es de 12 (en 2008 era de 16)

Nivel del Indicado

r

Indicadores en el PASH

Indicadores Programas S y

U

Total % Total %

Total 4,419 100 1,773 100Fin 558 12.6 179 10.1Propósito 752 17.0 285 16.1Componentes

1,415 32 620 38.0

Actividades 1,694 38.3 689 38.9

Promedio por Programa 12