pae 2017 - gobierno del estado de oaxaca
TRANSCRIPT
RESULTADOS DE EVALUACIONES
DIAGNÓSTICAS - PAE 2017
Marzo de 2018
Coordinación de Evaluación e Informes
El programa anual de evaluación 2017Es una obligatoriedad para las entidades federativas
• El programa anual de evaluación es un documento normativo en que se determinan los programas queserán evaluados, el tipo de evaluación que se les aplicará y los plazos de entrega con el objetivo dearticular los resultados de las evaluaciones para mejorar la gestión y la calidad del gasto
• Este Programa se fundamenta principalmente en 3 disposiciones jurídicas:
o A nivel federal:
o La Ley General de Contabilidad Gubernamental establece que las entidades federativasdeberán publicar su programa anual de evaluación
o A nivel estatal:
o La constitución indica que la evaluación del desempeño se realizará por la instancia técnica deevaluación
o La Ley Estatal de Presupuesto y Responsabilidad Hacendaria establece la forma de realizar lasevaluaciones
• En 2013, la Ley Orgánica del Poder Ejecutivo del Estado de Oaxaca faculta a la Jefatura de laGubernatura para fungir como Instancia Técnica de Evaluación (ITE)
• En abril de 2017 se publicó en el Periódico Oficial del Estado el Programa Anual de Evaluación 2017 queademás de seis evaluaciones, contempla una evaluación diagnóstica a cada uno de los programaspresupuestarios del 2018.
2
El Sistema de Evaluación del Desempeño 2016-2022Mecanismo para generar un Presupuesto basado en Resultados
Comprende la valoración objetiva, bajo principios de verificación del grado de cumplimiento de objetivos y metas
de los planes, programas y proyectos, mediante el uso de metodologías de análisis e indicadores de desempeño
tendientes a conocer los resultados y el impacto de las acciones y la inversión de los recursos públicos.
El objetivo fundamental es incorporar las lecciones aprendidas para mejorar las decisiones en política pública
3
Los programas considerados en el Programa Anual de Evaluación 2017 Son de dos tipos de evaluación: Diagnóstica y de Diseño
4
Programas evaluadosTipo de
evaluación
88 programas presupuestarios a incluirse en el presupuesto de egresos para el
ejercicio 2018 a cargo de dependencias y entidades de la Administración Pública
Estatal
1. Educación básica de calidad
2. Desarrollo agrícola
3. Formación con calidad en educación media superior
4. Promoción y fomento de las políticas públicas igualitarias
5. Impulso al desarrollo económico
6. Crédito a la palabra de la mujer
Evaluación
Diagnóstica
Evaluación
de Diseño
IEEPO
SEDAPA
CGEMSySCyT
SMO
SE
SEDESOH
La evaluación es una fotografía de un proceso de mejora continuaLa MIR ha cambiando derivado de las áreas de oportunidad detectadas
5
Trabajos de evaluación
Trabajos de elaboración y consolidación de la MIR
24 de abril:
Publicación del PAE
09 al 14 de
agosto:
Elaboración
de la
Estructura
Programática
18 al 22 de
septiembre:
Elaboración
de las MIR
24 de
octubre:
Elaboración
de los
árboles de
marco lógico
Diciembre-
Enero:
Aplicación
de las
evaluaciones
06 y 14 de
noviembre:
Entrega de
información
11 al 26 de
enero:
Cambios en
el SEFIP
19 febrero-
6 marzo:
Notificación
de las
evaluaciones
18 al 22 de
noviembre:
Adecuaciones
en la MIR
29 de enero:
MIR validadas
en el SEFIP
La evaluación diagnóstica se realizó sobre 4 aspectos Consta de 12 preguntas
6
1. Identificación del programa
2. Diagnóstico
3. Población o áreas de enfoque potencial y objetivo
4. Matriz de Indicadores para Resultados
Temas a
evaluar
Metodología de la Evaluación Diagnóstica
7
• Análisis de gabinete
• 12 preguntas binarias (Sí /No) basadas en;
• Ficha del programa,
• Antecedentes y características del programa
• Plan Estatal de Desarrollo 2016-2022
• Programas sectoriales, especiales, institucionales y/o similares,
• Diagnóstico y justificación,
• Árbol de problemas, objetivos y selección de alternativas,
• Matriz de Indicadores para Resultados,
• Identificación, caracterización y bases de datos referentes a las áreas de enfoque o
población,
• Reglas de operación
• Monitoreo de indicadores,
• Reportes de evaluaciones previas y
• Documento que de cuenta de aspectos susceptibles de mejora y su seguimiento.
Metodología de
evaluación
Objetivos de la Evalución Diagnóstica
8
Fotografía de línea base para analizar toda la estructura programática y proponer soluciones
institucionales más amplias para mejorar el desempeño del portafolio global de programas.
Primera aproximación valorativa que busca establecer la existencia de una justificación robusta
y sólida del origen del programa (la intención de resolver un problema público claramente
identificado, mediante una intervención causalmente válida en función del diagnóstico
respectivo) y su orientación a resultados.
Proxy indirecto de la capacidad institucional y el grado de avance en materia de evaluación y
monitoreo de todo el Estado.
Ejercicio sin precedente en el Estado y también a nivel nacional
1
2
3
4
I. Identificación del Programa Pregunta 1
9
a. Nombre del programa
b. Vinculación con el Plan Estatal de Desarrollo 2016 - 2022
c. UR responsable del programa y las UR participantes;
d. Clasificación Funcional: Finalidad, Función y Subfunción;
e. Clasificación Sectorial: Sector y Subsector; y
f. Clasificación Programática, de acuerdo a lo establecido por el Consejo Nacional de
Armonización Contable.
g. Recomendaciones (aspectos susceptibles de mejora) derivadas de evaluaciones anteriores
al programa o a la institución?
PREGUNTA 1: ¿El programa cuenta con una identificación general, que considere los siguientes
aspectos…
II. DiagnósticoPregunta 2 a la 5
10
PREGUNTA 2: ¿El programa cuenta con una definición del problema, el cual…
PREGUNTA 3: ¿El programa presenta un árbol de problemas el cual incluye…
a. Identifica la población objetivo o área de enfoque
b. Define su localización geográfica
c. Establece un indicador que cuantifique la magnitud del problema?
a. Causas estructurales
b. Causas intermedias
c. Efectos del problema?
II. DiagnósticoPregunta 2 a la 5
11
PREGUNTA 4: ¿El programa presenta un árbol de objetivos en el cual se identifican…
PREGUNTA 5: Derivado del árbol de objetivos, ¿se han seleccionado las alternativas a
las cuales se ha de enfocar la intervención?*
a. La contribución
b. Los medios para lograr estos fines?
III. Población o área de enfoque potencial y objetivoPregunta 6 a la 10
12
PREGUNTA 6: ¿La población o área de enfoque potencial está…
PREGUNTA 7: ¿La población o área de enfoque objetivo está…
a. Identificada
b. Caracterizada
c. Cuantificada?
a. Identificada
b. Caracterizada
c. Cuantificada?
III. Población o área de enfoque potencial y objetivoPregunta 6 a la 10
13
PREGUNTA 8: ¿La cuantificación de la población o área de enfoque potencial está
desagregada por…
PREGUNTA 9: ¿La cuantificación de la población o área de enfoque objetivo está
desagregada por…
a. Sexo (hombre y mujer)
b. Grupos de edad
c. Población indígena?
PREGUNTA 10: .¿El programa cuenta con previsiones para la integración de un Padrón de
Beneficiarios o áreas de enfoque?
a. Sexo (hombre y mujer)
b. Grupos de edad
c. Población indígena?
IV. Matriz de Indicadores para ResultadosPregunta 11 a la 12
14
PREGUNTA 11: ¿El programa cuenta con una Matriz de Indicadores para Resultados, que
cumpla con…
PREGUNTA 12: ¿Los indicadores establecidos en la Matriz de Indicadores para Resultados cumplen
con las siguientes características?
a. Resumen Narrativo
b. Indicadores que cumplan con los criterios de Claridad, Relevancia, Economía, Monitoreable, Adecuado y
Aporte Marginal.
c. Medios de verificación
d. Supuestos?
a. Nombre
b. Definición
c. Método o fórmula de cálculo
d. Tipo de indicador
e. Dimensión
f. Frecuencia de medición
g. Sentido esperado
h. Línea base
i. Metas
Valoración final del programa12 preguntas
15
1. Identificación del programa
4. Matriz de Indicadores para Resultados
2. Diagnóstico
3. Población o áreas de enfoque potencial y objetivo
4
1
5
2
Puntaje obtenido: 12/12
100%
2 a 5
1
6 a 10
11 a 12
Tema de evaluación PuntajePreguntas
Dictamen de Evaluabilidad
programas no evaluados
16
“La evaluabilidad se refiere a la valoración previa de condiciones básicas preexistentes que
permitan suponer que la evaluación se puede gestionar efectivamente”
Principal criterio para determinar la no evaluabilidad
Si un programa presupuestario no tiene una orientación clara a la solución de un problema público
mediante la provisión de bienes y servicios directos a la población.
Dictamen de Evaluabilidad
programas no evaluados
17
Programas presupuestales no evaluados
NÚMERO DE
PROGRAMANOMBRE DEL PROGRAMA
107 Certeza Jurídica para la Sociedad
117 Programa Integral de Servicios y Soluciones de TIC e Innovación Tecnológica Gubernamental
130 Fortalecimiento, conservación y administración de los bienes y servicios del estado
136 Representación jurídica del Estado
142 Fortalecimiento legislativo del Estado
148 Eficiencia del Gasto Público para Resultados
179 Fortalecimiento de las actividades del poder Ejecutivo
204 Evaluación de Programas de Seguridad Ciudadana y Procuración de Justicia
205 Combate a la corrupción y actuación de los servidores públicos
Resultados de la Evaluación Diagnóstica 2017 Valoración máxima posible de 12 puntos
18
1. El grado promedio de cumplimiento con la evaluación de diagnóstico es de 66.4%
4. La distribución está cargada hacia valoraciones subóptimas, ya que hay 26 programas con menos de
50% de cumplimiento
2. Existe un rango de cumplimiento relativamente amplio que va del 38.1% al 97.6%
3. Se cuenta con 15 programas con valoración superior a 80%
Resultados relevantes de la evaluación
Conclusiones
Aun contamos con un sistema incipiente de orientación a resultados. Esto significa, en términos muy
generales, que los programas presupuestarios comparten esfuerzos e iniciativas para cumplir con
estándares, pero aún se cuenta con pocos elementos materiales y técnicos para hacerlo de manera
completa, adecuada y técnicamente válida.
Resultados de la Evaluación Diagnóstica 2017
19
Resultados relevantes de la evaluación
100.0%
65.5%
27.8%
9.8%
0.0%
20.0%
40.0%
60.0%
80.0%
100.0%
120.0%
Porcentaje promedio
Po
rce
nta
je d
e c
um
plim
ien
to
Promedios por apartado
I. Identificación del Programa
II. Diagnóstico
III. Población o área de enfoque potencial yobjetivo
IV. Matriz de Indicadores para Resultados
Numeralia por pregunta
20
No cuenta con recomendaciones derivadas de evaluaciones anteriores (68 programas).76.4%
Cuenta con la identificación de la población objetivo o área de enfoque.74%
Tiene información relacionada con la localización geográfica.53%
Cuenta con un indicador que cuantifica la magnitud del problema.47%
76.4% 74%
53%47%
Estos datos reflejan una conceptualización
incompleta de la población que presenta el problema
y la población a la que espera atender el programa.
En una entidad con los niveles de rezago,
marginación y desigualdad que caracteriza a Oaxaca,
resulta importante canalizar los programas con
criterios claros de focalización y elegibilidad.
Priorización poco clara
21
Usefull Slides
Se identificaron muchos
programas presupuestarios
que parecen ser de carácter
universal y carecen de
definiciones básicas y
criterios de cuantificación,
localización geográfica y
desagregación.
Full Support
Población o área de enfoque
potencial:
72% la tiene identificada,
66% presenta una
caracterización de ésta, y
63% la cuantifica.
Full Editable
Sin embargo, solo:
52% tiene información
desagregada por sexo,
13% por grupo etario, y
10% por población indígena.
Orientación a resolver un problema público
adecuadamente identificado
22
Más del 88% cuenta con las causas estructurales, las causas intermedias (89%) y los
efectos del problema (98%).
No obstante, estos ejercicios de caracterización son de calidad y precisión moderadas.
Solo 43% de los programas han seleccionado las alternativas a las cuales se ha de
enfocar la intervención. Esta distribución refleja que los documentos respectivos fueron
elaborados de manera aislada, y no como parte de un proceso integral de planeación
estratégica.
Revelan capacidades técnicas insuficientes para dar seguimiento puntual a la
metodología.
Menos de la mitad de los programas estatales cuenta con una definición adecuada del
problema que atienden.
Más del 80% no cuenta con información de su población atendida para integrar padrones
de beneficiarios.
Imposibilidad de rastrear desempeño
23
Enorme dificultad para documentar logros y avances de los programas.
Alta probabilidad que evaluaciones sucesivas arrojen valoraciones más bajas.
Ningún programa cumple los criterios CREMAA (claridad, relevancia, economía,
monitoreable, adecuado y aporte marginal).
En la práctica, esto impedirá monitorear el desempeño de la mayoría de los programas
presupuestarios.
Aspectos Susceptibles de MejoraRecomendaciones generales
24
a. Elaborar un diagnóstico de cada programa, debido a que el diagnóstico PED/PES no cumple con todas
las características necesarias por programa.
b. Documentar las experiencias en el ámbito nacional e internacional, que tienen o tuvieron la atención del
problema señalado.
c. Formalizar un documento en el que se definan las poblaciones potencial y objetivo, desagregando por
género, grupo etario y población indígena.
d. Establecer los criterios de selección de beneficiarios, así como contar con un registro sistemático sobre
la población atendida dentro de un padrón.
e. Instrumentar indicadores con medios de verificación de calidad, es decir, que permitan identificar las
fuentes de información que nutren a los indicadores de la MIR.
f. Fortalecer la MIR, especialmente la identificación de Componentes y Actividades.
Aspectos Susceptibles de MejoraRecomendaciones generales
25
g. Desarrollar y transparentar documentos normativos que incluyan al menos los objetivos del programa,
su alineación a la planeación estatal, los principales procesos operativos, criterios de focalización y
selección de beneficiarios.
h. Fortalecer tanto la lógica vertical como horizontal de la matriz, así como construir Fichas Técnicas para
cada uno de los indicadores.
i. Realizar un análisis sobre las posibles complementariedades con intervenciones federales y estatales
para potenciar los resultados de cada programa desde una perspectiva de integración entre políticas.
j. Necesidad de capacitación, asesoría y seguimiento para la realización de una profunda revisión de la
lógica interna y la documentación administrativa de la gestión de los programas.
Mecanismo de Atención a los Aspectos Susceptibles de Mejora 2018
Calendario
26
ActividadesResponsa
bleColaboradores Fecha
EN. FEB. MZO. ABR. - NOV.
1 2 3 4 5 1 2 3 4 1 2 3 4 5 1 2 3 4 1 2 3 4
Mecanismo de Mejora
Elaboración y publicación del Informe del MAASM 2017
JG - 28/02/2018
Diseño y publicación del MAASM 2018
JG SEFIN 12/03/2018
Implementación del MAASM 2018
JG
UR Coordinadoras,
UR Responsables
12/03/201830/11/2018
Apoyo técnico
27
Mtro. Miguel Vázquez Flores
Lic. Ivan Reyes Parra
Lic. Carlos Enrique Pech Chuc
Arq. Armando Torres Aguilar
Contacto
[email protected] | 5015000 ext. 11413
