tabla de contenido · 2019-08-19 · 6 daniel badillo muñoz, consultor metodología sedp, adenda,...

2 Daniel Badillo Muñoz, Consultor Metodología SEDP, Adenda, versión 10 de junio de 2016

TABLA DE CONTENIDO

1. LISTA DE ACRÓNIMOS ............................................................................................................................. 3

2. LISTA DE ILUSTRACIONES ........................................................................................................................ 4

3. ANTECEDENTES ....................................................................................................................................... 5

4. VINCULACIONES DE LA METODOLOGÍA CON EL MC-TB ......................................................................... 8

5. CONTEXTO: LA GESTIÓN Y EL PRESUPUESTO ORIENTADOS A RESULTADOS ....................................... 13

6. MARCO CONCEPTUAL DEL SEDP ........................................................................................................... 18

a. Seguimiento y evaluación como componentes claves de la Gestión pública ................................ 18

b. Desempeño y presupuestación plurianual orientada a resultados ............................................... 19

c. Siguiendo y evaluando el desempeño presupuestario .................................................................. 22

7. ORIENTACIONES Y DIRECTRICES PARA EL SEGUIMIENTO ..................................................................... 27

a. Qué seguir? .................................................................................................................................... 27

b. Cómo seguir? .................................................................................................................................. 28

c. Cuándo seguir? ............................................................................................................................... 38

d. Quién debe seguir? ........................................................................................................................ 39

8. ORIENTACIONES Y DIRECTRICES PARA LA EVALUACIÓN ...................................................................... 42

a. Qué evaluar? .................................................................................................................................. 43

b. Cómo evaluar?................................................................................................................................ 44

c. Cuándo evaluar? ............................................................................................................................. 48

d. Quién debe evaluar? ...................................................................................................................... 49

9. PROCEDIMIENTO GENERAL REVISADO ................................................................................................. 53

a. Procedimiento para el seguimiento ............................................................................................... 53

b. Procedimiento para la evaluación .................................................................................................. 57

10. ANEXO I: GUÍA PEDAGÓGICA DEL SIGNIFICADO DE EVALUACIÓN ....................................................... 60

11. ANEXO II: ESTRATEGIA DE SENSIBILIZACIÓN SOBRE LA EVALUACIÓN ................................................. 66

12. ANEXO III: MODELOS DE TERMINOS DE REFERENCIA PARA LA EVALUACIÓN, POR TIPOS .................. 73

13. REFERENCIAS BIBLIOGRÁFICAS ............................................................................................................. 93


LISTA DE ACRÓNIMOS

BID Banco Interamericano de Desarrollo BM Banco Mundial CAF Corporación Andina de Fomento CEPAL Comisión Económica para América Latina y el caribe CNMyE Comisión Nacional de Monitoreo y Evaluación DDI Diseño, Desempeño e Impacto DIGEPRES Dirección General de Presupuesto END Estrategia Nacional de Desarrollo GC Gobierno Central GpR Gestión para Resultados GPpRD Gestión Pública para Resultados en el Desarrollo IDG Índice de Desempeño General IEEPR Iniciativas Estratégicas Específicas Plurianuales orientadas a Resultados IVALUA Instituto Catalán de Evaluación de Políticas Públicas MAP Ministerio de Administración Pública MC TB Modelo Conceptual “To Be” del NSPD MF TB Modelo Funcional “To Be” del NSPD MEPYD Ministerio de Economía Planificación y Desarrollo MH Ministerio de Hacienda NSPD Nuevo Sistema Presupuestario Dominicano OCDE Organización para la Cooperación y el Desarrollo Económico ONU Organización de las naciones Unidas PAFI Programa de Administración Financiera Integrada PAI Programa Ampliado de Inmunizaciones PNPSP Plan Nacional Plurianual del Sector Público PGE Presupuesto General del Estado PpAoR Presupuesto Plurianual orientado a Resultados PpA Presupuesto Plurianual PpR Presupuesto por Resultados PP Programas Presupuestarios RRHH Recursos Humanos SIAFE Sistema Integrado de Administración Financiera del Estado SIGEF Sistema de Información de la Gestión Financiera SED Sistema de Evaluación del Desempeño SEDP Seguimiento y Evaluación del Desempeño Presupuestario SNMyE Sistema Nacional de Monitoreo y Evaluación SSNE Subsistema Nacional de Evaluación SSNM Subsistema Nacional de Monitoreo SyE Seguimiento y Evaluación TN Tesorería Nacional UE Unión Europea UNICEF Fondo de las Naciones Unidas para la Infancia


LISTA DE ILUSTRACIONES

Ilustración 1: Modelo de Macroprocesos del MC TB ............................................................................ 9

Ilustración 2: Macroprocesos y procesos del MC TB .......................................................................... 11

Ilustración 3: GpR, PpR y Sistema de Evaluación de Desempeño .................................................. 14

Ilustración 4: Avance de los Pilares de la GpRD en República Dominicana 2007-2013 .............. 15

Ilustración 5: Ubicación de RD en materia de SyE en el contexto de GpRD en la Región .......... 16

Ilustración 6: Seguimiento y Evaluación para resultados del PAI ..................................................... 19

Ilustración 7: Elementos de la Cadena de Valor y articulación Plan-Presupuesto ........................ 20

Ilustración 8: Prioridad y desempeño, objetivos mayores del PpAoR .............................................. 21

Ilustración 9: Dimensiones del desempeño público ............................................................................ 23

Ilustración 10: Seguimiento del desempeño presupuestario ............................................................. 23

Ilustración 11: Evaluación del desempeño presupuestario ................................................................ 24

Ilustración 12: Características del Seguimiento y la Evaluación ....................................................... 25

Ilustración 13: La secuencia del proceso de transformación de fondos en resultados en el PAI 26

Ilustración 14: Cadena de valor y seguimiento .................................................................................... 28

Ilustración 15: Matriz Integradora de los Programas Presupuestarios ............................................ 28

Ilustración 16: Ejemplo de alertas tempranas y seguimiento físico-financiero ............................... 30

Ilustración 17: Ejemplo para seguimiento de indicadores de desempeño ...................................... 32

Ilustración 18: Cadena de Costo Directos de la Producción Pública ............................................... 33

Ilustración 19: Procedimiento para la estimación de curvas de rendimiento en el PAI ................. 34

Ilustración 20: Metodología de descomposición factorial ................................................................... 34

Ilustración 21: Tablero de control ........................................................................................................... 35

Ilustración 22: Temporalidad de los instrumentos para el seguimiento ........................................... 38

Ilustración 23: Necesidad, demanda y oferta de servicios ................................................................. 42

Ilustración 24: Ámbitos de la evaluación de programas presupuestarios ....................................... 44

Ilustración 25: Fases de la Evaluación .................................................................................................. 46

Ilustración 26: Entradas/salidas de inf. y responsables institucionales del Seguimiento .............. 56

Ilustración 27: Entradas/salidas de inf. y responsables institucionales de la Evaluación ............. 59


ANTECEDENTES

Durante los últimos años, el Estado dominicano emprendió una importante Reforma de la Gestión de las Finanzas Públicas siendo uno de sus principales logros la implementación de un sistema de información de la gestión financiera del Gobierno Central y la creación de la Secretaría de Estado de Hacienda (hoy llamado Ministerio de Hacienda), asignándole la misión de diseñar y proponer al Poder Ejecutivo y a las Instituciones Descentralizadas la política fiscal del Gobierno y, conducir su ejecución y evaluación, garantizando el equilibrio y la sostenibilidad fiscal en el mediano y largo plazo. Para ello adoptó un nuevo y amplio marco legal1 que no sólo unificó en el Ministerio de Hacienda (MH) la formulación y ejecución de la política fiscal, sino que además estableció el diseño e implementación del Sistema Integrado de Administración Financiera del Estado (SIAFE), conformado por los sub sistemas de administración financiera de Presupuesto, Crédito Público, Tesorería y Contabilidad Gubernamental, determinando también sus articulaciones con los sistemas de Planificación e Inversión Pública, Gestión Financiera de Recursos Humanos, Administración Tributaria, Compras y Contrataciones, Administración de Bienes Nacionales y Control Interno. El Gobierno nacional, y especialmente el Ministerio de Hacienda, están conscientes de la necesidad de profundizar y consolidar la implementación del nuevo marco legal, a partir de fortalecer las nuevas funciones y estructuras organizativas del MH y de los órganos rectores de la Administración Financiera, a fin de establecer un sistema de gestión de las finanzas públicas que asegure en las entidades una ejecución de su gasto efectiva, eficaz y transparente. Entre otras cosas, se requiere impulsar la dotación y capacitación de recursos humanos adecuados para asumir los cambios estructurales del nuevo marco legal; abordar una reformulación de los procesos del SIAFE que promueva reformas en materia de eficiencia, de eficacia; completar la implementación del SIGEF en las instituciones descentralizadas faltantes; consolidar el uso de herramientas y metodologías avanzadas en la gestión de contrataciones públicas; y, contribuir al establecimiento de un sistema de control que promueva la rendición de cuentas por resultados. Pero sobre todo, el mayor desafío constituye la adaptación de las entidades públicas dominicanas para formular, ejecutar y evaluar sus presupuestos dentro de la gestión orientada a resultados; atendiendo así lo que dispone el artículo 12 de la Ley N° 423-06 Orgánica de Presupuesto para el Sector Público que manda que los presupuestos de las entidades incluyan la producción de bienes y servicios y su incidencia en los resultados esperados de las políticas de desarrollo de corto, mediano y largo plazo. Asimismo hay que atender también lo que dispone el artículo 14 de dicha ley que ordena la puesta en vigencia de contratos por resultado y desempeño para el cumplimiento de políticas, objetivos y metas que estén contempladas en los planes de desarrollo y presupuestos plurianual y anual, y que sean debidamente cuantificadas y verificables mediante indicadores de desempeño, además de determinar incentivos presupuestarios a los organismos y/o incentivos monetarios a los funcionarios y empleados, durante el período del contrato. Finalmente se debe atender lo que establece el artículo 58 que manda evaluar la ejecución del Presupuesto General del Estado realizada por los organismos del Gobierno Central, por las

1 Entre las leyes relevantes cabe señalar: Ley N° 494-06 de Organización de la Secretaría de Estado de Hacienda (hoy llamado Ministerio de Hacienda), Ley N° 5-07 Sistema Integrado de Administración Financiera del Estado, Ley N° 423-06 Orgánica de Presupuesto para el Sector Público, Ley N° 567-05 de Tesorería Nacional, Ley N° 6-06 de Crédito Público, Leyes N° 340-06 y N° 449-06 de contrataciones públicas, Ley N° 10-07 Contraloría General de la República y del Control Interno; y, Ley N° 126-01 de la Dirección General de Contabilidad Gubernamental.


Instituciones Descentralizadas y Autónomas no Financieras y por las Instituciones Públicas de la Seguridad Social, tanto en forma periódica durante el ejercicio presupuestario, como al cierre del mismo. Para ello determina las siguientes tareas para las autoridades de esas instituciones: a) llevar registros permanentes de la información de la producción de bienes y servicios y los beneficiarios atendidos, siguiendo las normas técnicas dictadas por la Dirección General de Presupuesto; b) realizar su propia evaluación física y financiera, especificando los resultados y los obstáculos e inconvenientes que deberán superar para mejorar sus procesos de gestión y alcanzar mayor eficacia y eficiencia en su consecución, siguiendo las normas técnicas dictadas por la Dirección General de Presupuesto; y c) informar a la Dirección General de Presupuesto sobre la producción de bienes y servicios y los beneficiarios atendidos y la evaluación realizada, identificando los medios de verificación respectivos. Para avanzar en esa dirección, la DIGEPRES desarrolló el año pasado el Modelo Conceptual del Nuevo Sistema Presupuestario Dominicano (NSPD), a fin de darle mayor sostenibilidad a las reformas para la efectiva y completa aplicación de la Ley Orgánica de Presupuesto para el Sector Público N° 85 423-06. La elaboración de este modelo partió de un análisis exhaustivo del marco legal y reglamentario vigente en República Dominicana, identificando los sistemas y procesos que de ellos se derivan y los flujos de información que se requieren para la toma de decisiones de los niveles gerenciales de la DIGEPRES y de las autoridades de las finanzas públicas; así como, de los responsables de la gestión institucional, constituyendo el Modelo Conceptual “To Be” (MC TB) el medio para orientar el fortalecimiento de la función de presupuesto y también para desarrollar metodologías sobre herramientas destinadas a mejorar el presupuesto como mecanismo de asignación de recursos. Así, la gestión orientada a resultados, el Presupuesto Plurianual y el Seguimiento y Evaluación Presupuestaria por Desempeño son, entre otros, elementos indispensables para dotar a la gestión pública de grados adecuados de eficacia y eficiencia. Específicamente, en ese modelo la DIGEPRES decidió incorporar una nueva visión del seguimiento y la evaluación presupuestaria basada en el desempeño de sus prácticas de trabajo, requiriéndose formular la Metodología de Seguimiento y Evaluación del Desempeño Presupuestario (SEDP), así como desarrollar las acciones que aseguren su implementación en sectores e instituciones piloto. La metodología de Seguimiento y Evaluación del Desempeño Presupuestario (SEDP), es una de las cuatro metodologías consideradas en el modelo conceptual del NSPD, de aplicación general para el sector público dominicano, y a manera de piloto, inicialmente en algunos productos de ciertas instituciones de la administración pública. Para la DIGEPRES resulta prioritario incorporar una nueva visión del presupuesto adoptando e incorporando consideraciones sobre los resultados en la aplicación de los recursos, e introduciendo el seguimiento y la evaluación de esos resultados para retroalimentar las prácticas cotidianas de trabajo de las instituciones públicas. Aquello requiere establecer instrumentos y mecanismos de Seguimiento y Evaluación del Desempeño Presupuestario y desarrollar las acciones que aseguren su institucionalización en sectores e instituciones piloto. Por tanto, la metodología busca proporcionar a la DIGEPRES y a las instituciones públicas, instrumentos y técnicas que posibiliten monitorear y evaluar los recursos, los objetivos y las metas de los diversos programas presupuestarios que ejecutan con respecto a la Estrategia Nacional de Desarrollo (END) y al Plan Nacional Plurianual del Sector Público (PNPSP), retroalimentando así sus prácticas cotidianas de trabajo, mediante el establecimiento e institucionalización de mecanismos de seguimiento y evaluación de los resultados alcanzados por esos programas.


A partir de la introducción del concepto de desempeño y de la incorporación de sus indicadores, tanto en los ámbitos de control de la cadena de valor (insumos, productos, resultados e impactos,) como en sus diversas dimensiones (eficiencia, eficacia, economía), se pretende establecer varios instrumentos de seguimiento y evaluación de los programas presupuestarios como los de alerta temprana que permitan identificar y corregir las desviaciones financieras y programáticas producidas durante la ejecución, respecto a la formulación, o los de identificación de las relaciones de causalidad entre los recursos financieros gastados y los productos y resultados logrados, mediante la implementación de métodos y procesos internos y externalizados de evaluación de diseño y de resultados de esos programas presupuestarios. Por esta vía, se ofrece a los políticos, a los funcionarios públicos y a la sociedad en general un medio más apropiado para aprender de la experiencia anterior, mejorar la prestación de servicios, la planificación y la asignación de los recursos y mostrar los resultados logrados. La presente consultoría atiende precisamente este requerimiento puntual de la DIGEPRES. En la primera sección de este documento, luego de precisar algunos antecedentes valiosos, se abordan las principales vinculaciones que presenta la metodología con el modelo conceptual To Be del NSPD. En la segunda sección, a manera de contexto, se analizan los estrechos vínculos existentes entre gestión pública y presupuesto orientado a resultados. Posteriormente, en la tercera sección se describe el marco conceptual utilizado para el seguimiento y la evaluación del desempeño presupuestario, abordando aspectos conceptuales referidos al seguimiento y evaluación en tanto componentes claves de la gestión pública, a la relación entre desempeño y la presupuestación plurianual orientada a resultados y a los instrumentos y técnicas que involucran tanto el seguimiento como la evaluación del desempeño presupuestario. En la sección cuarta se propone un conjunto de orientaciones y directrices específicamente para el seguimiento del desempeño presupuestario respondiendo a las cuatro preguntas claves sobre qué seguir, cómo seguir, cuándo seguir y quién debe seguir. En la quinta sección se tratan esas mismas cuatro preguntas pero esta vez con orientaciones y directrices referidas a la evaluación del desempeño. Finalmente, en la última sección se describe el procedimiento general revisado a aplicar para implementar la metodología de seguimiento y evaluación del desempeño presupuestario planteada. El Anexo 1 presenta el contenido de una Guía Pedagógica sobre el significado de la evaluación de programas presupuestarios, a manera de cuestionario, abordando aquellos temas más relevantes. El Anexo 2 propone una estrategia de sensibilización y movilización sobre la evaluación de los programas presupuestarios, que coloque y posicione estratégicamente en el debate público la relevancia de su evaluación, a fin de que todos los actores de la sociedad dominicana (gubernamentales y no gubernamentales) entiendan su trascendencia para el interés general, y exijan y materialicen prontamente su institucionalización. El Anexo 3 recoge modelos de términos de referencia para la evaluación de desempeño, así como para la evaluación en materia de diseño, e impacto, a fin de que la DIGEPRES cuente con apropiadas referencias sobre las mejores prácticas en la región y establezca criterios técnicos y homogéneos para la evaluación de los programas presupuestarios.


VINCULACIONES DE LA METODOLOGÍA CON EL MC-TB

Las vinculaciones entre el Modelo Conceptual To Be (MC-TB) y la Metodología de Seguimiento y Evaluación del Desempeño Presupuestario son significativas y se las puede establecer a partir de recoger los postulados del Nuevo Sistema Presupuestario Dominicano (NSPD). En efecto, en primer lugar, aprendiendo de las principales mejores prácticas internacionales y adaptando sus postulados a la institucionalidad dominicana, la DIGEPRES (2014) plantea el Modelo Conceptual To Be (MC-TB), que guía la puesta en marcha de un Nuevo Sistema Presupuestario Dominicano (NSPD) orientado a:

1. La consolidación financiera y agregación física del Sector Público en su conjunto, es decir, determinar el estado de situación de los ingresos, gastos y financiamiento de la totalidad de las instituciones que conforman el Gobierno General Nacional (Gobierno Central, las Instituciones Descentralizadas y Autónomas No Financieras y las Instituciones Públicas de la Seguridad Social), los Gobiernos Locales y las Empresas Públicas (Financieras y No Financieras), así como su producción física generada;

2. El desarrollo de un presupuesto orientado a resultados y en un horizonte plurianual, que

permita solucionar el permanente problema de la articulación entre la planificación y la presupuestación, tanto a nivel nacional como institucional, e implementar la gestión por desempeño como modelo de cultura institucional;

3. La implementación de un sistema presupuestario gestionado por procesos, con cero papel

e interoperable con el resto de los sistemas administrativos públicos;

4. La puesta en marcha de sistemas de seguimiento y evaluación presupuestarios que retroalimenten el proceso de asignación y aplicación de los recursos, promoviendo una mejora continua y un incremento significativo en la calidad del gasto público ampliando en cantidad y calidad las intervenciones estatales que financian;

5. La promoción de un control ciudadano efectivo, mediante la aplicación de un conjunto de

instrumentos para incrementar la transparencia, la participación ciudadana y la rendición de cuentas, con el fin de apoyar los esfuerzos gubernamentales por una mayor integridad en la ejecución de los recursos públicos.

Este MC-TB, además busca superar limitaciones del actual sistema presupuestario tales como la generación de cuotas trimestrales del gasto (que en realidad son cuotas de caja/ pago y no de compromisos) o la inadecuada aplicación de los momentos del gasto (afectación preventiva, compromiso, devengado y pagado). Para ello, en segundo lugar, sigue la Guía para la Identificación y Documentación de procesos del Ministerio de Administración Pública (MAP), y conceptualiza un Mapa de Procesos (Modelo de Macroprocesos), es decir, un diagrama que permite apreciar de manera visual y sintética los Macroprocesos en una organización, o el conjunto de procesos lógicamente articulados cuya realización permita el cumplimiento de la misión y objetivos de la organización. Es necesario señalar que un Proceso es el grupo de subprocesos lógicamente interrelacionados que a su vez constituyen un conjunto de actividades y/o tareas desarrolladas en orden (secuencial o en paralelo), mutuamente relacionadas, o que interactúan entre sí, las cuales transforman insumos (entradas) en productos o servicios (salidas o resultados) con valor agregado, destinado a satisfacer las necesidades y demandas de los ciudadanos. Se caracteriza por crear valor, obtener


resultados, satisfacer a las necesidades y expectativas del ciudadano/usuario, alineando los objetivos institucionales con aquellas y dando respuesta a las funciones asignadas a la organización. Mientras que el Procedimiento es la forma específica de llevar a cabo un proceso, subproceso o actividad. De forma generalizada, los procedimientos se describen en documentos a modo de manual, que contienen el objeto y su campo de aplicación; el qué debe hacerse y quién debe hacerlo; cuándo, dónde y cómo se debe llevar a cabo; cuáles materiales, equipos y documentos deben utilizarse y cómo debe controlarse y registrarse. Es decir, el proceso define qué es lo que se hace, mientras que el procedimiento define el cómo se hace. En este sentido, los procesos son el foco de atención de los Modelos Conceptuales, en tanto que los Procedimientos concentran la atención de los Modelos Funcionales. De este modo, se puede clasificar los procesos que realiza una organización pública en el desarrollo de su misión dentro de tres categorías (DIGEPRES 2014):

1. Procesos Estratégicos o de Planeación; denominados también Directivos: Son aquellos que proporcionan directrices a todos los demás procesos y están vinculados al ámbito de las responsabilidades de la alta dirección, a factores claves o estratégicos. En el caso del Nuevo Sistema Presupuestario Dominicano (NSPD), estos procesos están relacionados con las directrices de la Política Fiscal o la emisión de normas e implementación de metodologías, como en el caso de la creación de nuevos clasificadores presupuestarios, por ejemplo.

2. Procesos Claves o Básicos; también se les denominan Fundamentales, Sustantivos u

Operativos: Son aquellos que directamente contribuyen a realizar el producto o brindar el servicio; inciden de manera significativa en los objetivos estratégicos. En el caso del NSPD estos procesos se relacionan con la actividad presupuestaria en sí, es decir, formulación, ejecución y evaluación del Presupuesto.

3. Procesos de Apoyo o de Soporte: Sirven de sustento a los procesos claves, son los

encargados de proveer a la organización de todos los recursos (materiales, humanos, financieros y tecnológicos) y crear las condiciones para garantizar el exitoso desempeño de los mismos. En el caso del NSPD tenemos, por ejemplo, los procesos de asistencia técnica y capacitación que se requieren desplegar para fortalecer las competencias de las Instituciones Ejecutoras al momento de formular su anteproyecto de presupuesto institucional.

En cuanto a los Macroprocesos Clave del Ministerio de Hacienda y de la DIGEPRES, en tanto entidad rectora del sistema presupuestario, existen tres, circunscritos directamente al ciclo presupuestario: programación, ejecución y evaluación presupuestarias, estando integrados por 19 procesos, que a su vez están constituidos por 56 subprocesos, los cuales se plasman en el siguiente diagrama.

Ilustración 1: Modelo de Macroprocesos del MC TB


Fuente: Hacia un Nuevo Sistema Presupuestario Dominicano, Presentación del Mc-Tb al Equipo Funcional, Noviembre 2014

En realidad, la incorporación del enfoque de seguimiento y evaluación del desempeño presupuestario y su respectiva metodología, como se grafica en la ilustración 2, tiene incidencias significativas sobre 11 procesos (58% del total de procesos) y concretamente sobre 22 subprocesos (39% del total de subprocesos) de los 3 macroprocesos considerados, que seguramente llevarán la carga de la implementación de este atributo cuando se desarrolle el Modelo Funcional To Be [MF-TB]), que son:

En el MC01 - Macroproceso de Programación Presupuestaria

P01 Proyección Presupuestaria Plurianual de Ingresos y Financiamiento

S02 Proyección Plurianual de Ingresos por Fuentes

S04 Proyección Plurianual del Financiamiento

P02 Programación Plurianual por Resultados

S02 Formulación de programas presupuestarios orientado a resultados (marco lógico)

S04 Estimación agregada de costos de producción

P03 Proyección Presupuestaria Plurianual de Gastos y Aplicaciones Financieras

S02 Estimación plurianual de gastos de funcionamiento

P04 Elaboración de la Política Presupuestaria Plurianual

S03 Definición de las metas plurianuales (productos y resultados prioritarios)

P05 Formulación Plurianual del Presupuesto Institucional

S02 Elaboración del anteproyecto de presupuesto institucional plurianual, con metas físicas y financieras

P07 Formulación del Anteproyecto de Presupuesto Institucional Anual

S01 Elaboración del Plan Operativo Anual

S02 Desagregación del presupuesto institucional al mínimo nivel (costeo de productos)

S04 Elaboración de Análisis Técnico de los Anteproyectos de Presupuesto

Nece

sid

ad

es

Usu

ari

os /

Clien

tes S

atis

facc

ion

es

Usu

ario

s / C

lien

tes

ME01

Planificación

Estratégica

Macroprocesos Estratégicos

Macroprocesos Claves (MC)

Macroprocesos de Apoyo (MA)

ME02

Determinación

Política Fiscal

ME03

Coordinación

Interministerial

MC01

Programación

Presupuestaria

MC02

Ejecución

Presupuestaria

MC03

Evaluación

Presupuestaria

MA01

Talento Humano

MA03

Comunicación Y

Difusión

MA02

Dirección,

Planificación y Control

MA04

Soporte Tecnológico

y Capacitación

MA05

Normatividad y

Metodologías

Orientaciones

Estratégica Información

Gerencial

ProductosDemandas

Requerimientos

OperacionalesSuministros Operativos


En el MC02 - Macroproceso de Ejecución Presupuestaria

P11 Programación Anual con Ajuste Trimestral de Ingresos y Financiamiento

S01 Seguimiento de las metas físicas y ejecución financiera

P12 Programación Anual/Trimestral Física y Financiera de Gastos y Aplicaciones Financieras

S01 Actualización programación físico-financiera

S02 Programación Físico-Financiera Institucional Anual Trimestralizada

P15 Ejecución Presupuestaria Física y Financiera

S01 Devengo de los ingresos y financiamiento

S02 Percepción de los ingresos y financiamiento

S03 Afectación preventiva del Gasto

S04 Compromiso a nivel físico-financiero

S05 Devengado a nivel físico-financiero

P16 Seguimiento Físico y Financiero de la Ejecución Presupuestaria

S01 Seguimiento de las metas físicas y ejecución financiera

S02 Implementación de las recomendaciones de mejoras en la ejecución

En el MC03 - Macroproceso de Evaluación Presupuestaria

P18 Evaluación Presupuestaria Orientada a Resultados

S01 Autoevaluación institucional presupuestaria por desempeño

S02 Evaluación consolidada por desempeño de la ejecución presupuestaria

Ilustración 2: Macroprocesos y procesos del MC TB

Modelo Conceptual del Sistema Presupuestario Dominicano – To BeMacroprocesos (M) y Procesos (P)

MC

01

Pro

gram

ació

n P

resu

pu

est

aria

MC

02

Eje

cuci

ón

Pre

sup

ue

star

ia

MC

03

Eval

uac

ión

Pre

sup

ue

star

ia

Proyección Presupuestaria Plurianual de Ingresos y Financiamiento

Programación Plurianual por Resultados

Proyección Presupuestaria Plurianual de Gastos y Aplicaciones Financieras

Elaboración de la Política

Presupuestaria Plurianual

Formulación Plurianual del Presupuesto Institucional

Consolidación del Presupuesto

Plurianual

Formulación del Anteproyecto de

Presupuesto Institucional Anual

Elaboración de los Proyectos de Presupuestos

Anuales

Discusión y Aprobación de los

Proyectos de Presupuesto Anual

Aplicación del Régimen de

Modificaciones Presupuestarias

Físicas y Financieras

Programación Anual con Ajuste

Trimestral de Ingresos y

Financiamiento

Programación Anual/Trimestral Físico y

Financiera de Gastos y Aplicaciones

Aprobación de Cuotas de Compromiso Anual con Ajuste Trimestral

Ejecución Presupuestaria

Fiísica y Financera

Seguimiento Físico y Financiero de la

Ejecución Presupuestaria

Evaluación Presupuestaria

Orientada a Resultados

Consolidación de la Ejecución

Presupuestaria

Control Social Presupuestario

Fin

Inicio

Consolidación del Presupuesto del Sector Público

P01

P02

P03

P04P05

P06

P07P08P09P10

P11P12

P13

P14

P15

P16

P17

P18

P19

Fuente: Hacia un Nuevo Sistema Presupuestario Dominicano, Presentación del Mc-Tb al Equipo

Funcional, Noviembre 2014


De esta manera, como se verá más adelante, en la metodología los diferentes macroprocesos de programación, ejecución y evaluación estarán coherentemente articulados, a fin de que cada uno facilite la aplicación del siguiente y se retroalimenten mutuamente, siendo la formulación presupuestaria el corazón de la metodología de seguimiento del desempeño presupuestario, pues si en esta etapa no se logra integrar información sobre desempeño a los procesos de toma de decisiones, difícilmente se logrará en otras etapas; y la ejecución, en cambio su cerebro, pues la determinación de brechas de cumplimiento a partir de establecer la relación entre los programado y ejecutado, tanto en materia de metas físicas como de recursos financieros, comprobara el verdadero y efectivo desempeño, es decir lo que ocurra durante la ejecución es crucial para el desempeño presupuestario. Por tanto, la formulación y la ejecución deben verse como un proceso continuo y complementario de la metodología ya que el seguimiento y la evaluación se nutren tanto del proceso de formulación como del de ejecución; la definición y construcción de los indicadores de desempeño es una parte vital de la formulación, pues los datos para construir esos indicadores se definen en la mayoría de los casos en la fase de formulación, pero se los debe obtener y monitorear durante la fase de ejecución. A su vez, por ejemplo dentro de la propia ejecución, no se puede devengar lo que no se ha comprometido o no se puede comprometer un gasto relacionado a una compra de un bien si antes no ha habido el respectivo proceso de contratación, o no se ha podido lanzar la convocatoria para la selección del proveedor para la prestación de un servicio si antes no se dispone de la cuota presupuestaria o, no se puede pagar si no se ha devengado, entre otros. Bajo este enfoque, cada uno de los instrumentos propuestos en la metodología será visto como un engranaje que permite que la cadena de resultados funcione adecuadamente. Por tanto, uno de los retos más importantes de la metodología de desempeño presupuestario consiste en alinear todos los instrumentos para que actúen de forma coordinada y complementaria y puedan así contribuir al logro de los resultados.


CONTEXTO: LA GESTIÓN Y EL PRESUPUESTO ORIENTADOS A

RESULTADOS

Avanzar firmemente en la institucionalización de la Gestión por Resultados requiere contar con un Sistema de Seguimiento y Evaluación que esté totalmente integrado al Sistema Presupuestario. No es posible consolidar una Gestión por Resultados sin un Presupuesto basado en Resultados y éste sin un Sistema de Seguimiento y Evaluación (DIGEPRES 2014). A su vez, un pre requisito del Seguimiento y Evaluación constituye la implementación del enfoque de Presupuesto orientado a Resultados, pues solo con la puesta en marcha de este enfoque es posible medir y valorar objetivamente el desempeño de los programas presupuestarios, estructurados en base a resultados. A estos efectos, el Presupuesto basado en Resultados que conceptualmente significa un proceso asentado en consideraciones objetivas para la asignación de fondos, con la finalidad de fortalecer las políticas, programas públicos y desempeño institucional, proporciona un conjunto clave de insumos para el Seguimiento y Evaluación de Desempeño Presupuestario, como son:

1. un proceso presupuestario hacia resultados, define y alinea los programas presupuestarios y sus asignaciones a través del ciclo planeación – programación –presupuesto– ejercicio – control – seguimiento – evaluación – rendición de cuentas;

2. indicadores de desempeño, que se fundamentan en comparar lo planeado vs lo

ejecutado para los ámbitos de control de la cadena de valor público (insumos, productos, resultados e impactos) y sus dimensiones preponderantes de eficacia (de interés del ciudadano), calidad (de interés del usuario), costo efectividad (de interés del contribuyente), mediante la matriz de indicadores en base al marco lógico, y establece una meta o metas de los programas presupuestarios, a las cuales se le asigna un nivel de recursos compatibles con dicha meta;

3. información y datos sobre el desempeño, que permiten comparaciones entre lo

observado y lo esperado;

4. un nuevo modelo para la asignación de recursos, mediante la evaluación de los resultados de los programas presupuestarios; y,

5. procesos de seguimiento y evaluación considerados desde el momento mismo de la

identificación y diseño de los programas. En ese contexto, el Sistema de Seguimiento y Evaluación de Desempeño Presupuestario constituye la herramienta que permite visibilizar y monitorear el alineamiento de los objetivos y las metas de los diversos programas de las entidades con la Estrategia Nacional de Desarrollo, recogidos en la presupuestación por resultados; definiendo para ello los mecanismos e instrumentos de seguimiento y evaluación de los resultados alcanzados por estos programas. Por esa vía, el Sistema de Seguimiento y Evaluación de Desempeño Presupuestario (SEDP) contribuye a la instrumentación de una cultura organizacional y operacional de gestión por resultados, a partir de la aplicación de técnicas de presupuestación por resultados.


La aplicación exitosa de esta herramienta exige una capacidad estratégica para definir objetivos, un liderazgo político y gerencial que permita diseñar e implementar estrategias orientadas hacia el cambio, y una capacidad de evaluación que permita valorar con objetividad los logros alcanzados; es decir, el Presupuesto basado en Resultados depende no sólo de reformas de presupuestación, sino sobre todo de cambios fundamentales en la gestión pública y en las costumbres y rutinas de trabajo de los funcionarios públicos. Por tanto, la Gestión por Resultados va más allá de la sola gestión presupuestaria, demandando reformas en la mayor parte de los sistemas de gestión, como por ejemplo la planificación global e institucional, la gestión de RRHH (incentivos, carrera, etc.), las compras y contrataciones, el establecimiento de contratos de desempeño, los sistemas de monitoreo y evaluación de programas y políticas, los controles realizados por los Organismos Superiores de Auditoria (internos como externos), o la administración financiera. Especialmente, una buena planificación, combinada con un seguimiento y una evaluación eficaces, pueden desempeñar un rol importante para mejorar la eficacia y la eficiencia de los programas presupuestarios. Una buena planificación ayuda a concentrarse en los resultados que importan, mientras que el seguimiento y la evaluación ayudan a aprender de los éxitos y retos pasados y a tomar decisiones con conocimiento de causa. Por tanto, el Presupuesto basado en Resultados no solamente genera información útil sobre cuánto se gasta, sino de cómo se gasta y qué resultados se obtienen con ese gasto (calidad) y, más importante, aporta datos útiles para saber cómo se puede gastar mejor (CLEAR, 2013). La evaluación, al igual que el seguimiento, como se verá enseguida, apuntan a destacar el desempeño y se puede aplicar a muchas categorías o temas, tales como una actividad, un proyecto, un programa, una estrategia, una política, un sector o una organización. Sin embargo, el seguimiento y evaluación de responsabilidad de DIGEPRES se limitará exclusivamente a los programas presupuestarios, dejando el seguimiento y evaluación de políticas y proyectos de inversión a MEPYD y el de instituciones al MAP (ver ilustración 3). El proceso de seguimiento de programas presupuestarios puede generar preguntas que deben ser contestadas por la evaluación. Además, la evaluación recurre a los datos generados mediante el seguimiento durante el ciclo del programa presupuestario, incluidos, por ejemplo, los datos básicos, la información sobre el proceso de implementación del programa, y la medición de los resultados.

Ilustración 3: GpR, PpR y Sistema de Evaluación de Desempeño


Fuente: Hacia un nuevo sistema presupuestario dominicano, Atributos del NSPD, agosto 2014

En los últimos años, América Latina ha avanzado significativamente en el complejo proceso de caminar hacia la implementación efectiva de una Gestión para Resultados en el Desarrollo (GpRD), sin embargo, aún queda mucho camino por recorrer en medio de una gran diversidad de experiencias en la Región. Un estudio reciente del BID (Kaufmann, Sanginés y García Moreno, 2015) demuestra que en una escala del 1 al 5, donde 5 corresponde al estándar internacional, la GpRD en promedio en América Latina en el año 2013 se acercó a 2,4, y de acuerdo a su nivel de desarrollo relativo en esta materia, es posible agrupar a los países en 3 estratos: alto, medio y bajo. En el primer grupo se encuentran países con un valor igual o superior a 3, tales como Chile (4,2), México (4,0), Brasil (3,9) y Colombia (3,4), mientras que República Dominicana alcanza un índice general de 2,3, encontrándose en una posición relegada del grupo de países de nivel medio, pero mejorando su situación con relación a su índice obtenido en el año 2007 que fue de 1,8. Su progreso obedeció esencialmente a mejoras producidas en la Planificación orientada a resultados, en el Presupuesto por resultados y en la Gestión financiera pública, tal como se aprecia en la ilustración 4 siguiente.

Ilustración 4: Avance de los Pilares de la GpRD en República Dominicana 2007-2013


Fuente: BID, Construyendo gobiernos efectivos, Logros y retos de la gestión pública para resultados en América Latina y el Caribe, 2015

Pero en lo que respecta específicamente a uno de los pilares fundamentales para la consolidación de la GpRD en general y del PpR en particular, como es el desarrollo de un robusto sistema de seguimiento y evaluación (SyE) que a partir del análisis de la información presupuestaria (financiera y no financiera) contribuya a mejorar el proceso general de diseño e implementación de políticas públicas, los avances en República Dominicana son aún muy limitados. En efecto, en 2013 República Dominicana alcanza un índice en el pilar de Sistemas de Seguimiento y Evaluación de sólo 1,6 (avanzando muy poco respecto al de 2007 que fue de 1,4), frente al 4.2 del promedio de los cuatro países más avanzados, y de 4,6 de Chile, que lo sitúa a la vanguardia en SyE en la Región, ubicándose por debajo del promedio de la región, y evidenciando el gran desafío que en materia de seguimiento y evaluación enfrenta el país (ver ilustración 5). De allí la importancia que adquiere la metodología de seguimiento de evaluación del desempeño presupuestario, la cual contribuirá a atender ese central desafío de la GpRD.

Ilustración 5: Ubicación de RD en materia de SyE en el contexto de GpRD en la Región


Fuente: BID, Construyendo gobiernos efectivos, Logros y retos de la gestión pública para resultados en América Latina y el Caribe, 2015


MARCO CONCEPTUAL DEL SEDP

El modelo conceptual del Nuevo Sistema Presupuestario Dominicano (NSPD) plantea que la gestión pública por resultados se refleja básicamente en la utilización de indicadores de desempeño por parte de las entidades del sector público dominicano, con el fin de mejorar sus resultados durante la asignación y uso de recursos presupuestarios. Y es que el Gobierno hoy construye legitimidad día a día por los resultados que muestra a los ciudadanos y entonces el modelo de gestión pública que promueva es crucial para su éxito, es central para generar confianza en el ciudadano y está en el centro de la gobernabilidad contemporánea. Por ende, un modelo de gestión pública por resultados conlleva necesariamente a una severa reforma de la manera tradicional y actual de presupuestar (inercial e incrementalista), y al ser el presupuesto un proceso central a la gestión pública, tener una elevada incidencia en la vida de las personas y un dominante político, esa reforma exige un nuevo equilibrio político y económico, cuyo trásito debe darse gradual y cuidadosamente. Sin embargo, sustituir la presupuestación incrementalista no es trivial, toma tiempo y genera conflictos con diversos actores, pues implica romper la cultura y la inercia de la presupuestación incrementalista; obliga a revisar la forma de entender y practicar el presupuesto público, y a reconstruir los roles de los diversos actores de este proceso. Cambiar los procesos presupuestarios y centrar la atención de las instituciones públicas en los resultados de su gestión representan un desafío de envergadura considerable para cualquier país, tomando varios años. Bajo ese contexto, la metodología de seguimiento y evaluación del desempeño presupuestario contribuye y soporta de manera importante a esa reforma, requiriendo adoptar algunas definiciones y enfoques conceptuales que se precisan a continuación, a fin de conceptualizarla y caracterizarla.

a. Seguimiento y evaluación como componentes claves de la

Gestión pública

Entre las principales definiciones y enfoques generales a adoptar para conceptualizar y caracterizar el seguimiento y la evaluación, se encuentran las siguientes:

1. El marco general donde se inscribe toda iniciativa estatal destinada a buscar resultados de su accionar es la Gestión Pública para Resultados en el Desarrollo (GPpRD) y constituye una nueva costumbre organizacional para poner al Estado al servicio de la población, adoptando cambios importantes en la mayoría de los sistemas de gestión, para orientarlos hacia los resultados, como son la planificación, el presupuesto, el manejo de recursos humanos, las compras y contrataciones, el seguimiento, evaluación y control.

2. El seguimiento y la evaluación son componentes esenciales de la GPpRD permitiendo

su mejora continua y optimización, dado que la consolidación de una cultura de seguimiento y evaluación presupone la aplicación de una lógica contundente: no se puede mejorar lo que no se evalúa, en tanto que no se puede evaluar lo que no se mide y no se puede medir lo que no se conoce y para ello es indispensable (además de la respectiva capacidad cognitiva) disponer de información relevante (Shack 2015).


3. Asimismo, el seguimiento y la evaluación son también componentes importantes del ciclo de vida de las políticas públicas con la secuencia de tres fases esenciales durante su construcción: la formulación, la implementación y la evaluación de políticas que permitan su mejora continua y optimización.

4. Los fundamentos conceptuales del seguimiento y la evaluación referidos al desempeño

hay que buscarlos en el paradigma de la GPpRD, al plantear que se debe crear el mayor valor público posible con los recursos disponibles, con el propósito de generar mejoras en las condiciones de vida con equidad y sostenibilidad (ver el ejemplo del Programa Ampliado de Inmunización -PAI- en ilustración 6), para lo cual utiliza en forma coordinada distintos sistemas e instrumentos de gestión que orientan la acción de los actores públicos, destacándose los Sistemas de Seguimiento y Evaluación (S&E) del quehacer público (CEPAL 2014).

Ilustración 6: Seguimiento y Evaluación para resultados del PAI

b. Desempeño y presupuestación plurianual orientada a resultados

Al hablar de metodología de seguimiento y evaluación del desempeño resulta esencial considerar varios lineamientos metodológicos claves:

1. El desempeño da cuenta del valor que agrega el sector público en la selección de sus prioridades, la transparencia con que actúa, los productos derivados del diseño y de la aplicación de intervenciones mediante programas presupuestarios, y el impacto que estos tienen sobre el bienestar de la ciudadanía y el desarrollo económico (BID 2015).

2. El desempeño se concibe como los cambios sociales favorables, observables y

susceptibles de medición que la acción de toda entidad pública provoca sobre las condiciones de vida de los ciudadanos. Y es que hoy esos ciudadanos piden crecientemente un gasto honesto bien orientado, generador de soluciones reales a los problemas públicos que pretende atender, es decir, generador de valor público.


3. El término desempeño da cuenta de la efectividad con la que los programas usan los recursos públicos y se verifica mediante la evaluación de la efectividad del gasto, es decir, contrastando los gastos ejecutados contra los productos y resultados obtenidos e introduciendo correctivos de ser necesario, empleado para ello un sistema de indicadores del desempeño.

4. Aquello implica introducir el enfoque de cadena de valor público, como modelo

descriptivo del accionar del sector público, entendiendo a este sector como un conjunto de instituciones dedicadas a generar productos -bienes o servicios- que se entregan a la población. Los productos y las medidas de política desencadenan transformaciones en la realidad social que se denominan resultados (ver ilustración 7); ambos cotejables y susceptibles de seguimiento, definidos en la planificación y lo que materializa precisamente la articulación entre planificación (END, PNPSP, Planes institucionales, POA, PEI) y presupuesto (institucional y plurianual) (Sotelo, 2015).

Ilustración 7: Elementos de la Cadena de Valor y articulación Plan-Presupuesto

Fuente: Sotelo, J., Articulación Plan – Presupuesto, septiembre 2015

5. La noción de desempeño presenta diferentes alcances o perspectivas relacionadas con

la cadena de valor, por lo que puede ordenarse desde dos diferentes perspectivas: i) los ámbitos de control de insumos, productos, resultados e impactos, y ii) las dimensiones de eficiencia, eficacia y economía (BID 2015).

6. Al tratarse de la metodología de seguimiento y evaluación del desempeño

presupuestario la definición de presupuesto por resultados es esencial concibiéndolo como los procesos de decisión que integran el ciclo presupuestario en sus distintas etapas (formulación, discusión y aprobación, ejecución y seguimiento y evaluación) adoptando e incorporando en su interior consideraciones sobre los resultados, para la aplicación de los recursos (BID 2015).

7. Las instituciones públicas establecen de manera puntual los objetivos a alcanzar con los

recursos asignados a sus respectivos programas y el grado de consecución de dichos objetivos es efectivamente verificado mediante un sistema de evaluación del desempeño


(Secretaria de Hacienda de México 2012). Entonces, la evaluación de la efectividad del gasto o de su desempeño es el elemento central del presupuesto por resultados y lo que lo diferencia del presupuesto tradicional (lógica inercial e incrementalista).

8. El presupuesto plurianual orientado a resultados (PpAoR) es entendido como el

proceso presupuestario plurianual que tiene como objetivo central que los decisores claves de las entidades consideren en forma sistemática los resultados alcanzados por los programas públicos en el año actual y subsiguientes.

9. El PpAoR es un enfoque de Gestión Pública que transforma los fondos públicos en resultados favorables a la población y persigue por un lado la prioridad, definiendo prioridades en el gasto (que intervenciones financiar), y por otro el desempeño, buscando mayor efectividad/eficiencia en la provisión de los bienes y servicios públicos priorizados. Se trata de llevar al programa presupuestario del PAI y todos los otros desde la zona de baja prioridad y bajo desempeño, hacia el cuadrante superior derecho de la ilustración 8, es decir hacia la zona de alta prioridad y de alto desempeño.

Ilustración 8: Prioridad y desempeño, objetivos mayores del PpAoR

Fuente: Arca, J., II Seminario Internacional de Seguimiento y Evaluación, La experiencia peruana en seguimiento y evaluación de políticas públicas en el marco del presupuesto por resultados, noviembre 2014

La pregunta clave que busca responder un PpAoR es si los escasos recursos públicos ejecutados en el PAI lo han sido en la mejor alternativa disponible para la efectiva vacunación e inmunización de las personas, dado que ejecución del gasto público no significa calidad, ni eficiencia. La preocupación central está entonces por cuánto rinde cada peso dominicano invertido en el PAI, pero el propósito final de un PpAoR no es sólo mejorar la calidad y eficiencia del gasto, sino también cambiar la cultura presupuestaria en la administración pública y contribuir con la gobernabilidad del sistema democrático y el Estado de Derecho. Sin embargo, la experiencia internacional muestra que existen al menos cuatro factores de éxito para el adecuado funcionamiento y aplicación de la técnica de evaluación de la efectividad del


gasto o de su desempeño (BID, 20015) que se haga por ejemplo en el PAI o cualquier programa presupuestario que deben ser cuidadosamente tomados en cuenta al momento de su implantación:

1. Información sobre desempeño: la existencia de información sobre desempeño de los programas es crucial para un sistema de PpAoR, pero debe ser información relevante, confiable y oportuna para que sea útil a sus decisiones presupuestarias, es decir capaz de responder a las preguntas que se formulan en la toma de decisiones presupuestarias y que esté disponible en el momento que las autoridades la requieran.

2. Uso de la información en decisiones presupuestarias: disponer de buena información

sobre desempeño es una condición necesaria, pero no suficiente, para el desarrollo de un sistema de PpAoR, pues además, es necesario que la información sea utilizada por las autoridades en la toma de decisiones en cada una de las etapas del ciclo presupuestario. Esto va a requerir una profunda adecuación de los procesos de formulación, discusión y aprobación, ejecución y seguimiento y evaluación del presupuesto.

3. Motivación en la gestión para resultados: el verdadero desempeño en el caso por

ejemplo del PAI en términos de la satisfacción de las necesidades de la comunidad no lo determinan el Ministerio de Hacienda ni la Presidencia, sino el Ministerio de Salud y la unidad que ejecuta el PAI. Para ello, un sistema de PpAoR requiere alinear la estructura de incentivos, económicos y no económicos, en el PAI, que la Ley 423-06 en su artículo 14 lo establece.

4. Competencias, condiciones e instrumentos para una gestión orientada al logro de

resultados: la motivación sin duda crea las condiciones para contribuir al logro de resultados de desarrollo en la unidad en este caso del PAI, pero sus logros efectivos dependen de la posibilidad de contar con los medios para hacerlo. Un sistema de PpAoR en el PAI requiere que su unidad cuente con capacidades, condiciones e instrumentos para lograr los resultados que comprometen.

c. Siguiendo y evaluando el desempeño presupuestario

En materia de instrumento para la evaluación de la efectividad del gasto, la metodología propone:

1. Un sistema de seguimiento y evaluación del desempeño presupuestario (SEDP), entendido como el conjunto de instrumentos, procedimientos, métodos y técnicas responsable de proveer la información sobre desempeño que alimenta la toma de decisiones en torno a la asignación de recursos, interactuando con el presupuesto a lo largo de todo su ciclo y durante sus cuatro fases: formulación, discusión y aprobación, ejecución, seguimiento y evaluación.

2. El requisito fundamental es que el sistema provea información pertinente, oportuna,

sintética y veraz sobre los dos aspectos centrales del desempeño: i) los diferentes ámbitos de control de la cadena de valor: insumos, productos, resultados e impacto y ii) sus diferentes dimensiones: eficiencia, eficacia, economía. Por ejemplo, provea información sobre si se están alcanzando los resultados trazados mediante los productos entregados en el plazo previsto, que es un indicador de eficacia, así como también sobre si se están logrando los impactos esperados, gracias a esos productos. De otro lado, debe proveer información sobre la brecha entre los insumos realmente utilizados, frente a los


insumos inicialmente programados para lograr el producto deseado, dando indicaciones claras sobre el grado de economía con la que se usan los recursos para la producción de esos bienes y servicios. Asimismo, información sobre la brecha entre los productos realmente producidos, frente a los productos inicialmente programados, dando señales claras sobre el grado de eficiencia con la que se producen esos bienes y servicios, al igual que entre los resultados efectivos versus los programados. Finalmente, debe proporcionar información sobre la brecha entre los impactos realmente alcanzados versus los inicialmente planteados, que siendo establecidos por proceso político, constituye un indicador del grado de gobernabilidad (ver ilustración 9).

Ilustración 9: Dimensiones del desempeño público

Fuente: BID, Presupuestos para el Desarrollo en América latina, 2015

3. El SEDP está compuesto por dos grandes instrumentos: i) el seguimiento y ii) la evaluación, estando conceptual y operativamente separado en un sistema de Seguimiento y un sistema de Evaluación.

4. El sistema de seguimiento, permite efectuar un monitoreo regular del desempeño de los

programas presupuestarios, principalmente a nivel de procesos, productos y resultados, con relación a los recursos empleados, utilizando para ello indicadores que permiten detectar oportunamente los avances e introducir correctivos. El seguimiento del Programa Ampliado de Inmunizaciones (ver ilustración 10) establece indicadores de alertas tempranas y brechas de cumplimiento tanto entre los recursos financieros realmente gastados versus lo previsto (metas financieras), como entre el número de niños realmente inmunizados contra el tétanos versus lo previsto (metas de producción) y el número de muertes realmente evitadas por el tétanos versus lo previsto (metas de resultado).

Ilustración 10: Seguimiento del desempeño presupuestario


5. El sistema de evaluación, busca recoger y analizar información más completa de programa presupuestal con el objeto de evaluar su desempeño conociendo qué impactos tuvo en su función, particularmente, en relación a los objetivos que lo justifican, con análisis de causalidad. Para ello, la evaluación analiza el vínculo entre el diseño de productos, el diseño y operación de procesos clave, los niveles de desempeño observados en programas presupuestarios y el impacto logrado sobre los beneficiarios (ver ilustración 11). La evaluación del PAI, que constituye un estudio cuantitativo y cualitativo determinara en qué medida la inmunización contra el tétanos a los niños previene efectivamente su muerte por esa enfermedad y en qué medida esa prevención incide en la reducción de la mortalidad infantil general (impacto), aislando los efectos propios del programa sobre la reducción de la mortalidad infantil y precisando también si la forma de vacunar es la más adecuada.

Ilustración 11: Evaluación del desempeño presupuestario

6. El seguimiento aporta datos sobre el logro de los resultados esperados, pero no explica las razones por las que las intervenciones funcionan o no, ni el efecto que estas tienen en la sociedad, papel que si cumple la evaluación, mediante la realización de estudios específicos


7. Las evaluaciones corresponden a estudios, exámenes, auditorías o revisiones

técnicas, que a partir de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir juicios sobre aspectos concretos acerca de un conjunto de acciones públicas, estructuradas como proyectos, programas, cartera institucional o políticas. Dicha construcción debería contener los factores que explican los juicios evaluativos.

8. Conceptual y metodológicamente, las evaluaciones se diferencian de los

procedimientos de seguimiento en que aquellas buscan explicar lo que estos solo informan, el seguimiento solo ofrece información sobre la situación relativa al cumplimiento de los objetivos y los efectos de una política, programa o proyecto, mientras la evaluación explica por qué esos objetivos o efectos se están logrando (o se han logrado) o no, y expone los cambios que se han producido en los beneficiarios y en la sociedad. (ver ilustración 12).

Ilustración 12: Características del Seguimiento y la Evaluación

Fuente: Schak, 2015

9. El seguimiento sin la evaluación no permite aprovechar la información generada, y

la evaluación sin los datos del seguimiento carece de fundamento empírico. En efecto, siguiendo el ejemplo del PAI, durante la formulación (fase ex ante) la evaluación del PAI debe permitir mejorar el diseño de las inmunizaciones basado en evidencias causa efecto; durante la ejecución (fase durante) el seguimiento del PAI, mediante información cuantitativa e indicadores, debe entregar alertas tempranas y brechas de cumplimiento de sus metas financieras, de sus metas de producción y de sus metas de resultados para introducir correctivos; durante la evaluación (fase ex post) se debe realizar la valoración del diseño, de la implementación, del desempeño y del impacto del PAI. Necesariamente estas acciones deben acompañarse de premios por logro de metas a los funcionarios del PAI (ver ilustración 13).


Ilustración 13: La secuencia del proceso de transformación de fondos en resultados en el PAI

Fuente: Arca, J., II Seminario Internacional de Seguimiento y Evaluación, La experiencia peruana en seguimiento y evaluación de políticas públicas en el marco del presupuesto por resultados, noviembre 2014

10. Los procedimientos, métodos, técnicas y aplicaciones adquieren características y particularidades diferentes cuando se trata del instrumento de seguimiento, y cuando se trata del instrumento de evaluación, pues son de naturaleza y alcance distintos, por lo que desde el inicio es necesario diferenciarlos conceptualmente. No obstante, hay que alinear todos los instrumentos, métodos, técnicas y aplicaciones del seguimiento y de la evaluación para que actúen de forma coordinada y complementaria y puedan así contribuir al logro de los resultados. Metodológicamente, existe entonces un carácter de diferenciación y complementariedad entre el seguimiento y la evaluación.

11. Si bien, ambos instrumentos se complementan y retroalimentan, requieren en cambio

procedimientos, métodos, técnicas, capacidades y arreglos institucionales diferentes, como se plantea en las siguientes secciones.


ORIENTACIONES Y DIRECTRICES PARA EL SEGUIMIENTO

El seguimiento (o monitoreo, bajo un anglicismo de aplicación cotidiana) constituye un tipo de evaluación pero de naturaleza concurrente que, para el caso del seguimiento del desempeño presupuestario, se da esencialmente con el fin de establecer instrumentos de alerta temprana que permitan identificar y corregir oportunamente las desviaciones tanto de meta físicas como financieras que se producen en los programas presupuestarios, frente a lo programado. Por tanto, el desempeño es concebido como una modalidad de presupuestación que se asienta en el desempeño y, a nivel operativo, abarca el conjunto de instrumentos, procedimientos, métodos y técnicas que permiten utilizar sistemáticamente información sobre desempeño durante el ciclo presupuestario con el objeto de optimizar el proceso de asignación de recursos y así maximizar el impacto de las políticas públicas sobre el desarrollo económico y social, es decir generar valor público. En esa línea, la definición del contenido y alcance del sistema de seguimiento del desempeño presupuestario dominicano requiere adoptar cuatro orientaciones o directrices esenciales:

i) el objeto del seguimiento, es decir precisar concretamente que es lo que se debe seguir,

ii) el método preciso de cómo hacer el seguimiento, acompañado del diseño de sus respectivos instrumentos, procedimientos y técnicas,

iii) la adecuada temporalidad para realizarlos-aplicarlos, precisando cada cuanto tiempo se los debe realizar a fin de apoyar la toma de decisiones presupuestarias en diversos momentos, y

iv) la designación de quien (es) debe realizarlo o el sujeto (s) del seguimiento, con sus respectivas funciones y responsabilidades.

A continuación se propone una direccionalidad específica del contenido de cada una de estas cuatro orientaciones-directrices, dando ejemplos en algunas de ellas.

a. Qué seguir?

En materia de que seguir, tres orientaciones o directrices son centrales:

1. El objeto central del seguimiento es la acción pública financiada a través del presupuesto y concretamente se toma a los programas presupuestarios como unidad de seguimiento, que son de dos tipos:

a. Programas Presupuestarios (PP), donde la unidad de programación es un producto terminal o bien y servicio institucional, (Boeykens 2015), como por ejemplo el PAI; y,

b. Iniciativas Estratégicas Específicas Plurianuales orientadas a Resultados (IEEPR), donde la unidad de programación es una prioridad o un problema público específico, como por ejemplo la seguridad ciudadana, considerando las diversas acciones que las distintas instituciones públicas conjuntamente deberán realizar para conseguir un determinado resultado esperado (Shack 2015).

2. El seguimiento de esos programas presupuestarios se sustenta en los indicadores de

desempeño, que provienen del respectivo marco lógico al momento de la formulación, estableciendo para cada indicador, su descripción, forma de cálculo, medio de verificación, unidad de medida, meta a alcanzar, un referente para comparar el desempeño logrado y la respectiva área de trabajo responsable.


3. El alcance del seguimiento de los indicadores de desempeño al interior de los ámbitos

de control de la cadena de valor de un PP o de una IEEPR es dar seguimiento, con cierta periodicidad, hasta los resultados (insumos, productos, resultados, en la medida que los sistemas estadísticos y registros administrativos dominicanos existentes lo permitan), precisando las diferentes dimensiones del desempeño a dar seguimiento: eficacia (de interés del ciudadano), calidad (de interés del usuario), costo efectividad (de interés del contribuyente). Por tanto, no se incluye en el sistema dar seguimiento a los impactos (ver ilustración 14).

Ilustración 14: Cadena de valor y seguimiento

b. Cómo seguir?

En cuanto a la manera o técnica e instrumentos a utilizar para el seguimiento de los programas presupuestarios, varias orientaciones o directrices son claves:

1. La técnica a usar para seguir (o monitorear) el desempeño constituye el análisis de la programación respecto de la ejecución, es decir, contrastar lo previsto versus lo real, desde la perspectiva de las relaciones entre cada eslabón de la cadena de valor público que subyace al programa presupuestario, mediante los indicadores de desempeño y sus dimensiones, así como de la comparación entre indicadores de producción física e indicadores de ejecución financiera.

2. La comparación entre los indicadores de producción física y los indicadores de

ejecución financiera, permiten romper con el análisis financiero tradicional de la sola ejecución presupuestaria que es insuficiente y complementa con información física (no financiera) a nivel de los productos que logran los programas presupuestarios, tal como se presenta en la ilustración 15 para el caso del PAI. El indicador de producción física es la unidad de medida de las cantidades de bienes y servicios provistos por una intervención pública y se ubican a nivel de producto y actividades. Todo producto y actividad tiene solamente un indicador de producción física, por ejemplo: persona inmunizada, niño vacunado

Ilustración 15: Matriz Integradora de los Programas Presupuestarios


Fuente: DIGEPRES, Proyecto de Ley de Presupuesto 2016

3. Existen variados instrumentos cuantitativos que cumplen con esos propósitos, pero dada su complejidad y costo deben tener una aplicación gradual en el tiempo, iniciando con instrumentos menos complejos y menos costosos o de aplicación inmediata.

4. Un primer instrumento de aplicación inmediata, -a nivel de productos- y quizá el más

relevante es el establecimiento de alertas tempranas usando durante la formulación y la ejecución, la trimestralización de los indicadores anuales de producción física y de ejecución financiera, para medir brechas y adoptar correctivos, bajo los siguientes criterios metodológicos:

a. Procedimiento y aplicación informática: contempla que al momento de la formulación las instituciones carguen tanto la programación anual y trimestral de productos a lograr (metas físicas) como de recursos financieros a usar (metas financieras); y, al momento de la ejecución, pongan los valores anuales y trimestrales ejecutados, estableciendo sus respectivas brechas y semáforos, incluyendo un campo adicional para que las entidades justifiquen, cuando así procede, las diferencias de avances con respecto a las metas programadas físicas y financieras. Considera el desarrollo de una aplicación o módulo adhoc en el mismo sistema transaccional SIGEF para que usen las instituciones (ver ilustración 16)

Impacto

Disminución de la mortalidad infantil

Resultados Indicador Linea base

Ausencia de DifteriaTasa de incidencia de difeteria por 100,000

habitantes"2014" y 0

Disminución de los casos de TosferinaTasa de incidencia de tosferina por 100,000

habitantes"2014" y 0.99

Disminución de los casos de TétanosTasa de incidencia de tétanos por 100,000

habitantes"2014" y 0.45

Disminucion de enfermedades producidas

por la Hib (Haemophillus influenzae tipo b)

Tasa de incidencia de enfermedades

producidas por Hib por 100,000 habitantes"2014" y 0.01

Cobertura de inmunizacion para DPT -3 con

vacunas combinadas (Penta) y/o individual

Porcentaje de cobertura de vacunacion de DPT

en la población menor de un año con tres dosis

(individual o combinada)

"2014" y 91

Reducir el porcentaje de municipios que

presentan coberturas con DPT -3 (con

vacunas combinadas (Penta) y/o individual)

menor al 80%

Porcentajes de municipios con cobertura de

DPT-3 menor al 80%}"2014" y 33.6%

Cobertura de inmunizacion Haemophfilus

influenzae tipo B (Hib-3) provista en la

vacuna combinda (PENTA-3)

Porcentaje de cobertura de vacunacion anti

Haemophfilus influenzae tipo B (Hib) en la

población menor de un año con tres dosis

"2014" y 87.2

Reducir el porcentaje de municipios que

presentan coberturas de Hib-3 (con vacunas

combinadas (Penta) y/o individual) menor al

80%

Porcentajes de municipios con cobertura de

Hib-3 menor a 80%"2014" y 51.6%

Productos 2016

(* )Costo

directo

vacunas

2017

(* )Costo

directo

vacunas

2018

(* )Costo

directo

vacunas

2019

(* )Costo

directo

vacunas

Personas inmunizadas contra la difteria,

tosferina y tétanos (DPT-3)menor de un año115,994 0.48 192,216 0.50 191,686 0.52 190,745 0.54


tosferina y tétanos (DPT-1R) de 1 año 38,665 1.94 38,443 2.50 38,337 2.59 38,149 2.68


tosferina y tétanos (DPT-2R) de 4 años 155,152 1.94 192,611 2.51 191,614 2.60 190,554 2.69

Personas inmunizadas contra difteria,

tosferina, tétanos, hepatitis B y Hib (penta -

3)

155,280 0.00 193,353 74.17 192,456 76.94 191,657 79.62

90

17

90

0

2019

0

0.40

0.2

0

90 y más

14

90 y más

0

2018

0

0.51

0.2

0

2017

90

0

21

90

90

27

90

0

0

0.63

0.3

0

2016

0

0.79

0.4

0

Objetivo Especifico END 2.2.1: Garantizar el derecho de la población al acceso a un modelo de atención integral, con calidad y calidez, que privilegie la promoción

de la salud y la prevención de la enfermedad, mediante la consolidación del Sistema Nacional de Salud.

Medida de política: Garantizar a las poblaciones correspondientes las vacunas según el perfil epidemiológico del país.

Descripción:Es responsabilidad del MSP garantizar a las poblaciones correspondientes las vacunas obligatorias, aprobadas y recomendadas por la Organización

Instrumento: Ley General de Salud 42-01, libro segundo, Título II, Art. 64

Programa de Inmunización

Indicador

Tasa de Mortalidad Infantil por 1,000 nacidos vivos

Año linea base

2007

Linea base

29.6

Año meta

2016

Meta

15

Unidad de medida

Personas Inmunizadas





b. Medición de brechas: define criterios adhoc para los rangos de cumplimiento y medir desviaciones trimestralmente, evidenciando el grado de cumplimiento y la necesidad de tomar acciones correctivas.

c. Tablero de control: establece semáforo trimestral en el cual se visualizan por medio de los colores verde, amarillo y rojo el estado de cumplimiento del indicador físico y financiero,

d. Información a usar: toma en consideración el devengado (aplicación real de fondos) y no el pagado al momento de correlacionar lo financiero y no financiero, y el efecto de las modificaciones presupuestarias

e. Rezago de la información: en los indicadores físicos, determina su rezago o tiempo en días que demora el procesamiento de la información de avance, y el rango de tolerancia respectivo.

f. Responsables de la alimentación: establece los responsables institucionales concretos para la carga oportuna de la información (fuente de información), tanto financiera como física

g. Mejoramiento de información: considera mecanismos para mejorar la oportunidad, confiabilidad, relevancia y cobertura del registro de la información no financiera (metas físicas)

h. Validación de las metas físicas reportadas: Los sectorialistas de la DIGEPRES realizaran una validación de las metas físicas reportadas por las instituciones utilizando nuevas herramientas (por ejemplo el costeo de la producción publica) y la interoperabilidad con otros sistemas (compras, recursos humanos, inversión, etc.) verificando por esa vía que los recursos financieros gastados efectivamente son consistentes con las metas físicas declaradas.

i. Reportes e informes: determina que las instituciones elaboren un informe institucional trimestral de seguimiento físico-financiero y con esos informes, la DIGEPRES, luego de la validación de metas físicas, preparara un informe consolidado trimestral de seguimiento físico-financiero que abarque al conjunto de instituciones.

Ilustración 16: Ejemplo de alertas tempranas y seguimiento físico-financiero

Programa presupuestario: Control de Enfermedades Prevenibles por Vacunas (Programa 20)

Trimestre 1: Enero – marzo 2016 Semaforo

% de cumplimiento fisico (3)/(1) y

financiero (4)/(2)

Producto Programacion Ejecucion Brecha

Física No

Personas (1)

Financiera $

(2)

Física No

Personas (3)

Financiera $

(4) Física

3-1 Financiera

4-2

Personas inmunizadas contra la difteria, tosferina y tétanos (DPT-3), menor de un año

38,788 $5,370,000.00 34,909 $4,833,000.00 (3,879) $ (537,000.00) 90% y 90%

Fuente: DIGEPRES, Dirección de Evaluación y Calidad del Gasto Publico, octubre 2015

5. Un segundo instrumento de aplicación inmediata es el seguimiento de los indicadores de

desempeño -a nivel de productos y resultados- y sus dimensiones, a fin de conocer su evolución y logros en el tiempo. Un indicador de desempeño es la medida del logro de los resultados esperados de un PP o de la entrega de productos acorde a determinados


atributos y se ubican a nivel de productos y resultados siendo, mayormente, una medida relativa (expresada en porcentaje, ratio, etc.). Puede haber más de un indicador de desempeño para resultados y productos, por ejemplo: porcentaje de niños vacunados. Los indicadores de eficacia proporcionan información respecto al grado de cumplimiento de los objetivos planteados por el programa. Los indicadores de eficiencia permiten hacer seguimiento a la relación entre el logro de los resultados o productos del PP y los recursos utilizados para su cumplimiento. La calidad del servicio es una dimensión específica del desempeño que se refiere a la capacidad de un PP para responder en forma rápida y directa a las necesidades de sus usuarios. Por último, la dimensión de economía se refiere a la capacidad de una institución para generar y movilizar adecuadamente los recursos financieros en pos del cumplimiento de sus objetivos. La eficacia es esencialmente de interés del ciudadano, mientras la calidad es de interés del usuario, y la costo-efectividad es de interés del contribuyente. En la ilustración 17 se proponen algunos ejemplos para el caso del PAI. Este instrumento operara bajo los siguientes lineamientos metodológicos:

a. Procedimiento: los indicadores de desempeño se definen al momento de la formulación del programa presupuestario, con la ayuda de la matriz de marco lógico para los productos y para los resultados y son de temporalidad anual o semestral.

b. Selección: sobre la base de esos indicadores, para cada programa presupuestario, el ejecutor del programa junto con la DIGEPRES y MEPYD establecen un número reducido de indicadores (no más de 2) para sus dimensiones de eficacia, o de eficiencia, o de economía o de calidad, determinando su fórmula de cálculo, su línea de base, los valores para los años siguientes, los medios de verificación y los supuestos respectivos.

c. Medición de brechas: se define criterios adhoc para los rangos de cumplimiento y medir desviaciones semestral o anualmente, evidenciando el grado de cumplimiento y la necesidad de tomar acciones correctivas.

d. Tablero de control: se establece semáforo semestral o anual en el cual se visualizan, por medio de los colores verde, amarillo y rojo, el estado de cumplimiento de los indicadores de desempeño sean de producto o de resultado.

e. Responsables de la alimentación: se establece los responsables institucionales concretos para la carga oportuna de la información (fuente de información), tanto de producto como de resultados

f. Aplicación informática: se desarrollara, por fuera del sistema transaccional, una aplicación donde se consoliden e integren todos los indicadores de producto y resultado, con sus indicadores de desempeño referidos a sus dimensiones de eficacia, o de eficiencia, o de economía o de calidad, como se indica en la ilustración 17. No obstante, los productos que ya van a estar alimentados y cargados por las instituciones en el sistema transaccional SIGEF (para las alertas tempranas trimestrales) deberán viajar a la nueva aplicación mediante una interface, evitando de esa manera que las instituciones tengan doble carga de trabajo.

g. Validación de los indicadores de desempeño: Los sectorialistas de la DIGEPRES realizaran una validación de los indicadores de desempeño reportados por las instituciones utilizando nuevas herramientas (por ejemplo el costeo de la producción publica) y la interoperabilidad con otros sistemas (compras, recursos humanos, inversión, etc.) verificando por esa vía que los recursos financieros gastados efectivamente son consistentes con los indicadores de desempeño declarados.


h. Reportes e informes: sobre la base de esa aplicación y la información que arroja, las instituciones deberán preparar un informe institucional anual de desempeño que abarque el conjunto de sus programas presupuestarios, identificando las causas de las desviaciones y proponiendo correctivos y adopción de mejoras. Con esos informes, la DIGEPRES, luego de la validación de los indicadores de desempeño, preparara un informe consolidado anual de desempeño que abarque al conjunto de instituciones, incluyendo la información de costos que se detalla a continuación.

Ilustración 17: Ejemplo para seguimiento de indicadores de desempeño

Fuente: En base a Matriz de indicadores de desempeño del Ministerio de Salud, Chile

6. Un tercer instrumento de aplicación inmediata tienen que ver con identificar y medir

anualmente desviaciones respecto de los costos directos de la producción pública programados en los PP e IEEPR versus los costos ejecutados, a fin de permitir a las instituciones contar con un criterio más preciso del grado de economía con que ejecutan sus programas e identificar las causas de esas desviaciones, utilizando los indicadores y tipos de costos establecidos en la metodología para el Costeo de la Producción Pública elaborada por Calle (2015), bajo los siguientes criterios metodológicos (ver ilustración 18):

2016 2017 2018 2019

Eficacia/Resultado

1. Tasa de incidencia

de tétanos por

100,000 habitantes

(Nº de enfermos

con tétanos t/Nº

total de la

poblacion)*1

0,45 0,4 0,3 0,2 0,2

Base de datos de

beneficiarios del

PAI

Eficacia/Producto

2 Cobertura de niños

menores de 1 año

inmunizados contra

el tétanos

(Nº de niños

menores de 1 año

inmunizados con

tétanos t/Nº total

de niños menores

de 1 año)*100

83.1% 85.4% 87.3% 89.2% 90.1%

Base de datos de

beneficiarios del

PAI

Eficiencia/Producto

3 Porcentaje de

M unicipios con

cobertura de DPT-3

menor al 80%

(Nº de municipios

con cobertura de

DPT-3 menor al

80% t/Nº total de

municipios)*100

33,6% 27.0% 21.0% 17.0% 14.0%

Base de datos de

beneficiarios del

PAI

Calidad/Producto

4. Porcentaje de

beneficiarios

satisfechos con las

campañas de

inmunizacion

(Nº de

beneficiarios

satisfechos con

las campañas de

inmunizacion t/Nº

total de usuarios

encuestados)*100

78.0% 82.0% 88.0% 90.0% 92.0%Encuestas a

beneficiarios

Economia

5. Gasto por niño

menor de un año

inmunizado contra el

tetanos

(M onto de

recursos gastados

en inmunizacion

contra el tetanos

en menores de 1

año t/Nº to tal de

niños menores de

1 año inmunizados)

2,500 2,400 2,300 2,200 2,100

Presupuesto

devengado del

PAI

P erso nas

inmunizadas

co ntra la

dif teria,

to sferina y

tétano s

(D P T -3) ,

meno r de un

año

M eta

P ro grama presupuestario : C o ntro l de Enfermedades P revenibles po r Vacunas (P ro grama 20)

P ro ducto Indicado rF ó rmula de

C álculoEfect ivo 2015

M edio s de

verif icacio n


a. Procedimiento: los costos directos de la producción se definen al momento de la formulación del programa presupuestario, con la ayuda de la matriz de marco lógico para los productos y son de temporalidad anual.

b. Medición de brechas: se define criterios adhoc para los rangos de cumplimiento y medir desviaciones anualmente, evidenciando el grado de cumplimiento y la necesidad de tomar acciones correctivas.

c. Tablero de control: se establece semáforo anual en el cual se visualizan por medio de los colores verde, amarillo y rojo el estado de cumplimiento de los costos directos de producción.

d. Responsables de la alimentación: se establece los responsables institucionales concretos para la carga oportuna de la información (fuente de información)

e. Aplicación informática: se desarrollara una aplicación donde se cargara la información referida a los costos directos de la producción pública de los programas presupuestarios.

f. Validación de los costos: Los sectorialistas de la DIGEPRES realizaran una validación de los costos reportados por las instituciones utilizando nuevas herramientas (por ejemplo series históricas del costeo de la producción publica) y la interoperabilidad con otros sistemas (compras, recursos humanos, inversión, etc.) verificando por esa vía la valides de los costos declarados

g. Reportes e informes: sobre la base de esa aplicación y la información que arroja, las instituciones deberán preparar un informe institucional anual de costos directos que abarque el conjunto de sus programas presupuestarios, identificando las causas de las desviaciones y proponiendo correctivos y adopción de mejoras. Con esos informes, la DIGEPRES, luego de la validación de los costos, preparara un informe consolidado anual de cotos que abarque al conjunto de instituciones

Ilustración 18: Cadena de Costo Directos de la Producción Pública

Fuente: Calle, 2015

7. Entre los instrumentos de aplicación posterior dada su complejidad (al segundo año),

un primer instrumento se refiere a la estimación de curvas de rendimiento (o Curvas “S”) del proceso productivo de cada programa presupuestario, a fin de conocer las desviaciones que puede sufrir una intervención programada, combinando el análisis en 3 dimensiones: costo (ejecución presupuestaria), tiempo (lapso para ejecutar la intervención) y alcance (meta física o valor a alcanzar del indicador programado). Este instrumento, constituye el fundamento de los procesos de seguimiento presupuestario y


será diseñado y aplicado esencialmente por la DIGEPRES, que luego de los procesos de validación de la información respectiva, preparara un informe anual consolidado de los hallazgos encontrados en las distintas instituciones. Por ejemplo, el estudio de la curva de rendimientos para el PAI, representa en forma gráfica la relación que existe, en una fecha determinada, entre las metas físicas alcanzadas de un producto determinado como el producto Personas inmunizadas contra la difteria, tosferina y tétanos (DPT-3), menor de un año (4.000 personas inmunizadas) y el tiempo que falta para ejecutar todo su presupuesto anual asignado ($73.060), es decir, determinar las desviaciones físicas y financieras que puede sufrir ese producto del PAI en el transcurso del año (ver ilustración 19).

Ilustración 19: Procedimiento para la estimación de curvas de rendimiento en el PAI

Fuente: Shack, 2015

8. Un segundo instrumento de aplicación posterior, tiene que ver con la aplicación de metodologías de descomposición factorial al ciclo de ejecución del gasto público, instrumento clave en los procesos de seguimiento presupuestal al permitir identificar los factores (y áreas o dependencias directamente vinculadas) que explican una menor o mayor ejecución a la prevista (Shack, 2014b). En realidad permite descomponer el ratio de ejecución presupuestaria (digamos por ejemplo, lo devengado respecto a lo presupuestado) en una conjunto de otros ratios en los cuales el nivel de implicación de las distintas áreas de una organización (oficina de presupuesto, oficina legal, oficina de logística, área usuaria del servicio y otros) se puede apreciar y analizar. Pero sobre todo, este método de análisis constituye un instrumento valioso para relacionar los aspectos financieros y no financieros en el proceso de seguimiento presupuestario (ver ilustración 20). Este instrumento, también será diseñado y aplicado esencialmente por la DIGEPRES, que preparara un informe anual consolidado de los hallazgos encontrados en las distintas instituciones.

Ilustración 20: Metodología de descomposición factorial


Fuente: Shack, 2015

9. Finalmente, un tercer instrumento de aplicación posterior se refiere al establecimiento de

un tablero de control, sistematizando y sintetizando toda la información anterior para contar con una especie de Balance Score Card con el fin de lograr aproximarse a un Índice de Desempeño General (IDG) de la Intervención en las distintas dimensiones y perspectivas. Ello es posible a través de algoritmos que sumen ponderadamente intra grupo e inter grupos de indicadores de desempeño, los valores meta alcanzados respecto de los programados, teniendo en cuenta la determinación de umbrales que permita especificar situaciones críticas, aceptables y sobresalientes en cuando al desempeño de la intervención, a fin de tomar las medidas correspondientes (ver ilustración 21). Para ello la DIGEPRES deberá diseñar la aplicación respectiva y preparar informes anuales con los hallazgos encontrados.

Ilustración 21: Tablero de control


Fuente: Shack, 2015

En el recuadro 1 se recogen algunas experiencias internacionales exitosas de seguimiento del desempeño que ameritan ser tomadas en cuenta en tanto mejores prácticas de la región. RECUADRO 1 Experiencias internacionales exitosas de seguimiento del desempeño

Chile

Para el seguimiento al desempeño, Chile usa una batería de indicadores de desempeño en tanto mediciones que contienen algoritmos matemáticos que permiten medir los resultados, recogiendo información en el tiempo (semestral y anual), por lo que las comparaciones se hacen principalmente respecto a desempeños pasados, estando centrados en las distintas dimensiones del desempeño: la eficiencia, la eficacia, la economía y la calidad, usando también los diferentes ámbitos del control, como son los procesos, los productos (más centrados en estos) y los resultados, distinguiendo entre los resultados intermedios y los resultados finales, dado que los indicadores del impacto o los resultados finales no son fáciles de obtener, requieren más recursos y metodologías de trabajo más complejas y tampoco pueden ser medidos regularmente, es decir, año a año. Los indicadores de desempeño son trabajados con las instituciones para definirlos durante la formulación presupuestaria y al año siguiente determinar su grado de cumplimiento, a partir de una matriz construida con la metodología de marco lógico. En esa matriz se determinan, en primer lugar, los productos estratégicos de cada entidad sujetos de seguimiento a su desempeño, estableciendo un peso relativo o ponderador para cada uno de ellos. En segundo lugar, se definen los respectivos indicadores de desempeño, que combinando los diferentes ámbitos de control y dimensiones del desempeño, pueden ser de Eficacia/Resultado Intermedio, o de Eficacia/Producto, o de Calidad/Producto, o de Eficacia/Proceso, etc., estableciendo su respectiva fórmula de cálculo y los medios de verificación (fuentes de información). En tercer lugar, se establecen los valores efectivos de cada indicador de desempeño (generalmente en términos porcentuales) para los últimos tres años, el valor efectivo al primer semestre del año en curso (durante la ejecución), la meta para todo el año y la meta para el siguiente año. Con esta información, al año siguiente se determina el grado de cumplimiento de cada indicador de cada producto estratégico y se calcula, empleando los ponderadores, el grado de cumplimiento promedio de la entidad y por tanto su desempeño. De esa manera, esos indicadores de desempeño y su cumplimiento orientan las decisiones de asignación de recursos y en el mejoramiento de la gestión de las instituciones que manejan dichos recursos, para mejorar la eficacia en función de los costos de los recursos asignados a las iniciativas del gobierno. Su meta es lograr una asignación de recursos más fundamentada y también facilitar, fomentar o apoyar el mejoramiento de la gestión, para que cada uno de los programas produzca los resultados que se requieren (Banco Mundial, 2006).


Perú

En Perú, el seguimiento al desempeño se realiza tanto a través del Sistema de Evaluación Global Presupuestaria, que mira el desempeño de las instituciones, como del Seguimiento de Programas Presupuestales, que mira el desempeño de esos programas. El Sistema de Evaluación Global Presupuestaria, realiza un seguimiento, al primer semestre y anual, de los Presupuestos Institucionales, es decir de las instituciones, considerando los resultados específicos y estratégicos, los resultados de la gestión presupuestaria, así como el cálculo de un indicador de gestión de la institución. Para la determinación del nivel de cumplimiento se calcula un ratio que considera el logro de las metas vinculadas a las actividades y/o proyectos que la Entidad ha ejecutado al primer semestre y anual. El indicador de gestión muestra el grado de avance físico de las acciones realizadas por la Entidad respecto de la misión institucional, el cual, tomado como medida de la gestión institucional, es calificado según el rango de muy bueno (entre 95 y 100% de logro), bueno (entre 90 y 94% de logro), regular (entre 85 y 89% de logro) y deficiente (entre 0 y 84% de logro). La información obtenida, es remitida, por mandato legal a la Comisión de Presupuesto y Cuenta General del Congreso de la República así como a la Contraloría General de la República. El producto de esta evaluación se presenta en los Informes de Evaluación Consolidada del Presupuesto del Sector Público por año fiscal (Shack, 2013) En cambio, el Seguimiento de Programas Presupuestales (vale decir, de un problema público), las entidades realizan utilizando como fuentes, por un lado, la información semestral anteriormente indicada de la ejecución financiera y física a nivel de productos y sus actividades (ejecución física y financiera semestral) y de los proyectos de inversión (ejecución financiera semestral). Por otro lado, utilizan la información anual de los indicadores de desempeño de resultados y productos, a partir de la elaboración y entrega de la Ficha Técnica del Indicador de Desempeño, donde las entidades especifican las características de los indicadores, con la metodología de marco lógico. El seguimiento de los programas presupuestales arroja información sobre: i) intervenciones de la entidad en programas presupuestales (relación entre programas presupuestales y objetivos estratégicos) y descripción de las intervenciones; ii) ejecución financiera y física en programas presupuestales, con el alcance de la gestión presupuestaria por resultados, así como la ejecución agregada por unidades ejecutoras, y ejecución por productos y actividades de los programas presupuestales; y, iii) desempeño de los programas presupuestales, con la evolución de los indicadores de progreso del programa y de producto. México

Como parte del proceso de consolidación del Presupuesto basado en Resultados (PbR) y del Sistema de Evaluación del Desempeño (SED), las dependencias y entidades de la Administración Pública Federal (APF), incorporan anualmente en el Módulo de la Matriz de Indicadores para Resultados (MIR), construida con la metodología de marco lógico, al Portal Aplicativo de la Secretaría de Hacienda y Crédito Público (PASH), cada uno de los Pp a su cargo, con la información de los indicadores de desempeño definidos, de aquellos programas seleccionados por las dependencias y entidades de la APF, para formar parte del Presupuesto anual. En ese módulo se reportan y calculan los avances en el cumplimiento de las metas de los Programas presupuestarios (Pp) del Presupuesto de Egresos de la Federación para el Ejercicio Fiscal respectivo (PEF), en relación con los objetivos definidos en el Plan Nacional de Desarrollo (PND), para el periodo enero mayo de cada año. Los avance de cumplimiento, expresados en términos porcentuales, se refieren tanto a los indicadores de desempeño establecidos en las MIR de cada proyecto (indicadores de fin, de propósito, de componente y de actividad), como de su respectivo presupuesto (original y modificado), con un campo para que las entidades justifiquen, cuando así procede, las diferencias de avances con respecto a las metas programadas físicas y presupuestarias. En junio 2014, la Secretaria de Hacienda -SHCP- y las entidades consideraron 164 indicadores PEF pertenecientes a 119 Pp con MIR. Para cada uno de los indicadores registrados dentro de las MIR se proporciona información sobre: i) la denominación del indicador, ii) el método de cálculo, iii) la unidad de medida; iv) la frecuencia de medición, v) las metas programadas físicas y financieras (anual y al cierre del período), vi) los avances realizados físicos y financiero al periodo enero-mayo 2014; y, vii) el porcentaje de avance físico y financiero al periodo enero-mayo 2014. Uno de los recientes logros del Presupuesto basado en Resultados y el Sistema de Evaluación del Desempeño (PbR-SED) mexicano, constituyó la construcción de una herramienta que permita integrar, concentrar, consolidar, sintetizar y calificar el desempeño de los programas. Efectivamente, en razón de la diversa y compleja la información generada a través del SED, fue necesario la creación del Modelo Sintético de Información del Desempeño (MSD), el cual emplea métodos matemáticos y estadísticos para medir el desempeño de los principales Programas presupuestarios (Pp) de la Administración Pública Federal (APF), tomando en cuenta cinco dimensiones para la valoración global de cada Pp: i) el Desempeño Presupuestario, que considera la eficiencia de gasto de cada programa presupuestario durante los últimos 4 años (diferencia entre el presupuesto autorizado y ejercido); ii) la Matriz de Indicadores para Resultados, que considera la calidad de la MIR, la relación anual entre el logro de metas y la variación en el presupuesto y el avance en los resultados del Pp; iii) la Evaluación, que considerando la calificación de los Pp con base en las evaluaciones externas; iv) el Programa de Mejora de la Gestión, que toma en cuenta los resultados del Índice de Desarrollo


Institucional (IDI) del Programa Especial de Mejora de la Gestión (PMG); y, v) los Aspectos Susceptibles de Mejora, que considera el avance de los Aspectos Susceptibles de Mejora (ASM) suscritos por los Pp, derivados de los informes y evaluaciones externas a programas. Una vez cuantificada cada una de esas dimensiones, se establecen sus pesos relativos o ponderadores, dando mayor peso a las variables de “resultado”. Para obtener la valoración general, se suman los valores obtenidos para cada dimensión con su respectivo ponderador, de acuerdo a las restricciones y criterios establecidos, re-ponderando de manera proporcional, para aquello Pp sin información para alguna de las cinco dimensiones. La información contenida en el MSD se ranquea de conformidad con los siguientes criterios: i) valoración de 5, cuando el rango porcentual está entre el 95 y 100%, alcanzando un desempeño alto; ii) valoración de 4 cuando el rango porcentual está entre el 80 y 94%, alcanzando un desempeño medio alto; iii) valoración de 3 cuando el rango porcentual está entre el 55 y 79%, alcanzando un desempeño medio; iv) valoración de 2 cuando el rango porcentual está entre el 30 y 54%, alcanzando un desempeño medio bajo; y, v) valoración de 1 cuando el rango porcentual está entre el 1 y 29%, alcanzando un desempeño bajo.

c. Cuándo seguir?

Respecto a cuándo seguir, es decir a la temporalidad o periodicidad específica de cada uno de los instrumentos señalados, varias orientaciones o directrices son claves:

1. Los instrumentos tienen como propósito central la generación y provisión oportuna de información, reportes e informes sensibles y estratégicos para apoyar la toma de decisiones presupuestarias de las diversas autoridades en distintos momentos y desde distintas ópticas, durante las fases del ciclo presupuestario. La periodicidad de cada uno de los instrumentos es la siguiente (ver ilustración 22):

a. Instrumento de alertas tempranas de los indicadores de producción física e indicadores de ejecución financiera, con periodicidad trimestral y mensual

b. Instrumento de seguimiento de indicadores de desempeño, con periodicidad semestral y anual

c. Instrumento de medición de desviaciones respecto de los costos programados en los PP e IEEPR versus los costos ejecutados, con periodicidad anual

d. Instrumento de estimación de curvas de rendimiento (o Curvas “S”) del proceso productivo de cada programa presupuestario, con periodicidad anual

e. Instrumento de descomposición factorial, con periodicidad anual f. Instrumento de tablero de control, con periodicidad anual

Ilustración 22: Temporalidad de los instrumentos para el seguimiento


2. Los instrumentos y periodicidades señaladas esencialmente apoyaran la toma de decisiones presupuestarias en tres momentos claves de la gestión presupuestaria, vinculados a las distintas fases del ciclo presupuestario, de la siguiente manera:

a. Durante la gestión presupuestaria ex-ante o del año anterior (n-1), es decir al

momento de las fases de formulación y aprobación, con:

Información e informes de seguimiento de indicadores de desempeño

Información e informes sobre la medición de desviaciones respecto de los costos programados en los PP e IEEPR versus los costos ejecutados

Información e informes sobre la estimación de curvas de rendimiento

Información e informes sobre la descomposición factorial

b. Durante la gestión presupuestaria ex-dure o del año en curso (n), es decir al momento de la fase de ejecución, con:

Información e informes de alertas tempranas de los indicadores de producción física e indicadores de ejecución financiera

Información e informes sobre el tablero de control

c. Durante la gestión presupuestaria ex-post o del año siguiente (n+1), es decir al momento de la fase de evaluación y control, con:

Información e informes de seguimiento de indicadores de desempeño

Información e informes sobre la medición de desviaciones respecto de los costos programados en los PP e IEEPR versus los costos ejecutados

Información e informes sobre la estimación de curvas de rendimiento

Información e informes sobre la descomposición factorial

3. En la fase de formulación, la información sobre desempeño, sobre costos, sobre curvas de rendimiento y sobre descomposición factorial se incorporará a las negociaciones entre la DIGEPRES y los Ministerios del gasto; en la aprobación, la información sobre desempeño y costos será suministrada al Poder Legislativo en forma accesible, en tanto que durante la ejecución los gestores de los programas presupuestarios generarán y sistematizarán información actualizada sobre las alertas tempranas de los indicadores de producción física e indicadores de ejecución financiera, para medir sus avances en el cumplimiento de los compromisos físicos y financieros asumidos en el presupuesto. Por último, en la etapa de evaluación se contará con evidencia sobre los desempeños, resultados que deben ser equivalentes en calidad y oportunidad a la ejecución financiera de los presupuestos.

d. Quién debe seguir?

Con relación a quien debe seguir los programas presupuestarios, es decir el responsable institucional del seguimiento del desempeño presupuestario en República Dominicana, varias orientaciones o directrices son centrales:

1. El principal responsable del seguimiento del desempeño presupuestario es su órgano rector (DIGEPRES), siendo su tarea esencial, durante la ejecución, la observación comparada de los recursos asignados y objetivos planteados versus los recursos gastados y objetivos logrados, que realizan cotidianamente durante el ciclo presupuestario las entidades del sector público dominicano, para optimizar la asignación y reasignación de recursos. Asimismo, como ya se indicó, durante la formulación y la evaluación los instrumentos del seguimiento le proveen de información muy valiosa para


esas fases claves del ciclo presupuestario, donde la DIGEPRES cumple un rol protagónico. Para ello dispondrá en su Dirección de Evaluación y Calidad del Gasto Público de un equipo de técnicos especializados en el seguimiento del desempeño presupuestario.

2. El personal especializado permanente de la Dirección de Evaluación recibirá

capacitación previa suficiente en seguimiento del desempeño presupuestario con los diversos instrumentos y capacitará a otros funcionarios de la propia DIGEPRES y de la administración pública dominicana

3. Para que el seguimiento de programas presupuestarios quede efectivamente institucionalizado en la DIGEPRES, se deben cumplir varios requisitos:

a. Estar regulado mediante instrumentos legales (normativa aprobada). b. Establecido con carácter obligatorio, evitando así la discrecionalidad en la decisión

de seguir o no (incentivos y sanciones vigentes). c. Aplicable a todo el sector público, no solo a sectores que tradicionalmente han sido

objeto de seguimiento (plan de expansión progresiva) d. Ser sistemático, de acuerdo a los instrumentos anteriormente establecidos,

evitando responder a demandas específicas y puntuales (aplicación efectiva de instrumentos de seguimiento).

e. Ser riguroso, desarrollado por personal técnico cualificado (equipo de DIGEPRES capacitado y funcionarios de las entidades).

f. Ser permanente, desvinculado del ciclo electoral (cumplir periodicidad definida). g. Estar integrado en el ciclo presupuestario como una fase más (usado en la

ejecución y para la formulación). h. Ser utilizado como mecanismo de retroalimentación en las decisiones

presupuestarias (compromisos de mejora en desempeño firmados).

4. Los otros responsables claves del seguimiento del desempeño presupuestario son las propias autoridades y funcionarios de las instituciones públicas que manejan y ejecutan cotidianamente los programas presupuestarios, al permitirles un auto seguimiento conociendo, durante la ejecución, si están contribuyendo al logro de los objetivos y metas fijados por el proceso político y la posibilidad de introducir correctivos. Durante la formulación y evaluación también los instrumentos del seguimiento les proveen de información muy valiosa, pues el verdadero desempeño de las políticas públicas en términos de la satisfacción de las necesidades de la comunidad lo determinan los Ministerios y organismos que ejecutan los programas públicos.

5. El MEPYD constituye otro actor relevante, durante la formulación, ejecución y evaluación,

al ser el órgano rector de la planificación y la Secretaria Técnica de la Comisión Nacional de Monitoreo y Evaluación, responsable del Sistema Nacional de Monitoreo y Evaluación, establecido por la Ley No1-12 y reglamentada por los Decretos No 134-14 y No 265-15, y particularmente de su Subsistema Nacional de Monitoreo (SSNM), que deberá tomar la información del seguimiento presupuestario como insumo clave para cumplir con su responsabilidad de monitorear políticas, programas y proyectos de inversión pública, siendo altamente recomendable que todos los productos estén en una sola base de datos, integrando la producción física en esa única base de datos.

6. Otros actores destacados son las entidades de fiscalización como la Cámara de Diputados

y el Senado Dominicano (rol destacado durante la discusión y aprobación), y las de control externo e interno como la Contraloría y la Cámara de Cuentas (rol destacado durante la


evaluación), dado que el seguimiento del desempeño presupuestario también es un instrumento de gestión para la fiscalización y el control interno y externo.

7. Finalmente, los actores últimos del seguimiento del desempeño presupuestario, pero

quizá los más importantes para mejorar la calidad del gasto, constituyen los ciudadanos, al convertirse el SEDP en el insumo básico para que ellos puedan ejercer sus tareas de vigilancia y control social de los resultados logrados por los programas presupuestarios que ejecutan las instituciones públicas dominicanas, y la exigibilidad de la rendición de cuentas respectiva hacia las autoridades y el Gobierno sobre esos resultados.

8. La DIGEPRES desarrollará un aplicativo donde la ciudadanía pueda consultar la información y los informes (versiones no técnicas), sobre el seguimiento del desempeño presupuestario.


ORIENTACIONES Y DIRECTRICES PARA LA EVALUACIÓN

Más allá del seguimiento, resulta fundamental que la DIGEPRES se preocupe por las relaciones de causalidad entre los recursos, los productos, los resultados y los impactos tanto de los PP como de las IEEPR, para lo cual la implementación de procesos internos y externalizados de métodos de evaluación de diseño, de implementación y de impacto, resulta esencial. Si no se evalúa el trabajo que realizan las entidades del sector público dominicano mediante los programas presupuestarios que manejan con relación a las metas e indicadores, puede ser que se continúen empleando métodos y recursos sin que estos den frutos y sin que se produzcan cambios en las situaciones que se habían identificado como problema, es decir sin que se genere valor público necesario, incidiendo en el bajo desempeño y calidad del gasto público dominicano y, por esa vía, en el deterioro de la gobernabilidad democrática. Pero no solamente para la DIGEPRES resulta vital el establecimiento de sistemas de evaluación de los programas presupuestarios sino para las propias entidades ejecutoras de políticas, programas y proyectos, así como para las entidades rectoras de planificación o la misma Presidencia de la República (centro de gobierno), a fin de conocer en qué medida la problemática social de los dominicanos está siendo efectiva y eficazmente enfrentada con las acciones gubernamentales, pues entre la necesidad, la demanda y la oferta de bienes y servicios públicos pueden darse apropiados encuentros o grandes desencuentros, como se presenta en el diagrama siguiente, que recoge la gama de posibilidades existentes (ver ilustración 23).

Ilustración 23: Necesidad, demanda y oferta de servicios

Fuente: Tomado de: Guía práctica 2 Evaluación de necesidades sociales, IVALUA, 2009

Aquello demanda el establecimiento en República Dominicana de un gran sistema de evaluación de políticas públicas coordinado por MEPYD y la participación de otras instituciones, donde la evaluación de los programas presupuestarios es solo un componente bajo la responsabilidad de DIGEPRES y forme parte habitual del ciclo de vida de las políticas, programas y proyectos públicos, se lleve a cabo de forma sistemática y metodológicamente rigurosa, sus resultados sean utilizados por parte de decisores políticos y de gestores a cargo de las intervenciones, y


sus resultados sean accesibles a la ciudadanía. Las mejores prácticas internacionales muestran que el desarrollo exitoso de sistemas de evaluación comporta no tanto un cambio técnico o un cambio institucional, implica, ante todo, un cambio cultural, y especialmente la voluntad política de impulsar una reflexión rigurosa sobre qué constituye el interés general y cuáles son las políticas que mejor lo sirven. En ese contexto, la definición del contenido y alcance puntual del sistema de evaluación de los programas presupuestarios o del desempeño presupuestario dominicano requiere adoptar cuatro orientaciones-directrices esenciales:

i) el objeto de la evaluación, es decir, precisar claramente que se debe evaluar, ii) el método preciso de cómo hacer la evaluación, acompañado del diseño de sus

respectivos instrumentos, procedimientos y técnicas, iii) la adecuada temporalidad para realizarlas-aplicarlas, puntualizando cada cuanto

tiempo se las debe realizar, y iv) la designación de quien debe realizarla o el sujeto de la evaluación, con sus

mecanismos para la retroalimentación de la información y la difusión pública de los resultados de la evaluación.

A continuación se propone una direccionalidad específica del contenido de cada una de estas cuatro orientaciones-directrices claves para la evaluación del desempeño presupuestario.

a. Qué evaluar?

En materia de qué evaluar, tres orientaciones o directrices son centrales:

1. El objeto central de la evaluación es la acción pública financiada a través del presupuesto y concretamente se toma a los programas presupuestarios como unidad de evaluación, que son de dos tipos: a. Programas Presupuestarios (PP), donde la unidad de programación es un

producto terminal o bien y servicio institucional, (Boeykens 2015); y, b. Iniciativas Estratégicas Específicas Plurianuales orientadas a Resultados

(IEEPR), donde la unidad de programación es una prioridad o un problema público específico considerando las diversas acciones que las distintas instituciones públicas conjuntamente deberán realizar para conseguir un determinado resultado esperado (Shack 2015). La realización de las evaluaciones de instituciones y de políticas son responsabilidad del MAP y del MEPYD, en el marco del Sistema Nacional de Monitoreo y Evaluación.

2. La evaluación de esos programas presupuestarios se sustenta en estudios,

exámenes, auditorías o revisiones técnicas, que a partir de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir juicios sobre aspectos concretos de los programas presupuestarios.

3. El alcance de la evaluación del desempeño de los programas presupuestarios al

interior de los ámbitos de control de la cadena de valor de un PP o de una IEEPR es explorar las relaciones de causalidad dentro de los tres eslabones de la cadena de valor (insumos-productos, productos-resultados y resultados-impactos) y resolver el problema de la atribución tanto en el resultado como en el impacto, incorporando un conjunto de indicadores para la evaluación del desempeño: pertinencia, efectividad, equidad, sostenibilidad y capacidad. Por tanto, la evaluación de los


programas presupuestarios abarca la totalidad de la cadena de valor, incluido su impacto.

b. Cómo evaluar?

En cuanto al método o técnica a utilizar para la evaluación de los programas presupuestarios, varias orientaciones o directrices son claves:

1. La evaluación asume un método analítico complejo que, alimentándose de la información del seguimiento, busca evaluar a profundidad el nivel de desempeño, investigando el porqué de ése desempeño (más que un control y monitoreo del mismo, propio del seguimiento), determinando, bajo diversos instrumentos y procedimientos cuantitativos y cualitativos, las relaciones de causalidad entre los recursos, los productos, los resultados y los impactos tanto de los PP como de las IEEPR y recoger sus buenas prácticas y lecciones aprendidas que permitan mejorar su diseño estructural de futuros desempeños.

2. Los ámbitos a evaluar en cada programa presupuestario son esencialmente tres (ver

ilustración 24, con el caso del PAI): a. el diseño, centrado en revisar la consistencia entre niveles de objetivos y diseño

de componentes, es decir de las hipótesis de política establecidas entre los distintos eslabones de la cadena de valor, bajo el enfoque de marco lógico.

b. el desempeño, que se centra en los logros y el uso de recursos para alcanzarlos, y

c. el impacto, que analiza si el programa produjo los efectos deseados en los beneficiarios, si los cambios observados son efecto del programa (causalidad) y la manera de mejorar el programa para maximizar sus beneficios (BID 2015).

Ilustración 24: Ámbitos de la evaluación de programas presupuestarios

Fuente: Elaboración propia, adaptado de IVALUA

3. Las opciones metodológicas a usar, dependiendo del propósito de la evaluación y

combinando técnicas cualitativas y cuantitativas, son:


a. evaluaciones de escritorio o evaluaciones rápidas, que se utilizan cuando el objeto es conocer en un tiempo relativamente corto la situación en que se encuentra un programa, a fin de evaluar la solidez de su diseño y su consistencia interna en base a información ya existente, usando para ello básicamente el esquema del marco lógico.

b. evaluaciones basadas en la teoría, son investigaciones que a partir de la identificación de los factores determinantes de éxito y sus interrelaciones obtenidos de la literatura y/u opiniones de expertos, buscan conocer cuál de estos realmente funciona y por qué lo hace en el caso de un programa específico, analizando el diseño del programa respecto de sus componentes (productos- acciones) y el desempeño.

c. evaluaciones de impacto, se efectúan cuando la demanda de información de desempeño son los logros finales de la entrega de un bien o servicio; cuando se está dispuesto a esperar un tiempo más largo para conocer los hallazgos, debido a una mayor duración de las aplicaciones metodológicas y cuando se está dispuesto a utilizar más recursos en una evaluación. Se centran en la dimensión de eficacia en el último eslabón de la cadena de generación de valor, es decir, los impactos (BID 2015).

4. El procedimiento a aplicar o el ciclo de la evaluación tiene al menos cinco fases

esenciales, con diferentes responsables y diversas actividades a desarrollar en cada una de ellas (ver ilustración 25) que pueden aplicarse a cualquier programa presupuestario a evaluar, como el caso del PAI:

a. Fase 1: Selección del programa presupuestario a evaluar de responsabilidad de

DIGEPRES y el Consejo de Ministros, en base a áreas programáticas prioritarias, recursos financieros involucrados, carácter estratégico y/o innovador, grado de maduración, etc. La DIGEPRES propone el Programa Plurianual de Evaluaciones al Consejo de Ministros para su autorización dado sus roles: define techos presupuestarios, la priorización de recursos y por ende que programas presupuestarios a evaluar, con las siguientes actividades:

i. Identificar las necesidades plurianuales de evaluación ii. Definir el Programa Plurianual de Evaluaciones iii. Convocar al Comité de Evaluación iv. Presentación y aprobación vía Consejo de Ministros

b. Fase 2: Diseño de la evaluación, de responsabilidad de DIGEPRES a fin de

conocer los aspectos claves de la intervención, la diversidad de servicios y sus territorios y la multiplicidad de actores que intervienen, con las siguientes actividades:

i. Cadena de valor del programa presupuestario ii. Hipótesis a probar iii. Alcance de la evaluación iv. Metodología a utilizar v. Costeo del trabajo vi. Perfil del Equipo Consultor que evaluara vii. Cronograma tentativo

c. Fase 3: Contratación de la evaluación, de responsabilidad de DIGEPRES,

mediante los procedimientos que establece la norma respectiva para garantizar el


mejor equipo técnico de consultores externos posible que lleve adelante la evaluación de manera eficaz, con las siguientes actividades:

i. Conformación del Comité de Selección ii. Elaborar los términos de referencia iii. Apertura del proceso de selección iv. Evaluación de propuestas técnicas v. Negociación y Contratación

d. Fase 4: Ejecución de la evaluación, de responsabilidad de DIGEPRES, los

Consultores seleccionados y las instituciones evaluadas, discerniendo sobre abordaje descriptivo vs evaluativo, análisis interdisciplinario, acompañamiento activo de DIGEPRES, análisis simultáneo de las tres dimensiones: diseño, desempeño e impacto (DDI) en el tiempo, con las siguientes actividades:

i. Metodología a usar ii. Diagnóstico del programa iii. Diseño de los instrumentos a utilizar iv. Levantamiento de información requerida v. Análisis de datos e información (cuantitativos y cualitativos) vi. Comprobación de hipótesis (eslabón insumos-productos, eslabón

productos-resultados y eslabón resultados impactos) vii. Recomendaciones y conclusiones

e. Fase 5: Uso de los resultados, de responsabilidad de DIGEPRES y las

instituciones evaluadas para garantizar que las recomendaciones y conclusiones sean efectivamente incorporadas en la toma de decisiones presupuestarias de los programas presupuestarios evaluados, con las siguientes actividades:

i. Análisis de las diversas recomendaciones ii. Plan de acción para ajustes en el programa iii. Formalización de compromisos de Mejora en Desempeño iv. Seguimiento de compromisos de Mejora en Desempeño v. Retroalimentación para la formulación y difusión y conocimiento publico

Ilustración 25: Fases de la Evaluación


5. Las tareas de evaluación contemplan una separación razonable entre el proceso de evaluación y gestión del área evaluada, bajo distintas modalidades: especialistas en evaluación de la propia institución, evaluaciones de pares y evaluaciones externas a través de consultores individuales, paneles de expertos, universidades, empresas consultoras u organismos de asistencia técnica. Con esta estrategia se trata de aprovechar de la experiencia acumulada, incorporar capacidad de trabajo adicional y minimizar conflictos de interés.

En el recuadro 2 se recogen algunas experiencias internacionales exitosas de evaluación del desempeño que ameritan ser tomadas en cuenta, en tanto mejores prácticas de la región. RECUADRO 2

Experiencia internacionales exitosas de evaluación del desempeño Chile

La evaluación al desempeño constituye estudios y por consiguiente, es más comprensiva que una simple medición, aunque incluye a los indicadores de desempeño. Para ello, incorporó distintos instrumentos de evaluación, desarrollados gradualmente: i) la evaluación de programas gubernamentales (EPG), llamadas “evaluación de escritorio” (1997); ii) los documentos de cuenta pública denominados Balance de Gestión Integral -BGI- (1998); iii) las definiciones estratégicas presentadas por cada institución en el Presupuesto, junto a sus indicadores de desempeño y metas; iv) la presentación de programas nuevos al Presupuesto en formato estándar (2000); y, v) las evaluaciones de impacto -EI- de programas (2001) y la evaluación comprehensiva del gasto -ECG- de instituciones (2002). Particularmente, las ECG son evaluaciones que analizan la eficiencia y eficacia de los recursos, al mirar la consistencia estratégica entre los objetivos institucionales y sectoriales de las entidades encargadas de las políticas, el diseño institucional (estructura institucional y la distribución de funciones entre las distintas unidades de trabajo), los procesos productivos y de gestión, el uso de recursos financieros y los resultados en la provisión de bienes y servicios. Para ello, entre otra, utiliza información de los indicadores que dan cuenta del desempeño en la provisión de los bienes y servicios identificados, en sus diferentes dimensiones (eficacia, calidad, eficiencia y economía) y ámbitos de control (proceso, producto y resultado).Posteriormente, la necesidad de las evaluaciones de impacto de programas -EI- provino de la carencia de información confiable sobre resultados finales o impactos sobre los beneficiarios de los programas y proyectos públicos chilenos, agregando un módulo de medición del impacto sobre los beneficiarios, lo que implicó realizar trabajos en terreno (encuestas a beneficiarios y no beneficiarios). Estos trabajos en terreno fueron necesarios para construir la información que permite evaluar resultados intermedios y finales, utilizando metodologías cuasi-experimentales, construyendo grupos de control y líneas de base. El foco principal de una evaluación de impacto o resultados finales consistió en separar de los beneficios observados, todos aquellos efectos sobre la población beneficiaria derivados de factores externos al programa y que de todas maneras hubiesen ocurrido sin la ejecución de éste, como consecuencia de la evolución normal de las condiciones del entorno o de la acción de otros programas públicos o privados. Dependiendo de los ámbitos a evaluar, el impacto se definió como Evaluaciones en Profundidad o Módulo de Evaluación de Impacto. En las Evaluaciones en Profundidad se integró la evaluación de los resultados de corto, mediano y largo plazo de los programas (eficacia), la eficiencia y economía en el uso de los recursos, y los aspectos relativos a la gestión de los procesos internos de los programas. El Módulo de Impacto evaluó la eficacia de un programa y los principales aspectos de eficiencia y uso de recursos. Perú

El Sistema de Evaluaciones Independientes es el instrumento empleado por el MEF-DGPP para la evaluación al desempeño y disponer de análisis, información y explicaciones creíbles y útiles sobre el por qué los objetivos o efectos se están logrando o no, los cambios que han producido en los beneficiarios y el desempeño logrado por los programas presupuestales, utilizando sus conclusiones y recomendaciones para justificar la toma de decisiones en materia presupuestal. Este sistema tiene dos herramientas básicas: i) la Evaluación de Diseño y Ejecución Presupuestal (EDEP), y ii) la Evaluación de Impacto de Presupuesto (EIP). La EDEP utiliza la metodología de marco lógico, mediante la cual se organiza el Presupuesto Evaluado (PEV) en actividades, productos o componentes, resultados específicos o propósito y resultados finales o fin, enfocándose primero en identificar los objetivos de las actividades o proyectos considerados dentro del PEV, para luego determinar la consistencia de su diseño y resultados con dichos objetivos, sobre la base principalmente de antecedentes e información existentes. Los ámbitos de la EDEP, generalmente tratan sobre la justificación del PEV; el diseño; los principales aspectos de organización y gestión; y los resultados o desempeño en términos de eficacia, eficiencia y calidad. La evaluación incluye conclusiones y recomendaciones orientadas a mejorar el desempeño del PEV. De su parte la EIP, también utiliza la metodología de marco lógico, pero en este caso aplica


instrumentos de recolección de información primaria y trabajo de campo, de ser necesarios, y utiliza modelos analíticos pertinentes para determinar si los resultados a nivel de propósito y/o fin (resultados específicos y/o finales) son atribuibles al PEV. Los ámbitos de la EIP son similares de los de la EDEP incluyendo especialmente el análisis del impacto global del PEV. Asimismo se incluyen conclusiones y recomendaciones orientadas a mejorar el desempeño del PEV. La operación de estas herramientas de evaluación conlleva esencialmente cuatro fases: i) preparación de la evaluación, que involucra los procedimientos relacionados con la selección de los evaluadores, la compilación de información sobre el PEV y la capacitación de los evaluadores; ii) conducción de la evaluación, que involucra los procedimientos relacionados con el desarrollo de la evaluación propiamente dicha y con la publicación de sus resultados; iii) definición de Compromisos de Mejora en Desempeño en eficacia, eficiencia y calidad, que involucra los procedimientos relacionados con la formalización de compromisos entre las Unidades Responsables de la Ejecución del PEV y la DGPP de Mejora en Desempeño en eficacia, eficiencia y calidad; y, iv) seguimiento de Compromisos de Mejora en Desempeño en eficacia, eficiencia y calidad, que involucra los procedimientos relacionados con el seguimiento del cumplimiento de los compromisos asumidos. La DGGP, la Unidad responsable de ejecución y los evaluadores independientes constituyen los actores claves de este proceso. México

Para garantizar la evaluación al desempeño y retroalimentar el SED, México aplica evaluaciones de tres tipos: i) Evaluación de Programas Presupuestarios (Pp), que se aplican a cada programa; ii) Evaluaciones estratégicas, que se aplican a un programa o un conjunto de programas en torno a las estrategias, políticas e instituciones; y, iii) Evaluaciones complementarias que atienden aspectos relevantes a iniciativa de las entidades. A su vez, las evaluaciones de Programas Presupuestales son de cinco distintos tipos: 1) Evaluación de consistencia y resultado, que analizan sistemáticamente el diseño y desempeño global de los programas para mejorar su gestión y medir el logro de sus resultados, con base en la matriz de indicadores; 2) Evaluación de indicadores, que analiza mediante trabajo de campo la pertinencia y alcance de los indicadores de un programa para el logro de resultados; 3) Evaluación de procesos, que analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye a la mejora de la gestión; 4) Evaluación de Impacto, que identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa presupuestario; y 5) Evaluación Especifica, aquellas evaluaciones no contempladas en los anteriores tipos y que se llevan a cabo mediante trabajo de gabinete y/o de campo. De otro lado, las evaluaciones de impacto del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), en programas sociales permitieron medir, mediante el uso de metodologías rigurosas, los efectos que un programa tuvo sobre su población beneficiaria y conocer si dichos efectos fueron en realidad atribuibles a su intervención. El principal reto de una evaluación de impacto fue determinar qué habría pasado con los beneficiarios si el programa no hubiera existido. La evaluación de impacto fue un instrumento que contribuyó por tanto a la toma de decisiones y a la rendición de cuentas, es decir, aportó información tanto para actores a nivel gerencial, como para los ciudadanos sobre la efectividad de los programas sociales a los cuales se destina un presupuesto público. En general, este tipo de evaluación demandó un mayor tiempo y costo en su desarrollo, con respecto a los otros tipos de evaluaciones. Es decir, en el marco de los componentes e instrumentos del SED, el CONEVAL desarrolló un sistema de evaluación del desempeño para la política de desarrollo social.

c. Cuándo evaluar?

Respecto a cuándo evaluar, es decir a la temporalidad o periodicidad específica de cada evaluación, varias orientaciones o directrices son claves:

1. La elaboración, aprobación y adopción de un Programa Plurianual de Evaluaciones debidamente financiado que contenga la propuesta de un listado de diferentes programas presupuestarios a ser evaluados en el tiempo (próximos tres años) en el marco del SEDP, como resultado de un proceso analítico del rol y desempeño que han tenido esos programas, considerando los siguientes aspectos:

a. Definición de programas que van a ser evaluados, conforme a criterios de selección anteriormente indicados,

b. Marco temporal de las evaluaciones, determinando los programas que se van a evaluar en el ejercicio presupuestario (corto plazo), así como la previsión de las que se van a efectuar en el medio y largo plazo.


c. Alcance y tipo de evaluación de cada programa. d. Metodología a emplear en cada evaluación en función de su alcance,

disponibilidad de datos necesarios y costo e. Decisión sobre si la evaluación será externa o interna en función de capacidades

y costo f. Datos necesarios para la evaluación y método de obtención (registros

administrativos, datos estadísticos, encuestas) g. Estimación del costo de cada evaluación h. Presupuesto total del Plan Plurianual de Evaluaciones y su financiamiento

2. Los informes de evaluación apoyaran la toma de decisiones presupuestarias en distintos

momentos del ciclo presupuestario siendo particularmente destacada durante dos de los momentos claves de la gestión presupuestaria y de dos fases del ciclo presupuestario: la gestión presupuestaria ex-ante o del año anterior (n-1), es decir al momento de las fases de formulación y aprobación; y, la gestión presupuestaria ex-post o del año siguiente (n+1), es decir al momento de la fase de evaluación y control, proporcionando valiosos insumos.

d. Quién debe evaluar?

Con relación a quien debe evaluar los programas presupuestarios, es decir, el responsable institucional de la evaluación del desempeño presupuestario en República Dominicana, varias orientaciones o directrices son centrales:

1. El principal responsable de la evaluación del desempeño presupuestario es su órgano rector (DIGEPRES), siendo su tarea esencial optimizar la asignación y reasignación de recursos. Para ello dispondrá en su Dirección de Evaluación y Calidad del Gasto Público de un equipo altamente especializado en el diseño, desarrollo y socialización de evaluaciones y avalará la creación de otros equipos especializados en evaluaciones según se considere y se soporte metodológicamente, debiendo mantener la consistencia metodológica y operativa. El hecho de que DIGEPRES tenga atribuida la competencia en materia de evaluación de programas presupuestarios, como se vio, no significa que las evaluaciones sean llevadas a cabo exclusivamente por su personal técnico.

2. El personal especializado permanente de la Dirección de Evaluación recibirá

capacitación previa suficiente, capacitará a otros funcionarios de la administración pública dominicana y deberá estar integrado por un equipo multidisciplinario:

a. Personal con formación y experiencia en estadística b. Personal con formación y experiencia en programación y tratamiento de datos c. Personal con formación en economía d. Personal con formación en legislación e. Sectorialistas especialistas eventuales en temas específicos de la evaluación

3. Para que la evaluación de programas presupuestarios quede efectivamente

institucionalizada en la DIGEPRES, se deben cumplir varios requisitos: a. Estar regulada mediante instrumentos legales (normativa aprobada). b. Establecida con carácter obligatorio, evitando así la discrecionalidad en la decisión

de evaluar o no (incentivos y sanciones vigentes). c. Aplicable a todo el sector público, no solo a sectores que tradicionalmente han sido

objeto de evaluación (plan de expansión progresiva)


d. Ser sistemática, de acuerdo a los criterios anteriormente establecidos, evitando responder a demandas específicas y puntuales (aplicar ciclo de evaluación).

e. Ser planificada, y por tanto programada y dotada de su propio presupuesto (plan anual de evaluaciones aprobado).

f. Ser rigurosa, desarrollada por personal técnico cualificado (equipo de DIGEPRES capacitado y consultores especializados).

g. Ser permanente, desvinculada del ciclo electoral (cumplir calendario aprobado). h. Estar integrada en el ciclo presupuestario como una fase más (usada para la

formulación). i. Ser utilizada como mecanismo de retroalimentación en las decisiones

presupuestarias (compromisos de mejora en desempeño firmados).

4. La elaboración de los términos de referencia de las evaluaciones resulta una tarea estratégica de la Dirección de Calidad y debe tener una estructura básica, que para el caso de la evaluación de diseño y desempeño del PAI podría ser del siguiente tipo:

a. Objetivo general del PAI b. Temas de evaluación

i. Diseño del PAI, con los siguientes elementos: i) características del programa, ii) análisis de la contribución del programa a los objetivos estratégicos de la dependencia y/o entidad, así como a los objetivos nacionales, iii) evaluación y análisis de la matriz de indicadores, iv) Población potencial y objetivo, v) análisis de la vinculación de la normatividad aplicable con los objetivos del programa, y vi) posibles coincidencias, complementariedades o duplicidades de acciones con otros programas

ii. Planeación Estratégica en el PAI, con los siguientes elementos: i) los mecanismos y herramientas de planeación estratégica y ii) de la orientación para resultados

iii. Cobertura y Focalización del PAI, con los siguientes elementos: i) análisis de cobertura y ii) análisis de focalización

iv. Operación del PAI, con los siguientes elementos: i) análisis de la normatividad aplicable, ii) mejora y simplificación regulatoria, iii) organización y gestión, iv) administración financiera, v) eficacia, eficiencia, economía operativa del programa, vi) sistematización de la información, vii) cumplimiento y avance en los indicadores de gestión y productos y viii) rendición de cuentas y transparencia

v. Percepción de la Población Objetivo sobre el PAI, con los siguientes elementos: i) instrumentos que le permitan medir el grado de satisfacción de los beneficiarios del programa

vi. Resultados del PAI, con los siguientes elementos: i) instrumentos que le permitan medir si ha cumplido con sus objetivos a nivel productos y resultados, analizando si existe evidencia documentada de que el programa ha logrado mejorar o resolver el problema para el cual fue creado

c. Fortalezas, retos y recomendaciones d. Conclusiones e. Perfil y equipo clave de la institución evaluadora f. Responsabilidades y compromisos g. Productos y plazos de entrega

5. Los otros responsables claves de la evaluación del desempeño presupuestario son las

propias autoridades y funcionarios de las instituciones públicas que manejan y


ejecutan cotidianamente los programas presupuestarios, pues sin su decidida y activa colaboración y participación será muy difícil llevar adelante con éxito las evaluaciones, e inclusive podrán tener unidades especializadas de evaluación en sus instituciones.

6. El MEPYD constituye otro actor relevante durante la evaluación, al ser el órgano rector

de la planificación y la Secretaria Técnica de la Comisión Nacional de Monitoreo y Evaluación, responsable del Sistema Nacional de Monitoreo y Evaluación, establecido por la Ley No1-12 y reglamentada por los Decretos No 134-14 y No 265-15, y particularmente de su Subsistema Nacional de Evaluación (SSNE), que deberá tomar las evaluaciones de los programas presupuestario como insumo clave para cumplir con su responsabilidad de evaluar políticas, programas y proyectos de inversión pública, siendo muy importante la coordinación institucional.

7. Otros actores destacados son las entidades de fiscalización como la Cámara de Diputados

y el Senado Dominicano (rol destacado durante la discusión y aprobación), y las de control externo e interno como la Contraloría y la Cámara de Cuentas (rol destacado durante la evaluación), dado que la evaluación del desempeño presupuestario también es un instrumento de gestión para la fiscalización y el control interno y externo.

8. Finalmente, los actores últimos de la evaluación del desempeño presupuestario, pero

quizá los más importantes para mejorar la calidad del gasto, constituyen los ciudadanos, al convertirse el SEDP en el insumo básico para que ellos puedan ejercer sus tareas de vigilancia y control social de los resultados logrados por los programas presupuestarios que ejecutan las instituciones públicas dominicanas, y la exigibilidad de la rendición de cuentas respectiva hacia las autoridades y el Gobierno sobre esos resultados.

9. La DIGEPRES desarrollara un aplicativo donde la ciudadanía pueda consultar la información y los informes (versiones no técnicas), sobre las evaluaciones del desempeño presupuestario.

En resumen, resulta altamente recomendable adoptar una combinación de metodologías, focos y coberturas de evaluación ajustada y acotada a las necesidades y posibilidades reales que enfrenta República Dominicana. Cuando se está en la etapa de introducción inicial de evaluaciones y el país presenta experiencias y competencias técnicas escasas como es el caso de República Dominicana, es muy recomendable recurrir a un objeto de evaluación y focos acotados y a una metodología simple como las evaluaciones de escritorio, con el objeto de recoger información, que aunque simple y en muchos casos incompleta, permite adquirir conocimientos útiles sobre un programa. Tal estrategia permite a los evaluadores y evaluados como contrapartes técnicas obtener aprendizajes que harán posible transitar hacia evaluaciones de conjuntos de programas, organizaciones o políticas, y paralelamente aplicar desde una evaluación de escritorio sobre la base de información disponible hasta una rigurosa evaluación de impacto y uso de recursos. De otro lado, la disponibilidad de información es central en los procesos de evaluación, pues cualquiera sea la metodología utilizada, esta va a requerir información que si no está disponible, limitará la viabilidad o resultados de la evaluación, por lo que, además de la calidad metodológica y los recursos asignados, el alcance efectivo de la evaluación está determinado por la información disponible. Finalmente, generar una cultura política, social y administrativa fértil para la evaluación del desempeño en República Dominicana requerirá invertir tiempo y recursos en sensibilizar, en explicar, en formar a una multiplicidad de actores -no sólo élites políticas, también funcionarios públicos, miembros de entidades sociales, etc.- sobre qué es la evaluación del desempeño y por


qué es interesante adoptarla. Esas actuaciones de sensibilización y de formación introductoria ayudarán a compartir una misma forma de entender qué es la evaluación del desempeño.


PROCEDIMIENTO GENERAL REVISADO

A fin de proporcionar insumos para facilitar el proceso de comprensión del modelo conceptual y así disponer de información adecuada que permita modelar funcionalmente el NSPD, a continuación se presenta un conjunto de acciones –procedimientos- que se requieren desarrollar para la implantación de la metodología de seguimiento y evaluación del desempeño presupuestario, abordando separadamente los procedimientos para el seguimiento y para la evaluación.

a. Procedimiento para el seguimiento

Como se señaló, el seguimiento físico y financiero se lo realizara al interior del propio sistema transaccional informático del SIGEF, gracias al desarrollo de una aplicación adhoc en donde las propias entidades ejecutoras alimentan, tanto en la formulación, como durante la ejecución, la información anual y trimestral de la producción física y de sus gastos efectuados asociados, calculando la aplicación, de manera automatizada, las brechas de cumplimiento y estableciendo el semáforo respectivos en base a valores de cumplimiento asignados, habilitando un campo para que las entidades expliquen las causas de las brechas producidas. Sobre la base de esa información las instituciones elaboraran un informe institucional trimestral y la DIGEPRES un informe trimestral consolidado. Como se vio, luego de la formulación y durante la ejecución se debe realizar el Seguimiento del Desempeño Presupuestario, a fin de establecer instrumentos de alerta temprana que permitan, durante el año, identificar y corregir las desviaciones que se producen en los indicadores de desempeño de los programas presupuestarios, mediante el sistema de seguimiento considerado por la Metodologia de Seguimiento y Evaluación del Desempeño Presupuestario. Basadas en los indicadores y metas definidos en la matriz lógica de IEEPR y en la matriz integradora de Programas Presupuestarios, durante la formulación las instituciones públicas programan con distinta periodicidad (mensual, bimensual, trimestral o semestral), los productos y resultados a alcanzar con los recursos asignados a sus respectivos programas presupuestarios y, durante la ejecución, registran lo verdaderamente realizado, proponiendo la Metodologia medir de manera automática las desviaciones producidas entre lo formulado y ejecutado, verificando por esa vía el grado de cumplimiento o consecución de dichos indicadores-metas, estableciendo semáforos o alertas, identificando las causas y proponiendo correctivo oportunos. La Metodologia propone entonces seguir el desempeño de los PP y de las IEEPR mediante el análisis de la desviación o variación de la ejecución respecto de la formulación para los eslabones de la cadena de valor público que subyace al PP e IEEPR, usando los indicadores de desempeño definidos y sus respectivas dimensiones (eficacia, eficiencia, economía, calidad), con énfasis en los indicadores de producción física e indicadores de ejecución financiera. Plantea verificar continuamente que una actividad o una secuencia de actividades transcurran como se había previsto, comprobando si se está manteniendo la ruta hacia el objetivo trazado, a manera de brújula. Para ello, la Metodologia propone los siguientes procesos con sus tareas. 1. Primer Proceso: el Seguimiento del Desempeño Presupuestario arranca con el

establecimiento de las alertas tempranas sobre los indicadores de producción física y financiera. Para ello, este proceso contempla quince tareas:


i. Sistematizar información sobre la Programación física de cada Programa Presupuestario (mensual, bimensual, trimestral, semestral, anual)

ii. Sistematizar información sobre su Programación financiera (mensual, bimensual, trimestral, semestral, anual)

iii. Sistematizar información sobre la Ejecución física de cada Programa Presupuestario (mensual, bimensual, trimestral, semestral, anual)

iv. Sistematizar información sobre su Ejecución financiera (mensual, bimensual, trimestral, semestral, anual)

v. Validar y consistenciar la información sobre las metas físicas reportadas por las instituciones utilizando nuevas herramientas (por ejemplo el costeo de la producción publica) y la interoperabilidad con otros sistemas (compras, recursos humanos, inversión, etc.) verificando por esa vía que las metas físicas declaradas son consistentes con los recursos financieros gastados efectivamente, y si no lo son en más de un 10%, ir a una modificación presupuestaria

vi. Establecer desviaciones entre la ejecución y la programación física (mensual, bimensual, trimestral, semestral, anual), si se produce

vii. Establecer desviaciones entre la ejecución y la programación financiera (mensual, bimensual, trimestral, semestral, anual), si se produce

viii. Determinar parámetros de semaforización para indicar el comportamiento del indicador físico (aceptable, verde; con riesgo, amarillo, crítico, rojo)

ix. Determinar parámetros de semaforización para indicar el comportamiento del indicador financiero (aceptable, verde; con riesgo, amarillo, crítico, rojo)

x. Determinar las causas de desviación del indicador físico, si se produce xi. Determinar las causas de desviación del indicador financiero, si se produce xii. Proponer correctivos a la desviación del indicador físico, si se produce xiii. Proponer correctivos a la desviación del indicador financiero, si se produce xiv. Elaborar informe institucional mensual/trimestral de seguimiento físico-financiero xv. Preparara un informe consolidado trimestral de seguimiento físico-financiero que abarque

al conjunto de instituciones 2. Segundo Proceso: Una vez establecidas las alertas tempranas físico-financieras la

Metodologia propone luego el seguimiento de los indicadores de desempeño. Para ello, este proceso contempla nueve tareas:

i. Sistematizar información sobre la Programación de los indicadores anuales de desempeño de cada Programa Presupuestario (de producto y resultado, con dimensiones de eficiencia, eficacia, calidad, economía)

ii. Sistematizar información sobre la Ejecución de sus indicadores anuales de desempeño (de producto y resultado, con dimensiones de eficiencia, eficacia, calidad, economía)

iii. Validar y consistenciar información sobre los indicadores anuales de desempeño reportados por las instituciones utilizando nuevas herramientas (por ejemplo el costeo de la producción publica) y la interoperabilidad con otros sistemas (compras, recursos humanos, inversión, etc.) verificando por esa vía que los indicadores anuales de desempeño declarados son consistentes con los recursos financieros gastados efectivamente

iv. Establecer desviaciones entre la ejecución y la programación de sus indicadores anuales de desempeño (de producto y resultado, con dimensiones de eficiencia, eficacia, calidad, economía), si se produce

v. Determinar parámetros de semaforización para indicar el comportamiento de los indicadores de desempeño (aceptable, verde; con riesgo, amarillo, crítico, rojo)


vi. Determinar las causas de desviación de los indicadores anuales de desempeño (de producto y resultado, con dimensiones de eficiencia, eficacia, calidad, economía), si se produce

vii. Proponer correctivos a la desviación de los indicadores anuales de desempeño (de producto y resultado, con dimensiones de eficiencia, eficacia, calidad, economía), si se produce

viii. Preparar informe institucional anual de desempeño que abarque el conjunto de sus programas presupuestarios, identificando las causas de las desviaciones y proponiendo correctivos y adopción de mejoras y

ix. Elaborar un informe consolidado anual de desempeño que abarque al conjunto de instituciones

3. Tercer Proceso: A la vez de medir los indicadores de desempeño, la Metodologia propone la

medición de desviaciones de los costos de producción de los programas presupuestarios. Para ello, este proceso contempla ocho tareas:

i. Sistematizar información sobre la Programación de los costos de producción anuales de cada Programa Presupuestario (costos totales, recursos humanos, servicios y materiales)

ii. Sistematizar información sobre la Ejecución de sus costos de producción anuales (costos totales, recursos humanos, servicios y materiales)

iii. Validar y consistenciar información sobre los costos anuales de producción reportados por las instituciones utilizando nuevas herramientas y la interoperabilidad con otros sistemas (compras, recursos humanos, inversión, etc.) verificando por esa vía que los costos anuales de producción declarados son consistentes con los recursos financieros gastados efectivamente

iv. Establecer desviaciones entre la ejecución y la programación de sus costos de producción anuales (costos totales, recursos humanos, servicios y materiales), si se produce

v. Determinar parámetros de semaforización para indicar el comportamiento de los costos de producción anuales (aceptable, verde; con riesgo, amarillo, crítico, rojo)

vi. Determinar las causas de desviación de los costos de producción anuales (costos totales, recursos humanos, servicios y materiales), si se produce

vii. Proponer correctivos a la desviación de los costos de producción anuales (costos totales, recursos humanos, servicios y materiales), si se produce

viii. Preparar informe institucional anual de costos de producción que abarque el conjunto de sus programas presupuestarios, identificando las causas de las desviaciones y proponiendo correctivos y adopción de mejoras y

ix. Elaborar un informe consolidado anual de costos de producción que abarque al conjunto de instituciones

4. Cuarto Proceso: Realizada la medición de desviaciones de los costos de producción, este

subproceso realiza la estimación de curvas de rendimiento (o Curvas “S”) del proceso productivo de cada programa presupuestario, a fin de conocer las desviaciones que puede sufrir una intervención programada, combinando el análisis en 3 dimensiones: costo (ejecución presupuestaria), tiempo (lapso para ejecutar la intervención) y alcance (meta física o valor a alcanzar del indicador programado). Para ello, este proceso contempla dos tareas:

i. Representar en forma gráfica la relación que existe, en una fecha determinada, entre las metas físicas alcanzadas de un producto determinado y el tiempo que falta para ejecutar todo su presupuesto anual asignado

ii. Determinar las desviaciones físicas y financieras que puede sufrir ese producto en el transcurso del año


5. Quinto Proceso: Realizada la estimación de curvas de rendimiento, en este subproceso se efectúa la aplicación de metodologías de descomposición factorial al ciclo de ejecución del gasto público, a fin de identificar los factores (y áreas o dependencias directamente vinculadas) que explican una menor o mayor ejecución a la prevista. Para ello, este proceso contempla dos tareas:

i. Descomponer el ratio de ejecución presupuestaria (lo devengado respecto a lo presupuestado) en un conjunto de otros ratios que reflejen el nivel de implicación de las distintas áreas de una organización (oficina de presupuesto, oficina legal, oficina de logística, área usuaria del servicio y otros)

ii. Relacionar los aspectos financieros y no financieros en el proceso de seguimiento presupuestario

6. Sexto Proceso: Una vez efectuados los cinco subprocesos anteriores, este subproceso

plantea el establecimiento de un tablero de control, sistematizando y sintetizando toda la información anterior para contar con una especie de Balance Score Card, con el fin de lograr aproximarse a un Índice de Desempeño General (IDG) de la Intervención en las distintas dimensiones y perspectivas. Para ello, este proceso contempla dos tareas:

i. Establecer algoritmos que sumen ponderadamente intra grupo e inter grupos de indicadores de desempeño, los valores meta alcanzados respecto de los programados

ii. Determinar umbrales que permita especificar situaciones críticas, aceptables y sobresalientes en cuando al desempeño de la intervención, a fin de tomar las medidas correspondientes

Establecidos los procesos y tareas del proceso de Seguimiento del Desempeño Presupuestario, en la siguiente ilustración se determinan las entradas y salidas de información requeridas, así como los responsables institucionales de los respectivos procesos. Ilustración 26: Entradas/salidas de inf. y responsables institucionales del Seguimiento

PROCESO ENTRADAS SALIDAS

ACTORES

RESPONSABLES

Establecimiento alertas tempranas físico financieras

Programación física y financiera

Desviaciones físico financieras, causas y

correctivos Informe mensual

Institucional Informe trimestral

consolidado

Institución, (Unidades de Planificación y Presupuesto, Unidad Ejecutora), MEPYD, DIGEPRES (Dirección de Evaluación y Calidad del

Gasto Publico, Áreas Sustantivas)

Ejecución física y financiera

Información validada sobre metas físicas reportadas

Parámetros de semaforización

Monitoreo Indicadores de Desempeño

Programación indicadores desempeño

Desviaciones indicadores desempeño, causas y

correctivos Informe Institucional anual Informe consolidado anual



Ejecución indicadores desempeño

Información validada sobre indicadores desempeño

reportados


Estimación de desviaciones de costos de producción

Programación de costos

Desviaciones costos, causas y correctivos

Informe Institucional anual Informe consolidado anual



Ejecución de costos

Información validada sobre costos reportados


Estimación de curvas de rendimiento

Representación gráfica de relación entre metas físicas alcanzadas y el tiempo que falta para ejecutar todo su

Temporalidad de las desviaciones físicas y

financieras determinada

DIGEPRES (Dirección de Evaluación y Calidad del



PROCESO ENTRADAS SALIDAS

ACTORES

RESPONSABLES

presupuesto anual (a una fecha determinada)

Descomposición factorial al ciclo de ejecución del gasto

Ratios reflejen el nivel de implicación de las distintas áreas de una organización (oficina de presupuesto, oficina legal, oficina de

logística, área usuaria del servicio y otros)

Factores establecidos de la ejecución presupuestaria



Índice de Desempeño General

Algoritmos intra grupo e inter grupos de indicadores

Balance Score Card



b. Procedimiento para la evaluación

En esta sección se describe el procedimiento general para las evaluaciones de programas presupuestarios, solamente complementando aquellas partes adicionales a lo descrito en la sección de la evaluación del desempeño y usando el formato establecido de identificar el paso a dar, la acción a desarrollar, el actor responsable y sus respectivas entradas y salidas. A diferencia del seguimiento físico y financiero que lo realizan las mismas instituciones ejecutoras con la ayuda de una aplicación adhoc al propio sistema transaccional informatizado SIGEF, la evaluación de programas presupuestarios la realizan en cambio técnicos externos e internos especialistas en el tema, con la ayuda de estudios y análisis cuantitativos y cualitativos muy sofisticados, por fuera del SIGEF. En este sentido el modelo de ejecución de las evaluaciones es un modelo mixto, en el que participa tanto el sector privado (firmas de consultoría y universidades) como el sector público (DIGEPRES, MEPYD, instituciones evaluadas), en el diseño y ejecución de las evaluaciones. El Sistema de Evaluación del Desempeño Presupuestario es visto entonces como el conjunto de actores, pasos y métodos requeridos para apoyar a la revisión sistemática de los programas presupuestarios contenidos en el PGE, el cual apoyado en la realización de evaluaciones a través de la asesoría experta, genera información que complemente la información producida por el Sistema de Seguimiento del Desempeño Presupuestario. El procedimiento general es el siguiente: Después de la ejecución y usando la información que arroja el seguimiento, se debe efectuar la Evaluación del Desempeño expost e independiente de los programas presupuestarios, a fin de determinar en qué medida la IEEPR o el PP produjo los efectos deseados sobre los beneficiarios, si los cambios observados en ellos son efectos del programa, aislando sus efectos propios (atribución), y como se puede mejorar el programa para maximizar sus beneficios mediante el sistema de evaluación considerado por la Metodologia de Seguimiento y Evaluación del Desempeño Presupuestario. La Metodologia propone, mediante el sistema de evaluación considerado, examinar el diseño y desempeño de los PP y de las IEEPR, evaluando en el tiempo las relaciones de causalidad e hipótesis de política adoptadas dentro de los tres eslabones de la cadena de valor (insumos-productos, productos-resultados y resultados-impactos) y resolver el problema de la atribución tanto en el resultado como en el impacto sobre la población, incorporando un conjunto de indicadores: pertinencia, efectividad, equidad, sostenibilidad y capacidad


Las evaluaciones constituyen estudios, exámenes o revisiones técnicas realizadas por especialistas independientes, que a partir de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir juicios sobre las relaciones de causalidad entre los recursos, los productos, los resultados y los impactos tanto de los PP como de las IEEPR, mediante procesos internos y externalizados de evaluación de diseño, de desempeño y de impacto (DDI), siendo una muy valiosa herramienta de aprendizaje y mejora continua. Para ello, la Metodologia propone los siguientes procesos con sus tareas. 1. Primer Proceso: la Evaluación del Desempeño de los programas presupuestarios arranca

con el subproceso de Selección del programa presupuestario institucional y/o la IEEPR transversal a evaluar a partir de proponer y aprobar un Programa Anual de Evaluaciones, en base a criterios como áreas programáticas prioritarias, recursos financieros involucrados, carácter estratégico y/o innovador, grado de maduración, etc. Para ello, este proceso contempla cuatro tareas:

i. Identificar las necesidades plurianuales de evaluación ii. Definir el Programa Anual de Evaluaciones (PAE) iii. Conformar y convocar al Comité de Evaluación para validar el PAE iv. Presentar y aprobar el PPE vía Consejo de Ministros

2. Segundo Proceso: Una vez aprobado el PAE, el segundo subproceso constituye el Diseño

de la evaluación, a fin de precisar y profundizar los aspectos claves de la intervención a evaluar, la diversidad de servicios y sus territorios y la multiplicidad de actores que intervienen. Para ello, este proceso contempla siete tareas: a. Analizar la cadena de valor del programa presupuestario b. Identificar las hipótesis a probar c. Definir el alcance de la evaluación d. Definir la metodología a utilizar e. Elaborar un costeo del trabajo a realizar f. Establecer el perfil requerido del Equipo Consultor que evaluara g. Elaborar un cronograma tentativo

3. Tercer Proceso: Luego de diseñada la respectiva evaluación, el siguiente subproceso

constituye la Contratación de la evaluación, para garantizar el mejor equipo técnico independiente y externo posible que lleve adelante la evaluación de manera eficaz, a partir de la preparación de términos de referencia y procesos de selección/contratación determinados en la ley. Para ello, este proceso contempla seis tareas: a. Conformar el Comité de Selección b. Elaborar los términos de referencia c. Lanzar el proceso de selección, licitación, adjudicación d. Evaluar las propuestas técnicas y económicas e. Negociar las propuestas f. Contratar a los adjudicados

4. Cuarto Proceso: Después de la contratación del equipo evaluador, el siguiente subproceso

es la Ejecución de la evaluación, discerniendo sobre el tipo de abordaje descriptivo vs evaluativo, análisis interdisciplinario, acompañamiento activo del ente rector, análisis


simultáneo de las tres dimensiones (DDI) en el tiempo, etc. Para ello, este proceso contempla siete tareas: a. Aplicar la metodología aprobada b. Elaborar el diagnóstico del programa c. Diseñar los instrumentos a utilizar d. Levantar, recopilar y sistematizar la información requerida e. Analizar los datos e información recopilados (cuantitativos y cualitativos) f. Realizar la comprobación de las hipótesis empleadas (eslabón insumos-productos,

eslabón productos-resultados y eslabón resultados impactos) g. Proponer recomendaciones y conclusiones

5. Quinto Proceso: Realizada la ejecución de la evaluación, el siguiente subproceso constituye

el Uso de los resultados, a fin de garantizar que las recomendaciones y conclusiones efectuadas por los evaluadores sean efectivamente incorporadas en la toma de decisiones presupuestarias de los programas presupuestarios evaluados, retroalimentando a la formulación posterior de los PP y a los ciudadanos. Para ello, este proceso contempla cinco tareas: a. Analizar las diversas recomendaciones b. Elaborar el Plan de acción para ajustes en el programa c. Formalizar los compromisos de Mejora en Desempeño d. Dar seguimiento de los compromisos de Mejora en Desempeño e. Realizar la retroalimentación respectiva para la formulación y difusión y conocimiento al

publico Establecidos los procesos y tareas del proceso de Evaluación del Desempeño Presupuestario, en la siguiente ilustración se determinan las entradas y salidas de información requeridas, así como los responsables institucionales de los respectivos subprocesos. Ilustración 27: Entradas/salidas de inf. y responsables institucionales de la Evaluación

ROCESO ENTRADAS

SALIDAS

ACTORES

RESPONSABLES

Selección del programa presupuestario institucional

y/o la IEEPR transversal

Necesidades de evaluación

Programa Anual de Evaluaciones aprobado

Consejo de Ministros, DIGEPRES (Dirección de Evaluación y Calidad del


Criterios base para selección de programas

Comité de Evaluación

Diseño de la evaluación

Cadena de valor del programa presupuestario

Evaluación diseñada


Gasto Publico, Áreas Sustantivas), Institución

Hipótesis a probar

Alcance de la evaluación

Metodología a utilizar

Contratación de la evaluación

Comité de Selección

Evaluación contratada DIGEPRES (Dirección de Evaluación y Calidad del

Gasto Publico

Términos de referencia

Proceso de selección, licitación

Propuestas técnicas y económicas

Ejecución de la evaluación

Contratación de la evaluación Evaluación concluida con

recomendaciones y plan de mejora

Institución, DIGEPRES (Dirección de Evaluación y Calidad del Gasto Publico,

Áreas Sustantivas) y Consultores

Uso de los resultados

Recomendaciones Retroalimentación resultados para la

formulación y difusión y conocimiento al publico

Institución, DIGEPRES (Dirección de Evaluación y Calidad del Gasto Publico,

Áreas Sustantivas)


ANEXO I: GUÍA PEDAGÓGICA DEL SIGNIFICADO DE EVALUACIÓN

A pedido de la Dirección de Evaluación y Calidad del Gasto Publico de la DIGEPRES, a continuación se presenta el contenido de una Guía Pedagógica sobre el significado de la evaluación de programas presupuestarios, a manera de cuestionario, abordando aquellos temas más relevantes. Esta guía corta deberá tener diferente tamaño y diversas presentaciones o diseños gráficos dependiendo a qué tipo de lector se dirija, como por ejemplo: ciudadanos, funcionarios y técnicos o autoridades. Para ciudadanos deberá popularizarse un poco más los términos, con la ayuda de un comunicador social. Que significa evaluar? Evaluar significa aplicar sistemáticamente métodos rigurosos para valorar/medir el diseño, la ejecución, los avances, la utilidad, resultados e impacto de una intervención pública o programa presupuestario, adoptando como criterio principal conocer si la intervención pública da respuesta o no a las necesidades sociales detectadas. Por tanto, la evaluación implica esclarecer la vinculación o relación causal entre la intervención pública y los cambios que persigue respecto a esa situación de necesidad. La evaluación cuestiona la lógica causal y busca explicaciones porque está ocurriendo algo. Es una función crítica de la administración pública moderna ya que puede ilustrar si una acción particular ha dado resultados y no constituye solo un dispendio de recursos públicos. Quien debe evaluar qué? La evaluación apunta a destacar el desempeño y se puede aplicar a muchas categorías o temas, tales como una actividad, un proyecto, un programa, una estrategia, una política, un sector o una organización. Específicamente, la evaluación del desempeño presupuestario es de responsabilidad de DIGEPRES -órgano rector presupuestario- se limitará exclusivamente a los programas presupuestarios, dejando la evaluación de políticas y proyectos de inversión a MEPYD y el de instituciones al MAP. ¿Para qué es importante evaluar? Primero, para mejorar las políticas y los programas públicos que atienden distintas problemáticas a las que se enfrenta la población. Segundo, para mejorar la toma de decisiones, pero no solo en términos de la gestión de recursos, puesto que se debe orientar la política hacia la obtención de resultados concretos en la población. Tercero, para fortalecer la rendición de cuentas, explicando a los ciudadanos dónde y cómo se usan los recursos que ellos mismos aportan. Cuál es el interés de impulsar la evaluación? El interés central es generar evidencias robustas sobre el funcionamiento, efectividad y eficiencia de las intervenciones públicas financiadas a través del presupuesto, conocidas como programas presupuestarios, que retroalimenten los procesos de toma de decisiones y de esa forma consigan incrementar la efectividad de las intervenciones públicas y la calidad del gasto público. Pese a que no hay manuales infalibles para hacer política pública, la evaluación ayuda a mejorar lo que se hace, pues explican con más claridad y rigurosidad si todo lo que hacen los gobernantes mejora las condiciones de vida de la población. La evaluación muestra no solo cuánto se gastó en un programa social sino si ese programa en efecto hizo que la población presentara menores niveles en su problemática o privación. Cuál son los propósitos específicos de evaluar?


La evaluación tiene varios propósitos específicos:

Descubrir si los objetivos del programa se están cumpliendo, y de qué manera

Identificar éxitos y fracasos logrados por el programa y explicar los factores que determinar su éxito o fracaso

Mejorar la implementación y efectividad del programa (efectividad capacidad de lograr el máximo de resultados al mínimo costo)

Mejorar la gestión de recursos siempre limitados

Documentar los logros de un programa

Justificar el presupuesto asignado y/o justificar la necesidad de mayor presupuesto

Dar cuenta pública y demostrar los efectos positivos y negativos

Documentar el desarrollo del programa y de sus actividades para asegurar una replicación exitosa

Cuáles son los requisitos de una evaluación? Para evaluar, al menos se deben cumplir cuatro requisitos generales:

Vincular las mediciones de desempeño al marco de política pública general como son la END y el PNPSP

Verificar la alineación de objetivos, indicadores y metas (construir la cadena de valor)

Relacionar y alinear los niveles, nacional (macro) con el institucional/programático (micro), para medir valor público

Disponer de información y datos fiables para que los resultados de la evaluación sean correctos.

Cuál es la unidad o núcleo de la evaluación? La unidad o núcleo de evaluación es la acción o la intervención pública financiada a través del presupuesto, por lo que la unidad o núcleo de evaluación constituyen los programas presupuestarios, sean estos institucionales o transversales. Por qué es necesario evaluar toda intervención pública? En primer lugar, ya que toda intervención pública, al ser motivada por la existencia de un problema o de una situación social insatisfactoria, requiere verificación de si resulta útil y si produce cambios en la sociedad o en una población objetivo concreta mitigando el problema o la situación insatisfactoria. En segundo lugar, requiere verificación sobre si se cumplen las hipótesis de política referidas a cómo se está produciendo esos cambios que mitigan el problema o mejoran la situación que da razón de ser a la intervención, validando de qué manera los recursos asignados a la intervención permiten desarrollar unas actividades cuyo fruto son determinados productos, que, a su vez, generan beneficios de corta, media y larga duración sobre la sociedad en su conjunto o sobre la población objetivo de la política o el programa, denominados resultados e impactos. En que consiste la evaluación? La evaluación de los programas presupuestarios se sustenta en estudios, exámenes, auditorías o revisiones técnicas, que a partir de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir juicios sobre aspectos concretos de los programas presupuestarios. Que limitaciones tiene una evaluación? Desde un punto de vista científico-técnico, hay que entender que la producción de evidencias es un proceso continuo donde los informes de evaluación raramente aportan evidencias del todo concluyentes, y por tanto no deben considerarse un punto final, ni dictámenes rotundos, ni definitivos sobre la idoneidad de un programa, es decir no generar demasiadas expectativa que


puede generar frustración, que a su vez puede redundar en una percepción negativa de la evaluación y dificultar su avance. Desde un punto de vista político, las evidencias que produce la evaluación deben sin duda estar presentes en las mesas donde se toman las decisiones sobre la continuidad, modificación o supresión de los programas pero, en un sistema democrático, no deben aspirar a ocupar el lugar de honor -ya que ello sería más propio de sistemas tecnocrático-autoritarios-, sino a ser tenidas en cuenta junto con criterios legítimos de carácter político ¿Qué es una evaluación independiente y cuál es su relevancia para el sector público? La independencia en la evaluación significa que la realiza un ente diferente al ente evaluado y su adopción en la ejecución y supervisión asegura la objetividad a los resultados; además su carácter técnico garantiza calidad técnica en los informes finales y recomendaciones bien fundamentadas que apoyen a mejorar el diseño y ejecución de los programas evaluados; complementada por la participación activa de las autoridades de los programas evaluados para asegurar la entrega al programa de información y comentarios que ayudan a enriquecer la calidad de sus resultados; y basada en transparencia, dado que los resultados de las evaluaciones y los comentarios de los programas son públicos Que características debe tener todo ejercicio de evaluación? Promover la constante participación de todos los actores involucrados en el proceso de evaluación e incluir la posición institucional de la unidad de evaluación y de la unidad responsable de las instituciones de los programas evaluados, con total libertad de posición y extensión. La actuación de los organismos evaluadores debe ser imparcial y su marco de acción permitirles acceder a la información pertinente al tema en cuestión y emitir sus opiniones sin riesgo de ser censuradas. Cuál es el alcance de una evaluación del desempeño presupuestario? La evaluación del desempeño de los programas presupuestarios llega a todos los ámbitos de control de la cadena de valor de un PP o de una IEEPR al explorar las relaciones de causalidad dentro de los tres eslabones de la cadena de valor (insumos-productos, productos-resultados y resultados-impactos) y resolver el problema de la atribución tanto en el resultado como en el impacto, incorporando un conjunto de indicadores para la evaluación del desempeño: pertinencia, efectividad, equidad, sostenibilidad y capacidad. ¿Qué tipos de evaluaciones se consideran? Las evaluaciones son tres tipos:

De diseño, centrada en revisar la consistencia entre niveles de objetivos y diseño de componentes, es decir de las hipótesis de política establecidas entre los distintos eslabones de la cadena de valor, bajo el enfoque de marco lógico;

De desempeño, que se centra en los productos y resultados logrados y el uso de recursos para alcanzarlos, y

De impacto, que determina si el programa produjo los efectos buscados en los beneficiarios, si esos efectos se pueden atribuir a la intervención realizada por el programa (atribución y relación causal entre el programa y el resultado) y la manera de mejorar el programa para maximizar sus beneficios (BID 2015).

Que tan relevante es la metodología a aplicar? Escoger la metodología adecuada es central no solamente desde un punto de vista técnico, sino también para dotar de sentido y viabilidad practica a la evaluación, evitando la creencia de que las técnicas más complejas son las que proporcionan resultados más robustos, fruto de la falta de transparencia que en muchas ocasiones conlleva la comunicación de resultados que


implican el uso de análisis matemático. Elegir la técnica adecuada implica analizar el contexto en términos realistas, teniendo en cuenta tanto la disponibilidad de datos como la capacidad de explotación de las técnicas. Cuales tareas se deben realizar previa la evaluación? Antes de una evaluación, resulta recomendable:

Efectuar un análisis preliminar de la intervención, es decir describir y revisar sus hipótesis de política planteadas, identificar la fase en la que se encuentra el programa, describir los cambios que ha experimentado el programa durante su existencia, e identificar las evaluaciones y los estudios previos que se hayan realizado.

Describir el contexto institucional y organizativo en el que se desenvuelve y ejecuta.

Precisar con claridad cuál es el propósito de la evaluación, puntualizando si busca ayudar a tomar una decisión, o contribuir al aprendizaje de la organización, o para utilizar la evaluación como instrumento de gestión, o para procesos de rendición de cuentas a la ciudadanía o lograr un conocimiento básico sobre las políticas públicas.

Identificar los destinatarios de la evaluación, a partir del propósito de la evaluación, estableciendo si son los decisores de alto nivel, o los gestores de programas, o el personal del programa, o los organismos financiadores y supervisores, o los beneficiarios directos, o los gestores y personal de otros programas.

Inventariar los recursos para la evaluación, pues el dinero disponible, el tiempo, los conocimientos de los evaluadores, la información y los datos y el apoyo por parte del personal del programa y de la organización impondrán restricciones a la propuesta de evaluación, y lo que idealmente se quisiera obtener de la evaluación deberá ser ponderado con lo que es posible, con los recursos de los que se dispone.

¿Qué método emplean las evaluaciones? La evaluación asume un método analítico complejo que, alimentándose de la información del seguimiento y otra especializada, tiene como objetivo evaluar a profundidad el nivel de desempeño, investigando el porqué de ése desempeño (más que un control y monitoreo del mismo, propio del seguimiento), determinando, bajo diversos instrumentos y procedimientos cuantitativos y cualitativos, las relaciones de causalidad entre los recursos, los productos, los resultados y los impactos tanto de los PP como de las IEEPR y recoger sus buenas prácticas y lecciones aprendidas que permitan mejorar su diseño estructural de futuros desempeños. Cuáles es el proceso y las fases de evaluación? La evaluación de una acción o intervención pública (suma de acciones y decisiones), constituye un proceso complejo y sistemático, no la generación de un documento, donde participan distintos involucrados en cada una de las cinco fases clave que considera:

Fase 1: Selección y programación del programa presupuestario institucional y/o la IEEPR transversal a evaluar (Plan Anual de Evaluaciones), en base al análisis previo (una primera aproximación al objeto de evaluación -análisis extenso y pormenorizado de la intervención-, al alcance de la evaluación y a su enfoque metodológico) con criterios como áreas programáticas prioritarias, recursos financieros involucrados, carácter estratégico y/o innovador, grado de maduración, etc.

Fase 2: Diseño de la evaluación, a fin de precisar y profundizar los aspectos claves de la evaluación, su alcance, sus principales instrumentos, selección de las herramientas y técnicas a aplicar, en función de la diversidad de servicios de la intervención y sus territorios y la multiplicidad de actores que intervienen.

Fase 3: Contratación de la evaluación, para garantizar el mejor equipo técnico externo posible que lleve adelante la evaluación de manera eficaz, a partir de la preparación de términos de referencia y procesos de selección/contratación determinados en la ley.


Fase 4: Ejecución de la evaluación, discerniendo sobre el tipo de abordaje descriptivo vs evaluativo, análisis interdisciplinario, acompañamiento activo de DIGEPRES, análisis simultáneo de las tres dimensiones (DDI) en el tiempo, etc.

Fase 5: Uso y seguimiento de los resultados, para garantizar que las recomendaciones y conclusiones sean efectivamente incorporadas en la toma de decisiones sobre la gestión y la asignación de recursos presupuestarios de los programas presupuestarios evaluados, retroalimentados la formulación posterior de los Pp y a los ciudadanos.

Por qué se debe institucionalizar la evaluación? Para crear una cultura evaluadora en los entornos gubernamentales de tal modo que se perciba como parte del proceso de gestión de las políticas públicas, lo que implica que los gestores diseñen, desde el principio, las acciones en que se concretan las políticas del país de modo que puedan ser evaluadas. Cuando se considera institucionalizada una evaluación? La evaluación se considera institucionalizada cuando existe, ante todo, la voluntad política, pero también cuando reúne las siguientes condiciones:

Normada y regulada mediante instrumentos legales;

Establecida con carácter obligatorio, evitando así la discrecionalidad en la decisión de evaluar o no;

Aplicable a todo el sector público, no solo a sectores que tradicionalmente han sido objeto de evaluación;

Sistemática, de acuerdo a criterios previamente establecidos, evitando responder a demandas específicas y puntuales;

Planificada, y por tanto programada y dotada de su propio presupuesto;

Rigurosa, desarrollada por personal técnico cualificado,

Permanente, desvinculada del ciclo electoral;

Integrada en el ciclo presupuestario como una fase más;

Utilizada como mecanismo de retroalimentación en las decisiones Cuáles son los actores que deben estar vinculados? Para una adecuada evaluación es necesario el involucramiento de varios actores claves durante el proceso:

Órgano rector presupuestario, siendo su tarea esencial optimizar la asignación y reasignación de recursos, requiriendo de un equipo altamente especializado en el diseño, desarrollo y socialización de evaluaciones y avalando la creación de otros equipos especializados en evaluaciones según se considere y se soporte metodológicamente

Propias autoridades, funcionarios y técnicos de las instituciones públicas evaluadas quienes manejan y ejecutan cotidianamente los programas presupuestarios, pues sin su decidida y activa colaboración y participación será muy difícil llevar adelante con éxito las evaluaciones y la aplicación de las recomendaciones para optimizar los programas, e inclusive podrán tener unidades especializadas de evaluación en sus instituciones.

Órgano rector de la planificación que deberá tomar las evaluaciones de los programas presupuestario como insumo clave para cumplir con su responsabilidad de evaluar políticas, programas y proyectos de inversión pública, siendo muy importante la coordinación institucional.

Otros actores destacados de aprobación y fiscalización del presupuesto como los Congresos y órganos de control externo e interno, dado que la evaluación del desempeño presupuestario también es un instrumento de gestión para la aprobación, fiscalización y el control interno y externo del presupuesto.


Ciudadanos, al convertirse en insumo básico para que ejerzan de mejor manera sus tareas de vigilancia y control social de los resultados logrados por los programas presupuestarios que ejecutan las instituciones públicas, y la exigibilidad de la rendición de cuentas respectiva hacia las autoridades y el Gobierno sobre esos resultados.

¿Debe ser externa o interna una evaluación? Existen dos modalidades de encargar una evaluación:

Encargársela a una persona o unidad de la propia organización (ya sea preexistente —como una unidad de análisis— o incorporada expresamente para encargarse de la evaluación), o

Encargársela a una organización externa (una consultora privada, un departamento universitario o centro de investigación, una organización sin ánimo de lucro, un investigador a título individual), ya sea mediante contratación directa o por concurso.

La bibliografía especializada sobre la evaluación de políticas públicas no es concluyente respecto a cuál de las dos alternativas es preferible. Las características y el contexto de cada evaluación determinan las ventajas y los inconvenientes de cada opción, e inclusive la conveniencia de combinarlas. ¿Qué usos deben tener los resultados de las evaluaciones? Los resultados y recomendaciones de la evaluación debe apoyar la toma de decisiones de los diversos actores involucrados, tanto sobre mejoras de la gestión de los programas, como de asignación de recursos presupuestarios durante los distintos momentos del ciclo presupuestario siendo particularmente destacada durante:

el manejo presupuestario ex-ante o del año anterior (n-1), es decir al momento de las fases de formulación y aprobación; y,

el manejo presupuestario ex-post o del año siguiente (n+1), es decir al momento de la fase de evaluación y control, proporcionando valiosos insumos.


ANEXO II: ESTRATEGIA DE SENSIBILIZACIÓN SOBRE LA EVALUACIÓN

Resulta indispensable e impostergable para el sector publico dominicano generar evidencias robustas sobre el funcionamiento, efectividad y eficiencia de las intervenciones públicas financiadas a través del presupuesto, conocidas como programas presupuestarios, que retroalimenten los procesos de toma de decisiones y de esa forma consigan incrementar la efectividad de las intervenciones públicas y la calidad del gasto público. Se trata de avanzar hacia un Estado efectivo en el sentido de que cuente con capacidades adecuadas para diseñar políticas públicas, implementarlas eficaz y eficientemente, y generar aprendizajes a lo largo de estos procesos, es decir capacidades estatales para que las políticas, cualesquiera sean, se diseñen y se implementen con eficacia y eficiencia. Pese a que no hay manuales infalibles para hacer política pública, la evaluación ayuda a mejorar lo que se hace, pues explica con más claridad y rigurosidad si todo lo que hacen los gobernantes mejora las condiciones de vida de los dominicanos, mostrando no solo cuánto se gastó en un programa determinado, sino en qué medida el programa provoco que la población presentara menores niveles en su problemática o privación. Para ello, República Dominicana requiere el establecimiento e institucionalización de un gran sistema de evaluación de políticas públicas coordinado por MEPYD y la participación de otras instituciones rectoras y entidades públicas, donde la evaluación de los programas presupuestarios planteada aquí sea solo un componente más de responsabilidad de DIGEPRES y parte habitual del ciclo de vida de las políticas, programas y proyectos públicos, se lleve a cabo de forma sistemática y metodológicamente rigurosa, sus resultados sean utilizados por parte de decisores políticos y de gestores a cargo de las intervenciones, y sus resultados sean accesibles a la ciudadanía. Las mejores prácticas internacionales muestran que el desarrollo exitoso de sistemas de evaluación comporta no tanto un cambio técnico o un cambio institucional, implica, ante todo, un cambio cultural, y especialmente la voluntad política de impulsar una reflexión rigurosa sobre qué constituye el interés general y cuáles son las políticas que mejor lo sirven. Por ello, resulta neurálgico que la DIGEPRES, ente rector del sistema presupuestario, cuente con una apropiada estrategia de sensibilización y movilización sobre la evaluación de los programas presupuestarios, que coloque y posicione estratégicamente en el debate público la relevancia de su evaluación para que todos los actores de la sociedad dominicana (gubernamentales y no gubernamentales) entiendan su trascendencia para el interés general, exijan y materialicen prontamente su institucionalización. Esa estrategia inicial debe considerar al menos tres tipos de actores clave a sensibilizar y movilizar:

Actores relevantes de la sociedad dominicana

Actores estatales directamente involucrados en los procesos de evaluación

Funcionarios y técnicos de la DIGEPRES y de las entidades publicas A continuación se proponen los lineamientos centrales de cada uno de esos tres ejes de la estrategia de sensibilización y movilización.


Eje 1: Estrategia de sensibilización y movilización de los actores relevantes de la sociedad dominicana Este primer eje de sensibilización y movilización tiene como propósito central empoderar a los actores relevantes de la sociedad dominicana, desde su triple rol -ciudadanos, usuarios y contribuyentes-, de sus vitales tareas de vigilancia y control social que deben ejercer sobre la evaluación y la exigibilidad de la rendición de cuentas a las autoridades. Para ello la estrategia considera, en primer lugar, la identificación y selección de aquellos actores de la sociedad dominicana más relevantes para lograr la exigibilidad social sobre la evaluación y su rendición de cuentas. Entre ellos se puede seleccionar los siguientes:

Formadores de Opinión

Editorialistas económicos

Principales Medios de Comunicación (TV, Radio, Prensa escrita)

Partidos políticos relevantes (Izquierda, derecha)

Gremios empresariales (Cámaras de producción y comercio)

Sindicatos y organizaciones laborales

Movimientos sociales

Organizaciones comunitarias

Academia y Universidades

Organizaciones no gubernamentales

Iglesia

Organismos internacionales

Gobiernos amigos En segundo lugar, la estrategia considera elaborar y publicar materiales pedagógicos y sintéticos que hagan comprensible los aspectos centrales que considera la evaluación para todos los actores, con un mensaje claro (mismo mensaje) y leguaje sencillo y asequible, a través de:

Presentaciones power point

Tripticos

Folletos

Cuadernillos

Boletines de Prensa Buena parte de los insumos para elaborar los materiales pedagógicos pueden provenir de la “Guía Pedagógica del Significado de Evaluación” presentada en el anexo 1 de este documento. El diseño gráfico es importante que sea muy pedagógico y el lenguaje popularizado, con la ayuda de un comunicador social. En tercer lugar, la estrategia contempla la realización, por parte de funcionarios de DIGEPRES de múltiples reuniones, conferencias y talleres de explicación, sensibilización y movilización sobre la evaluación, a los diferentes actores identificados y seleccionados para conocer su reacción y posición. El contenido de las reuniones debería considerar al menos la explicación sobre:

Que significa evaluar?

Quien debe evaluar qué?


Cuál es el interés de impulsar la evaluación?

Por qué es necesario evaluar toda intervención pública?

Que características debe tener todo ejercicio de evaluación?

¿Qué tipos de evaluaciones se consideran?

Cuáles es el proceso y las fases de evaluación?

Por qué se debe institucionalizar la evaluación?

Cuáles son los actores que deben estar vinculados?

¿Qué usos deben tener los resultados de las evaluaciones? Es recomendable hacer primero reuniones bilaterales (con cada tipo de actor para conocer de manera aislada su parecer) y luego realizar talleres colectivos con representantes de cada tipo de actor, a fin de que intercambien reflexiones, puntos de vista y propuestas entre ellos. Resulta central en esas diversas reuniones y talleres siempre transmitir el mismo mensaje (y pocos) y con lenguaje sencillo y asequible. En cuarto lugar, la estrategia incluye la realización, durante un periodo de tiempo adecuado, de una campaña de comunicación en medios que considera, por un lado, la participación de funcionarios de DIGEPRES en espacios claves de televisión y en principales programas de radio del país para explicar lo que significa la evaluación y su importancia para el país (mejorar calidad del gasto público), y por otro, la publicación periódica de documentos sobre evaluación en los medios escritos dominicanos de mayor tiraje, como:

Tripticos

Folletos

Cuadernillos

Boletines de Prensa En quinto lugar, la estrategia contempla la firma de convenios con universidades, centros de investigación y organizaciones no gubernamentales para que se encarguen de replicar en todo el país las explicaciones de lo que significa la evaluación y su importancia para Republica Dominicana:

A nivel nacional

A nivel regional

A nivel local Eje 2: Estrategia de sensibilización de los actores estatales directamente involucrados en los procesos de evaluación Este segundo eje de sensibilización y movilización tiene como propósito central lograr la voluntad política requerida para llevar adelante los complejos y conflictivos procesos de evaluación por parte de los diversos actores estatales directamente involucrados. Aquí es importante distinguir entre dos diferentes tipos de actores estatales directamente involucrados. Por una parte están los evaluadores, y por otra, los evaluados. Su voluntad política es fundamental pero responden a lógicas diferentes por lo que su acercamiento y convencimiento exige argumentos y reflexiones distintos por lo que quizá la voluntad política de los evaluados es más estratégica alcanzarla pronto. En primer lugar, en materia de los actores estatales evaluadores, sin incluir aquí a la DIGEPRES que se aborda de manera separada por su particular rol, actores destacados son las entidades de fiscalización como la Cámara de Diputados y el Senado Dominicano (rol


destacado durante la discusión y aprobación del Presupuesto en el pleno y en sus diversas Comisiones), y las de control externo e interno como la Contraloría y la Cámara de Cuentas (rol destacado durante la evaluación), dado que la evaluación del desempeño presupuestario también es un instrumento de gestión para la fiscalización y el control interno y externo. El MEPYD constituye otro actor relevante durante la evaluación, al ser el órgano rector de la planificación y la Secretaria Técnica de la Comisión Nacional de Monitoreo y Evaluación, responsable del Sistema Nacional de Monitoreo y Evaluación, establecido por la Ley No1-12 y reglamentada por los Decretos No 134-14 y No 265-15, y particularmente de su Subsistema Nacional de Evaluación (SSNE), que deberá tomar las evaluaciones de los programas presupuestario como insumo clave para cumplir con su responsabilidad de evaluar políticas, programas y proyectos de inversión pública, siendo muy importante la coordinación institucional. Desde el particular rol que deben asumir en adelante dentro del proceso de evaluación, este eje de la estrategia contempla la realización de múltiples reuniones y talleres de explicación, sensibilización y movilización sobre la evaluación, a estos actores estatales calves para conocer su reacción y posición. El contenido de las reuniones debería considerar al menos la explicación sobre:









Cuáles son los actores que deben estar vinculados y sus respectivos roles?

¿Qué usos deben tener los resultados de las evaluaciones? En segundo lugar, respecto a los actores estatales evaluados, los responsables claves de la evaluación del desempeño presupuestario son las propias autoridades y funcionarios de las instituciones públicas que manejan y ejecutan cotidianamente los programas presupuestarios, pues sin su decidida y activa colaboración y participación (voluntad política), será muy difícil llevar adelante con éxito las evaluaciones. En efecto, la sensibilización y movilización debe considerar los esfuerzos que aumentan el beneficio esperado o reducen el costo esperado de evaluar para aumentar la voluntad política de las autoridades dominicanas a hacer evaluaciones. En esa línea, existen dos tipos de beneficios potenciales para el formulador de políticas que hay que explotar, ambos vinculados al incentivo de reelección o de mejora en su imagen pública. Primero, en caso de que el resultado de la evaluación sea positivo, el formulador de políticas puede usarlo como propaganda política. Segundo, independientemente del resultado, evaluar puede ayudar a tomar mejores decisiones sobre los recursos, lo cual debería ser observado por el electorado y contribuir a mejorar su imagen. Como el primer tipo de beneficio solo se materializa si el resultado de la evaluación es positivo, no resulta tan tentador; pero el segundo tipo de beneficio puede contribuir a la idea de que la evaluación e incluso la experimentación pueden ser herramientas de gestión pública de gran utilidad, incluso si los resultados de la evaluación son negativos. Estos argumentos deben ser usados en la sensibilización para aumentar la voluntad política de las autoridades dominicanas a realizar evaluaciones


Hay que tener en cuenta que el costo potencial más importante que pondera un formulador de políticas a la hora de decidir si evaluar o no un programa es el riesgo de quedar expuesto como mal administrador público y comprometer sus probabilidades de reelección. Limitar este riesgo ex ante es difícil, ya que el proceso de evaluación busca precisamente identificar falencias a subsanar en el uso de los recursos públicos, de manera que el reto es identificar estas falencias sin que ellas sean atribuidas, al menos públicamente, al administrador de los recursos. Una manera de hacerlo es mantener un acuerdo de confidencialidad transitoria de los resultados de la evaluación. Aunque esta opción podría dejar en entredicho la confiabilidad de los resultados, ya que no podrían ser validados por una discusión académica abierta, podrían buscarse formas alternativas de lograr esta validación, como la confluencia de expertos o el debate interno con respaldo de organizaciones internacionales dispuestas a mantener la confidencialidad. Por tanto para aumentar la voluntad política de autoridades y funcionarios se deben considerar dos aspectos: por una parte, la posibilidad de que el formulador de políticas esté más dispuesto a colaborar con esfuerzos de evaluación de sus propias iniciativas, y por la otra, que la evidencia disponible (propia y de extraños) sea utilizada para mejorar la calidad de la provisión de servicios. Entonces, la evaluación tiene costos y riesgos asociados que disminuyen los incentivos a utilizarla como una herramienta de gestión, lo que ocasiona que, por lo general, se hagan menos evaluaciones de las que sería deseable, pero que necesariamente deben ser adecuadamente manejados para sobrellevarlos en la estrategia de sensibilización. Por ello, este eje de la estrategia contempla la realización de múltiples reuniones y talleres de explicación, sensibilización y movilización sobre la evaluación, a autoridades, funcionarios y técnicos claves de las entidades públicas para conocer su reacción y posición. El contenido de las reuniones debería considerar al menos la explicación sobre:




Cuál es el beneficio y el costo político de la evaluación?

Por qué es necesario evaluar toda intervención pública y como evitar el costo político?





Cuáles son los actores que deben estar vinculados y sus respectivos roles?

¿Qué usos deben tener los resultados de las evaluaciones? Eje 3: Estrategia de sensibilización/formación de los funcionarios y técnicos de la DIGEPRES y de las entidades públicas Este tercer eje de sensibilización y movilización tiene como propósito central sensibilizar y formar a los funcionarios y técnicos de la DIGEPRES y de las entidades públicas, para contar con su adecuada disposición y capacidad técnica para conducir y dirigir los procesos de evaluación de los programas presupuestarios. En primer lugar, la estrategia contempla la realización de múltiples reuniones de trabajo de explicación, sensibilización y formación inicial sobre la evaluación, a los funcionarios y técnicos de las diferentes Direcciones de la DIGEPRES para conocer su reacción y posición. El contenido de las reuniones debería considerar al menos la explicación sobre:










Cuáles son los actores que deben estar vinculados?

¿Qué usos deben tener los resultados de las evaluaciones? Es recomendable hacer primero reuniones bilaterales (con cada Dirección para conocer de manera aislada su parecer) y luego realizar talleres de trabajo conjuntos, a fin de que intercambien reflexiones, puntos de vista y propuestas entre ellos. En segundo lugar, la estrategia considera tener en cuenta la preparación inicial al interior de la DIGEPRES que demanda el asumir las complejas tareas de conducción y dirección de los procesos de evaluación de los programas presupuestarios. Algunas consideraciones son importantes:

Conseguir personal capacitado para llevar a cabo evaluación de programas presupuestarios es muy complejo, y tradicionalmente no se ha incluido esta formación dentro de los estudios universitarios.

El universo de la evaluación es muy extenso, y cada proceso de evaluación implica enfrentarse a un problema nuevo con resolución diferente a los anteriores. Esta circunstancia hace difícil que la capacitación en evaluación pueda adquirirse únicamente a través de la formación.

Es más bien mediante la resolución de casos prácticos como se adquiere destreza en la realización de evaluaciones. Pero al mismo tiempo, son necesarios unos inputs y una formación inicial para poder llevar a la práctica la evaluación, y esa formación inicial requiere el conocimiento de materias diversas

La evaluación se desarrolla de forma óptima a través de equipos multidisciplinares (estadísticos, programadores, econometristas, economistas, sociólogos, juristas).

En materia de la transparencia en la difusión de resultados de las evaluaciones, DIGEPRES debe tener presente:

Si además de la evaluación también se institucionaliza la obligación de publicación de los resultados, existen menos ocasiones de invalidar la evaluación ya realizada.

Además de la difusión de los resultados hacia quienes toman las decisiones, es menester que la ciudadanía tenga la oportunidad de conocer los resultados de la evaluación. Es por ello que los resultados de la evaluación deben ser públicos.

Los instrumentos a través de los cuales se puede dotar de transparencia la evaluación son entre otros:

o registros públicos de evaluaciones (Registro de Evaluación de políticas y Servicios Públicos),

o portales de transparencia, o páginas web, o memorias o informes.


En tercer lugar, la estrategia contempla la firma de un acuerdo de cooperación Sur-Sur entre la DIGEPRES y el CONEVAL de México para que este organismos le de apoyo técnico en métodos, instrumentos, normativas, etc., para la evaluación, así como en la puesta en marcha e institucionalización del proceso de evaluación de los programas presupuestarios, dado su madurez técnica y larga experiencia en tareas de evaluación de políticas públicas, particularmente sociales En cuarto lugar, la estrategia considera la firma de convenios con organismos internacionales, (CEPAL, CAF, BID, BM, etc.) para que se encarguen de la formación inicial en temas de evaluación especialmente a funcionarios y técnicos de la DIGEPRES, con particular profundidad de la Dirección de Evaluación y Calidad del Gasto Publico. La formación en evaluación es necesaria para generar capacitación específica del personal evaluador de la propia DIGEPRES, pero también de los técnicos de las entidades públicas. Por tanto la formación deberá ser para:

Funcionarios y técnicos de la DIGEPRES

Personal de la Administración Pública dominicana y, en particular, a los gestores de políticas y programas (para que los gestores interioricen la evaluación como algo beneficioso, que legitima la actuación de los poderes públicos ante la ciudadanía).

En quinto lugar, la estrategia contempla la firma de convenios con universidades, para que incluyan en su pensum de estudios, diplomados y/o maestrías con especialización en evaluación de políticas públicas y programas presupuestarios, a fin de ir generando suficiente masa crítica nacional sobre este tema central para Republica Dominicana.


ANEXO III: MODELOS DE TERMINOS DE REFERENCIA PARA LA

EVALUACIÓN, POR TIPOS

Los modelos de términos de referencia que aquí se presentan para la evaluación de desempeño, así como para la evaluación en materia de diseño, e impacto tienen como propósito que la DIGEPRES cuente con referencias sobre las mejores prácticas en la región para que establezca criterios técnicos y homogéneos para la evaluación de los programas presupuestarios, con la finalidad de identificar las acciones y compromisos específicos que deberán realizar las dependencias y entidades públicas dominicanas para mejorar el desempeño de los mismos, en el marco del Sistema de Evaluación del Desempeño Presupuestario descrito anteriormente. Los modelos que se presentan a continuación son los modelos de términos de referencia utilizados por el Consejo Nacional de Evaluación de la Política Social (CONEVAL) de México, una de las mejores prácticas en la región sobre procesos de evaluación, particularmente en materia de política social. Se toman esos modelos dada su cercanía conceptual-metodológica con los procesos planteados para Republica Dominicana. En primer lugar, se propone a DIGEPRES que las dependencias y entidades obligadas a realizar la evaluación de diseño de sus programas presupuestarios, conforme a lo establecido en el Programa Anual de Evaluación (PAE), tengan como referencia el modelo TR1, descrito a continuación. En segundo lugar, se recomienda que las dependencias y entidades obligadas a realizar la evaluación en materia de desempeño de sus programas presupuestarios, conforme a lo establecido en el Programa Anual de Evaluación (PAE), tengan como referencia el modelo TR2. En tercer lugar, se sugiere que las dependencias y entidades obligadas a realizar la evaluación de impacto de sus programas presupuestarios, conforme a lo establecido en el Programa Anual de Evaluación (PAE), tengan como referencia el modelo TR3, descrito a continuación. Como se indicó, las evaluaciones se llevarán a cabo por evaluadores independientes, especializados y externos con cargo al presupuesto de la dependencia o entidad responsable de la operación del programa presupuestario, o en su caso, por la DIGEPRES y/o la Comisión de Monitoreo y Evaluación, con base en lo establecido en el PAE. De otro lado, se debe insistir que los evaluadores externos serán contratados conforme a lo establecido en la Ley No 340-06 sobre Compras y Contrataciones de Bienes, Servicios, Obras y Concesiones. TR1: MODELO DE TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN EN MATERIA DE DISEÑO 1. Objetivo general Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la dependencia o entidad, el diseño del (Colocar el nombre del Programa sujeto de evaluación). Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa.


2. Temas de evaluación La evaluación se divide en seis temas: (1) Características del programa, (2) Contribución a los objetivos estratégicos, (3) Matriz de indicadores, (4) Población potencial y objetivo, (5) Vinculación con las ROP, y (6) Coincidencias, complementariedades y duplicidades. Cada tema consta de preguntas específicas, las cuales deberán responderse mediante un esquema binario (Sí o No). Para determinar esta respuesta, el evaluador deberá fundamentarla con evidencia documental y análisis de la misma, que sustente y justifique los principales argumentos de cada una de las preguntas y temas por analizar. Por tanto, en cada respuesta se deberá justificar por qué se respondió de una u otra manera. Tanto la respuesta binaria a la pregunta, el análisis de la misma, así como las referencias documentales, serán la base de este trabajo de evaluación. Ejemplo: ¿El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa es adecuado para la consecución del Propósito y Fin que persigue? De no ser así, el evaluador deberá investigar y de existir, presentar dicha evidencia. Respuesta: No. El programa no cuenta con dicha evidencia; sin embargo, al revisar la experiencia internacional en cuanto a la implementación de programas de este tipo, se encontró que en X país existe el programa X el cual entrega complementos alimenticios con la misma composición que el otorgado por el programa sujeto a evaluación. La última evaluación de dicho programa demuestra que el x% de los niños atendidos han mejorado su estado nutricional con respecto al total de niños atendidos diagnosticados con desnutrición. Las preguntas que no tienen respuestas binarias están marcadas con un asterisco (*) y también deberán ser contestadas con base en el análisis que el evaluador realice sustentado en la documentación e información existente. De presentarse el caso, el evaluador deberá explicar las causas y motivos por los cuales alguna(s) pregunta(s) no es (son) aplicable(s) al programa o no haya(n) podido ser respondida(s). Cuando el programa no genera o no tiene la información suficiente para poder contestar la pregunta, el evaluador lo deberá hacer explícito en su respuesta. Asimismo, podrá llevar a cabo entrevistas para apoyar el análisis y los resultados de esta evaluación. Cada una de las 34 preguntas que se presenta deberá ser respondida en su totalidad (incluyendo la justificación y el análisis) en una sola cuartilla por separado, sin importar si en la página sobre espacio. Al inicio de la página se escribirá la pregunta y su número pregunta correspondiente. Lo anterior pretende dar claridad y concreción a la evaluación que se pide. 2.1 Diseño 2.1.1 Características del programa Presentar en un máximo de dos cuartillas una breve descripción del programa con base en el Anexo 01: Características Generales del Programa, mismo que contiene la información básica y relevante del programa. Dicho formato deberá completarse y adjuntarse como anexo al informe de evaluación. En caso de ser necesario, se podrá incluir de manera concisa otra información sobre el programa que se considere relevante. 2.1.2 Análisis de la contribución del programa a los objetivos estratégicos de la dependencia y/o entidad, así como a los objetivos nacionales


Con base en la identificación que la dependencia, entidad o el propio programa hayan realizado del problema y/o necesidad que se espera resolver con la ejecución del programa (Propósito y Fin), se debe realizar un análisis para contestar las siguientes preguntas: 1. ¿El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido? 2. ¿Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa? 3. ¿El Fin y el Propósito del programa están claramente definidos? 4. ¿El Fin y el Propósito corresponden a la solución del problema? 5. ¿El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa es adecuado para la consecución del Propósito y Fin que persigue? De no ser así, el evaluador deberá investigar y, de existir, presentar dicha evidencia. 6. Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa, ¿a qué objetivo u objetivos estratégicos está vinculado o contribuye el programa?* 7. De lo anterior, analizar y evaluar si existe una relación lógica del programa con los objetivos nacionales de la Estrategia Nacional de Desarrollo (END) y el PNPSP. 2.1.3 Evaluación y análisis de la matriz de indicadores En caso de que el programa no tenga elaborada una matriz de indicadores, la dependencia o entidad deberá construirla con base en la metodología para la elaboración de la matriz de indicadores de los programas presupuestarios y considerar los objetivos nacionales, estrategias y prioridades contenidos en la Estrategia Nacional de Desarrollo (END) y el PNPSP y los objetivos estratégicos de la dependencia y entidad. En términos de diseño, la institución evaluadora deberá analizar cómo operan las relaciones de causa-efecto entre los distintos ámbitos de acción del programa. De la lógica vertical de la matriz de indicadores 8. ¿Las Actividades del programa son suficientes y necesarias para producir cada uno de los Componentes? 9. ¿Los Componentes son necesarios y suficientes para el logro del Propósito? 10. ¿Es claro y lógico que el logro del Propósito contribuye al logro del Fin? 11. Considerando el análisis y la evaluación realizados en este punto, ¿la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, ¿la lógica interna del programa es clara? 12. Si no es así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna. Estos cambios deberían reflejarse en la matriz de indicadores definitiva del programa. De la lógica horizontal de la matriz de indicadores 13. En términos de diseño, ¿existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos? 14. ¿Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables? 15. De no ser el caso, la institución evaluadora, en coordinación con el programa, deberá proponer los indicadores faltantes y necesarios para cada ámbito de acción o las modificaciones a los indicadores existentes que sean necesarias. 16. ¿Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición?


17. ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? 18. Para aquellos medios de verificación que corresponda (por ejemplo encuestas), ¿el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación? 19. ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación? 20. ¿Se consideran válidos los supuestos del programa tal como figuran en la matriz de indicadores? 21. Considerando el análisis y evaluación realizado en este punto, ¿la lógica horizontal de la matriz de indicadores se valida en su totalidad? 22. Si no es así, proponer los cambios que deberían hacerse a la lógica horizontal de la matriz de indicadores (indicadores, medios de verificación y supuestos). 2.1.4 Población potencial y objetivo La población potencial corresponde a la población total que presenta la necesidad y/o problema que justifica el programa y por ende pudiera ser elegible para su atención. Por ejemplo: los niños menores de cinco años de edad que habitan en localidades rurales y que se encuentran en condiciones de pobreza alimentaria. Se entenderá por población objetivo la que el programa tiene planeado o programado atender en un periodo, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella. Por ejemplo: niños menores de cinco años de edad que habitan en localidades rurales y que se encuentran en condiciones de pobreza alimentaria de Samana. Tanto la población potencial como la población objetivo pueden estar definidas en regiones, municipios, localidades, hogares y/o individuos, en su caso. La población potencial también puede estar constituida por Organizaciones No Gubernamentales, Organizaciones Ejidales, Pequeñas y Medianas Empresas, entre otros, según corresponda a los objetivos del programa. 23. ¿La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas? 24. ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes? (En el caso de individuos, en términos de edad, sexo, nivel socio - económico - señalar quintil de ingreso si corresponde, principales características de la actividad económica que desempeña rama de actividad, condición de empleo, etc., condición indígena u otros atributos que sean pertinentes). 25. ¿Qué justificación sustenta que los beneficios del programa se dirijan específicamente a dicha población potencial y objetiva? 26. ¿La justificación es la adecuada? 27. ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? (Señalar los principales mecanismos). 28. ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socioeconómicas de la población incluida en ese padrón y con qué frecuencia se recolecta la información? 2.1.5 Análisis de la vinculación de las Reglas de Operación (ROP) o normatividad aplicable con los objetivos del programa


29. ¿El diseño del programa se encuentra correctamente expresado en sus ROP o normatividad correspondiente? 30. ¿Existe congruencia entre las ROP o normatividad aplicable del programa y su lógica interna? 2.1.6 Posibles coincidencias, complementariedades o duplicidades de acciones con otros programas gubernamentales 31. Como resultado de la evaluación de diseño del programa, ¿éste es el adecuado para alcanzar el Propósito antes definido y atender a la población objetivo? 32. ¿Con cuáles programas gubernamentales podría existir complementariedad y/o sinergia? 33. ¿Con cuáles programas gubernamentales podría existir duplicidad? 34. ¿El programa cuenta con información en la que se hayan detectado dichas complementariedades y/o posibles duplicidades? 3. Fortalezas, retos y recomendaciones El evaluador externo deberá identificar las fortalezas y oportunidades, debilidades y amenazas, a las que conduce su análisis, con base en el Anexo 03 Principales Fortalezas, Retos y Recomendaciones. En dicho anexo deberá establecer en forma concisa cada fortaleza y oportunidad, o en su caso debilidad y amenaza, incluyendo la evidencia que la sustenta e indicando la fuente del análisis, así como la página y el párrafo del documento final en donde se encuentra el desarrollo de la idea. Cada fortaleza y oportunidad, o en su caso debilidad y amenaza deberá estar ordenada de acuerdo con su relevancia, en la que la primera será de mayor importancia con respecto a la segunda y así sucesivamente. Por cada debilidad o amenaza se deberá establecer al menos una recomendación precisa que ayude a solventar el reto o problema identificado. Es importante que las recomendaciones estén cuidadosamente analizadas para garantizar su viabilidad y efectividad. Si se incorpora una recomendación que trasciende las atribuciones del programa, se debe señalar claramente si su implementación corresponde a la dependencia y/o entidad responsable del programa o a otras instituciones públicas. Asimismo, se debe indicar si la implementación requiere de cambios normativos y/o legales o recursos adicionales. Es necesario mencionar que todas las recomendaciones deberán estar ligadas al menos a una debilidad o amenaza; es decir, se pretende no enunciar recomendaciones generales, sino específicas para cada reto o problema (debilidad o amenaza) detectado en la evaluación. En esta sección el evaluador deberá incluir un máximo de 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones. 4. Conclusiones La primera parte de las conclusiones deben presentarse por cada tema de evaluación (características del programa, contribución a los objetivos estratégicos, matriz de indicadores, población potencial y objetivo, vinculación con las ROP, y coincidencias, complementariedades y duplicidades), ser precisas y fundamentarse en el análisis y la evaluación realizada en cada uno de dichos temas.


En la segunda parte de las conclusiones el evaluador emitirá una global y concisa sobre el diseño del programa, con base en el análisis y la evaluación realizada en este estudio. 5. Perfil y equipo clave de la institución evaluadora Nota: La unidad administrativa coordinadora de la evaluación de cada dependencia o entidad deberá especificar, en una tabla, los requisitos mínimos académicos y de experiencia esperados de cada uno de los integrantes clave del equipo evaluador, dadas las particularidades del programa y la evaluación. 6. Responsabilidades y compromisos Además de la calidad del estudio y el cumplimiento de los presentes términos de referencia, la institución evaluadora es responsable de: i. Los costos y gastos que significan las instalaciones físicas, equipo de oficina, alquiler de servicios y transporte que se requiera para el estudio; asimismo, del pago por servicios profesionales, viáticos y aseguramiento del personal profesional, técnico, administrativo y de apoyo que sea contratado para la ejecución de la evaluación y operaciones conexas. ii. Respecto a los documentos preliminares o borradores y los trabajos finales. Responder por escrito sobre aquellos comentarios emitidos por la unidad coordinadora de la evaluación y por la unidad administrativa que opera el programa que no ha considerado pertinente incorporar en los informes respectivos y las causas que lo motivaron. iii. Respecto a la Diseminación de Resultados. Los evaluadores y coordinadores deberán estar disponibles para reuniones y/o eventos especiales requeridos por la parte contratante, incluyendo la asistencia al Congreso Nacional en caso de ser convocados. La contratación, operación y supervisión de la evaluación se desarrollará bajo la coordinación de (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad), sujeta a los lineamientos a que se refiere el primer párrafo de este apartado. Los compromisos de la unidad coordinadora son: i. Suministrar oportunamente a la institución evaluadora toda la documentación necesaria para llevar a cabo el estudio, así como las bases de datos. ii. Verificar la confiabilidad de la información suministrada por ella y por las unidades relativas al programa. iii. Revisar borrador del informe y entregar oportunamente los comentarios que resulten de la revisión, a fin de que sean incorporados por el evaluador en la versión final. Verificar que el informe final de evaluación externa cumpla con el contenido mínimo establecido en estos Términos de Referencia para la Evaluación en Materia de Diseño del (Colocar el nombre del programa sujeto de evaluación). 7. Productos y plazos de entrega Se debe inducir un borrador del informe final de la evaluación en materia de diseño que deberá ser entregado a la (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad) y a la unidad administrativa responsable de la operación del programa. Con base en los comentarios recibidos, la institución evaluadora incorporará las revisiones pertinentes y posteriormente enviará el informe definitivo a la (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad).


La estructura de la entrega deberá contener: Resumen Ejecutivo (Máximo 2 cuartillas) Informe Final Índice Introducción (1 cuartilla) Capítulo 1. Evaluación de Diseño (36 cuartillas) Capítulo 2. Principales Fortalezas, Retos y Recomendaciones (Máximo 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones). Capítulo 3. Conclusiones (2 cuartillas) Bibliografía Anexos Anexo I: Características Generales del Programa (Ver formato adjunto). Anexo II: Objetivos Estratégicos de la Dependencia y/o Entidad. Anexo III: Entrevistas y/o talleres realizados. Nombre de las personas entrevistadas y participantes de los talleres participativos, así como las fechas en las cuales se llevaron a cabo. Anexo IV: Instrumentos de recolección de información. Anexo V: Bases de datos de gabinete utilizadas para el análisis en formato electrónico. Fecha de entrega: Se harán con base en el Programa Anual de Evaluación. Especificaciones: El borrador deberá ser presentado en forma impresa en formato Word y PDF en # tantos. La versión final deberá ser entregada en forma impresa en formato Word (en # tantos) y en disco compacto (en # tantos). Ambas deberán entregarse a la (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad). Los archivos electrónicos deberán organizarse en directorios con la misma estructura señalada en el informe y con nombres que faciliten su localización. Los informes deberán estar redactados en letra Arial 12, interlineado 1.5 líneas, y márgenes de 2 cm por cada lado. TR2: MODELO DE TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE DESEMPENO 1. Objetivo General Evaluar, mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la dependencia o entidad, la consistencia del (Colocar el nombre del Programa sujeto de evaluación) en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa. 2. Temas de Evaluación La evaluación se divide en seis temas: Diseño, Planeación Estratégica, Cobertura y Focalización, Operación, Percepción de la Población Objetivo y Resultados. Cada tema consta de preguntas específicas, las cuales deberán responderse mediante un esquema binario (Sí o No). Para determinar esta respuesta, el evaluador deberá fundamentarla con evidencia documental y análisis de la misma, que sustente y justifique los principales argumentos de cada una de las preguntas y temas por analizar. Por tanto, en cada respuesta se deberá justificar por qué se respondió de una u otra manera. Tanto la respuesta binaria a la pregunta, el análisis de la misma, así como las referencias documentales, serán la base de este trabajo de evaluación.


Ejemplo: ¿El programa ha llevado a cabo evaluaciones externas con metodologías rigurosas que le permitan medir el impacto del programa en la población objetivo? Respuesta: No. El programa ha llevado a cabo diversas evaluaciones externas en las que se analizan la cobertura y operación del mismo. Además, se observa que el programa ha medido la percepción y satisfacción de su población beneficiaria. Sin embargo, no se detectó ninguna evaluación cuantitativa o cualitativa con un diseño metodológico riguroso, que muestre evidencia del impacto que el programa ha tenido en su población objetivo. Es decir, hasta la fecha no hay una evaluación que permita conocer la contribución del programa para elevar los conocimientos técnicos de la población desempleada que atiende. Como sustento, en el anexo se detalla la lista de los diversos tipos de evaluaciones que el programa ha tenido y sus principales resultados. Cabe señalar que el programa no tiene un registro de indicadores a nivel de Fin o Propósito, que le permita medir sus resultados. El programa sólo cuantifica el número de cursos y alumnos atendidos, lo que impide llevar a cabo un análisis de impacto. Las preguntas que no tienen respuestas binarias están marcadas con un asterisco (*) y también deberán ser contestadas con base en el análisis que el evaluador realice sustentado en la documentación e información existente. De presentarse el caso, el evaluador deberá explicar las causas y motivos por los cuales alguna(s) pregunta(s) no sea(n) aplicable(s) al programa o no haya(n) podido ser respondida(s). Cuando el programa no genera o no tiene la información suficiente para poder contestar la pregunta, el evaluador deberá explicarlo en su respuesta. Así mismo, podrá llevar a cabo entrevistas para apoyar el análisis y los resultados de esta evaluación. De las cien preguntas que se aplican, cada una deberá ser respondida en su totalidad (incluyendo la justificación y el análisis) en una sola cuartilla por separado, sin importar si en la página sobra espacio. Al inicio de la página se escribirá la pregunta y su número de pregunta correspondiente. Lo anterior pretende dar claridad y concreción a la evaluación que aquí se pide. 2.1 Diseño 2.1.1 Características del programa Presentar en un máximo de dos cuartillas una breve descripción del programa con base en el Anexo 01: Características Generales del Programa, mismo que contiene la información básica y relevante del programa. Dicho formato deberá completarse y adjuntarse como anexo al informe de evaluación. En caso de ser necesario, se podrá incluir de manera concisa otra información sobre el programa que se considere relevante. 2.1.2 Análisis de la contribución del programa a los objetivos estratégicos de la dependencia y/o entidad, así como a los objetivos nacionales Con base en la identificación que la dependencia, entidad o el propio programa hayan realizado del problema y/o necesidad que se espera resolver con la ejecución del programa (Propósito y Fin), se debe realizar un análisis para contestar las siguientes preguntas: 1. ¿El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido?


2. ¿Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa? 3. ¿El Fin y el Propósito del programa están claramente definidos? 4. ¿El Fin y el Propósito corresponden a la solución del problema? 5. ¿El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa es adecuado para la consecución del Propósito y Fin que persigue? De no ser así, el evaluador deberá investigar y, de existir, presentar dicha evidencia. 6. Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa, ¿a qué objetivo u objetivos estratégicos está vinculado o contribuye el programa?* 7. De lo anterior, analizar y evaluar si existe una relación lógica del programa con los objetivos nacionales de la Estrategia Nacional de Desarrollo (END) y el PNPSP. 2.1.3 Evaluación y análisis de la matriz de indicadores En caso de que el programa no tenga elaborada una matriz de indicadores, la dependencia o entidad deberá construirla con base en la metodología para la elaboración de la matriz de indicadores de los programas presupuestarios y considerar los objetivos nacionales, estrategias y prioridades contenidos en la Estrategia Nacional de Desarrollo (END) y el PNPSP y los objetivos estratégicos de la dependencia y entidad. En términos de diseño, la institución evaluadora deberá analizar cómo operan las relaciones de causa-efecto entre los distintos ámbitos de acción del programa. De la lógica vertical de la matriz de indicadores 8. ¿Las Actividades del programa son suficientes y necesarias para producir cada uno de los Componentes? 9. ¿Los Componentes son necesarios y suficientes para el logro del Propósito? 10. ¿Es claro y lógico que el logro del Propósito contribuye al logro del Fin? 11. Considerando el análisis y la evaluación realizados en este punto, ¿la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, ¿la lógica interna del programa es clara? 12. Si no es así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna. Estos cambios deberían reflejarse en la matriz de indicadores definitiva del programa. De la lógica horizontal de la matriz de indicadores 13. En términos de diseño, ¿existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos? 14. ¿Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables? 15. De no ser el caso, la institución evaluadora, en coordinación con el programa, deberá proponer los indicadores faltantes y necesarios para cada ámbito de acción o las modificaciones a los indicadores existentes que sean necesarias. 16. ¿Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición? 17. ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? 18. Para aquellos medios de verificación que corresponda (por ejemplo encuestas), ¿el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación?


19. ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación? 20. ¿Se consideran válidos los supuestos del programa tal como figuran en la matriz de indicadores? 21. Considerando el análisis y evaluación realizado en este punto, ¿la lógica horizontal de la matriz de indicadores se valida en su totalidad? 22. Si no es así, proponer los cambios que deberían hacerse a la lógica horizontal de la matriz de indicadores (indicadores, medios de verificación y supuestos). 2.1.4 Población potencial y objetivo La población potencial corresponde a la población total que presenta la necesidad y/o problema que justifica el programa y por ende pudiera ser elegible para su atención. Por ejemplo: los niños menores de cinco años de edad que habitan en localidades rurales y que se encuentran en condiciones de pobreza alimentaria. Se entenderá por población objetivo la que el programa tiene planeado o programado atender en un periodo, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella. Por ejemplo: niños menores de cinco años de edad que habitan en localidades rurales y que se encuentran en condiciones de pobreza alimentaria de Samana. Tanto la población potencial como la población objetivo pueden estar definidas en regiones, municipios, localidades, hogares y/o individuos, en su caso. La población potencial también puede estar constituida por Organizaciones No Gubernamentales, Organizaciones Ejidales, Pequeñas y Medianas Empresas, entre otros, según corresponda a los objetivos del programa. 23. ¿La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas? 24. ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes? (En el caso de individuos, en términos de edad, sexo, nivel socio - económico - señalar quintil de ingreso si corresponde, principales características de la actividad económica que desempeña rama de actividad, condición de empleo, etc., condición indígena u otros atributos que sean pertinentes). 25. ¿Qué justificación sustenta que los beneficios del programa se dirijan específicamente a dicha población potencial y objetiva? 26. ¿La justificación es la adecuada? 27. ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? (Señalar los principales mecanismos). 28. ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socioeconómicas de la población incluida en ese padrón y con qué frecuencia se recolecta la información? 2.1.5 Análisis de la vinculación de las Reglas de Operación (ROP) o normatividad aplicable con los objetivos del programa 29. ¿El diseño del programa se encuentra correctamente expresado en sus ROP o normatividad correspondiente? 30. ¿Existe congruencia entre las ROP o normatividad aplicable del programa y su lógica interna?


2.1.6 Posibles coincidencias, complementariedades o duplicidades de acciones con otros programas gubernamentales 31. Como resultado de la evaluación de diseño del programa, ¿éste es el adecuado para alcanzar el Propósito antes definido y atender a la población objetivo? 32. ¿Con cuáles programas gubernamentales podría existir complementariedad y/o sinergia? 33. ¿Con cuáles programas gubernamentales podría existir duplicidad? 34. ¿El programa cuenta con información en la que se hayan detectado dichas complementariedades y/o posibles duplicidades? 2.2 Planeación Estratégica Esta sección busca analizar si el programa cuenta con instrumentos de planeación estratégica y si tiene una orientación para resultados. 2.2.1 Los mecanismos y herramientas de planeación estratégica 35. ¿El programa cuenta con planes estratégicos actualizados de corto, mediano y largo plazo? 36. ¿En los planes se establecen indicadores y metas, se definen estrategias y políticas para lograr estas metas, y se desarrollan programas de trabajo detallados para asegurar la implementación de las estrategias y así obtener los resultados esperados? 37. ¿En dichos planes se establecen con claridad los resultados (Fin y Propósito) que busca alcanzar el programa? 38. ¿El programa tiene mecanismos para establecer y definir metas e indicadores?, ¿estos mecanismos son los adecuados? Si no es así, ¿qué modificaciones propondría? 2.2.2 De la orientación para resultados 39. ¿El programa recolecta regularmente información oportuna y veraz que le permita monitorear su desempeño? 40. ¿El programa tiene un número limitado y suficiente de indicadores que se orienten a resultados y reflejen significativamente el Propósito del programa? 41. ¿El programa tiene metas pertinentes y plazos específicos para sus indicadores de desempeño? 42. ¿Los indicadores de desempeño del programa tienen línea de base (año de referencia)? 43. ¿Están los requerimientos de presupuesto explícitamente ligados al cumplimiento de las metas de desempeño? 44. ¿Cuáles son las fuentes de financiamiento del programa?* 45. ¿El programa ha llevado a cabo evaluaciones externas? 46. ¿Cuáles son las principales características de las mismas (tipo de evaluación, temas evaluados, periodo de análisis, trabajo de gabinete y/o campo)?* 47. ¿El programa ha implementado y dado seguimiento a los resultados y recomendaciones provenientes de las evaluaciones externas de los últimos dos años? 48. ¿Existe evidencia de que el programa ha utilizado la información generada por las evaluaciones para mejorar su desempeño? 2.3 Cobertura y Focalización 2.3.1 Análisis de cobertura


49. ¿El programa cuenta con algún método para cuantificar y determinar la población potencial y objetivo? 50. En caso de que el evaluador determine que el programa debe modificar los instrumentos antes analizados, proponer los instrumentos y procedimientos a utilizar, así como realizar un análisis de factibilidad de los mismos.* Para el análisis de cobertura, la población atendida corresponde a los beneficiarios efectivos, los cuales son aquellos que están siendo atendidos por el programa. 51. Cuantificar la población atendida total a nivel nacional para el periodo del 1 de enero del 2015 al 31 de diciembre del 2016. Esta información deberá desagregarse por entidad federativa, por los Componentes del programa y por los atributos considerados en la pregunta 24. Para presentar esta información utilizar un Cuadro como referencia.* 52. ¿El avance de la cobertura, que a la fecha presenta el programa, es el adecuado considerando su Fin y Propósito? 53. ¿El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo? 54. ¿Esta estrategia es la adecuada? Si no es así, ¿qué modificaciones propondría? 2.3.2 Análisis de focalización 55. En relación con la información de gabinete disponible se debe evaluar si el programa ha logrado llegar a la población que se deseaba atender. Para esto es necesario utilizar indicadores consistentes con los criterios analizados en la pregunta 27.* 56. ¿Se ha llegado a la población que se desea atender? 2.4 Operación 2.4.1 Análisis de las ROP o normatividad aplicable Este apartado busca analizar las principales actividades y procesos establecidos en las ROP o normatividad aplicable. Selección de beneficiarios y/o proyectos 57. ¿Existen procedimientos estandarizados y adecuados para la selección de proyectos y/o beneficiarios? 58. ¿La selección de proyectos y/o beneficiarios cumple con los criterios de elegibilidad y requisitos establecidos en las ROP o normatividad aplicable? Solicitud de apoyos 59. ¿El programa cuenta con información sistematizada que permita conocer la demanda total de apoyos y las características de los solicitantes? 60. ¿Existen procedimientos estandarizados y adecuados para recibir y procesar solicitudes de apoyo? Tipos de apoyos 61. ¿Los apoyos otorgados (incluyendo obras y acciones) cumplen con las características establecidas en las ROP o normatividad aplicable? 62. ¿Se respetaron los montos de apoyos estipulados en las ROP o normatividad aplicable? 63. ¿Se tiene información sistematizada que permita dar seguimiento oportuno a la ejecución de obras y/o acciones? Ejecución 64. ¿Existe evidencia documental de que el programa cumple con los procesos de ejecución establecidos en las ROP (avance físico-financiero, actas de entrega-recepción, cierre de ejercicio, recursos no devengados)? 65. ¿Dichos procesos de ejecución funcionan de acuerdo con la normatividad? 2.4.2 Mejora y simplificación regulatoria


66. ¿Se han implementado o modificado en los últimos tres años normas internas, políticas, acciones o estrategias institucionales con el fin de lograr una mejora y simplificación regulatoria o de procesos en el programa? Describa las más importantes. 67. Reportar los principales beneficios y resultados alcanzados con la implementación de acciones de mejora comprometidas. Enunciar únicamente el título de las acciones de mejora (Ejemplo: Reducción de tiempos de atención, disminución de cantidad de requisitos, etc.).* 2.4.3 Organización y gestión 68. ¿El programa cuenta con una estructura organizacional que le permita entregar y/o producir los Componentes y alcanzar el logro del Propósito? El análisis deberá incluir las diferentes instancias relacionadas con la operación del programa. 69. ¿Los mecanismos de transferencias de recursos operan eficaz y eficientemente? 70. Considerando las complementariedades del programa, ¿tiene una colaboración y coordinación efectiva con los programas federales con los cuales se relaciona y se complementa? 2.4.4 Administración financiera 71. ¿Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa? 72. ¿Existe una integración entre los distintos sistemas de información que conforman la administración financiera? 2.4.5 Eficacia, eficiencia, economía operativa del programa Eficacia 73. Presentar el avance de los indicadores a nivel de Componente del programa, ¿este avance es el adecuado para el logro del propósito? 74. ¿Se identifica algún componente o actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa? 75. ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por otros más eficaces? 76. ¿Existen indicadores de eficacia en la operación del programa? Presentar un listado de estos indicadores. Eficiencia 77. ¿El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos. 78. ¿El programa tiene procedimientos para medir costo-efectividad en su ejecución? 79. ¿Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa? 80. ¿Se identifican Componentes, Actividades o Procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo? 81. ¿Existen indicadores de eficiencia en la operación del programa? Presentar un listado de estos indicadores. Economía 82. Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. ¿Cuáles son las razones de la situación que se observa?*


83. ¿Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) con relación al presupuesto ejercido?* 84. En función de los objetivos del programa, ¿se han aplicado instrumentos de recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)? 2.4.6 Sistematización de la información 85. ¿Existe una sistematización adecuada en la administración y operación del programa? 86. ¿Cuáles son los principales sistemas de información utilizados en la gestión del programa?* 87. En caso de que el programa cuente con un padrón de beneficiarios, ¿existen mecanismos de actualización y depuración del padrón de beneficiarios o listado de beneficiarios? 88. ¿Los mecanismos de actualización son los adecuados? 2.4.7 Cumplimiento y avance en los indicadores de gestión y productos 89. Con base en los indicadores de gestión y productos del programa, ¿el programa mostró progreso en la realización de sus Actividades y en la entrega de sus Componentes en 2006? 2.4.8 Rendición de cuentas y transparencia 90. ¿Existe un Sistema de Rendición de Cuentas y Transparencia para los funcionarios que administran los fondos públicos del programa? 91. ¿Existen y funcionan los mecanismos de transparencia establecidos en las ROP? 92. ¿El programa cuenta con mecanismos para difundir interna y externamente las evaluaciones y sus resultados? 2.5 Percepción de la Población Objetivo La evaluación de la percepción de la población objetivo deberá analizar si el programa cuenta con instrumentos que le permitan medir el grado de satisfacción de los beneficiarios del programa. 93. ¿El programa cuenta con instrumentos que le permitan medir el grado de satisfacción de la población objetivo? 94. ¿Estos instrumentos son los mecanismos adecuados y permiten presentar información objetiva? Si no es así, ¿qué modificaciones propondría? 95. De la información que ha sido generada por estos instrumentos ¿cuál es el grado de satisfacción de la población objetivo?* 2.6 Resultados Este apartado busca evaluar si el programa cuenta con instrumentos que le permitan medir si ha cumplido con sus objetivos a nivel Propósito y Fin. Aquí se busca analizar si existe evidencia documentada de que el programa ha logrado mejorar o resolver el problema para el cual fue creado. 96. ¿El programa recolecta regularmente información veraz y oportuna sobre sus indicadores de Propósito y Fin? 97. ¿El programa ha llevado a cabo evaluaciones externas con metodologías rigurosas que le permitan medir el impacto del programa en la población objetivo (evaluaciones que permitan medir los avances en términos de su Propósito y Fin)?


98. Con base en las evaluaciones externas, ¿cuáles han sido los principales impactos del programa?* 99. ¿El diseño y la operación del programa permiten realizar una evaluación de impacto rigurosa? Si no es así, explicar y proponer los ajustes necesarios para que sean compatibles. 100. Con base en la información obtenida de los distintos instrumentos, ¿el programa ha demostrado un adecuado progreso en alcanzar su Propósito y Fin? Especificar los principales resultados. 3. Fortalezas, retos y recomendaciones Para cada uno de los temas evaluados: (1) Diseño, (2) Planeación Estratégica (3) Cobertura y Focalización, (4) Operación, (5) Percepción de la Población Objetivo, y (6) Resultados, el evaluador externo deberá identificar las fortalezas y oportunidades, debilidades y amenazas, específicas para cada uno de los temas evaluados. Ver Anexo 03 Principales Fortalezas, Retos y Recomendaciones. El evaluador externo deberá establecer en forma concisa cada fortaleza y oportunidad, o en su caso debilidad y amenaza, incluyendo la evidencia que la sustenta e indicando la fuente del análisis, así como la página y el párrafo del documento final en donde se encuentra el desarrollo de la idea. Asimismo, cada fortaleza y oportunidad, o en su caso debilidad y amenaza deberá estar ordenada de acuerdo con su relevancia, donde la primera será de mayor importancia con respecto a la segunda y así sucesivamente. Por cada debilidad o amenaza se deberá establecer al menos una recomendación precisa que ayude a solventar el reto o problema que fue identificado. Es importante que las recomendaciones estén cuidadosamente analizadas para garantizar su viabilidad y efectividad. Si se incorpora una recomendación que trasciende las atribuciones del programa, se debe señalar claramente si su implementación corresponde a la dependencia y/o entidad responsable del programa o a otras instituciones públicas. Asimismo, se debe indicar si ello requiere de cambios normativos y/o legales o recursos adicionales. Es necesario mencionar que todas las recomendaciones deberán estar ligadas al menos a una debilidad o amenaza; es decir, se pretende evitar las recomendaciones generales, sino específicas para cada reto o problema (debilidad o amenaza) detectado en la evaluación. Ver Anexo 03. En esta sección el evaluador deberá incluir un máximo de 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas y 5 recomendaciones por cada tema de evaluación. 4. Conclusiones La primera parte de las conclusiones deberá presentarse por cada tema de evaluación (Diseño, Planeación Estratégica, Cobertura y Focalización, Operación, Percepción de la Población, Objetivo y resultados), ser precisas y fundamentarse en el análisis y la evaluación realizada en cada uno de dichos temas. La segunda parte de las conclusiones es un análisis global y conciso del evaluador sobre la consistencia y los resultados del programa, con base en la evaluación realizada en este estudio. 5. Perfil y equipo clave de la institución evaluadora NOTA: La unidad administrativa coordinadora de la evaluación de cada dependencia o entidad deberá especificar en una tabla, los requisitos mínimos académicos y de experiencia esperados


de cada uno de los integrantes clave del equipo evaluador, dadas las particularidades del programa y la evaluación. 6. Responsabilidades y compromisos Además de la calidad del estudio y el cumplimiento de los presentes términos de referencia, la institución evaluadora es responsable de: i. Los costos y gastos que significan las instalaciones físicas, equipo de oficina, alquiler de servicios y transporte que se requiera para el estudio; asimismo, del pago por servicios profesionales, viáticos y aseguramiento del personal profesional, técnico, administrativo y de apoyo que sea contratado para la ejecución de la evaluación y operaciones conexas. ii. Respecto de los documentos preliminares o borradores y los trabajos finales. Responder por escrito sobre aquellos comentarios emitidos por la unidad coordinadora de la evaluación y por la unidad administrativa que opera el programa que no ha considerado pertinente incorporar en los informes respectivos y las causas que lo motivaron. iii. Respecto de la Diseminación de Resultados. Los evaluadores y coordinadores deberán estar disponibles para reuniones y/o eventos especiales requeridos por la parte contratante, incluyendo la asistencia al H. Congreso de la Unión en caso de ser convocados. La contratación, operación y supervisión de la evaluación se desarrollará bajo la coordinación de (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad), sujeta a los lineamientos a que se refiere el primer párrafo de este apartado. Los compromisos de la unidad coordinadora son: i. Suministrar oportunamente a la institución evaluadora toda la documentación necesaria para llevar a cabo el estudio, así como las bases de datos. ii. Verificar la confiabilidad de la información suministrada por ella y por las unidades relativas al programa. iii. Revisar el informe borrador y entregar oportunamente los comentarios que de la revisión resulten, a fin de que sean incorporados por el evaluador en la versión final del informe. Verificar que el informe final de evaluación externa cumpla con el contenido mínimo establecido en estos Términos de Referencia para la Evaluación de Consistencia y Resultados 2015 del (Colocar el nombre del programa sujeto de evaluación). 7. Productos y plazos de entrega También debe agregarse el borrador de un Informe Final de Evaluación Externa 2015 que deberá ser entregado a la (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad) y a la unidad administrativa responsable de la operación del programa. Con base en los comentarios recibidos, la institución evaluadora incorporará las revisiones pertinentes y posteriormente enviará el informe definitivo a la (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad). La estructura de la entrega deberá contener: Resumen Ejecutivo (Máximo 6 cuartillas) Informe Final Índice Introducción (1 cuartilla) Capítulo 1. Diseño (36 cuartillas)


Capítulo 2. Planeación Estratégica (14 cuartillas) Capítulo 3. Cobertura y Focalización (8 cuartillas) Capítulo 4. Operación (36 cuartillas) Capítulo 5. Percepción de la población objetivo (3 cuartillas) Capítulo 6. Resultados (5 cuartillas) Capítulo 7. Principales Fortalezas, Retos y Recomendaciones (Máximo 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones, por cada tema de evaluación. Capítulo 8. Conclusiones (3 cuartillas) Bibliografía Anexos Anexo I: Características Generales del Programa (Ver formato adjunto). Anexo II: Objetivos Estratégicos de la Dependencia y/o Entidad. Anexo III: Entrevistas y/o talleres realizados. Nombre de las personas entrevistadas y participantes de los talleres participativos, así como las fechas en las cuales se llevaron a cabo. Anexo IV: Instrumentos de recolección de información. Anexo V: Bases de datos de gabinete utilizadas para el análisis en formato electrónico. Fecha de entrega: Las entregas se harán con base en el Programa Anual de Evaluación, disponible en la página de Internet de la DIGEPRES. Especificaciones: El borrador deberá ser presentado impreso en Word y PDF en # tantos. La versión final deberá ser entregada impresa en Word (en # tantos) y en disco compacto (en # tantos). Ambas deberán entregarse a la (Colocar el nombre de la UNIDAD ADMINISTRATIVA responsable de coordinar a evaluación al interior de la Dependencia o Entidad). Los archivos electrónicos deberán organizarse en directorios con la misma estructura señalada en el informe y con nombres que faciliten su localización. Los informes deberán estar redactados en letra Arial 12, interlineado 1.5 líneas y márgenes de 2 cm por cada lado. TR3: GUION DEL ANÁLISIS DE FACTIBILIDAD PARA LLEVAR A CABO UNA EVALUACIÓN DE IMPACTO Presentación Las evaluaciones de impacto permiten medir los efectos que tiene un programa en sus beneficiarios con respecto a individuos que tienen características similares pero que no reciben los beneficios del mismo. Para realizar evaluaciones de impacto de tipo cuantitativo existen diferentes métodos estadísticos que se pueden utilizar. Éstos requieren información en al menos dos momentos del tiempo sobre dos grupos de individuos (beneficiarios y no beneficiarios): antes de la aplicación del programa y después de la misma, en algún momento determinado por las características del indicador sujeto a la medición. Es importante mencionar que no siempre es indispensable hacer levantamientos de encuestas. Esta información puede obtenerse de registros administrativos del programa, dependencias y entidades, o de bases de datos de encuestas existentes realizadas por el programa u otras instituciones, siempre y cuando estos datos permitan medir el impacto de los indicadores al nivel de desagregación deseado. La importancia de la evaluación de impacto radica en la medición de los efectos netos del programa sobre los beneficiarios, cuyos resultados permiten obtener conclusiones importantes acerca de la eficacia de éste para resolver el problema al que está enfocado. No obstante, para que una evaluación de impacto sea viable de ser realizada, el programa debe cumplir una serie de requisitos del monitoreo de información necesaria para llevarla a cabo.


La DIGEPRES requiere que antes de planear la evaluación de impacto de un programa se plasme en un documento la existencia de estos elementos. Este documento debe ser presentado por la dependencia o institución a cargo del programa y será analizado por la DIGEPRES. Dicho documento no deberá sobrepasar las diez cuartillas con interlineado sencillo y fuente Times New Roman tamaño 12. A partir del análisis de este documento se emitirá una opinión sobre la factibilidad de llevar a cabo la evaluación de impacto, o en su defecto realizar otro tipo de evaluación de seguimiento de resultados. Con la finalidad de especificar los componentes que debe tener el documento de análisis de factibilidad, se desarrolló este “Guion para Análisis de Factibilidad de la Evaluación de Impacto”. Propósito El presente documento especifica los contenidos mínimos con los que debe contar el análisis de factibilidad para realizar una evaluación de impacto. El guion está estructurado con el propósito de que las dependencias sigan el mismo orden de los apartados. Estructura del guion El guion presenta la siguiente estructura:

3. Antecedentes del programa 4. Diseño de la intervención 5. Objetivos de la evaluación 6. Información disponible y fuentes 7. Metodología aplicable

En la siguiente sección se detallan los contenidos de cada apartado. Contenido del guion

Antecedentes del Programa.‐ Una descripción del surgimiento del programa, el diagnóstico considerado y la definición del problema que pretende solucionar. También se debe describir el tipo de beneficio que el programa otorga y cuáles han sido sus variantes a lo largo del tiempo.

Diseño de la intervención.‐ En este apartado se describirá el área de atención del programa, la población objetivo, cobertura, mecanismos de focalización, beneficiarios directos y tipos de apoyos. Es necesario que esta descripción especifique si el programa tiene un mecanismo de focalización o si éste es de acceso universal, el proceso de selección de beneficiarios (por ejemplo si existe una selección aleatoria con criterios de elegibilidad o simplemente una promoción aleatorizada con inscripción voluntaria y elegibilidad universal), el tipo de apoyo que es otorgado a éstos, es decir, si es a través de donaciones, préstamos, entrega de bienes de capital, etc., y por último, si existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio‐económicas de la población incluida en el padrón de beneficiarios y con qué frecuencia se levanta la información.

Objetivos de la evaluación.‐ En este apartado se realizará primero una descripción de las razones para realizar la evaluación de impacto. Asimismo, se debe señalar cuáles


son los objetivos generales y específicos de la evaluación. Los objetivos generales deben presentar los interrogantes que se quiere responder sobre los impactos del programa en un conjunto de indicadores dada la naturaleza de los beneficios que se otorgan. Por su parte, los objetivos específicos deben presentar los indicadores para cada uno de los impactos que se pretender medir en un conjunto específico de la población beneficiada, dados los beneficios específicos que se les otorga.

Información disponible y fuentes.‐ En este apartado se deberá describir el tipo de información con la que se cuenta sobre beneficiarios y no beneficiarios antes de la implementación del programa, durante la aplicación del programa o al finalizar. Esta información es fundamental para llevar a cabo la evaluación. Por una parte, la información que se tiene antes de la implementación del programa permite conocer la situación inicial de los sujetos y sus características, las cuales deben ser similares entre beneficiarios y no beneficiarios, de manera que sea posible tener grupos comparables. Por otra parte, contar con información de esas mismas características durante o al final de la implementación del programa permite medir el impacto. Por lo anterior, es necesario mencionar si el programa recaba esta información con encuestas propias y de qué tipo son (transversales o longitudinales) o si es posible tener información de otras fuentes que puedan ser empleadas para tal efecto. En la medida que se cuente con estos datos se estará en la posibilidad de aplicar diferentes técnicas de evaluación para medir el impacto del programa en los beneficiarios.

Metodología aplicable.‐ En este apartado se deberá mencionar el método más factible

para la construcción del contra‐factual. Los métodos se pueden dividir en dos grupos:

experimental y cuasi‐experimental.

Experimental. Este método construye directamente el contra‐factual a través de la creación de grupos de tratamiento y control elegidos de manera aleatoria de entre la población elegible para participar en un programa. Este tipo de método es el benchmark de los métodos de evaluación de impacto.

Cuasi experimental. Este método construye de manera indirecta el contra‐factual cuando este no se ha construido de manera experimental, a través de:

Experimentos Naturales. Este tipo de método busca encontrar grupos de comparación que posean las propiedades de un grupo de control de un experimento social. Estos experimentos surgen de cambios institucionales, legales, sociales o naturales exógenos que implican la aplicación de una intervención a un grupo y no a otro.

Métodos de comparaciones apareadas (Matching methods). Este método es de utilidad cuando no se cuenta con un grupo de control. En éste se aparea participantes y no participantes de un programa con las mismas características observables. Un supuesto básico es que no hay sesgo de selección por factores no observables.

Métodos instrumentales. El método de variables instrumentales trata de resolver el problema de sesgo de selección a través de técnicas econométricas que limpian la correlación que existe entre la variable de tratamiento y el término de error en una regresión. El estimador que se obtiene es de carácter local, es decir, que calcula el efecto solo para aquellos que cambian su conducta con el instrumento.


Regresión discontinua. Este método utiliza la discontinuidad en la regla de asignación del tratamiento para evaluar el impacto. Sin embargo este estimador solo es local, es decir, que mide el impacto de los individuos que se encuentran en los alrededores de la línea de corte de la regla de asignación del tratamiento.

Diferencias en Diferencias. Este método utiliza datos de encuestas longitudinales y permite comparar el cambio en la variable de interés en el grupo de tratamiento con el cambio en el grupo de control. El método supone que las tendencias de la variable de interés son parecidas para ambos grupos y requiere de 3 puntos en el tiempo

(dos mediciones pre‐intervención y una postintervención).


REFERENCIAS BIBLIOGRÁFICAS

Arenas de Mesa, Alberto (2010) Presupuesto por Resultados y la Consolidación del Sistema de Evaluación y Control de Gestión del Gobierno Central, Ministerio de Hacienda, División de Control de Gestión, Febrero 2010, Santiago de Chile Arca, J., (2014), II Seminario Internacional de Seguimiento y Evaluación, La experiencia peruana en seguimiento y evaluación de políticas públicas en el marco del presupuesto por resultados, noviembre Banco Mundial (2006) Hacia la institucionalización de los sistemas de monitoreo y evaluación en América Latina y el Caribe, Washington, 2006 BID (2015 a), Construyendo gobiernos efectivos, Logros y retos de la gestión pública para resultados en América Latina y el Caribe ---------------(2015 b) Presupuestos para el Desarrollo en América latina BID – CLAD (2007) Modelo abierto de Gestión para Resultados en el sector público Bonnefoy, Juan Cristóbal (2005) La gestión por resultados: una perspectiva de gerencia pública. I Curso-Seminario “Políticas Presupuestarias y Gestión por Resultados” – La Antigua, Guatemala Boeykens, D., (2015), Metodología de Identificación de Programas Presupuestarios Calle, R., (2015) Metodología para el Costeo de la Producción Pública CEPAL (2014) Panorama de la gestión pública 2014 en América Latina y el Caribe, noviembre de 2014, Santiago de Chile CEPAL (2011) Planificación estratégica e indicadores de desempeño en el sector público, Serie Manuales No 69, Santiago de Chile, junio de 2011 CEPAL-DPPO, Gestión por Resultados Portada http://www.eclac.org Decreto No 265-15, Reglamento para la Organización y el Desarrollo del Sistema Nacional de Monitoreo y Evaluación Diario Oficial de México (2007) Lineamientos generales para la evaluación de los Programas DIGEPRES (2014 a), Hacia un Nuevo Sistema Presupuestario Dominicano, Presentación del Mc-Tb al Equipo Funcional, Noviembre ------------------- (2014 b) Hacia un nuevo sistema presupuestario dominicano, Atributos del NSPD, agosto Federales de la Administración Pública General, marzo 2007, DF Fondo Internacional de Desarrollo Agrícola -FIDA- (2009) Conceptos clave de seguimiento y evaluación de programas y proyectos: breve guía Guzmán, Marcela (2007) Evaluación de programas. Notas técnicas. Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES), No 64 Serie Gestión Pública, Santiago de Chile, agosto de 2007 ----------------------- (2005) Sistema de Control de Gestión y Presupuestos por Resultados: la Experiencia Chilena, Ministerio de Hacienda, Dirección de Presupuestos. 2005 IVALUA, (2009), Guía práctica 2 Evaluación de necesidades sociales Ley N° 494-06 de Organización de la Secretaría de Estado de Hacienda (hoy llamado Ministerio de Hacienda) Ley N° 5-07 Sistema Integrado de Administración Financiera del Estado Ley N° 423-06 Orgánica de Presupuesto para el Sector Público Makón, Marcos Pedro (2013) Algunas Reflexiones sobre la Gestión para Resultados, Revista Nº 52, agosto 2013, Asociación Argentina de Presupuesto y Administración Financiera Pública, Buenos Aires OCDE-BM (2008), Buenas prácticas emergentes en la gestión para resultado de desarrollo – Libro de Consulta – 3ª- Edición – http://www.mfdr.org/Sourcebook/3rdEdition/SourceBook3e-Spanish.pdf

http://www.mfdr.org/Sourcebook/3rdEdition/SourceBook3e-Spanish.pdf

http://www.mfdr.org/Sourcebook/3rdEdition/SourceBook3e-Spanish.pdf


Secretaria de Hacienda y Crédito Público (2012) Modelo Sintético de Información del Desempeño (MSD), Anexo Metodológico, segundo semestre Secretaria de Hacienda y Crédito Público (2011) Cédula: Conceptos básicos del Presupuesto basado en Resultados-Sistema de Evaluación del Desempeño (PbR-SED) Shack, N., (2015 a) Metodología de Presupuesto Plurianual Orientado a Resultados ------------ (2015 b) Hacia un Sistema de Seguimiento y Evaluación del Desempeño Presupuestario ------------ (2014a) Sistemas de Seguimiento y Evaluación del gasto Publico del Gobierno Nacional ------------ (2014b) Una Aproximación Cuantitativa al Presupuesto Institucional del Poder Judicial ------------ (2013) Sistemas de Seguimiento y Evaluación del Gasto Público en el Gobierno Nacional, Diagnóstico Situacional ------------ (2007) Sistema de monitoreo y evaluación de gasto público a nivel del gobierno nacional en Perú, en Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina, Banco Mundial y CLAD Sotelo, J., (2015), Articulación Plan – Presupuesto, septiembre

tabla de contenido · 2019-08-19 · 6 daniel badillo muñoz, consultor metodología sedp, adenda,...

Documents