09 hernández, maldonado y pérez.pdf
Post on 05-Jan-2016
225 Views
Preview:
TRANSCRIPT
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
1
Captulo Mxico
Domingo F. Hernndez, Claudia Maldonado Trujillo, Gabriela
Prez Yarahun
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
2
Siglas y acrnimos
ASF: Auditora Superior de la Federacin ASM: Aspectos Susceptibles de Mejora CEPAL: Comisin Econmica para Amrica Latina y el Caribe CONEVAL: Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social CONAPO: Consejo Nacional de Poblacin DGPOP: Direcciones Generales de Programacin, Organizacin y Presupuesto DCNPDHO: Decreto por el que se crea la Coordinacin Nacional del Programa de
Educacin, Salud y Alimentacin, como rgano desconcentrado de la Secretara de Desarrollo Social
IFAI: Instituto Federal de Acceso a la Informacin y Proteccin de Datos INEGI - Instituto Nacional de Estadstica y Geografa LFRCF: Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin LFPRH: Ley Federal de Presupuesto y Responsabilidad Hacendaria LGDS: Ley General de Desarrollo Social LGEPF-APF: Lineamientos generales para la evaluacin de los programas
federales de la Administracin Pblica Federal LGEDPA: Lineamientos generales para la elaboracin de diagnsticos de cuyos
resultados se obtienen propuestas de atencin de Programas de Desarrollo Social
LRRA-MIR: Lineamientos para el registro, revisin, actualizacin, calendarizacin y seguimiento de la Matriz de Indicadores para Resultados de los Programas Presupuestarios 2014.
MIR: Matriz de Indicadores para Resultados con base en la Metodologa de Marco Lgico OCDE: Organizacin para la Cooperacin y el Desarrollo Econmicos Oportunidades: Programa de Desarrollo Humano Oportunidades (antes PROGRESA) PEF: Presupuesto de Egresos de la Federacin PIB: Producto Interno Bruto PBR: Presupuesto Basado en Resultados PND: Plan Nacional de Desarrollo RLGDS: Reglamento de la Ley General de Desarrollo Social ROP: Reglas de Operacin de los programas sociales SECODAM: Secretara de la Contralora y Desarrollo Administrativo SED: Sistema de Evaluacin del Desempeo. SEDESOL: Secretara de Desarrollo Social SFP: Secretara de la Funcin Pblica SHCP: Secretara de Hacienda y Crdito Pblico SE&S: Sistema de Evaluacin y Seguimiento PND: Plan Nacional de Desarrollo UPRI: Unidad de Planeacin y Relaciones Internacionales de la SEDESOL UR: Unidad responsable de la administracin y/o ejecucin de los programas, subprogramas y proyectos de las dependencias y entidades
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
3
I. INTRODUCCIN
Mxico ha captado atencin internacional por su trayectoria institucional en
materia de evaluacin y seguimiento, particularmente, se le reconoce un avance
notable en la institucionalizacin de la evaluacin de la poltica social durante la
ltima dcada. Este posicionamiento es atribuible a una serie de reformas legales
y organizativas que resultaron en un fortalecimiento de la funcin de evaluacin en
Mxico. Estas reformas, y el conjunto de decisiones polticas subyacentes, slo
pueden comprenderse en el marco de procesos ms amplios de transformacin
poltica y social del pas. El objetivo del presente texto es realizar una descripcin
analtica de las principales caractersticas del Sistema de Evaluacin y
Seguimiento (SE&S) de los programas gubernamentales, su origen y desarrollo
reciente en Mxico.
Los sistemas de evaluacin y seguimiento son, casi por definicin, estructuras
anidadas: dependen directamente del aparato gubernamental y el proceso de
polticas pblicas que los encuadra. Por esta razn, la estructura del Estado y el
rgimen poltico influyen de manera determinante en la configuracin --los
alcances y lmites-- de las instituciones a cargo de la evaluacin y el seguimiento
de programas. En la primera seccin de este texto se presentan los antecedentes
clave de la evolucin poltica, social y econmica del pas con el fin de
dimensionar y contextualizar los factores centrales detrs del mpetu actual de la
evaluacin de los programas pblicos. La segunda parte describe los elementos
fundamentales del entorno institucional del sistema de evaluacin y seguimiento,
es decir su marco normativo e institucional, los actores involucrados y las etapas e
interacciones en el proceso. La tercera se aboca a la descripcin de las
particularidades e innovaciones del sistema de evaluacin y seguimiento
mexicano, tales como: los tipos de evaluacin, la planeacin de la evaluacin, los
instrumentos para la generacin de indicadores y seguimiento y los mecanismos
para fomentar el uso de las evaluaciones para la mejora de los programas
pblicos. La ltima seccin ofrece una reflexin en torno a retos que enfrenta el
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
4
sistema de evaluacin y seguimiento de los programas pblicos federales en
Mxico.
II. ANTECEDENTES
En Mxico, el diseo y la implementacin de programas pblicos recaen
fundamentalmente en el Poder Ejecutivo de los tres niveles de gobierno (federal,
estatal y municipal). El Congreso, adems de sus funciones legislativas, tiene
facultades de supervisin, revisin y aprobacin del ejercicio de los recursos
pblicos. Sin embargo, durante el periodo autoritario (1929-1994), las
caractersticas de facto del sistema poltico mexicano desactivaron durante
dcadas los mecanismos constitucionales de la divisin de poderes y del arreglo
federal. Estas particularidades influyeron en que durante esta poca fuera el
Ejecutivo Federal, de manera unilateral, el promotor directo de los esfuerzos por
evaluar el quehacer gubernamental; la falta de apertura, competencia y pluralidad
poltica caus que dichos esfuerzos fueran limitados, efmeros y autorreferentes,
por ausencia de un clima poltico propicio. En no pocas ocasiones, las estructuras
orientadas a modernizar a la administracin pblica estuvieron concentradas en la
reduccin del aparato pblico, la venta de empresas pblicas y los recortes de
personal, que caracteriz a las dcadas de los ochenta y noventa. Por mucho
tiempo, la evaluacin y el seguimiento, como actividades sustantivas del gobierno,
quedaron relegadas.
El desarrollo y la institucionalizacin recientes del SE&S en Mxico
guardan estrecha relacin con los importantes cambios polticos y sociales que el
pas experiment en las ltimas dos dcadas. Dentro de estos es necesario
mencionar tres transformaciones interrelacionadas: Primero, el trnsito gradual de
un rgimen autoritario de partido hegemnico a un sistema poltico con mayor
apertura y pluralidad democrtica. Segundo, el desmantelamiento de un sistema
basado en la concentracin en la toma de decisiones en el Ejecutivo federal a un
sistema descentralizado en recursos y funciones administrativas a estados y
municipios. Tercero, la recomposicin del modelo econmico para eliminar altos
niveles dficit pblico y recurrentes desbalances macroeconmicos. Estas
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
5
transformaciones implicaron el aumento de la competencia poltica y econmica, el
incremento de la participacin ciudadana y la activacin de los pesos y
contrapesos en el sistema poltico. El fortalecimiento y la continuidad de la funcin
evaluativa en Mxico cobran sentido en este contexto particular, que explica su
surgimiento y consolidacin en un periodo relativamente corto. A continuacin se
describen algunos de los antecedentes de mayor relevancia de las grandes
transformaciones, estrechamente vinculadas entre s, que explican la naturaleza y
caractersticas esenciales del SE&S en Mxico.
En la primera mitad de la dcada de los aos 90 no hubo una estructuracin
clara de la funcin de evaluacin. Si bien el Programa General de Simplificacin
de la Administracin Pblica (1989) reconoca la importancia de dar forma a una
nueva cultura administrativa, caracterizada por la eficiencia y productividad de la
gestin gubernamental, no se encuentran en este periodo esfuerzos significativos
para la realizacin de evaluaciones de la actividad gubernamental. En 1994 se
crea la Secretara de la Contralora y Desarrollo Administrativo (SECODAM),
dependencia del Ejecutivo Federal, con el objetivo central de promover la
modernizacin de la administracin pblica Asimismo, en ese periodo la
Presidencia emite el Programa para la Modernizacin de la Administracin Pblica
Federal (1995-2000). En palabras del entonces Presidente Ernesto Zedillo durante
la presentacin del Programa, [era] preciso cambiar la orientacin de la
evaluacin del sector pblico, para medir no slo la utilizacin de insumos y el
cumplimiento de normas, sino el logro real de objetivos. Aunque en el discurso se
reconoci la necesidad de evaluar en funcin de resultados, en la prctica imper
la lgica tradicional del control interno, orientado al principio de legalidad. En los
hechos, la agenda de evaluacin se supedit reiteradamente a la agenda de
control del Poder Ejecutivo, entendida ya sea como de combate a la corrupcin,
racionalizacin del gasto pblico o fortalecimiento del control y el seguimiento
vertical de la administracin pblica.
Adems de las referencias normativas a la funcin de evaluacin y las
experiencias incipientes en la materia, se fueron gestando modificaciones en la
estructura presupuestaria que seran determinantes en la etapa de
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
6
institucionalizacin de la evaluacin. Entre las medidas adoptadas para modificar
la forma en que se asignaba el presupuesto, destaca la denominada Nueva
Estructura Programtica (NEP)1. Dicho paso facilitara la conformacin de un
sistema de evaluacin basado en programas presupuestales.
En lo econmico, las recurrentes crisis del siglo pasado, que en 1995
significaron una cada del PIB de 6.8% (INEGI, 2014a), asociadas a excesivos
dficits presupuestarios y a una deficiente programacin de las polticas pblicas,
fortalecieron la exigencia de amplios sectores de la sociedad mexicana para
establecer mecanismos institucionales que promovieran un gasto pblico ms
eficaz, eficiente y equitativo. La necesidad de planear de manera eficiente el
presupuesto, de evaluar el desempeo gubernamental y, sobre todo, de verificar
los resultados alcanzados se convirti en un comn y legtimo reclamo.
En lo poltico, las fracturas de la lite gobernante, el crecimiento de la
popularidad de la oposicin y la presin creciente por la democratizacin del
sistema llevaron a la composicin del primer congreso federal plural en la historia
moderna de Mxico, como resultado de las elecciones de medio trmino en 1997.
Esta nueva pluralidad propici la creacin de la primera normatividad para el
seguimiento efectivo del gasto pblico y los resultados de las polticas pblicas
(May et al, 2006). La nueva pluralidad poltica condujo al fin de 70 aos de
hegemona del PRI, con la victoria del Partido Accin Nacional (PAN) en las
elecciones presidenciales de 2000. Este cambio fue percibido por diversos actores
nacionales e internacionales como el principio del fin de una poca caracterizada
por la opacidad, el clientelismo y la discrecionalidad en el manejo de los recursos
1 La NEP fue el conjunto de categoras y de elementos programticos que sirvieron para dar orden
al gasto pblico en su clasificacin funcional y definir el mbito de aplicacin del mismo . Las categoras del gasto se definieron por medio de funciones, subfunciones, programas sectoriales, programas especiales, actividades institucionales, proyectos institucionales y proyectos de inversin. La intencin de la NEP fue establecer claramente los recursos para la realizacin de las polticas, las estrategias y las acciones, y poder identificar las implicaciones de costo vinculado con los resultados.; vincular de forma directa los propsitos de las polticas pblicas, la misin de las dependencias y entidades y el quehacer cotidiano de las unidades responsables, ejecutores directas de los recursos pblicos (Programa Nacional de Financiamiento del Desarrollo 1995-2000).
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
7
pblicos, as como la posibilidad de que mayor transparencia y rendicin de
cuentas conllevara resultados ms efectivos en las polticas pblicas.
Cuando la pluralidad poltica activ los pesos y contrapesos del rgimen
constitucional surgi tambin una nueva generacin de instituciones que buscaba
promover la rendicin de cuentas horizontal, reducir la asimetra de informacin
entre gobierno y oposicin y bajar las barreras de acceso para la ciudadana. As
se cre la Auditora Superior de la Federacin (ASF), rgano del Congreso que
tiene por misin fiscalizar el ejercicio de los recursos pblicos. En 2002 se expide
la Ley Federal de Transparencia y Acceso a la Informacin Pblica (LFTAIP), y un
ao despus se expide el decreto por el cual la SECODAM se transforma en la
Secretara de la Funcin Pblica (SFP), incorporando en sus funciones, adems
del control de la gestin gubernamental, la coordinacin y normatividad
concerniente al servicio profesional de carrera.
En el marco general de la activacin del pluralismo y sus consecuencias
para la evaluacin del quehacer gubernamental, destaca el hecho de que el sector
social los programas sociales federales, concretamentesurgiera como punta de
lanza del sistema de evaluacin y seguimiento. Esta trayectoria, que ha sido
caracterizada como un salto de lo sectorial a lo nacional en la literatura comparada
(Castro y Fernndez-Ordoez, 2009), est asociada a diversos factores de
economa poltica de Mxico. Por un lado, la preocupacin y la desconfianza en
torno al uso clientelar del gasto social para fines electorales que imper en la
dcada de la transicin (1990s); y por el otro, a la coyuntura econmica (1995) en
la que era preciso aumentar el gasto social para compensar la debacle econmica
y focalizarlo en forma indita para contrarrestar la naturaleza altamente regresiva
del gasto pblico en Mxico. El deterioro de la calidad de vida de amplios sectores
de la poblacin (por ejemplo, el incremento de la pobreza patrimonial por ingresos
de 52.4% a 69% entre 1994 y 1996 CONEVAL, 2013f) min la legitimidad del
rgimen poltico y fortaleci las demandas de los partidos polticos de oposicin y
organizaciones civiles de mayor participacin en las decisiones de poltica pblica
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
8
y transparencia en el ejercicio del presupuesto (Feinstein y Hernndez, 2008).2 La
crisis econmica abri una ventana de oportunidad para la transformacin de la
poltica social en Mxico, con implicaciones profundas para el desarrollo de la
evaluacin. En medio de una crisis de desconfianza y fuertes presiones
distributivas por la eliminacin de los subsidios generales, se dise un innovador
programa focalizado de transferencias condicionadas -PROGRESA. Gracias a un
cuidadoso proceso de evaluacin, con el objetivo estratgico de aportar evidencia
slida y creble para respaldar los cambios en los instrumentos de poltica social,
el programa logr aportar evidencia de su efectividad (reduccin de desercin
escolar, mejora del estado nutricio, etc.) y legitimar un controvertido modelo de
focalizacin como un instrumento a prueba de la manipulacin clientelar
("Progresa no toma partido"). PROGRESA naci con un diseo apto para la
evaluacin externa y el escrutinio pblico, convirtindose desde su inici en un
modelo de poltica pblica basada en evidencia y detonante crucial para la
institucionalizacin de la evaluacin peridica, obligatoria y externa en el sector
pblico
La experiencia exitosa de la evaluacin de PROGRESA, as como la
creciente preocupacin y evidencia del uso poltico o clientelar de programas
sociales (Prez 2014), deriv en el establecimiento de la obligatoriedad de los
programas de subsidios o transferencias de expedir reglas de operacin,
documento pblico que debe contener por lo menos el objetivo del programa, la
definicin de su poblacin objetivo y criterios trasparentes para la seleccin de
beneficiario. Esta disposicin fue establecida en el Presupuesto Federal para
1998. Este conjunto de programas, con reglas de operacin, sera el primer foco
de la evaluacin obligatoria.
Las primeras disposiciones jurdicas para la aplicacin de evaluaciones
externas anuales a todos los programas sociales se dieron en el Presupuesto
Federal del ao 2001. As en el decreto del presupuesto, por primera vez se tuvo
2 De acuerdo a la ms reciente estimacin, 52.3% de la poblacin viva en pobreza por ingresos en
2012, prcticamente el mismo porcentaje registrado en 1992 (CONEVAL 2013).
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
9
un mandato legal para que los programas pblicos federales sujetos a reglas de
operacin fueron evaluados ese ao por organismos externos a las dependencias
de gobierno ejecutoras de las programas. Sin embargo, estas disposiciones
carecan de especificidad con relacin tanto a la continuidad de la evaluacin
como al contenido de la misma y la naturaleza de los evaluadores. As, en 2002 se
expide el Acuerdo de Requisitos Mnimos que tuvo como objetivo cubrir algunos
de los vacos existentes en materia de evaluacin. El Acuerdo defina los
procedimientos de contratacin, las caractersticas mnimas con las que deberan
contar los evaluadores (reconocimiento legal, experiencia en evaluacin de
programas gubernamentales, especificacin de una metodologa acorde con el
programa y conocimiento del programa a evaluar) y los elementos que deberan
contener los informes derivados de la evaluacin (DOF, 2002).
En el 2004 se publica la Ley General de Desarrollo Social, antecedente de
gran relevancia para el sistema de evaluacin y seguimiento de programas
sociales federales. Entre otras cosas, y como se ver ms adelante, esta ley le da
continuidad a la obligacin de evaluacin externa anual de los programas sociales
y crea un organismo que coordina dicha actividad en la administracin pblica
federal (denominado Consejo Nacional de Evaluacin de la Poltica de Desarrollo
Social). En 2006 se promulga la Ley Federal de Presupuesto y Responsabilidad
Hacendaria que institucionaliza el Sistema de Evaluacin del Desempeo (SED),
con ello se incorporan el resto de los programas gubernamentales a la agenda de
evaluacin. En 2007 se expiden por parte de la SHCP, SFP y CONEVAL los
Lineamientos Generales para la Evaluacin de los Programas de la Administracin
Pblica Federal y en 2008 se realiza una reforma constitucional en materia de
gasto pblico y fiscalizacin que sienta las bases para un ejercicio ms
transparente con una orientacin hacia el logro de resultados verificables. As, se
plasma el concepto de Presupuesto basado en Resultados (PbR) de manera ms
clara en el marco jurdico en el ms alto nivel. En 2009 se promulga la Ley de
Fiscalizacin y Rendicin de Cuentas de la Federacin la cual establece que la
fiscalizacin deber incluir la prctica de auditoras al desempeo --a cargo de la
ASF para verificar el cumplimiento de los objetivos y las metas de los programas
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
10
federales-- conforme a los principios de posterioridad, anualidad, legalidad,
imparcialidad y confiabilidad.
Finalmente, en 20143 se realiza una reforma en la que se otorga autonoma
constitucional al Consejo Nacional de Evaluacin de la Poltica de Desarrollo
Social (CONEVAL), previamente constituido como un organismo descentralizado
de la Administracin Pblica Federal. Las implicaciones particulares de esta
reforma para el sistema de evaluacin nacional podrn ser analizadas una vez que
finalice el proceso de expedicin de las leyes que regularn esta nueva condicin
del CONEVAL en 2015.
Las reformas descritas, en conjunto, aunque no siempre de manera
armnica e internamente congruente, constituyen los cimientos del sistema
mexicano de evaluacin y seguimiento, que se describe ms detalladamente en
las siguientes secciones. En el anexo se incorpora un cuadro con la cronologa de
los principales hitos en el mbito legal/institucional.
III. MARCO LEGAL E INSTITUCIONAL
Un sistema puede analizarse como el conjunto de partes o elementos organizados
y relacionados que interactan entre s para lograr un propsito. En este sentido
los elementos que integran el conjunto mnimo de un sistema de evaluacin y
seguimiento incluyen: 1) las leyes o normas que regulan el sistema; 2) los agentes
que cumplen con diversas funciones, i.e., organizaciones gubernamentales,
privadas o sociales; 3) las interacciones que se generan entre estos agentes a
partir de los mandatos legales, sus necesidades y aportaciones. Esta seccin est
organizada en funcin de estos tres elementos que conforman las reglas y
productos del sistema.
3 Decreto por el que se reforman, adicionan y derogan diversas disposiciones de la Constitucin
Poltica de los Estados Unidos Mexicanos en materia poltica-electoral. Diario Oficial de la Federacin. 10 de febrero de 2014.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
11
1. NORMATIVIDAD
El SE&S de Mxico se basa en un conjunto diverso de leyes en materia
administrativa, de desarrollo social, presupuesto, acceso a la informacin pblica y
fiscalizacin. Los pilares del sistema de evaluacin actual en Mxico se
encuentran en la Ley General de Desarrollo Social (LGDS), la Ley de Presupuesto
y Responsabilidad Hacendaria (LPRH), la Ley de Fiscalizacin y Rendicin de
Cuentas y los Lineamientos Generales para la Evaluacin de los Programas
Federales de la Administracin Pblica Federal (LGEPF-APF). La siguiente
ilustracin facilita la visualizacin del conjunto de normas que regulan la
evaluacin y su jerarqua normativa en el mbito jurdico4.
.
4 Es importante destacar que esta ilustracin no incluye la reforma constitucional de 2014, que otorga
autonoma a CONEVAL.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
12
Ilustracin 1 Marco Jurdico y Normativo para la Evaluacin Externa
Fuente: Portal de Transparencia Presupuestaria, Observatorio del Gasto de SHCP (disponible en
www.shcp.gob.mx)
La LGDS tiene por objeto garantizar el pleno ejercicio de los derechos sociales
consagrados en la Constitucin Poltica de los Estados Unidos Mexicanos,
asegurando el acceso de toda la poblacin al desarrollo social y, entre otras
cosas, establecer los mecanismos de evaluacin y seguimiento de los programas
y acciones de la poltica de desarrollo social. El Consejo Nacional de Evaluacin
de la Poltica de Desarrollo Social (CONEVAL) es creado por esta disposicin
jurdica como un organismo descentralizado con personalidad jurdica, patrimonio
propio y autonoma tcnica y de gestin. Las funciones esenciales que se
establecen en la LGDS para el CONEVAL son coordinar la evaluacin externa
anual y realizar la medicin peridica de la pobreza. La Ley establece que la
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
13
evaluacin de los programas sociales podr realizarla el Consejo por s mismo o
a travs de uno o varios organismos independientes del ejecutor del programa, y
que la evaluacin tiene por objeto revisar peridicamente el cumplimiento del
objetivo social de los programas, metas y acciones de la Poltica de Desarrollo
Social, para corregirlos, modificarlos, adicionarlos, reorientarlos o suspenderlos
total o parcialmente. Asimismo, el ordenamiento seala el tipo de organismos
evaluadores que podrn participar en la realizacin de evaluaciones externas y
obliga al Ejecutivo federal, estatal o municipal a proporcionar la informacin y
facilidades necesarias para la realizacin de la evaluacin. Bajo este
ordenamiento, la evaluacin deber realizarse por entes externos a la
administracin pblica, de manera anual; los resultados debern ser pblicos y
debern emitirse sugerencias y recomendaciones.
El Consejo est integrado por el titular de la Secretara de Desarrollo Social
o la persona que ste designe para representarle, seis investigadores acadmicos
y un secretario ejecutivo nombrado por el Ejecutivo Federal. Los investigadores
son elegidos por voto de los miembros de la Comisin Nacional de Desarrollo
Social5 por un perodo de cuatro aos, con la posibilidad de reeleccin para la
mitad de ellos.
La LGDS regula slo lo relativo a los programas y la poltica de desarrollo
social, no obstante, la mayora de las herramientas de evaluacin y seguimiento
desarrolladas en la aplicacin de esta Ley fueron adoptadas eventualmente por el
gobierno federal para la evaluacin de programas presupuestarios de otros
mbitos de la Administracin Pblica Federal (Castro et al, 2009).
La Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH)
promulgada en 2006, incorpora elementos de control, rendicin de cuentas y
5 La Comisin Nacional de Desarrollo Social est presidida por el (la) titular de la Secretara de
Desarrollo Social e integrada por: los titulares de las Secretaras de Educacin Pblica; Salud; Trabajo y Previsin Social; Agricultura, Ganadera, Desarrollo Rural, Pesca y Alimentacin; as como Medio Ambiente y Recursos Naturales; el titular de la dependencia responsable del desarrollo social en cada gobierno de las entidades federativas; un representante de cada una de las asociaciones nacionales de autoridades municipales, legalmente reconocidas; los presidentes de las comisiones de Desarrollo Social de las Cmaras de Diputados y de Senadores.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
14
evaluacin al ejercicio de gasto, siendo uno de los ms relevantes el Sistema de
Evaluacin del Desempeo (SED). En la LFPRH, el SED se define como el
conjunto de elementos metodolgicos que permiten realizar una valoracin
objetiva del desempeo de los programas de acuerdo a los principios de
verificacin del grado de cumplimiento de metas y objetivos, y con base en
indicadores estratgicos y de gestin, permiten conocer el efecto social y
econmico de los programas y los proyectos.
De acuerdo con la LFPRH, el CONEVAL es el coordinador de las
evaluaciones en materia de desarrollo social, en concordancia con lo establecido
en la LGDS. Esta ley refuerza lo relativo al carcter pblico de las evaluaciones;
tambin especifica el tipo de informacin que deben contener los reportes de
evaluacin, as como los requisitos mnimos que deben cumplir los evaluadores.
Sin embargo, no existe la especificidad de la responsabilidad de las evaluaciones
para programas no incluidos en la poltica de desarrollo social.
Los Lineamientos Generales para la Evaluacin de los Programas
Federales de la Administracin Pblica Federal (LGEPF-APF) expedidos en
marzo de 2007 de manera conjunta por la SCHP, SFP y CONEVAL, especifican
diversos elementos del sistema, entre stos: los tipos de evaluacin; la
planeacin de la evaluacin, ; los requisitos de elegibilidad de los evaluadores
externos; la obligatoriedad de un procedimiento para el seguimiento y difusin de
los resultados y recomendaciones de las evaluaciones; y las caractersticas
generales para la elaboracin de los indicadores mediante una matriz con la
metodologa de marco lgico (CEPAL, 2004), denominada Matriz de Indicadores
para Resultados (MIR).
Como parte del contexto institucional normativo es importante mencionar la
Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin (LFRCF)
promulgada en 2009. Esta ley no es una disposicin especfica en la temtica de
evaluacin y seguimiento; su objeto es reglamentar funciones de revisin y
fiscalizacin. Sin embargo esta ley establece que la fiscalizacin incluye la prctica
de auditoras al desempeo para verificar el cumplimiento de los objetivos y las
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
15
metas de los programas federales. La facultad de fiscalizacin est a cargo de la
Auditora Superior de la Federacin (ASF) y se lleva a cabo de manera posterior al
trmino de cada ejercicio fiscal con carcter externo. Estas dos prcticas
evaluativas, la de evaluaciones externas y las auditoras del desempeo, carecen
hasta ahora de vinculacin y/o coordinacin y obedecen a lgicas, metodologas y
resortes institucionales distintos.6
2. AGENTES DEL SISTEMA DE EVALUACIN Y SEGUIMIENTO
Los actores que intervienen en las actividades de seguimiento y evaluacin de
programas gubernamentales en Mxico pueden ser agrupados de acuerdo con su
procedencia o mbito de accin. De manera particular se revisan en este texto los
actores en la Administracin Pblica Federal, en el Poder Legislativo y en el
mbito de la sociedad civil. En la Administracin Pblica Federal, la SHCP, el
CONEVAL, la SFP, otras secretaras Ministerios-- y agencias gubernamentales
que instrumentan programas pblicos intervienen de manera directa en el proceso
de seguimiento y evaluacin. Formalmente la SHCP interviene en la formulacin y
aprobacin de indicadores de desempeo de los programas (estratgicos o de
gestin), en la planeacin de la evaluacin, en la difusin de los resultados y en la
utilizacin de la evaluacin para el proceso presupuestario. El CONEVAL, por su
parte, tiene funciones en la aprobacin de indicadores de desempeo, en la
planeacin de la evaluacin, en la elaboracin, difusin y seguimiento de
metodologas para el seguimiento y la evaluacin, en la conduccin y seguimiento
de evaluaciones externas, en la seleccin de evaluadores externos, en la difusin
de los resultados y en la coordinacin y seguimiento de los resultados de las
evaluaciones (sugerencias y recomendaciones) para los organismos operadores
de los programas. La Secretara de la Funcin Pblica interviene en la aprobacin
de indicadores de gestin, la planeacin de la evaluacin, el seguimiento a los
resultados y la difusin de los resultados.
6 En el extremo, podra afirmarse que estas figuras tienen objetivos potencialmente contradictorios: control vs.
aprendizaje para la mejora.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
16
Los organismos del Ejecutivo Federal, operadores directos de los
programas gubernamentales, tienen como funciones la elaboracin de indicadores
de desempeo, la provisin de las condiciones necesarias para el desarrollo de las
evaluaciones externas, seleccin de evaluadores externos, la difusin y
seguimiento de los resultados.
Dentro del Poder Legislativo, diversas Comisiones Legislativas, tanto de la
Cmara de Diputados como de la de Senadores, tienen como funcin recibir y
analizar los resultados de las evaluaciones externas para la toma de decisiones
correspondientes. La Auditora Superior de la Federacin, por su parte, emite
recomendaciones a los indicadores de desempeo y realiza auditoras de
desempeo del gasto gubernamental, que incluye a los programas
gubernamentales que son evaluados.
Los actores de la sociedad civil que tienen relacin con las actividades de
evaluacin y seguimiento son: los evaluadores externos, organizaciones de la
sociedad civil, los beneficiarios y los medios de comunicacin y difusin. Los
evaluadores pueden ser personas fsicas o instituciones como universidades,
centros de investigacin o agrupaciones no lucrativas de la sociedad civil con
experiencia y capacidad en seguimiento y evaluacin. Adems de los evaluadores,
diversas organizaciones de la sociedad civil se han encargado del anlisis y la
difusin de los resultados de las evaluaciones, lo cual ha servido para proveer
elementos de discusin ante la opinin pblica.
Finalmente, si bien en diversas disposiciones, como la LGDS, se menciona la
promocin de la participacin social en las actividades de evaluacin y
seguimiento, no queda claro si esta participacin incluye a los beneficiarios de los
programas sociales. Los beneficiarios de programas tienen la obligacin legal de
proporcionar la informacin que sirva para la realizacin de la evaluacin, pero
ms all de esta obligacin no se especifica de qu manera pueden participar en
la conduccin, el diseo y los procesos de seguimiento de las recomendaciones
de las evaluaciones.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
17
3. ETAPAS E INTERACCIONES
El proceso de evaluacin y seguimiento de los programas gubernamentales puede
ser visto como una secuencia de etapas que va desde la planeacin y diseo de la
evaluacin hasta la utilizacin de sus resultados. La Figura 1, presentada a
continuacin, esquematiza estas cuatro etapas del proceso de evaluacin y
seguimiento, i.e., planeacin, ejecucin, difusin y utilizacin. Para cada una de
las etapas se describen los principales actores del SE&S. Esta secuencia no es
necesariamente lineal o coincide con el ciclo de planeacin/presupuestacin
anual; de hecho, las etapas pueden no ser continuas y pueden tener diferente
duracin de un ao a otro, dependiendo del tema de evaluacin y los principales
actores involucrados. Las fases que se ilustran en la Figura 1 corresponden
esencialmente al sistema de evaluacin y seguimiento de la poltica social. Sin
embargo, salvo la participacin del CONEVAL, tambin describen apropiadamente
lo que sucede en otros sectores de las polticas pblicas. Esto se debe, en la
prctica, al liderazgo conjunto de la SHCP, la SFP y el CONEVAL en la
generacin de rutinas, procesos y ciclos de gestin de la evaluacin de programas
en el mbito federal, y en forma indirecta, en algunas entidades federativas.
En la primera etapa se identifican y se impulsan temas de evaluacin y
seguimiento para ser incluidos en la agenda de evaluacin; en esta definicin
intervienen formal y conjuntamente el CONEVAL, la SHCP y la SFP, que son las
instancias encargadas de la formulacin del Plan Anual de Evaluacin, documento
donde se incluye la lista completa de programas y polticas a evaluar. Para incluir
los programas o polticas a ser evaluados se considera, primero, lo establecido en
diversos ordenamientos legales, por ejemplo, la obligatoriedad de evaluacin
externa anual de todos los programas sujetos a reglas de operacin. Adems cada
una de estas instancias puede proponer evaluaciones de diversos programas o
polticas de acuerdo a las necesidades percibidas por estos actores, as como por
los organismos ejecutores de los programas. Tambin pueden ser tomados en
consideracin otros elementos, como los resultados de evaluaciones previas o la
necesidad de otros tipos de evaluacin, por ejemplo una evaluacin de impacto
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
18
para un programa que ha tenido previamente evaluaciones de diseo o procesos.
En esta etapa tambin se puede incluir el diseo y difusin de metodologas de
evaluacin.
En principio, la LGDS seala la obligacin de evaluar a los programas
anualmente. Esto impuso la creacin de un modelo de ciclo de vida, y sus
respectivas tipologas, para la evaluacin de los programas de desarrollo social. El
primer tipo de evaluacin, implementada para ms de 106 programas en 2007, fue
la Evaluacin de Consistencia y Resultados, que se realiza con informacin de
gabinete y permite valorar la orientacin a resultados de los programas. A partir de
2008 se ha instrumentado anualmente la Evaluacin Especfica de Desempeo
para un gran nmero de programas. Esta evaluacin, algo muy parecido a una
ficha de monitoreo, est diseada para ofrecer informacin puntual y sinttica
sobre la evolucin de los indicadores clave -de gestin y estratgicos- del
programa y de los recursos presupuestarios asignados al mismos en el periodo de
referencia. El CONEVAL es el encargado de desarrollar y dar seguimiento a las
diferentes metodologas instrumentadas para la evaluacin. En la siguiente
seccin se har una descripcin de algunas de las ms relevantes.
Un paso muy importante para la sistematizacin y evaluacin de los
programas ha sido la existencia de la Matriz de Indicadores para Resultados (MIR)
de los programas, en la cual se plasman de manera clara y sinttica los objetivos
del programa y sus indicadores de seguimiento. Por ello, en los ltimos aos se ha
hecho un esfuerzo creciente para que todos los programas presupuestales o
acciones federales generen o consoliden su respectiva MIR. La Matriz proporciona
la conceptualizacin de los objetivos e indicadores del programa necesarios para
su evaluacin. METER INFO HACIENDA: % AVANCE MIR Y % PRESUPUESTO
Figura 1. Actores y etapas del S&ES de la poltica desarrollo social
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
19
Fuente: elaboracin propia
La segunda etapa se refiere a la ejecucin de la evaluacin. En esta etapa
hay interacciones entre los agentes que deben encargarse de la contratacin de
evaluadores, los que deben ayudar en la ejecucin de la evaluacin y aquellos que
proporcionan los servicios de evaluacin. Es necesario realizar el diseo de
trminos de referencia y la puesta en marcha de los mecanismos de seleccin de
los evaluadores externos. Para algunas evaluaciones (v.g., evaluacin de
consistencia y resultados, de impacto, de procesos) es frecuente que sean los
organismos operadores de los programas quienes contraten a los evaluadores
bajo criterios uniformes y trminos de referencia previamente diseados y
validados por SHCP, SFP y CONEVAL. Para otras evaluaciones (v.g.,
estratgicas, evaluacin especfica de desempeo) el CONEVAL es el agente que
contrata de manera directa a los evaluadores externos.
Con respecto a los evaluadores, es necesario decir que gracias a una oferta
creciente de cursos y entrenamiento en la materia evaluativa de diversas
universidades y centros de investigacin especializados, las capacidades de
SHCP
CONEVAL
SFP
Organismos ejecutores de programas
Organizaciones de la Sociedad CIvil
CONEVAL SHCP SFP Congreso Organismos operadores
CONEVAL
Evaluadores Externos
Organismos ejecutores de programas
SHCP
CONEVAL
SFP
Organismos ejecutores de programas
Congreso Planeacin Ejecucin
Difusin Utilizacin
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
20
evaluacin se han incrementado sustancialmente en Mxico en la ltima dcada;
se cuenta hoy con un mayor nmero de especialistas y profesionales capacitados
en diversas metodologas de evaluacin que hace 10 o 15 aos. Sin embargo,
pareciera ser que el mercado de evaluacin todava tiene potencial para
desarrollarse para satisfacer la creciente demanda en trminos de cantidad y
calidad en las evaluaciones.
Las dependencias operadoras de los programas intervienen tambin en la
ejecucin de la evaluacin porque proporcionan la informacin y condiciones
necesarias para llevarla a cabo. La cultura de la evaluacin entre los responsables
de programas gubernamentales es ms robusta hoy que hace una dcada; el
proceso de evaluacin es ms conocido y aceptado por los funcionarios pblicos.
No obstante, existe evidencia que apunta a que la evaluacin todava sigue siendo
considerada, por una gran proporcin de empleados pblicos, ms como un
requisito burocrtico que como mecanismo real para la rendicin de cuentas o la
mejora de los programas (Cejudo y Maldonado eds. 201; Prez Yarahun 2015).
La tercera etapa de la evaluacin est relacionada con la difusin y
comunicacin de los resultados de las evaluaciones. Por mucho tiempo, quiz
hasta 2007, las evaluaciones externas realizadas a los programas
gubernamentales no eran difundidas adecuadamente. A pesar de la normatividad
al respecto, muchas veces las evaluaciones no se encontraban accesibles al
pblico, y era altamente probable que muchas de ellas fueran ignoradas para
cualquier toma de decisiones, ya fuera para la mejora de los programas o el
proceso presupuestario. A partir de 2007, se ha puesto nfasis en la
operacionalizacin de la publicidad de las evaluaciones externas. Hoy, los
instrumentos de seguimiento y las evaluaciones de los programas federales y
polticas pblicas del gobierno mexicano pueden encontrarse con facilidad en las
pginas de internet de las dependencias federales, en la pgina web de
CONEVAL y en el portal de Transparencia Presupuestaria de la SHCP. Adems,
cada vez se realizan ms esfuerzos sistemticos por generar formas de
comunicacin ms adecuada. Evidencia de esto son los diversos documentos de
sntesis de la informacin de las evaluaciones accesibles en las pginas web de
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
21
SHCP y CONEVAL, as como la creciente atencin que reciben estos temas en la
prensa nacional. Sin embargo, es necesario sealar que la difusin y
comunicacin de la evaluacin es un reto permanente, que requiere de un trabajo
continuo y reflexivo para traducir los datos y la informacin particular y tcnica de
las evaluaciones en instrumentos tiles para los diferentes actores que intervienen
en la hechura de las polticas.
La ltima etapa en el proceso de evaluacin es la utilizacin. El objetivo de
la evaluacin es que tenga utilidad para la poltica pblica y el ejercicio de
gobierno. La utilizacin ha sido uno de los temas de mayor inters en la literatura
la evaluacin; se han propuesto diversos tipos de utilizacin: el uso instrumental,
conceptual o simblico (Levinton & Hughes, 1981). Hasta 2007, las evaluaciones
externas de los programas gubernamentales no parecan tener un uso
instrumental para la mejora de los programas y tampoco para establecer vnculos
con la formulacin presupuestal. En este sentido, aunque existieron esfuerzos de
la SFP por dar seguimiento a las recomendaciones de las evaluaciones, stos no
prosperaron en hacerlos generalizados o verdaderamente tiles. Para dar solucin
a esta situacin, en 2008 se desarroll un mecanismo por el cual los organismos
operadores y responsables de programas deben responder a la evaluacin con
documentos pblicos en los cuales se debe argumentar a favor o en contra de los
resultados de la evaluacin y sobre la procedencia y pertinencia de las
recomendaciones o sugerencias de la evaluacin. Este mecanismo ser descrito
con mayor detalle en la siguiente seccin. Asimismo, la SHCP desarrolla de
manera peridica una sntesis de la informacin de seguimiento y evaluacin cuya
pretensin es informar las asignaciones de presupuesto. Esta sntesis es pblica y
est disponible en la pgina de internet de la SHCP a travs del Portal de
Transparencia Presupuestaria.
En trminos generales, la apropiacin de la evaluacin como un
instrumento de rendicin de cuentes y de gestin por resultados requiere procesos
interrrelacionados de generacin de capacidades individuales y organizativas
concretas, la consolidacin de modelos y rutinas de gestin y la generacin de
espacios institucionales y organizacionales para procesar los hallazgos derivados
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
22
de los mltiples ejercicios de evaluacin a los que se someten los programas
sociales de manera peridica, obligatoria y externa. Ahora bien, si bien es cierto
que el componente normativo es una condicin necesaria para alcanzarlo,
existen factores adicionales, de igual importancia, que han influido en el potencial
de divulgacin, utilizacin e influencia de la informacin generada por las
evaluaciones.
Por ltimo, es necesario sealar que la descripcin que se ha hecho del
marco normativo, los actores y las interacciones del sistema de seguimiento y
evaluacin ha sido en el mbito federal. El desarrollo en los gobiernos locales, a
diferencia del registrado en el nivel federal, es reciente y an con importantes
retos para su consolidacin. Algunos de los avances documentados en los ltimos
aos se refieren a que en todas las entidades federativas existe una ley de
desarrollo social o equivalente que permite institucionalizar diversos elementos de
seguimiento y evaluacin en los programas de desarrollo social. Sin embargo, en
2012 slo seis entidades llevaron a cabo una planeacin de la evaluacin 7. De
igual forma, si bien es cierto que 25 entidades establecan en su normatividad la
publicacin de los resultados de las evaluaciones, slo siete efectuaron
evaluaciones a sus programas de desarrollo social entre 2011 y 2013 (CONEVAL,
2013a).
IV. CARACTERSTICAS DEL SISTEMA DE EVALUACIN y SEGUIMIENTO
Como se ha visto en este texto, el SE&S en Mxico es coordinado por la
Secretara de Hacienda y Crdito Pblico (SHCP), la Secretara de la Funcin
Pblica (SFP)8 y el (CONEVAL). En esta seccin se describirn con mayor
detalle sus elementos bsicos, esto son: la Matriz de Indicadores para Resultados
7 Distrito Federal, Nayarit, Oaxaca, Puebla, Quertaro y San Luis Potos.
8 Actualmente existe una propuesta de Ley para fusionar las atribuciones de la SFP y la SHCP.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
23
(MIR), las metodologas de evaluacin, el Programa Anual de Evaluacin (PAE) y
el Mecanismo de Aspectos Susceptible de Mejora (ASM).
1. MATRIZ DE INDICADORES PARA RESULTADOS
El principal instrumento para el seguimiento de los programas sociales es la Matriz
de Indicadores para Resultados (MIR) elaborada con base en la metodologa de
Marco Lgico (LGEPAPF, 2007).
La validacin y aprobacin de las MIR (en su lgica vertical y horizontal) est a
cargo de la SHCP, SFP y el CONEVAL. La revisin y actualizacin de este
instrumento se realiza cada ao y sus objetivos deben ser congruentes con los
objetivos, estrategias y prioridades del Plan Nacional de Desarrollo (LGEPAPF,
2007). Es obligacin para los organismos operadores de los programas que
publiquen las MIR en sus pginas web.
En el Cuadro 3 se presenta el calendario habitual para un ciclo presupuestal
especfico, en este caso 2014. A principios de ao, entre febrero y marzo, los
organismos y dependencias ejecutores de los programas registran en el portal
electrnico9 de la SHCP una propuesta de MIR. En el mes de marzo, reas
especializadas revisan y emiten comentarios. Posteriormente, en el mes de abril,
la SHCP y la SFP emiten comentarios y en su caso validan las MIR. Una vez
aprobadas, las dependencias emiten informes trimestrales sobre los indicadores.
En marzo del siguiente ao, este caso de 2015, se integra la informacin trimestral
y anual en el informe de la Cuenta de la Hacienda Pblica Federal.
Cuadro 3. Calendario para la MIR y metas e indicadores de desempeo 2014
Fecha
Etapa
Febrero Marzo
Registro de la MIR, metas e indicadores de desempeo en el portal electrnico de la SHCP por parte de las unidades responsables de los
9 Portal Aplicativo de la SHCP
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
24
programas (UR)
Marzo Revisin de las Direcciones Generales de Programacin, Organizacin y Presupuesto (DGPOP) o equivalentes de las dependencias y entidades de gobierno que operan programas presupuestarios
Abril Validacin de la MIR, metas e indicadores por parte de la SHCP y la SFP
Abril Primer informe Trimestral de MIR e indicadores de desempeo
Julio Segundo informe Trimestral de MIR e indicadores de desempeo
Octubre Tercer informe Trimestral de MIR e indicadores de desempeo
Enero 2015 Cuarto informe Trimestral de MIR e indicadores de desempeo
Marzo 2015 Integracin de la Cuenta de la Hacienda Pblica Federal 2014 Fuente: elaboracin propia con base en los Lineamientos para el registro, revisin, actualizacin, calendarizacin y seguimiento de la Matriz de Indicadores para Resultados de los Programas Presupuestarios 2014 (SHCP, 2014).
2. METODOLOGAS DE EVALUACIN
Las principales metodologas de evaluacin que se aplican para los
programas federales en Mxico se muestran en la siguiente tabla.
Principales evaluaciones utilizadas en el Programa Anual de Evaluacin
Tipo de evaluacin
Definicin
Diagnsticos Identificacin del problema central o necesidad, su evolucin, causas y efectos y una propuesta de diseo de una intervencin pblica para su atencin.
Evaluacin de Diseo
Evaluar mediante trabajo de gabinete y apoyado en informacin proporcionada por el programa, la dependencia o entidad, el diseo del Programa. Lo anterior, con el fin de que las recomendaciones de este anlisis puedan retroalimentar el diseo y la gestin del programa.
Evaluacin de Consistencia y Resultados
Analiza sistemticamente el diseo y desempeo global de los programas federales a fin de mejorar su gestin y medir el logro de sus resultados con base en la matriz de indicadores.
Evaluacin de Indicadores
Analiza mediante trabajo de campo la pertinencia y alcance de los indicadores de un programa federal para el logro de resultados.
Evaluacin de procesos
Analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestin.
Evaluacin de impacto
Identifica con metodologas rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecucin del programa federal.
Evaluaciones especficas
Aquellas evaluaciones no comprendidas en los LGEPF y que se realizarn mediante trabajo de gabinete y/o de campo.
Evaluaciones estratgicas
Se aplican a un programa o conjunto de programas en torno a las estrategias, polticas e instituciones.
Evaluacin Costo-beneficio*
Comparacin de los costos y beneficios de una intervencin pblica en trminos monetarios en tiempo presente.
Fuente: Ley General de Desarrollo Social, Lineamientos generales para la evaluacin de los programas federales de la Administracin Pblica Federal (DOF, 2007). Programa Anual de Evaluacin 2014. Lineamientos Generales para la Elaboracin de Diagnsticos de cuyos Resultados se obtienen Propuestas de Atencin de Programas de Desarrollo Social (2009) * La mayora de las evaluaciones contenidas en el PAE se encuentran descritas en los LGEPF-APF, aunque algunas otras, como la evaluacin de diseo o costo-beneficio, slo se mencionan en el PAE.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
25
Se han elaborado criterios especficos para la elaboracin de diagnsticos
(RLGDS, Artculo 7) y Lineamientos Generales para la Elaboracin de
Diagnsticos de cuyos Resultados se obtienen Propuestas de Atencin de
Programas de Desarrollo Social (LGEDPA, 2009).
La realizacin de una evaluacin de diseo es obligatoria, de acuerdo a los
los LGEPF-APF, para el primer ao de operacin de los programas nuevos. Los
Trminos de Referencia emitidos por CONEVAL indican que la evaluacin se
divide en seis temas: (1) caractersticas del programa, (2) contribucin a los
objetivos estratgicos, (3) matriz de indicadores, (4) poblacin potencial y objetivo,
(5) vinculacin con las ROP, y (6) coincidencias, complementariedades y
duplicidades.
La Evaluacin de Consistencia y Resultados (ECR) es una evaluacin
ejecutiva cuyo objetivo es analizar sistemticamente el diseo y desempeo global
de los programas, identificando la lgica y congruencia en el diseo del programa,
su vinculacin con la planeacin sectorial y nacional y la consistencia de su diseo
con la normatividad aplicable. La ECR se realiza mediante un cuestionario dividido
en seis temas y 51 preguntas, a saber: diseo (13 preguntas), planeacin y
orientacin a resultados (9), cobertura y focalizacin (3), operacin (17),
percepcin de la poblacin atendida (1) y medicin de resultados (8). La
evaluacin se realiza mediante un anlisis de gabinete con base en informacin
proporcionada por la dependencia o entidad responsable del programa, as como
informacin adicional que la instancia evaluadora considere necesaria para
justificar su anlisis.10 Esta evaluacin permite identificar el grado de orientacin a
resultados de los programas y sirve, en su caso, como insumo para la
construccin de la evaluabilidad de las intervenciones.
Tanto en el diseo de las metodologas como en la elaboracin de trminos
de referencia para la realizacin de evaluaciones, el CONEVAL tiene una funcin
10
Modelo de Trminos de Referencia de la Evaluacin de Consistencia y Resultados (CONEVAL, 2011)
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
26
rectora centralizada. El CONEVAL emite trminos de referencia modelo o
dictamina aquellos propuestos por diferentes organismos para todas las
evaluaciones externas. Todo ello est disponible en su pgina web. Existe un
particular inters de CONEVAL por incrementar el nmero y la calidad de las
evaluaciones de impacto realizadas, y aunque se tienen ejemplos muy importantes
como las evaluaciones de impacto del programa Prospera anteriormente
Oportunidades-- y cada vez ms evaluaciones rigurosas, la mayora de los
programas sociales carecen an de levantamientos basales o de sistemas de
informacin robustos para ello.
Las evaluaciones externas deben ser realizadas anualmente en el periodo
comprendido del primero de mayo al treinta de abril del siguiente ao (LGEPF-
APF, 2007). Las evaluaciones tambin pueden ser realizadas para varios
ejercicios fiscales mediante esquemas de contratacin plurianuales. En la LGDS
(2004) se seala que los organismos independientes que podrn participar en la
evaluacin son instituciones de educacin superior, de investigacin cientfica y
organizaciones no lucrativas. Los procedimientos para la contratacin de los
evaluadores externos se sujetarn a las disposiciones establecidas en la Ley de
Adquisiciones, Arrendamientos y Servicios del Sector Pblico y los pagos
conforme al esquema presupuestario que determine la SHCP. En general, este
marco normativo ha privilegiado la participacin de instituciones acadmicas
pblicas en el mercado de evaluacin.
3. PROGRAMA ANUAL DE EVALUACIN
El Programa Anual de Evaluacin (PAE) tiene como propsito determinar los tipos
de evaluacin que se aplicarn, establecer el calendario de su ejecucin, y
vincular las evaluaciones con las actividades anuales de programacin y
presupuesto. El PAE se establece de manera conjunta por la SHCP, SFP y
CONEVAL a principios del ao fiscal y su contenido debe estar disponible en los
portales electrnicos de las tres agencias de gobierno.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
27
El nmero de evaluaciones federales realizadas por tipo, de 2007 a 2013,
se muestra en el siguiente cuadro.
Nmero de evaluaciones por tipo coordinadas por CONEVAL 2007-2013
Tipo de evaluacin 2007 2008 2009 2010 2011 2012 2013
Complementaria 2 16 18 9 17 21 6
Consistencia y resultados 106 0 0 1 148 8 5
Diseo 13 23 32 20 46 14 24
Especfica de desempeo 0 374 379 390 0 540 3
Especfica 6 2 9 2 0 122 320
Estratgica 3 1 3 0 0 2 1
Impacto 3 6 3 2 1 3 0
Integral 0 0 19 21 10 22 0
Procesos 0 0 5 6 4 6 3
Diagnstico - - - - - 1 1
Total de evaluaciones 133 422 468 451 226 739 363
Fuente: CONEVAL http://www.coneval.gob.mx/Evaluacion/Paginas/InformeResultados.aspx. Liga consultada en enero de 2015. Nota: la informacin para 2013 puede estar aun en proceso de actualizacin.
El PAE 2014 abarca un mayor nmero de programas y un calendario y
disposiciones mucho ms especficas que las contenidas en la publicacin del
primer PAE en 2007. En el PAE 2014, la SCHP coordina la evaluacin de 17
programas (14 de Consistencia y Resultados y 3 de Costo-Efectividad) y la
elaboracin de 25 diagnsticos, principalmente enfocados al desarrollo de
infraestructura; la SFP coordina las evaluaciones de 12 programas (4 de
Procesos, 5 de Consistencia y Resultados y 3 Especficas de Desempeo) y 26
diagnsticos. El CONEVAL coordina el diagnstico de 36 programas y la
evaluacin anual especfica de desempeo11 para 197 programas.
Las dependencias y entidades debern dar a conocer en su pgina de
internet o portal electrnico, en lugar visible y de fcil acceso, los documentos y
resultados de todas las evaluaciones externas dentro de los 10 das hbiles
11
De acuerdo al PAE 2014, las evaluaciones especficas anuales a las que se refiere el Artculo 78 de la LGDS sern las fichas de monitoreo y evaluacin sealadas en el PAE.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
28
siguientes de haber sido entregados. Los datos de las evaluaciones externas que
debern publicarse en las pginas de internet son, al menos: datos generales del
evaluador externo, datos generales de la unidad administrativa responsable del
seguimiento de la evaluacin, forma de contratacin, bases de datos generadas,
instrumentos de recoleccin de informacin, nota metodolgica, resumen ejecutivo
y costo de la evaluacin.
4. ASPECTOS SUSCEPTIBLES DE MEJORA (ASM)
La utilidad y utilizacin de los resultados ha sido una de las principales
preocupaciones en los esfuerzos por poner en prctica sistemas nacionales de
evaluacin y seguimiento. En el caso mexicano, la evaluacin externa, en los
primeros aos de su implementacin, tuvo un uso simblico, ms que conceptual
o instrumental. Esto se debe, entre otros factores, al proceso de maduracin de la
prctica evaluativa, pero tambin al origen poltico de la preocupacin por la
evaluacin: el control y vigilancia de los programas sociales para evitar su
manipulacin electoral. Esto implica que en la prioridades y lgica de arranque de
la evaluacin en Mxico, la mejora continua y la orientacin al usuario de la
evaluacin al interior de las agencias gubernamentales no fue prioritario. La
prctica de la evaluacin estuvo principalmente vinculado con lo simblico ms
que con lo conceptual e instrumental. En un contexto de transicin poltica y
fuertes problemas sociales de pobreza, marginacin y desigualdad, la evaluacin
de programas sirvi ms en la parte emblemtica de la construccin de un sistema
de rendicin de cuentas, --con la conformacin de un sistema de informacin
incipiente, pero estructurado y confiableque con la dimensin instrumental para
la mejora de los programas. La preocupacin por una utilizacin ms sustantiva
para la mejora de la accin gubernamental motiv a la formulacin de un
mecanismo de seguimiento de la evaluacin que estuviera ms enfocado al uso
de los resultados que a la fiscalizacin y auditora de los resultados de la
evaluacin. As, en el contexto mexicano, el denominado Mecanismo para el
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
29
Seguimiento de Aspectos Susceptibles de Mejora (ASM), se refiere al
tratamiento del conjunto de hallazgos de la evaluacin externa que debern ser
considerados y atendidos para la mejora de los programas con base en las
recomendaciones y sugerencias sealadas por el evaluador externo12.As, una vez
realizada la evaluacin, se procede a la seleccin de aspectos relevantes por
parte de los responsables programticos con criterios de: claridad, relevancia y
factibilidad.
Estos aspectos tambin se clasifican por el nivel de responsabilidad para su
atencin, con las siguientes categoras: especficos (atendibles por la unidad
responsable de la ejecucin del programa); institucionales (atendibles por la
dependencia o entidad a la que pertenece la unidad responsable de la ejecucin
del programa); interinstitucionales (atendibles por diversas dependencias y
entidades que de alguna manera influyen en la ejecucin del programa) e
intergubernamentales (atendibles por ms de un orden o nivel de gobierno). Las
fechas y procedimientos especficos para la clasificacin, accin y seguimiento de
los ASM estn establecidos en la normatividad emitida conjuntamente por SHCP,
CONEVAL y SFP, y puede ser consultado en la pgina web del CONEVAL.
La puesta en marcha de este mecanismo busca, por una parte, involucrar a
los responsables de los programas en el anlisis de los reportes de evaluacin
para una adecuada apropiacin de los involucrados de este proceso. Esto implica
el anlisis explcito y la oportunidad de rplica de aquellos responsables de los
programas evaluados. Por otra, busca incorporar de manera ms efectiva los
hallazgos al clasificar los aspectos de mejora por su relevancia, importancia e
identificacin de responsables.
La efectividad del mecanismo deber ser comprobada en el tiempo con una
investigacin sobre los cambios efectivamente emprendidos y sus consecuencias
en los resultados y desempeo de los programas. Sin embargo, este esquema
12
Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones externas a programas federales (SHCP, SFP, CONEVAL, 2014) y LGEPF-APF.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
30
reconoce de manera implcita la importancia de considerar la compleja interaccin
de involucrados en el proceso de evaluacin y seguimiento.
Comentarios Finales
En un periodo relativamente corto, Mxico logr construir un modelo de evaluacin
y seguimiento de programas pblicos que cuenta con un andamiaje institucional
slido, una serie de procesos, actores y lineamientos ampliamente compartidos en
la administracin pblica federal y principios de gestin que los hace crebles. Este
sistema ha permitido la generacin de informacin y conocimiento sobre el
desempeo de los programas pblicos, la adopcin de un lenguaje comn para el
anlisis, la evaluacin y la gestin de programas presupuestarios, y el
fortalecimiento inicial de las capacidades de y para la evaluacin en el sector
pblico federal.
El anlisis de la trayectoria reciente de Mxico sugiere que el SE&S es un
producto directo de la activacin de los pesos y contrapesos del rgimen
democrtico en Mxico y que, al mismo tiempo, se ve limitada por las propias
caractersticas de esa transicin: su naturaleza federal (no necesariamente
nacional), fragmentada, diacrnica. A pesar del notable salto institucional en torno
a la evaluacin y el seguimiento de programas pblicos y las importantes reformas
orientadas a la presupuestacin por resultados, persisten enormes desafos para
hablar de la institucionalizacin de la evaluacin y el seguimiento como
instrumentos para la mejora, el aprendizaje y la rendicin de cuentas por
resultados.
Un primer desafo tiene que ver con el hecho de que el sistema no es
fruto de un plan maestro o una decisin poltica de alto nivel plasmada en una ley
marco, sino de una serie de reformas legales y acuerdos de coordinacin de facto
que convergieron, en la prctica, en la normalizacin y continuidad de la funcin
evaluativa en Mxico. En el marco de la activacin de pesos y contrapesos de la
pluralidad poltica, se alinearon incentivos y capacidades para la evaluacin de los
programas sociales primero, y de los dems programas presupuestarios, despus.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
31
Este proceso, que tuvo como anclas la Ley General de Desarrollo Social y la Ley
Federal de Presupuesto y Responsabilidad Hacendaria, y se materializ gracias a
la coordinacin transversal de diversas organizaciones (SHCP, CONEVAL, SFP)
que comparten algunas atribuciones fragmentadas en materia de evaluacin, sin
que necesariamente compartan la misma visin del papel de la evaluacin en el
proceso de polticas. Igualmente, la coyuntura crtica de 1997 (gobierno dividido
con contraccin econmica) que deton la experiencia pionera de PROGRESA --
despus Oportunidades y hoy Prospera-- influy de manera determinante en
los principios de obligatoriedad y externalidad que rigen el SE&S de Mxico. Esta
coyuntura influye en diversas caractersticas de origen del sistema: la
preocupacin por los programas sociales; la evaluacin como un instrumento
horizontal de control poltico y como instrumento vertical de control presupuestario.
Hasta la fecha, a pesar de la generacin de mecanismos de seguimiento a los
hallazgos de las evaluaciones, es necesario verificar que se est conformando una
dimensin interna de aprendizaje y orientacin a la mejora de los programas y de
las propias evaluaciones.
En segundo lugar, es posible que la institucionalidad para la evaluacin y el
monitoreo ha apostado, quiz demasiado, al potencial transformador de la
generacin de informacin pblica per se. .13 La informacin, si bien es
indispensable para la rendicin de cuentas y la toma de decisiones, no se
transmite, comunica ni traduce automticamente en procesos de mejora, control
ciudadano y/o aprendizaje de poltica pblica. Hay factores atribuibles a la
trayectoria del proceso de evaluacin en la administracin pblica y otros
vinculados a caractersticas del sistema poltico. Entre los primeros, factores se
encuentran aquellos asociados a la curva de aprendizaje de cualquier reforma
gerencial y otros ms estrechamente relacionados con el diseo institucional y las
13
En este sentido, el sistema de evaluacin y seguimiento de Mxico depende en gran medida de la
reglamentacin sobre trasnparencia y el uso y acceso a la informacin pblica. Cualquier reforma que afecte
el principio de mxima publicidad plasmado en la Constitucin afectar directamente los alcances mnimos
del ejercicio de evaluacin.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
32
decisiones tomadas a partir de un conjunto de normas fragmentadas, relacionadas
con la evaluacin y la gestin del desempeo.
Tercero, la incertidumbre sobre la calidad y la heterogeneidad de las
evaluaciones, as como la confusin inicial sobre su significado e implicaciones
entre los operadores de los programas forma parte de un costo normal de inicio de
una prctica administrativa que rompe con la lgica, el lenguaje y los procesos de
la administracin pblica tradicional -orientada al control del proceso administrativo
y el manejo financiero. Estos factores afectaron naturalmente la capacidad de
apropiacin del proceso y de los resultados de la evaluacin. Con frecuencia,
estos no se socializaban ampliamente al interior de las organizaciones pblicas y
se convertan, en los hechos, entrmites adicionales conocidos por un grupo
pequeo involucrados.
Cuarto, entre los atributos de diseo del proceso de evaluacin y
seguimiento en Mxico destaca la normalizacin centralizada de metodologas,
trminos de referencia y ciclo de evaluacin en funcin del ciclo de vida de los
programas. Esta decisin, que permiti la gestin de cientos de evaluaciones cada
ao y la estandarizacin de la informacin del desempeo de los programas
tambin sacrific la orientacin del modelo a un usuario modal. Es decir, definir
con mayor claridad cul es el usuario primario de la evaluacin y qu tan idneo
es el flujo, la temporalidad y la sustancia de la informacin generada por el
proceso de evaluacin en funcin de este perfil. Quiz por esta razn no deba
sorprender que la respuesta ante la baja utilizacin de las evaluaciones haya sido,
nuevamente, un proceso normado de manera centralizada y no una reflexin ms
profunda sobre la calidad y pertinencia de las evaluaciones y/o los incentivos
sistmicos para su utilizacin por parte de las agencias evaluadas.
Es importante enfatizar que los alcances y lmites del proceso de evaluacin
y seguimiento estn claramente acotados por el sistema poltico de una
democracia de baja intensidad como la mexicana. Los mismos pesos y
contrapesos que explican el origen de la preocupacin por la evaluacin de los
programas sociales federales explican el desapego frente a la evaluacin como
insumo para la toma de decisiones y como mecanismo para el aprendizaje
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
33
orientado a la mejora de los programas. Los incentivos electorales, la baja
profesionalizacin del sector pblico y la dbil participacin del Legislativo en el
control horizontal del Ejecutivo explican la baja apropiacin de algunos actores
polticos relevantes, como el Congreso, de toda la informacin pblica generada
por el proceso de evaluacin y seguimiento. Por tratarse de un sistema de
produccin de informacin diseado para actores polticos (como mecanismos de
control partidario), la dbil apropiacin por parte de stos restringe enormemente
el potencial transformador de la evaluacin en los procesos internos de la
administracin pblica. A este problema abona la naturaleza fragmentada de la
informacin generada: el principio de anualidad y el foco en programas
presupuestarios impiden que la informacin sea fcilmente agregada y procesada
para ofrecer diagnsticos y balances ms generales para la toma de decisiones de
poltica.
Otro gran desafo de para la consolidacin del sistema de evaluacin y
seguimiento como instrumento de mejora y rendicin de cuentas es el reto del
federalismo en Mxico. La consolidacin de estos mecanismos de control y
transparencia sobre el ejercicio del gasto pblico y el desempeo de los
programas coincidi en el tiempo con un proceso indito de descentralizacin
fiscal y administrativa. Los gobiernos de los estados y municipios en Mxico
ejercen un monto creciente del presupuesto pblico y asumieron
responsabilidades cruciales para el desarrollo social sin que este proceso
estuviera acompaado de los controles incipientes del pluralismo democrtico,
como ocurri en el gobierno federal. En este escenario, la consolidacin de los
sistemas de evaluacin y seguimiento en el mbito local depender, muy
probablemente, del liderazgo del gobierno federal y su capacidad poltica y fiscal
para empujar la agenda de orientacin a resultados plasmada en la Constitucin
Poltica de los Estados Unidos Mexicanos.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
34
ANEXOS
Normatividad del Sistema de S&E en Mxico
Antecedente Relevancia Ao
Ley Orgnica de la Administracin Pblica Federal
Mencin a unidades administrativas para llevar a cabo actividades de
evaluacin de las polticas del Gobierno Federal.
Establece el seguimiento permanente de las polticas pblicas y su
evaluacin peridica como atribucin de la Secretara de Hacienda y
Crdito Pblico (SHCP) para coordinar la evaluacin que permita
conocer los resultados de la aplicacin de los recursos pblicos
federales.
1976
2004
Nueva Estructura Programtica
Se identifican con mayor claridad en el presupuesto los recursos para
la realizacin de las polticas, las estrategias y las acciones, y para as
poder identificar las implicaciones de costo vinculadas con los
resultados.
1995
Programa de Educacin, Salud y Alimentacin (PROGRESA - despues Oportunidades y actualmente Prospera)
Estableci una lgica causal explcita y se dise exante su evaluacin
de impacto de tipo experimental.
La evaluacin contemplada era externa y realizada por instituciones
acadmicas nacionales e internacionales.
Primer programa social federal en contemplar de manera pblica y
expltica una evaluacin externa.
1997
Reglas de Operacin (ROPs)
Se estableci la obligacin de que los programas federales con
subsidios directos formularan reglas de operacin (ROP) pblicas en
las que se indicara su objetivo general, poblacin objetivo y requisitos
para recibir los apoyos.
1998
Creacin de la Auditora Superior de la Federacin (ASF)
La ASF permiti contar con un organismo especializado en brindar
asistencia al Poder Legislativo en el control del Poder Ejecutivo
Federal.
2000
Evaluacin externa anual obligatoria
El decreto del Presupuesto de Egresos de la Federacin para 2001
(PEF 2001) estableci por vez primera la obligatoriedad de todo
programa con ROP de presentar ante el Congreso y el Ejecutivo una
evaluacin externa anual.
2001
Acuerdo de Requisitos Mnimos
Procedimientos de contratacin de los evaluadores y elementos
mnimos del contenido de las evaluaciones externas. 2002
Transparencia y Acceso a la Informacin Pblica
La expedicin de la Ley Federal de Transparencia y Acceso a la
Informacin Pblica signific la creacin de un mecanismo institucional
para que los ciudadanos, a ttulo personal o de manera colectiva,
accedieran a informacin pblica usualmente reservada o sin difusin.
Refuerza el concepto de publicidad de la informacin.
2002
Secretara de la Funcin Pblica,
Antecedente SECODAM. Organismo dependiente del Ejecutivo Federal
encargado de la fiscalizacin y control interno de la gestin
gubernamental. Se incorporan funciones de evaluacin y de
coordinacin y seguimiento del servicio profesional de carrera.
2003
Permanencia de la prctica de evaluacin de los Programas Sociales (LGDS)
La Ley General de Desarrollo Social (LGDS) institucionaliza y da
permanencia legal a lo establecido por el PEF anual y explicita actores
y mecanismos para la evaluacin y seguimiento de los programas y 2004
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
35
acciones del desarrollo social.
Crea la figura del Consejo Nacional de Evaluacin de la Poltica de
Desarrollo Social (CONEVAL), organismo desconcentrado de la APF,
como coordinador de la evaluacin de la poltica de desarrollo social.
Sistema de Evaluacin del Desempeo(LFPRH)
En el PEF 2001 ya se mencionaba al Sistema de Evaluacin y
Desempeo (SED) pero con la promulgacin de la Ley Federal de
Presupuesto y Responsabilidad Hacendaria se fortaleci y ampli su
aplicacin.
Faculta al CONEVAL para coordinar las evaluaciones de desempeo
en materia de desarrollo social y seguimiento a las recomendaciones
que se desprendan de ellas.
2006
Lineamientos generales para la evaluacin de los programas federales de la Administracin Pblica Federal.
Regula la evaluacin de los programas federales, la elaboracin de la
matriz de indicadores y los sistemas de monitoreo, as como la
elaboracin de los objetivos estratgicos de las dependencias y
entidades de la Administracin Pblica Federal
Establece el Programa Anual de Evaluacin para los programas de la
Administracin Pblica Federal
2007
Mecanismo de Seguimiento a los Aspectos Susceptibles de Mejora (ASM)
Se establece un mecanismo institucional para clasificar, priorizar y dar
seguimiento a las recomendaciones y resultados de los informes y
evaluaciones externas. 2008
Reforma constitucional en materia de gasto pblico y fiscalizacin
Gestin por Resultados/PBR
Adecuacin y reorientacin del marco presupuestario y el ejercicio del
gasto pblico. Es este principio en el que se establecen las bases para
un ejercicio mucho ms transparente del gasto con una orientacin
hacia el logro de resultados verificables y tangibles.
2008
Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin.
Defini y estableci los procedimientos para fiscalizacin y rendicin de
cuentas haciendo uso de auditoras de desempeo para determinar el
cumplimiento de dichas metas y objetivos
2009
Fuente: elaboracin propia
Principales actores, funciones e instrumentos jurdicos del SE&S
mbito Actores Funciones principales
Administracin Pblica
Secretara de Hacienda Y Crdito Pblico
(SHCP)
Revisa y dictamina indicadores de desempeo;
Establece la planeacin de la evaluacin,
Difunde los resultados de las evaluaciones,
Utiliza la evaluacin como insumo para el proceso presupuestario,
Establece el mecanismo de seguimiento a las recomendaciones de las evaluaciones
Secretara de la Funcin Pblica (SFP)
Revisa y dictamina indicadores de desempeo,
Establece la planeacin de la evaluacin,
Difunde los resultados,
Establece el mecanismo de seguimiento a las recomendaciones.
Consejo Nacional de Evaluacin de la Poltica
de Desarrollo Social (CONEVAL)
Revisa, dictamina y aprueba indicadores de desempeo,
Establece la planeacin de la evaluacin,
Formula y da seguimiento a metodologas para el seguimiento y la evaluacin,
Conduce evaluaciones,
Da seguimiento de la realizacin de evaluaciones externas,
Selecciona evaluadores externos,
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
36
Difunde los resultados del seguimiento y evaluacin,
Establece y coordina el mecanismo de seguimiento a recomendaciones.
Organizaciones gubernamentales
ejecutoras de programas pblicos
Elabora indicadores de desempeo
Provee las condiciones necesarias para el desarrollo de las evaluaciones externas,
Selecciona evaluadores externos,
Difunde los resultados del seguimiento y la evaluacin,
Da cauce a los resultados de las evaluaciones (sugerencias y recomendaciones) en los aspectos susceptibles de mejora para los programas.
Legislativo Comisiones de la
Cmara de Diputados o Senadores
Recibe y analiza resultados de evaluaciones.
Auditora Superior de la Federacin
Emite recomendaciones a Indicadores de desempeo,
Realiza auditoras de desempeo.
Sociedad Civl
Evaluadores independientes
Realizan evaluaciones bajo las metodologas y criterios establecidos.
Organizaciones
Analizan y difunden resultados de las evaluaciones.
Beneficiaros
Proporciona informacin para la realizacin de evaluaciones
Fuente: elaboracin propia
REFERENCIAS
Acuerdo por el que se Establecen las Disposiciones Generales del Sistema de Evaluacin del Desempeo. Diario Oficial de la Federacin. 31 de marzo de 2008.
Arizti, Pedro y Castro, Manuel Fernando eds.(2010). Mejorando la calidad del Gasto Pblico a travs del uso de informacin de desempeo en Mxico. Banco Mundial-SHCP. Washington. D.C. 64 pp.
Bovens, Mark (2006). Analysing and Assessing Public Accountability. A Conceptual Framework, EuropeanGovernancePapers No. C-06-01(2006): 20-21.
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
37
Banco Mundial (2010). La formulacin de polticas en la OCDE: Ideas para Amrica Latina. Banco Mundial, Washington. 88 pp. Informe No. 59207-LAC.
Castro, Manuel, Gladys Lopez-Acevedo, Gita Beker y Ximena FernandezOrdonez (2009). El Sistema de M&E de Mxico: Un salto del nivel sectorial al nacional. Documento de trabajo.
CEFP - Centro de Estudios de las Finanzas Pblicas (2014). Indicadores y Estadsticas. http://www.cefp.gob.mx/Pub_Gasto_Estadisticas.htm
Chelimsky, E. (2006). The Purposes of Evaluation in a Democratic Society. EnThe Sage handbook of Evaluation. London: Sage.
CEPAL (2004).Metodologa de Marco Lgico.BoletnNm. 15, Santiago de Chile CEPAL-OCDE (2012).Perspectivas Econmicas de Amrica Latina 2012.
Transformacin del Estado para el Desarrollo. Cohen, Ernesto y Rolando Franco (1992). Evaluacin de proyectos sociales, Siglo
XXI, Mxico. Cunill-Grau, N. y S.M. Ospina (2012), Performance measurement and evaluation
Systems: Institutionalizing accountability for governmental results in Latin America, en S. Kushner y E. Rotondo (eds.),
CONEVAL (2013a). Diagnstico del avance en monitoreo y evaluacin en las entidades federativas 2013.
------ (2013b). Evaluacin Especfica de Desempeo 2010-2011 y 2009-2010.
------ (2013c). Evolucin de la poblacin potencial, objetivo y atendida de los Programas Federales de Desarrollo Social.
------ (2013d) Gua para la Elaboracin de la Matriz de Indicadores para Resultados. Mxico.
------ (2013e). Inventario CONEVAL de programas y acciones federales de desarrollo social. Presentacin y Anlisis 2012-2013.
------ (2013f). Medicin de la Pobreza 2012. Anexo estadstico 2012. ------ (2012). Informe de Evaluacin de la Poltica de Desarrollo Social en Mxico,
Mxico, CONEVAL ------ (2011).Modelo de Trminos de Referencia para la Evaluacin de
Consistencia y Resultados. ------ Evaluacin de la Poltica Social. Informes y Resultados de Evaluacin.
http://www.coneval.gob.mx/Evaluacion/Paginas/InformeResultados.aspx Constitucin Poltica de los Estados Unidos Mexicanos. Decreto por el que se crea la Coordinacin Nacional del Programa de Educacin,
Salud y Alimentacin, como rgano desconcentrado de la Secretara de Desarrollo Social. Diario Oficial de la Federacin. 8 de agosto de 1997.
Decreto por el que se establece el Sistema Nacional para la Cruzada contra el Hambre. Diario Oficial de la Federacin. 22 de enero de 2013.
Decreto por el que se reforman, adicionan y derogan diversas disposiciones de la Constitucin Poltica de los Estados Unidos Mexicanos, en materia poltica-electoral. Diario Oficial de la Federacin. 10 de febrero de 2014.
Feisntein Osvaldo y Hernndez, Gonzalo (2008). El papel de la evaluacin en Mxico en Mejorando la calidad del Gasto Pblico a travs del uso de
-
Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico
38
informacin de desempeo en Mxico. Banco Mundial-SHCP. Washington. D.C. pp 18-22.
INEGI - Instituto Nacional de Estadstica y Geografa (2014a). Banco de Informacin Econmica.
------ (2014b). Encuesta Nacional de Ocupacin y Empleo, ENOE. Indicadores estratgicos.
------ (2013). Encuesta Nacional de Ingreso y Gastos de los Hogares (ENIGH). Tabulados bsicos. Varios aos.
Ley Federal de Responsabilidades de los Servidores Pblico. Diario Oficial de la Federacin. 31 diciembre de 1982.
Ley Federal de Transparencia y Acceso a la Informacin Pblica. Diario Oficial de la Federacin. 11 de junio de 2002.
Ley General de Contabilidad Gubernamental. Diario Oficial de la Federacin. 21 de diciembre de 2008.
Ley General de Desarrollo Social. Diario Oficial de la Federacin. 20 de enero de 2004.
Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin. Diario Oficial de la Federacin. 29 mayo de 2009.
Ley de Presupuesto y Responsabilidad Hacendaria. Diario Oficial de la Federacin. 30 de marzo de 2006.
Ley Orgnica de la Administracin Pblica Federal. Diario Oficial de la Federacin el 29 de diciembre de 1976
Lineamientos generales para la elaboracin de diagnstico
top related