tÉrminos de referencia para la evaluaciÓn de consistencia...

AGOSTO 2019

INSTITUTO DE SALUD PÚBLICA DEL ESTADO DE GUANAJUATO

Términos de Referencia para la Evaluación de Consistencia y

Resultados del Proyecto de Inversión Q0060

CIRUGÍAS EXTRAMUROS para el Ejercicio fiscal 2018

1

TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROYECTO DE INVERSIÓN Q0060

ISAPEG

Antecedentes

La Ley General de Desarrollo Social en sus artículos 72 al 80 establece que el objetivo de

la evaluación de la política de desarrollo social es revisar periódicamente el cumplimiento

del objetivo social de los programas, metas y acciones de esta, para corregirlos,

modificarlos, adicionarlos, reorientarlos o suspenderlos total o parcialmente. Asimismo, los

Lineamientos Generales para la Evaluación de los programas Federales de la

Administración Pública Federal, en su numeral décimo sexto fracción I, inciso a, establecen

los tipos de evaluación, entre los que se encuentra la evaluación de consistencia y

resultados, la cual analiza sistemáticamente el diseño y desempeño global de los

programas federales, para mejorar su gestión y medir el logro de sus resultados con base

en la matriz de indicadores.

Aunque la evaluación aporta información relevante para el proceso presupuestario, los usuarios de la evaluación, en primera instancia, son las dependencias y entidades a cargo

de la operación de dichos programas. Esta evaluación fue la primera que se efectuó con un

proceso homogéneo, es decir, utilizando los mismos términos de referencia, a programas

sociales. En su primera puesta en práctica, en 2007, fue para dar cumplimiento al numeral

11 del Programa Anual de Evaluación 2007, este ejercicio se aplicó a 106 programas

sujetos a reglas de operación. Este instrumento permitió que por primera vez en México se

realizaran comparaciones entre programas sociales de nueve instituciones públicas

federales. A partir del ejercicio 2007 se identificó la necesidad de mejorar el instrumento.

Por ello, fue sometido a un proceso de revisión para identificar sus fortalezas y áreas de

oportunidad.

Entre 2011 y 2012, se llevó a cabo, para dar cumplimiento al Programa Anual de Evaluación

2011 numeral 23, el segundo levantamiento de la evaluación de consistencia y resultados

a 131 programas de desarrollo social de 14 dependencias o entidades, donde participaron

68 equipos evaluadores. Para el desarrollo de la evaluación 2011-2012 se utilizó una

aplicación informática denominada Módulo para la Evaluación de Consistencia y

Resultados (MOCYR). Al sistematizar el instrumento de evaluación, se logró contar con

información homogénea útil para diversos análisis, tanto de los anexos como del contenido

de cada una de las preguntas de la evaluación.

El tercer ejercicio se llevará a cabo entre 2017 y 2018, para dar cumplimiento al numeral 25

del Programa Anual de Evaluación 2017, el CONEVAL coordinará la Evaluación de

Consistencia y Resultados de los programas especificados en el Anexo 2b del PAE. El

ejercicio fiscal evaluado será el 2017. (Se puede agregar más información sobre los

antecedentes y la motivación de realizar la evaluación de consistencia y resultados, en

particular se puede incluir una breve descripción de las características del Programa que

será evaluado.)

2


ISAPEG

DATOS GENERALES DEL PROYECTO

Nombre: Cirugías Extramuros, 2018

Unidad Responsable: Instituto de Salud Pública del Estado de Guanajuato (ISAPEG)

Fecha de inicio de operación: 2013

Problema o necesidad que atiende:

El déficit en la capacidad instalada y saturación en los servicios quirúrgicos de las Unidades

Hospitalarias del ISAPEG requiere de la implementación de jornadas que abatan el rezago

quirúrgico en padecimientos que atienden los servicios de: gineco-obstetricia,

otorrinolaringología, pediatría, oftalmología, cirugía reconstructiva, ortopedia, cirugía

general, cardiología, audiología y neurocirugía. Por otro lado, las atenciones que no son

cubiertas dentro de alguna de las carteras del Seguro Popular y que son de alto costo para

la resolución de la misma requieren ser atendidos por otra fuente de financiamiento y son

cubiertos a través del programa. Así mismo, se atienden los padecimientos que se

encuentren dentro del Catálogo Universal de Servicios de Salud (CAUSES) y que exceden

el tabulador establecido en éste. La falta de la atención oportuna al paciente es resultado

de un deterioro de su estado de salud con riesgo de complicación y muerte.

Bienes y servicios que ofrece:

Procedimientos quirúrgicos en las Unidades Médicas Hospitalarias Tipo D o E a

pacientes sin derechohabiencia que su o sus padecimientos de resolución quirúrgica

no sean cubiertos por alguna cartera de servicios.

Otorgamiento de apoyos particulares con adquisición de insumos y/o material

quirúrgico para la atención a pacientes sin derechohabiencia que su o sus

padecimientos de resolución quirúrgica no sean cubiertos por alguna cartera de

servicios.

Población que atiende:

1,225 hombres y mujeres del estado de Guanajuato con alguna patología de resolución

quirúrgica, no derechohabientes de ninguna institución de seguridad social beneficiados

con el programa. (Cifra esperada de logro 2018).

ANTECEDENTES DEL PROYECTO

El Programa de Cirugías Extramuros surge en 1991, dentro de la Estrategia de Extensión

de Cobertura a nivel federal, con el objetivo de acercar los servicios quirúrgicos

especializados a las zonas marginadas y de difícil acceso en el país; atendiendo las

necesidades de la población en situación vulnerable o sin seguridad social, mediante la

organización de Jornadas Quirúrgicas en Hospitales de segundo nivel.

Actualmente la atención médica que se oferta en las unidades médicas del ISAPEG

en el Estado de Guanajuato, es a través de alguna de sus carteras de financiamiento, como

las carteras de servicios del Seguro Popular, es decir, del CAUSES (2016 cubre 287

intervenciones), del Fondo de Protección contra Gastos Catastróficos – FPGC (2016 cubre

62 intervenciones) y del Seguro Médico Siglo XXI – SMSXXI (2016 cubre 149

3


ISAPEG

intervenciones). Derivado de lo anterior, si algún usuario padece de algún diagnostico fuera

de cobertura por estas carteras, el ISAPEG deberá cubrir el costo económico del

procedimiento y los insumos requeridos, independientemente del procedimiento y patología

en estudio, considerando su nivel socioeconómico.

El CAUSES contempla la cobertura de un paquete de atenciones médicas que

cubren el 100% de los padecimientos tratados en el primer nivel y aproximadamente el 90%

de los diagnósticos terapéuticos de segundo nivel. Sin embargo, se cubre parcialmente o

no cubre los insumos necesarios para poder llevar a cabo las acciones de los

procedimientos quirúrgicos.

El Programa de Cirugía Extramuros ha brindado atención de diversas

especialidades quirúrgicas a la población del Estado de Guanajuato mediante la

organización de campañas permanentes e intensivas en los hospitales del Sistema de

Salud. Los recursos humanos e insumos para las campañas eran una mezcla de

aportaciones altruistas de organizaciones civiles y apoyos de gobiernos municipales y el

estatal complementado con las carteras de servicios de salud existentes.

A partir de 2013, Cirugías Extramuros cuenta con financiamiento estatal propio

mediante un Proyecto de Inversión con clave Q0060. Su objetivo es cristalizar el

compromiso gubernamental de abatir el diferimiento quirúrgico acercando los servicios de

salud con calidad y oportunidad.

Conforme al artículo 78 septies, fracción I, de la Ley para el Ejercicio y Control de

los Recursos Públicos para el Estado y los Municipios de Guanajuato, el Programa de

Cirugías Extramuros tiene como objetivos: ofrecer la atención a la población con

diagnósticos de resolución quirúrgica, preferentemente para las y los pacientes que

necesitan de un apoyo pre, durante o posterior a un procedimiento quirúrgico en las

unidades, así como aquellos diagnósticos que no cuenten con una cobertura por las

carteras de Seguro Popular.

JUSTIFICACIÓN DE LA EVALUACIÓN

La importancia de la evaluación como herramienta de política pública reside en la

identificación de las transformaciones generadas en las condiciones de los ciudadanos a

partir de las acciones de una intervención gubernamental. Para el ISAPEG, como Unidad

Responsable del Proyecto de Inversión, es importante contar con una opinión

independiente y objetiva sobre la pertinencia y efectividad del mismo, que le permita:

1. Identificar oportunidades de mejora en cualquier fase del ciclo de la política pública,

esto para implementarlas y reorientar sus líneas de acción, garantizando que el

gasto público se esté ejerciendo de manera eficaz y eficiente;

2. Generar conocimiento y evidencia que facilite el proceso de la toma de decisiones

al contar con información útil y objetiva que le permita sustentarlas;

3. Realizar un proceso de aprendizaje y reflexión crítica que, además de identificar los

aciertos y los errores cometidos en alguna fase, contribuya a la generación o

fortalecimiento de la cultura de evaluación;

4


ISAPEG

4. Contar con elementos para atender los requerimientos de las auditorías dirigidas al

ISAPEG por las instancias de fiscalización, control y evaluación, tanto federales

como estatales;

5. Cumplir con la obligatoriedad de evaluar los Programas Sociales Estatales que

marca la Ley del Presupuesto General de Egresos del Estado de Guanajuato para

el ejercicio fiscal de 2019, así como la Agenda Anual de Evaluación del Estado de

Guanajuato del mismo año fiscal.

Siendo conscientes de que el realizar evaluaciones no es un fin en sí mismo sino un medio

para generar tanto información que facilite la toma de decisiones como recomendaciones

útiles que contribuyan a la mejora continua de políticas, programas y proyectos públicos; el

ISAPEG ha determinado someter al Proyecto de Inversión Q0060 Cirugías Extramuros a

una evaluación de Consistencia y Resultados para lo ejercido en el ejercicio fiscal 2018. Lo

anterior en razón de que dicho Proyecto ya cuenta en su historial con una evaluación de

Diagnóstico y Diseño de lo ejercido en el año 2016. El ISAPEG espera que los resultados

de esta evaluación le ofrezcan una idea preliminar de hasta qué punto el Proyecto puede

lograr sus propósitos, sin extenderse a indagar la forma de su operación en la práctica.

OBJETIVOS DE LA EVALUACIÓN

Objetivo General

Objetivo general

Evaluar la consistencia y orientación a resultados del Proyecto de Inversión Q0060 “Cirugía

Extramuros” con la finalidad de proveer información que retroalimente su diseño, gestión y

resultados.

Objetivos específicos

1. Analizar la lógica y congruencia en el diseño del programa, su vinculación con la

planeación sectorial y nacional, la consistencia entre el diseño y la normatividad

aplicable, así como las posibles complementariedades y/o coincidencias con otros

programas federales;

2. Identificar si el programa cuenta con instrumentos de planeación y orientación hacia

resultados;

3. Examinar si el programa ha definido una estrategia de cobertura de mediano y de

largo plazo y los avances presentados en el ejercicio fiscal evaluado;

4. Analizar los principales procesos establecidos en las Reglas de Operación del

Programa (ROP) o en la normatividad aplicable; así como los sistemas de

información con los que cuenta el programa y sus mecanismos de rendición de

cuentas;

5. Identificar si el programa cuenta con instrumentos que le permitan recabar

información para medir el grado de satisfacción de los beneficiarios del programa y

sus resultados, y

5


ISAPEG

6. Examinar los resultados del programa respecto a la atención del problema para el

que fue creado.

Alcances

Contar con un diagnóstico sobre la capacidad institucional, organizacional y de gestión de

los programas orientada hacia resultados. Además de proveer información que

retroalimente el diseño, la gestión y los resultados de los programas.

Descripción Específica del Servicio

La evaluación de consistencia y resultados deberá contener para el logro de sus objetivos

el desarrollo de los siguientes apartados:

1. Características del Programa

2. Diseño

3. Planeación y Orientación a Resultados

4. Cobertura y Focalización

5. Operación

6. Percepción de la Población Atendida

7. Medición de Resultados

8. Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones

9. Conclusiones

10. Ficha técnica

11. Anexos

Es oportuno mencionar que el desarrollo de la evaluación deberá realizarse en el Módulo

para la Evaluación de Consistencia y Resultados (MOCYR) y bajo los términos de referencia

de CONEVAL (2017) y la SHCP (2018). La descripción de lo que debe contener cada uno

de los apartados enunciados se presenta en el Anexo A. Criterios Técnicos de la

Evaluación.

ENTREGABLES

No. Entregable Fecha (dd/mm/aa)

1

Análisis de los siguientes apartados: 1. Diseño (1 a 13) 2. Planeación y Orientación a Resultados (14 a 22) 3. Cobertura y Focalización (23 a 25)

Anexo 1 “Metodología para la cuantificación de las

Poblaciones Potencial y Objetivo” (Formato libre).

Anexo 2 “Procedimiento para la actualización de la

base de datos de beneficiarios” (Formato libre).

Anexo 3 “Matriz de Indicadores para Resultados del

proyecto”.

4 semanas (19/08/2019 a 13/09/2019)

6


ISAPEG

Anexo 4 “Indicadores”

Anexo 5 “Metas del Proyecto”.

Anexo 6 “Complementariedad y coincidencias entre

programas federales y/o acciones de desarrollo social

en otros niveles de gobierno”.

Nota: La entrega deberá ser en los TdR proporcionado por

ISAPEG, atendiendo a las especificaciones anteriormente

descritas.

Primera reunión: 17 de septiembre del 2019.

2

4. Operación (26 a 42) 5. Percepción de la Población Atendida (43) 6. Medición de Resultados (44 a 51)

Anexo “Avance de las acciones para atender los aspectos susceptibles de mejora”.

Anexo 8 “Resultado de las acciones para atender los aspectos susceptibles de mejora” (Formato libre).

Anexo 9 “Análisis de recomendaciones no atendidas derivadas de evaluaciones externas” (Formato libre).

Anexo 10 “Evolución de la Cobertura”.

Anexo 11 “Información de la Población Atendida”.

Anexo 12 “Diagramas de flujo de los Componentes y procesos claves”.

Anexo 13 “Gastos desglosados del proyecto y criterios de clasificación”.

Anexo 14 “Avance de los Indicadores respecto de sus metas”.

Anexo 15 “Instrumentos de Medición del Grado de Satisfacción de la Población Atendida” (Formato libre).

Nota: La entrega deberá ser en los TdR proporcionado por ISAPEG, atendiendo a las especificaciones anteriormente descritas. Se considerará como un borrador.

5 semanas (17/09/2019 a 18/10/2019) Segunda reunión: 21 de octubre de 2019. Plazo para revisión por ISAPEG (10 días)

3

Informe final de la evaluación en materia de Diseño aplicada al Proyecto, la cual debe haber atendido los comentarios y observaciones hechas por el ISAPEG a la versión preliminar (borrador) del Informe.

• Anexo 16 “Difusión de los resultados de la

evaluación”.

Tercera reunión: 31/10/2019 3 semanas (1/11/2019 a 25/11/2019) Fecha entrega final: 29 de noviembre de 2019.

Todos los productos deberán entregarse en impreso y en formato digital (disco compacto),

en versión Word y en PDF. La entrega se realizará en el domicilio del ISAPEG: Blvd.

Guanajuato N° 42, Pozuelos, C.P. 36000, Guanajuato, Gto.

Para las entregas, el evaluador deberá emitir oficio en hoja membretada en la que se

especifiquen los entregables que se están solventando. Éste documento, además de ser

acusado por la parte contratante, deberá incluir la leyenda: Se entrega el documento

especificado en espera de revisión y aprobación por parte del ISAPEG. Esto con el fin de

que quede asentado que la versión del producto entregado no será considerada como final

7


ISAPEG

hasta que el ISAPEG emita oficio de conformidad por el mismo, quedando el coordinador

de la evaluación obligado a contestar las consideraciones que puedan existir, en un plazo

no mayor a 10 (diez) días posteriores a la entrega de las mismas.

ASPECTOS GENERALES DE LA EVALUACIÓN

Perfil del ente evaluador

El equipo evaluador debe ser una institución académica, de investigación o empresa

consultora; ésta última persona física o moral. El coordinador de la evaluación y su equipo,

en conjunto, deberán reunir los siguientes requisitos:

● Experiencia en evaluaciones de programas, políticas e investigaciones en materia

de Salud.

● Experiencia en evaluaciones en las que se hayan implementado metodologías y

análisis cualitativos. Que cuente con líneas de investigación o participación en

proyectos con temas vinculados al Programa a evaluar, y que conozca el Estado de

Guanajuato y sus regiones.

● Capacidad de gestión y obtención, generación, procesamiento y análisis de

información de fuentes primarias y secundarias.

● Estar al corriente en sus obligaciones fiscales.

● No pertenecer a la lista de contratistas y proveedores sancionados por la Secretaría

de la Función Pública.

Duración de la evaluación

La evaluación deberá realizarse en un plazo no mayor a seis meses, esto es, deberá ser

concluida a más tardar el día de mes de año.

Recursos a ser provistos por la Entidad contratante

El ISAPEG brindará la información disponible de sus Programas y Proyectos en estricto

apego a lo previsto en la Ley de Transparencia y Acceso a la Información Pública para el

Estado y los Municipios de Guanajuato, así como en la Ley de Protección de datos

personales para el Estado y los Municipios de Guanajuato.

Toda aquella información que no se tenga en registros administrativos, será responsabilidad

del evaluador conseguirla por los medios que éste considere pertinentes.

Confidencialidad de la información

El evaluador reconoce que la información y documentación que el Gobierno del Estado de

Guanajuato, como entidad contratante, le proporcione a través del ISAPEG, así como los

datos y resultados obtenidos de la prestación de los servicios de consultoría, son propiedad

8


ISAPEG

de la Entidad contratante, con el carácter confidencial y reservado en términos de la

normatividad aplicable y las disposiciones del contrato.

Al término o rescisión del contrato, el evaluador se obliga a devolver a Gobierno del Estado

toda la información obtenida para la realización de los servicios, así como entregar los

productos derivados de su ejecución.

El monto que la entidad contratante pague al evaluador en los términos del contrato de

prestación de servicios que suscriban, incluye la titularidad de los derechos patrimoniales a

favor de la Entidad contratante, sobre los entregables y demás productos que resulten

derivados de los servicios materia de contratación, por lo que el evaluador no tendrá

derecho a cobrar cantidad adicional; en el entendido de que la metodología, herramientas

y demás conocimientos que el propio evaluador utilice para la prestación de los servicios,

seguirán siendo propiedad de este último.

La obligación de confidencialidad y reserva a cargo del evaluador anteriormente referida,

permanecerá vigente aún después de terminada la vigencia del contrato, siempre y cuando

la información confidencial no pase a ser del dominio público.

Costos y remuneración

Para garantizar el correcto cumplimiento de la prestación del servicio derivado de los

presentes Términos de Referencia, el evaluador adjudicado deberá presentar póliza de

fianza expedida por una institución autorizada por la Comisión Nacional de Seguros y

Fianzas, la cual deberá elaborarse en los términos y condiciones que señale el contrato.

La forma de pago se realizará de la siguiente manera:

● Tras la firma del contrato, se pagará el 30 por ciento del precio acordado de la

prestación del servicio;

● Contra entrega de los productos X, Y y Z y expedido el oficio de conformidad por

parte del ISAPEG respecto a los mismos, se pagará otro 30 por ciento del precio

acordado de la prestación del servicio;

● Contra entrega de los productos X, Y y Z y expedido el oficio de conformidad por los

mismos por parte del ISAPEG, se liquidará el 40 por ciento restante.

Todos los pagos se realizarán en pesos mexicanos.

Criterios de selección

Los postulantes a esta convocatoria deberán remitir al ISAPEG una propuesta técnico-

económica, anexando el currículum del personal que participará en el proyecto de

evaluación. La propuesta deberá incluir una descripción detallada del proceso de

realización de los trabajos, así como un programa de actividades mensuales que incluya

las fechas de entrega establecidas en este documento. Además, deberá señalarse la oferta

económica que detalle el costo de la evaluación. Esta última deberá ser expresada en pesos

mexicanos.

9


ISAPEG

Cabe señalar que los gastos correspondientes a transportación, viáticos, hospedajes y

aquellos de carácter administrativo deberán ser solventados por el evaluador. Es

responsabilidad del evaluador determinar el número de personas necesarias para realizar

satisfactoriamente los trabajos. El evaluador deberá contar con el personal técnico

suficiente para realizar satisfactoriamente el trabajo de gabinete necesario para el integro

desarrollo de los entregables.

Para la evaluación de las propuestas recibidas, se usará el método de puntaje, sujeto a las

siguientes ponderaciones y procedimientos:

Aspecto ¿Qué se evalúa? Porcentaj

e

Experiencia del evaluador y su

equipo en la realización de

evaluaciones de políticas

públicas

Acreditación del equipo evaluador en

experiencias anteriores relacionadas

con el servicio

15%

Experiencia en evaluación de

programas de salud y afines

Grado de especialización y trabajos

anteriores relacionados con el ramo de

la materia a evaluar

20%

Capacidad profesional del

equipo

Nivel académico y/o de especialización

del personal que realizará los trabajos

en materia de evaluación

15%

Propuesta técnica ● Descripción de la metodología a

emplear por el evaluador

● Congruencia de la propuesta

metodológica con los objetivos de

los TdR

20%

Tecnología para la evaluación ● Infraestructura: Software, Equipo

tecnológico, vehículos

● Personal: capacidad de atención y

desplazamiento necesarios

10%

Propuesta económica Propuesta más cercana al promedio de

todas las recibidas

20%

Una vez elegida la mejor propuesta, se hará del conocimiento de los participantes la

decisión mediante un informe en el que se les especifiquen los puntajes obtenidos. La

decisión será inapelable.

10


ISAPEG

ANEXOS

El evaluador externo se compromete a realizar y presentar los trabajos o productos en los

formatos que contienen los siguientes anexos:

Anexo A.- “Criterios para aplicar la evaluación de Consistencia y Resultados”

Con base en los Términos de Referencia, organizados en apartados y preguntas,

establecidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social

(Coneval), y a través de los cuales se homogeniza y sistematiza la información que aportan

los procesos evaluativos para que, de considerarse aplicable y oportuno, se ingrese en la

aplicación informática Módulo para la Evaluación de Consistencia y Resultados (MOCYR),

en un módulo específico para la evaluación de Consistencia y Resultados; la Dirección de

Planeación del ISAPEG, bajo la supervisión del Instituto de Planeación, Estadística y

Geografía del Estado de Guanajuato y de la Secretaría de Desarrollo Social y Humano, ha

definido los siguiente criterios que, en apoyo a una metodología de análisis de gabinete,

deben satisfacerse, a manera de respuestas a las preguntas en ellos contenidas, para la

elaboración del Informe final de la evaluación. Éstos son:

Criterios Técnicos

La evaluación de Consistencia y Resultados debe cubrir con los siguientes temas:

APARTADO PREGUNTAS TOTAL

Diseño 1 a 13 13

Planeación y Orientación a Resultados 14 a 22 9

Cobertura y Focalización 23 a 25 3

Operación 26 a 42 17

Percepción de la Población Atendida 43 1

Medición de Resultados 44 a 51 8

TOTAL 51 51

La evaluación se realizará mediante un análisis de gabinete con base en información

proporcionada por la Unidad Responsable del Proyecto, así como información adicional que

el evaluador externo considere necesaria para justificar el análisis.

En este contexto, se entenderá por análisis de gabinete al conjunto de actividades que

involucra el acopio, la organización y la valoración de información concentrada en registros

administrativos, bases de datos, evaluaciones internas o externas y documentación pública.

De acuerdo con las necesidades de información y tomando en cuenta la forma de operar

del Proyecto, se podrán programar y llevar a cabo entrevistas con los responsables de los

11


ISAPEG

proyectos o personal de la unidad o área de evaluación o planeación de la dependencia, o

cualquier otra que resulte relevante.

Criterios generales para responder a las preguntas

Los apartados de la evaluación incluyen preguntas específicas, de las cuales 34 deberán

ser respondidas mediante un esquema binario (SÍ/NO) sustentando con evidencia

documental y haciendo explícitos los principales argumentos empleados en el análisis y

valoración. En los casos en que la respuesta sea SÍ, se seleccionará uno de cuatro niveles

de respuesta definidos para cada pregunta.

Las 17 preguntas que no consideran respuestas binarias (por lo que no incluyen niveles de

respuesta) serán respondidas con base en un análisis sustentado en evidencia documental

y haciendo explícitos los principales argumentos empleados en el mismo.

Formato de respuesta

Cada una de las preguntas será contestada en un máximo de una cuartilla e incluirá los

siguientes conceptos:

a. La pregunta;

b. La respuesta binaria (SÍ/NO) o abierta;

-Para las respuestas binarias y en los casos en los que la respuesta sea SÍ, se

incluirá el nivel de respuesta ‒que incluya el número o nivel y las características o

atributos especificadas en estos TdR para la pregunta‒, y

c. El análisis que justifique la respuesta y la valoración otorgada.

Consideraciones para responder

Para las preguntas que deben responderse de manera binaria (SÍ/NO), se considerará lo

siguiente:

Determinación de la respuesta binaria (SÍ/NO). Cuando el proyecto no cuente con

documentos ni evidencias para dar respuesta a la pregunta, se considerará

información inexistente y, por lo tanto, la respuesta deberá ser “No”.

Si el proyecto cuenta con información para responder a la pregunta, es decir, si la

respuesta es “Sí”, se procederá a precisar uno de cuatro niveles de respuesta,

tomando en cuenta los criterios establecidos en cada nivel.

Para cada respuesta se deberán especificar claramente las características o atributos con

los que cuenta el proyecto, así como las características o atributos señalados, con los que

no cuenta. Para cada caso, se deberá justificar por qué se considera que cuenta o no con

cada característica.

Para todas las respuestas, cuando la instancia evaluadora externa haya identificado áreas

de mejora, deberá emitir propuestas concretas y factibles para atenderlas, mismas que

12


ISAPEG

deberán especificar los elementos, ejes o características más relevantes para ello, por lo

que se deberán considerar las particularidades del proyecto y se deberá respetar la

consistencia con la Metodología de Marco Lógico (MML).

Se podrá responder “No Aplica” a alguna(s) de las preguntas sólo cuando las

particularidades del proyecto evaluado no permitan responder a la pregunta planteada. De

presentarse el caso, se explicarán en el espacio para la respuesta, las causas y los motivos

del porqué se considera que la pregunta “No Aplica” al proyecto evaluado, en el entendido

de que se podrá solicitar que se analicen nuevamente las preguntas en las que se haya

respondido “No Aplica”.

En los casos en que se opte por responder “No Aplica”, no será aceptable señalar como

causa o motivo que el proyecto no sea considerado como proyecto o acción federal de

desarrollo social.

Para el total de las respuestas, se deberán considerar los siguientes aspectos:

1. La base metodológica general deberá ser la MML especificada en la Guía para el Diseño

de la Matriz de Indicadores para Resultados, disponible en

http://www.gob.mx/shcp/documentos/guia-para-el-diseno-de-la-matriz-de-indicadores-

para-resultados.

2. De manera enunciativa más no limitativa, elementos con los que se justificará la

valoración, así como la información que se debe incluir en la respuesta o en anexos y que

sustente la respuesta y valoración.

3. Fuentes de información mínimas a utilizar para la respuesta. Se podrán utilizar otras

fuentes de información que se consideren necesarias además de las especificadas para

cada pregunta. Asimismo, se deberán considerar recomendaciones emitidas por la

Secretaría de Hacienda y Crédito Público acerca de la MIR y los indicadores del proyecto

evaluado, o por la Secretaría de la Función Pública en el ámbito de sus atribuciones, así

como informes o documentos que en su caso hayan emitido instancias fiscalizadoras como

el Órgano Interno de Control o la Auditoría Superior de la Federación.

4. Congruencia entre respuestas. En caso de que la pregunta analizada tenga relación con

otra(s), se señalará(n) la(s) pregunta(s) con la(s) que debe haber coherencia en la(s)

repuesta(s). Lo anterior no implica, en el caso de las preguntas con respuesta binaria, que

el nivel de respuesta otorgado a las preguntas relacionadas tenga que ser el mismo, sino

que la argumentación sea consistente.

5. En caso de que se haga alusión a algún fundamento normativo para responder o justificar

alguna respuesta o valoración, este no deberá referirse de manera aislada; es decir, el

evaluador no solo deberá referir a esta normativa, sino que además deberá identificar y

valorar el vínculo entre el proyecto evaluado, y el problema o la necesidad de política pública

que se aborda en esa normativa. A partir de esto, se podrá entender que el problema o

necesidad –definido en el diagnóstico o en documentos institucionales del proyecto cuyo

fundamento sea una normativa– sustenta el ejercicio o ejecución de una función de

http://www.gob.mx/shcp/documentos/guia-para-el-diseno-de-la-matriz-de-indicadores-para-resultadoshttp://www.gob.mx/shcp/documentos/guia-para-el-diseno-de-la-matriz-de-indicadores-para-resultados

13


ISAPEG

gobierno específica a través del proyecto, no siendo factible fundamentar la respuesta en

el simple cumplimiento normativo.

6. Los anexos que se incluirán en el informe de evaluación son los siguientes:

Anexo 1 “Metodología para la cuantificación de las Poblaciones Potencial y Objetivo”

(Formato libre).

Anexo 2 “Procedimiento para la actualización de la base de datos de beneficiarios”

(Formato libre).

Anexo 3 “Matriz de Indicadores para Resultados del proyecto”.

Anexo 4 “Indicadores”

Anexo 5 “Metas del Proyecto”.

Anexo 6 “Complementariedad y coincidencias entre programas federales y/o acciones

de desarrollo social en otros niveles de gobierno”.

Anexo 7 “Avance de las acciones para atender los aspectos susceptibles de mejora”.

Anexo 8 “Resultado de las acciones para atender los aspectos susceptibles de mejora”

(Formato libre).

Anexo 9 “Análisis de recomendaciones no atendidas derivadas de evaluaciones

externas” (Formato libre).

Anexo 10 “Evolución de la Cobertura”.

Anexo 11 “Información de la Población Atendida”.

Anexo 12 “Diagramas de flujo de los Componentes y procesos claves”.

- Anexo 13 “Gastos desglosados del proyecto y criterios de clasificación”.

Anexo 14 “Avance de los Indicadores respecto de sus metas”.

Anexo 15 “Instrumentos de Medición del Grado de Satisfacción de la Población

Atendida” (Formato libre).

Evaluación

Características del Proyecto de inversión

Con base en información solicitada a los responsables del proyecto, se debe capturar una

Descripción General del Proyecto, que consistirá en una breve descripción de la información

reportada en un máximo de dos cuartillas. Dicha descripción debe considerar los siguientes

aspectos:

Identificación del proyecto (nombre, siglas, dependencia y/o entidad coordinadora,

año de inicio de operación, entre otros);

Problema o necesidad que pretende atender;

Metas y objetivos nacionales a los que se vincula;

Descripción de los objetivos del proyecto, así como de los bienes y/o servicios que

ofrece;

Identificación y cuantificación de la población potencial, objetivo y atendida

(desagregada por sexo, grupos de edad, población indígena y entidad federativa,

cuando aplique);

Cobertura y mecanismos de focalización;

14


ISAPEG

Presupuesto ejercido en los dos Ejercicios fiscales inmediatos anteriores;

Principales metas de Fin, Propósito y Componentes, y,

Valoración del diseño del proyecto respecto a la atención del problema o necesidad.

Diseño

Análisis de la justificación de la creación y del diseño del proyecto

Con base en la identificación que la dependencia, entidad o la(s) unidad(es)

responsable(es) del proyecto hayan realizado del problema o necesidad que se espera

resolver o atender con su implementación, se realizará un análisis que permitirá contestar

las siguientes preguntas:

1. ¿El problema o necesidad que busca resolver o atender el proyecto está

identificado en un documento, y este problema o necesidad cuenta con las

siguientes características:

a) Se formula como un hecho negativo o como una situación que puede ser

revertida, de acuerdo con la MML

b) Contiene a la población o área de enfoque potencial u objetivo

c) Se actualiza periódicamente

Si el proyecto no cuenta con documentación o evidencias de que el problema o necesidad

esté identificado, o este problema o necesidad no cuenta con alguna de las características

establecidas en la pregunta, se deberá considerar información inexistente y, por lo tanto, la

respuesta sería “No”.

Si el proyecto cuenta con información para responder a la pregunta, es decir, si la respuesta

es “Sí” se deberá seleccionar un nivel según los siguientes criterios:

Nivel Criterios

1 El problema o necesidad no cumple con las características establecidas en la

pregunta.

2 El problema o necesidad cumple con una de las características establecidas en la

pregunta.

3 El problema o necesidad cumple con dos de las características establecidas en la

pregunta.

4 El problema o necesidad cumple con todas las características establecidas en la

pregunta.

1.1. En la respuesta:

- Se incluirá la definición del problema o necesidad y, en su caso, la propuesta de

modificación o recomendaciones de mejora en apego a la MML;

15


ISAPEG

- Se indicará si el problema o necesidad considera diferencias entre hombres y

mujeres, a fin de conocer las limitaciones o las oportunidades que presenta el

entorno económico, demográfico, social, cultural, político, jurídico e institucional

para la promoción de la igualdad de género.

Se considera que la información se actualiza periódicamente cuando está establecido

de manera explícita un plazo para su revisión y actualización.

1.2. Las fuentes de información mínimas a utilizar serán documentos normativos o

institucionales, informes, diagnósticos, estudios, árbol de problema o necesidad que

atiende el proyecto o documentos utilizados por el proyecto que contengan información

sobre el problema o necesidad, su población, su cuantificación y su proceso de

revisión o actualización.

1.3. La respuesta a esta pregunta deberá ser consistente con las respuestas de las

preguntas 2, 7, 13, 23 y 25.

2. ¿El Diagnóstico del problema o necesidad que atiende el proyecto describe de

manera específica:

a) Causas, efectos y características del problema o necesidad, estructuradas

y argumentadas de manera sólida o consistente de acuerdo con la MML

b) Cuantificación y caracterización de la población o área de enfoque que

presenta el problema o necesidad

c) Ubicación territorial de la población o área de enfoque que presenta el

problema o necesidad

d) Plazo de revisión y actualización?

Si el proyecto no cuenta con un diagnóstico del problema o necesidad que atiende, o este

no cuenta con alguna de las características establecidas, se deberá considerar información

inexistente y, por lo tanto, la respuesta sería “No”.

Si el proyecto cuenta con información para responder a la pregunta, es decir, si la respuesta

es “Sí” se deberá seleccionar un nivel según los siguientes criterios:

Nivel Criterios

1 El diagnóstico cumple con una de las características establecidas en la pregunta.

2 El diagnóstico cumple con dos de las características establecidas en la pregunta.

3 El diagnóstico cumple con tres de las características establecidas en la pregunta.

4 El diagnóstico cumple con todas las características establecidas en la pregunta.

16


ISAPEG

2.1. En la respuesta se deberán incluir:

- Las causas y los efectos del problema o necesidad señalados en el árbol de

problemas del diagnóstico;

- Adicionalmente, se valorará la vigencia y pertinencia de los elementos del

diagnóstico y, en su caso, se propondrán sugerencias para mejorarlo.

2.2. La fuente de información mínima a utilizar será el documento de diagnóstico del

proyecto.

2.3. La respuesta a esta pregunta deberá ser consistente con las respuestas de las

preguntas 1, 3, 7 y 23.

3. ¿Existe justificación teórica o empírica documentada que sustente el tipo de

intervención y el mecanismo causal que el proyecto lleva a cabo?

En caso de que no se identifique una justificación teórica o empírica que sustente el tipo de

intervención y la lógica causal del proyecto, se deberá considerar información inexistente y,

por lo tanto, la respuesta sería “No”.

Si cuenta con información para responder a la pregunta, es decir, si la respuesta es “Sí” se

seleccionará un nivel según los siguientes criterios:

Nivel Criterios

1

Existe justificación teórica o empírica que sustente el tipo de intervención y

el mecanismo causal del proyecto sobre su población o área de enfoque

objetivo, y la justificación teórica o empírica es consistente con el diagnóstico

del proyecto.

2




del proyecto.

La justificación teórica o empírica identificada está incluida como tal en el

diagnóstico del proyecto o esta justificación es considerada como clara y

robusta en términos de administración y política pública (no necesariamente

en términos jurídicos o legales).

3




del proyecto.


diagnóstico del proyecto.

17


ISAPEG

Esta justificación es considerada como clara y robusta en términos de

administración y política pública (no necesariamente en términos jurídicos o

legales).

4




del proyecto.


diagnóstico del proyecto.

Esta justificación es considerada como clara y robusta en términos de

administración y política pública (no necesariamente en términos jurídicos o

legales).

Existe(n) evidencia(s) (nacional o internacional) de los efectos positivos

atribuibles a los apoyos, componentes o a las acciones dirigidas a la

población o área de enfoque objetivo.

3.1. En la respuesta se deberá incluir la justificación teórica o empírica del mecanismo

de intervención o causal del proyecto, en donde se identifique de manera explícita

la forma en que el proyecto resuelve el problema o atiende la necesidad, así como

los argumentos para afirmar o constatar que este mecanismo es efectivo, en

correspondencia con la población o área de enfoque objetivo y con los documentos

conceptuales del proyecto.

3.2. El equipo evaluador deberá pronunciarse respecto de la consistencia argumentativa

del mecanismo de intervención utilizado por el proyecto considerando la información

disponible. Igualmente, se incluirá el nombre del estudio o el documento del que se

derive dicha justificación y, en su caso, la dirección electrónica donde se encuentra.

En caso de que exista evidencia nacional o internacional se incluirá la referencia de

los estudios o de los documentos, y, en su caso, las direcciones electrónicas donde

se encuentren.

3.3. Las fuentes de información mínimas a utilizar serán documentos oficiales,

diagnóstico del proyecto, así como información adicional que el equipo evaluador

considere pertinente para dar respuesta a la pregunta, siempre y cuando esta sea

consistente con lo que se aborda en la pregunta.

3.4. La respuesta a esta pregunta deberá ser consistente con las respuestas a las

preguntas 2, 48 y 49.

Análisis de la contribución del proyecto a las metas y estrategias nacionales

4. El Propósito del proyecto está vinculado con los objetivos del programa sectorial,

especial, institucional o nacional considerando que:

18


ISAPEG

a) Existen conceptos comunes entre el Propósito y los objetivos del programa

sectorial, especial o institucional, por ejemplo: población objetivo.

b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de

alguno(s) de los objetivos del programa sectorial, especial o institucional.

Si el proyecto no cuenta con un documento en el que se establezca con qué objetivo(s) del

programa sectorial, especial o institucional se relaciona el Propósito, se considera

información inexistente y, por lo tanto, la respuesta es “No”.

Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se

debe seleccionar un nivel según los siguientes criterios:

Nivel Criterios

1

El proyecto cuenta con un documento en el que se establece la relación del

Propósito con el (los) objetivo(s) del programa sectorial, especial, institucional

o nacional, y

No es posible determinar vinculación con los aspectos establecidos en la

pregunta.

2



o nacional, y

Es posible determinar vinculación con uno de los aspectos establecidos en la

pregunta.

3



o nacional, y

Es posible determinar vinculación con todos los aspectos establecidos en la

pregunta.

4



o nacional, y

Es posible determinar vinculación con todos los aspectos establecidos en la

pregunta, y

El logro del Propósito es suficiente para el cumplimiento de alguna(s) de la(s)

meta(s) de alguno(s) de los objetivos del programa sectorial, especial,

institucional o nacional.

19


ISAPEG

4.1 En la respuesta se debe incluir el objetivo y el nombre del programa sectorial,

especial o institucional al que está vinculado el proyecto. En caso de que exista más

de un objetivo o programas sectoriales, especiales e institucionales con los que se

vincule, se deben incluir en la respuesta.

4.2 Las fuentes de información mínimas a utilizar deben ser los programas sectoriales,

especiales y/o institucionales relacionados con el proyecto, su MIR, sus ROp y/o

documentos normativos.

4.3 La respuesta a esta pregunta deberá ser consistente con las respuestas de las


5. ¿Con cuáles metas y objetivos, así como estrategias transversales del Plan

Nacional de Desarrollo vigente está vinculado el objetivo sectorial, especial,

institucional o nacional relacionado con el proyecto?

No procede valoración cuantitativa.

5.1 En la respuesta se deben incluir las metas nacionales, objetivos y estrategias

transversales del Plan Nacional de Desarrollo vigente y señalar por qué se considera

que están vinculados.

5.2 Las fuentes de información mínimas a utilizar deben ser el Plan Nacional de

Desarrollo vigente, el o los programas sectoriales, especiales, institucionales y/o

nacionales relacionados con el proyecto, su MIR, sus ROp y/o documentos

normativos.

5.3 La respuesta a esta pregunta deberá ser consistente con la respuesta de las


6. ¿Cómo está vinculado el Propósito del proyecto con los Objetivos del Desarrollo

del Milenio, los Objetivos de Desarrollo Sostenible o la Agenda de Desarrollo Post

2015?


6.1 En la respuesta se debe definir la vinculación entre el proyecto y los Objetivos del

Desarrollo del Milenio, los Objetivos de Desarrollo Sostenible o la Agenda de

Desarrollo Post 2015 de acuerdo con las siguientes definiciones:

a) Directa: El logro del Propósito es suficiente para el cumplimiento de al menos

uno de los Objetivos del Desarrollo del Milenio, los Objetivos de Desarrollo

Sostenible o la Agenda de Desarrollo Post 2015.

20


ISAPEG

b) Indirecta: El logro del Propósito aporta al cumplimiento de al menos uno de los

Objetivos del Desarrollo del Milenio, los Objetivos de Desarrollo Sostenible o a

la Agenda de Desarrollo Post 2015.

c) Inexistente: El logro del Propósito no aporta al cumplimiento de al menos uno

de los Objetivos del Desarrollo del Milenio, los Objetivos de Desarrollo

Sostenible o la Agenda de Desarrollo Post 2015.

6.2 6.2 Las fuentes de información mínimas a utilizar deben ser MIR, ROp y/o

documento normativo y de los Objetivos del Desarrollo del Milenio, los Objetivos de

Desarrollo Sostenible o la Agenda de Desarrollo Post 2015.

6.3 6.3 La respuesta a esta pregunta deberá ser consistente con las respuestas a las


Análisis de la Población potencial y objetivo y Mecanismos de elegibilidad

Definiciones de población potencial, objetivo y atendida

Se entenderá por población potencial a la población total que presenta la necesidad y/o

problema que justifica la existencia del proyecto y que por lo tanto pudiera ser elegible para

su atención.

Se entenderá por población objetivo a la población que el proyecto tiene planeado o

programado atender para cubrir la población potencial, y que cumple con los criterios de

elegibilidad establecidos en su normatividad.

Se entenderá por población atendida a la población beneficiada por el proyecto en un

ejercicio fiscal.

Población potencial y objetivo

7. Las poblaciones, potencial y objetivo, están definidas en los documentos

oficiales y/o en el diagnóstico del problema y cuentan con la siguiente

información y características:

a) Unidad de medida

b) Están cuantificadas

c) Metodología para su cuantificación y fuentes de información

d) Se define un plazo para su revisión y actualización

Si el proyecto no tiene un documento oficial y/o diagnóstico en que se definan las

poblaciones, potencial y objetivo, o el documento oficial y/o diagnóstico no cuenta con al

menos una de las características establecidas en la pregunta, se considera información

inexistente y, por lo tanto, la respuesta es “No”.



21


ISAPEG

Nivel Criterios

1 El proyecto tiene definidas las poblaciones (potencial y objetivo), y

Las definiciones no cumplen con las características establecidas.


Las definiciones cumplen con al menos una de las características

establecidas.


Las definiciones cumplen todas las características establecidas.

4

El proyecto tiene definidas las poblaciones (potencial y objetivo), y

Las definiciones cumplen todas las características establecidas, y

Existe evidencia de que el proyecto actualiza (según su metodología) y utiliza

las definiciones para su planeación.

7.1. En la respuesta se deben incluir las definiciones de las poblaciones, potencial y

objetivo, así como su cuantificación (desagregada por sexo, grupos de edad, población

indígena y entidad federativa, cuando aplique). La metodología y fuentes de

información para determinar los dos tipos de población deben adjuntarse en el Anexo

1 “Metodología para la cuantificación de las poblaciones Potencial y Objetivo”.

7.2. Las fuentes de información mínimas a utilizar deben ser ROP, documento oficial,

diagnóstico, programa sectorial, especial, institucional y/o nacional.

7.3. La respuesta de esta pregunta debe ser consistente con las respuestas de las

preguntas 1, 2, 8, 9, 13, 21, 23, 24, 25 y 43.

8. Existe información que permita conocer quiénes reciben los apoyos del proyecto

(Padrón de beneficiarios) que:

a) Incluya las características de los beneficiarios establecidas en su

documento normativo.

b) Incluya el tipo de apoyo otorgado.

c) Esté sistematizada e incluya una clave única de identificación por

beneficiario que no cambie en el tiempo.

d) Cuente con mecanismos documentados para su depuración y actualización.

Si el proyecto no cuenta con un documento oficial o diagnóstico en que se definan las

poblaciones o áreas de enfoque potencial y objetivo, se deberá considerar información

inexistente y, por lo tanto, la respuesta sería “No”.

22


ISAPEG

Si cuenta con información para responder a la pregunta, es decir, si la respuesta es “Sí”, se

seleccionará un nivel según los siguientes criterios:

Nivel Criterios

1 La información de los beneficiarios cumple con una de las características

establecidas.

2 La información de los beneficiarios cumple con dos de las características

establecidas.

3 La información de los beneficiarios cumple con tres de las características

establecidas.

4 La información de los beneficiarios cumple con todas las características

establecidas.

8.1 En la respuesta se debe indicar qué información integra el padrón y señalar las

características que no están incluidas en el padrón y/o las que deben mejorarse. Así

como describir brevemente par qué se utiliza el padrón de beneficiarios.

El procedimiento para la actualización de la base de datos de los beneficiarios y la

temporalidad con la que realiza la actualización se debe adjuntar en un documento

en el Anexo 2 “Procedimiento para la actualización de la base de datos de

beneficiarios”.

Se entenderá por sistematizada que la información se encuentre en bases de datos

y disponible en un sistema informático; por actualizada, que el padrón contenga los

datos más recientes de acuerdo con la periodicidad definida para el tipo de

información; y por depurada, que no contenga duplicidades o beneficiarios no

vigentes.

8.2. Las fuentes de información mínimas a utilizar deben ser ROP o documento

normativo, manuales de procedimientos, base o padrón de beneficiarios,

normatividad interna aplicable al desarrollo de sistemas de información, bases de

datos y/o sistemas informativos.

8.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las

preguntas. 7, 9, 13, 21, 22, 23, 24 y 25.

9. Si el proyecto recolecta información socioeconómica de sus beneficiarios,

explique el procedimiento para llevarlo a cabo, las variables que mide y la

periodicidad de las mediciones.


23


ISAPEG

9.1. En la respuesta se debe explicar el procedimiento para recolectar información de

sus beneficiarios (características socioeconómicas para personas físicas y

características específicas para personas morales). Asimismo, se deben señalar las

variables que mide y la periodicidad con que se realizan las mediciones. De manera

adicional, se debe señalar si se recolecta información de no beneficiarios con fines

de comparación con la población beneficiaria y especificar qué tipo de información.

9.2. Las fuentes de información mínimas a utilizar deben ser documentos oficiales,

padrón de beneficiarios, bases de datos y/o sistemas informativos.



Evaluación y análisis de la Matriz de Indicadores para Resultados

10. ¿En el documento normativo del proyecto es posible identificar el resumen

narrativo de la MIR (Fin, Propósito, Componentes y Actividades)?

Si no se identifica al menos uno de los elementos del resumen narrativo de la MIR (Fin,

Propósito, Componentes y Actividades) en las ROP o documento normativo del proyecto,

se considera información inexistente y, por lo tanto, la respuesta es “No”.



Nivel Criterios

1 Algunas de las Actividades de la MIR se identifican en las ROP o documento

normativo del proyecto.

2 Algunas de las Actividades y todos los Componentes de la MIR se identifican en las

ROP o documento normativo del proyecto.

3 Algunas de las Actividades, todos los Componentes y el Propósito de la MIR se

identifican en las ROP o documento normativo del proyecto.

4 Algunas de las Actividades, todos los Componentes, el Propósito y el Fin de la MIR

se identifican en las ROP o documento normativo del proyecto.

10.1. En la respuesta se debe establecer la correspondencia entre los elementos del

resumen narrativo de la MIR y sus ROP o documento normativo; señalar los

elementos en los que se identifican áreas de mejora, y la justificación de las

sugerencias.

24


ISAPEG

En la respuesta se debe señalar el porcentaje de las actividades identificadas en las

ROP.

Adicionalmente, se debe adjuntar el Anexo 3 “Matriz de Indicadores para

Resultados”.

10.2. Las fuentes de información mínimas a utilizar deben ser las ROP o documento

normativo, manuales de operación y/o MIR.


preguntas 13, 14, 26 y 38.

De la lógica horizontal de la Matriz de Indicadores para Resultados

11. Las Fichas Técnicas de los indicadores del proyecto cuentan con la siguiente

información:

a) Nombre

b) Definición

c) Método de cálculo

d) Unidad de medida

e) Frecuencia de medición

f) Línea base

g) Metas

h) Comportamiento del indicador (ascendente, descendente)

Si el proyecto no cuenta con Fichas Técnicas de sus indicadores, se considera información

inexistente y, por lo tanto, la respuesta es “No”.



Nivel Criterios

1 Del 0% al 49% de las Fichas Técnicas de los indicadores del proyecto tienen las

características establecidas.







11.1. En la respuesta se deben explicar las áreas de mejora de las Fichas Técnicas de

los indicadores.

25


ISAPEG

En el Anexo 4 “Indicadores”, se debe incluir el resultado del análisis de cada Ficha

Técnica de los indicadores de la MIR con respecto a las propiedades señaladas en

la pregunta. El formato del Anexo se presenta en la sección XI. Formatos de Anexos

de estos Términos de Referencia.

11.2. Las fuentes de información mínimas a utilizar deben ser la MIR y Fichas Técnicas

de los indicadores.

- El evaluador deberá proponer de manera concreta las características de la

pregunta aplicadas al proyecto evaluado.

- Deberá emitirse una valoración sobre la pertinencia del diseño actual del

proyecto para alcanzar las metas de cobertura estimadas en esta respuesta. En

caso de que el diseño actual del proyecto no permita alcanzar las metas de

cobertura estimadas en esta respuesta deberán recomendarse modificaciones

concretas al diseño del proyecto con la finalidad de que sea más probable que

alcance dichas metas de cobertura.


preguntas 12 y 41.

12. Las metas de los indicadores de la MIR del proyecto tienen las siguientes

características:

a) Cuentan con unidad de medida.

b) Están orientadas a impulsar el desempeño, es decir, no son laxas.

c) Son factibles de alcanzar considerando los plazos y los recursos humanos

y financieros con los que cuenta el proyecto.

Si las metas del proyecto no cumplen con alguna de las características establecidas, se

considera información inexistente y, por lo tanto, la respuesta es “No”.



Nivel Criterios

1 Del 0% al 49% de las metas de los indicadores del proyecto tienen las características

establecidas.

2 Del 50% al 69% de las metas de los indicadores del proyecto tienen las




26


ISAPEG



12.1 En la respuesta se debe indicar la forma en que el proyecto establece sus metas y la

información que utiliza para la construcción de las mismas. Las metas son del ejercicio

fiscal evaluado. Las características de cada meta deben de analizarse en una matriz

que integre el cumplimiento por característica, las causas por las que se considera no

cumplen con alguna de las características y propuestas de mejora. La matriz debe

adjuntarse en el formato Anexo 5 “Metas del proyecto”. El formato del Anexo se

presenta en la sección XI. Formatos de Anexos de estos Términos de Referencia.

12.2 Las fuentes de información mínimas a utilizar deben ser las ROP o documento

normativo, la MIR, Fichas Técnicas de los indicadores, documentos de planeación.

12.3 La respuesta a esta pregunta debe ser consistente con las respuestas de las

preguntas 11, 14, 15 y 41.

Análisis de posibles complementariedades y coincidencias con otros programas federales

13. ¿Con cuáles programas federales y/o acciones de desarrollo social en otros

niveles de gobierno y en qué aspectos el proyecto evaluado podría tener

complementariedad y/o coincidencias?


13.1. En la respuesta se debe incluir el análisis que consideren los siguientes aspectos

para determinar coincidencias o complementariedades: a) el Propósito de los

programas y/o acciones de desarrollo social en otros niveles de gobierno, b) la

definición de la población objetivo, c) los tipos de apoyo otorgados por el programa

y d) la cobertura del programa.

En el formato del Anexo 6 “Complementariedad y coincidencias entre programas

federales y/o acciones de desarrollo social en otros niveles de gobierno”, se deben

incluir las citas de los textos que son similares entre el proyecto evaluado y los otros

programas federales y/o acciones de desarrollo social en otros niveles de gobierno.

Mediante el análisis se deben detectar los casos en que:

a) los objetivos son similares y por lo tanto podrían existir coincidencias;

b) atienden a la misma población, pero los apoyos son diferentes y, por lo tanto,

pueden ser complementarios;

c) sus Componentes son similares o iguales y atienden a diferente población, por

lo tanto, son complementarios; y

27


ISAPEG

d) sus Componentes son similares o iguales y atienden a la misma población,

por lo tanto, coinciden. El formato del Anexo se presenta en la sección XI.

Formatos de Anexos de estos Términos de Referencia.

Se debe indicar si se han establecido señalamientos explícitos de las

complementariedades en los documentos normativos y/o convenios de colaboración

con instancias públicas que estén dirigidos a establecer canales de coordinación.

13.2. Las fuentes de información mínimas a utilizar deben ser documentos oficiales, ROP

y MIR de programas federales y/o acciones de desarrollo social en otros niveles de

gobierno.

13.3. La respuesta de esta pregunta debe ser consistente con las respuestas de las

preguntas 1, 4, 5, 6, 7, 8 y 10.

Planeación y Orientación a Resultados

Instrumentos de Planeación

14. La Unidad Responsable del proyecto cuenta con un plan estratégico con las


a) Es resultado de ejercicios de planeación institucionalizados, es decir, sigue

un procedimiento establecido en un documento

b) Contempla el mediano y/o largo plazo

c) Establece los resultados que quieren alcanzar, es decir, el Fin y Propósito

del proyecto

d) Cuenta con indicadores para medir los avances en el logro de sus

resultados

Si el proyecto no cuenta con información de la población o área de enfoque atendida o la

información no cuenta con al menos una de las características establecidas en la pregunta,

se deberá considerar información inexistente y, por lo tanto, la respuesta sería “No”.

Si cuenta con información para responder a la pregunta, es decir, si la respuesta es “Sí” se

deberá seleccionar un nivel según los siguientes criterios:

Nivel Criterios

1 El plan estratégico tiene una de las características establecidas.

2 El plan estratégico tiene dos de las características establecidas.

3 El plan estratégico tiene tres de las características establecidas.

4 El plan estratégico tiene todas las características establecidas.

14.1. En la respuesta se deben presentar los objetivos establecidos en los planes y

argumentar por qué se considera que cuenta con las características. En caso de que

se detecten áreas de mejora en los planes estratégicos, se deben explicitar y

28


ISAPEG

proponer la forma de atenderlas. Se entenderá por mediano plazo, que la visión del

plan abarque la presente administración federal y largo plazo que trascienda la

administración federal.

14.2. Las fuentes de información mínimas a utilizar deben ser documentos oficiales de

planeación y/o programación, sistemas o herramientas de planeación y la MIR.

14.3. La respuesta a esta pregunta debe ser consistente con las respuestas a las

preguntas 10, 12 y 15.

15. El proyecto cuenta con planes de trabajo anuales para alcanzar sus objetivos que:

a) Son resultado de ejercicios de planeación institucionalizados, es decir, siguen

un procedimiento establecido en un documento.

b) Son conocidos por los responsables de los principales procesos del proyecto.

c) Tienen establecidas sus metas.

d) Se revisan y actualizan.

Si no existen planes de trabajo anuales para alcanzar los objetivos del proyecto o los planes

de trabajos anuales existentes no tienen al menos una de las características establecidas

en la pregunta, se considera información inexistente y, por lo tanto, la respuesta es “No”.



Nivel Criterios

1 Los planes de trabajo anuales tienen una de las características establecidas.

2 Los planes de trabajo anuales tienen dos de las características establecidas.

3 Los planes de trabajo anuales tienen tres de las características establecidas.

4 Los planes de trabajo anuales tienen todas de las características establecidas.

15.1 En la respuesta se deben presentar los objetivos establecidos en los planes y

argumentar por qué se considera que tienen o no las características. En caso de

que se detecten áreas de mejora en los planes de trabajo, se deben hacer explícitas

y proponer la forma de atenderlas. Se entenderá por anual al ciclo fiscal vigente,

ciclo escolar o estacional.

15.2 Las fuentes de información mínimas a utilizar deben ser documentos oficiales de

planeación y/o programación, sistemas o herramientas de planeación y la MIR, así

como entrevistas con funcionarios encargados de la operación del proyecto.

15.3 La respuesta a esta pregunta deberá ser consistente con las respuestas a las

preguntas 12 y 14.

29


ISAPEG

De la orientación hacia resultados y esquemas o procesos de evaluación

16. El proyecto utiliza informes de evaluaciones externas:

a) De manera regular, es decir, uno de los elementos para la toma de decisiones

sobre cambios al proyecto son los resultados de evaluaciones externas

b) De manera institucionalizada, es decir, sigue un procedimiento establecido en

un documento

c) Para definir acciones y actividades que contribuyan a mejorar su gestión y/o

sus resultados

d) De manera consensada, participan operadores, gerentes y personal de la

unidad de planeación y/o evaluación

Si no existe evidencia de que el proyecto ha utilizado informes de evaluaciones o si no

se cuenta con al menos una de las características establecidas en la pregunta se

considera información inexistente y, por lo tanto, la respuesta es “No”.

Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí”

se debe seleccionar un nivel según los siguientes criterios:

Nivel Criterios

1 El proyecto utiliza informes de evaluación externa y tiene una de las


2 El proyecto utiliza informes de evaluación externa y tiene dos de las


3 El proyecto utiliza informes de evaluación externa y tiene tres de las


4 El proyecto utiliza informes de evaluación externa y tiene todas las


16.1 En la respuesta se deben señalar las evidencias de las características establecidas

y de aquellas para las cuales no existe evidencia. De ser el caso, se debe señalar

cómo mejoró su gestión y/o resultados a partir del uso de evaluaciones externas.

16.2 Las fuentes de información mínimas a utilizar deben ser informes finales de

evaluaciones externas del proyecto, documentos de trabajo, documentos

institucionales y posiciones institucionales de las evaluaciones externas generados

a partir de los Mecanismos para el seguimiento de los ASM derivados de informes y

evaluaciones externas.


preguntas 17, 18, 19, 20, 42, 44, 46 y 47.

30


ISAPEG

17. Del total de los Aspectos Susceptibles de Mejora (ASM) clasificados como

específicos y/o institucionales de los últimos tres años, ¿qué porcentaje han sido

solventados de acuerdo con lo establecido en los documentos de trabajo y/o

institucionales?

Si ninguno de los ASM clasificados como específicos e institucionales presentan un avance

acorde a lo establecido en los documentos de trabajo y/o institucionales, se considera




Nivel Criterios

1

Más del 0 y hasta el 49% del total de los ASM se han solventado y las acciones de

mejora están siendo implementadas de acuerdo con lo establecido en los documentos

de trabajo e institucionales.

2

Del 50 al 69% del total de los ASM se han solventado y las acciones de mejora están

siendo implementadas de acuerdo con lo establecido en los documentos de trabajo e

institucionales.

3



institucionales.

4



institucionales.

17.1 En la respuesta se debe incluir el Anexo 7 “Avance de las acciones para atender los

aspectos susceptibles de mejora” establecido en el Mecanismo para el seguimiento

a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los

programas presupuestarios de la Administración Pública Federal vigente. El formato

del Anexo se presenta en la sección XI. Formatos de Anexos de estos Términos de

Referencia y debe entregarse en formato Excel.

Si el proyecto no ha tenido evaluaciones externas la respuesta es “No Aplica”. En el

caso de que el proyecto haya decidido no atender ninguno de los ASM derivados de

informes y evaluaciones externas la respuesta es “No Aplica” y se debe señalar por

qué el proyecto no seleccionó algún hallazgo como ASM.


evaluaciones externas del proyecto, documento de trabajo (plan de trabajo),

31


ISAPEG

documento institucional y posiciones institucionales de las evaluaciones externas

generados a partir de los Mecanismos para el seguimiento de los ASM derivados de

informes y evaluaciones externas.


preguntas 16, 18, 19, 20, 46 y 47.

18. ¿Con las acciones definidas en los documentos de trabajo e institucionales, que

a la fecha se han implementado, provenientes de los Mecanismos para el

seguimiento a los aspectos susceptibles de mejora derivados de informes y

evaluaciones a los programas presupuestarios de la Administración Pública

Federal de los últimos tres años, se han logrado los resultados establecidos?


18.1 En la respuesta se deben indicar los resultados de la implementación de las

acciones para atender los ASM y si coinciden con los resultados esperados

establecidos en los documentos de trabajo e institucionales; adicionalmente, se

debe señalar si el producto/evidencia del resultado permite dar cuenta del mismo y,

en su caso, si se considera que existen efectos adicionales de dichas acciones que

el proyecto no haya identificado. El análisis debe de realizarse en una matriz que

debe adjuntarse en el formato Anexo 8 “Resultados de las acciones para atender

los aspectos susceptibles de mejora”.



institucionales, posiciones institucionales de las evaluaciones externas, avance a los

documentos de trabajo e institucionales generados a partir de los Mecanismos para

el seguimiento de los ASM derivados de informes y evaluaciones externas.

18.3 La respuesta a esta pregunta deberá ser consistente con la respuesta a las

preguntas 16, 17, 19 y 20.

19. ¿Qué recomendaciones de la(s) evaluación(es) externa(s) de los últimos tres

años no han sido atendidas y por qué?


19.1 En la respuesta se deben señalar cuáles recomendaciones no han sido atendidas y

su justificación. Asimismo, se debe señalar cuáles recomendaciones se considera

que afectan directamente el propósito del proyecto. El análisis se debe adjuntar en

una matriz en el formato Anexo 9 “Análisis de recomendaciones no atendidas

derivadas de evaluaciones externas”.

32


ISAPEG

19.2 Las fuentes de información mínimas a utilizar deben ser evaluaciones externas,

informes, mecanismos para el seguimiento de los ASM derivados de informes y

evaluaciones externas.


preguntas 16, 17, 18, 20, 44, 46, 47, 50 y 51.

20. A partir del análisis de las evaluaciones externas realizadas al proyecto y de su

experiencia en la temática ¿qué temas del proyecto considera importante evaluar

mediante instancias externas?


20.1 En la respuesta se debe establecer una síntesis con los resultados de las principales

evaluaciones externas realizadas al proyecto; de los temas evaluados y de los

resultados de las evaluaciones, considerados para sugerir los temas a ser evaluados

por instancias externas y justificar el porqué de la selección de estos temas.



institucionales, posiciones institucionales de las evaluaciones externas, avance a los

documentos de trabajo e institucionales generados a partir de los mecanismos para

el seguimiento de los ASM derivados de informes y evaluaciones externas.

20.3 La respuesta a esta pregunta deberá ser consistente con las respuestas a las

preguntas 16, 17, 18, 19, 42, 44, 46, 47, 50 y 51.

De la generación de información

21. El proyecto recolecta información acerca de:

a) La contribución del proyecto a los objetivos del programa sectorial, especial,

institucional o nacional.

b) Los tipos y montos de apoyo otorgados a los beneficiarios en el tiempo.

c) Las características socioeconómicas de sus beneficiarios.

d) Las características socioeconómicas de las personas que no son

beneficiarias, con fines de comparación con la población beneficiaria.

Si el proyecto no recolecta regularmente información o no cuenta con al menos uno de los

aspectos establecidos, se considera información inexistente y, por lo tanto, la respuesta es

“No”.



Nivel Criterios

33


ISAPEG

1 El proyecto recolecta información acerca de uno de los aspectos establecidos.

2 El proyecto recolecta información acerca de dos de los aspectos establecidos.

3 El proyecto recolecta información acerca de tres de los aspectos establecidos.

4 El proyecto recolecta información acerca de todos de los aspectos establecidos.

21.1 En la respuesta se debe indicar qué información recolecta el proyecto y con qué

frecuencia. En caso de los objetivos nacionales, sectoriales, especiales o

institucionales, especificar la contribución del proyecto, ya sea través del avance a

en los indicadores sectoriales u otras contribuciones.

21.2 Las fuentes de información mínimas son ROP o documento normativo, manuales de

operación del proyecto, MIR, padrón de beneficiarios, documentos oficiales, bases

de datos con información de los beneficiarios, información de la población potencial

y objetivo, Informe de Logros del Programa Sectorial y/o entrevistas con funcionarios

encargados de la operación del proyecto.


preguntas 4, 5, 7, 8, 9 y 22.

22. El proyecto recolecta información para monitorear su desempeño con las


a) Es oportuna

b) Es confiable, es decir, se cuenta con un mecanismo de validación

c) Está sistematizada

d) Es pertinente respecto de su gestión, es decir, permite medir los

indicadores de Actividades y Componentes

e) Está actualizada y disponible para dar seguimiento de manera permanente

Si el proyecto no recoleta información para monitorear su desempeño o la información no

cuenta con al menos una de las características establecidas en la pregunta se considera




Nivel Criterios

1 La información que recolecta el proyecto cuenta con una o dos de las características

establecidas.

34


ISAPEG

2 La información que recolecta el proyecto cuenta con tres de las características

establecidas.

3 La información que recolecta el proyecto cuenta con cuatro de las carac

tÉrminos de referencia para la evaluaciÓn de consistencia...

Documents