propuesta lineamientos evaluaciones internas...
TRANSCRIPT
Taller de Apoyo para la Elaboración de Evaluaciones Internas 2016 de los
Programas Sociales de la Ciudad de México
SESIÓN 5
- Análisis y Seguimiento de la Evaluación Interna 2015
- Conclusiones de la Evaluación 2016 a través de la Matriz FODA
- Diseño de Estrategias de Mejora y su instrumentación
- Conclusión del Taller
Sesión 5
CONTENIDOS GENERALES -.
CONTENIDO DEL INFORME DE LA EVALUACIÓN INTERNA 2016 (Sesión 5)
V. ANÁLISIS Y SEGUIMIENTO DE LA EVALUACIÓN INTERNA 2015 V.1. Análisis de la Evaluación Interna 2015 V.2. Seguimiento de las Recomendaciones de las Evaluaciones Internas Anteriores VI. CONCLUSIONES Y ESTRATEGIAS DE MEJORA VI.1. Matriz FODA VI.2. Estrategias de Mejora VI.3. Cronograma de Implementación VII. REFERENCIAS DOCUMENTALES
Sesión 5
- Análisis y Seguimiento de la Evaluación Interna 2015
- Conclusiones de la Evaluación 2016 a través de la Matriz FODA
- Diseño de Estrategias de Mejora y su instrumentación
- Conclusión del Taller
Apartado Contenidos
V.1. Análisis de la Evaluación Interna 2015
- Retomar la Evaluación Interna 2015 del Programa Social en cuestión y valorar si fue desarrollada de acuerdo con los aspectos solicitados en los Lineamientos para la Evaluación Interna 2015 de los Programas Sociales del Distrito Federal Operados en 2014 emitidos por el Evalúa DF, a través de una matriz de contingencias en la cual se determine el grado de cumplimiento (satisfactorio, parcial, no satisfactorio, no se incluyó) de cada elemento así como la justificación argumentativa que da pie a la valoración hecha.
V. ANÁLISIS Y SEGUIMIENTO DE LA EVALUACIÓN INTERNA 2015
Ficha de valoración de Evaluación Interna 2015
Apartados de la Evaluación Interna 2015 Nivel de
Cumplimiento Justificación
I. Introducción ---------------
II. Metodología de la Evaluación
Interna 2015
II.1. Descripción del Objeto de Evaluación
II.2. Área Encargada de la Evaluación
II.3. Metodología de la Evaluación
II.4. Fuentes de Información
III. Evaluación del Diseño del
Programa
III.1. Consistencia Normativa y Alineación con la
Política Social del Distrito Federal
III.2. Árbol del Problema
III.3. Árbol de Objetivos y de Acciones
III.4. Resumen Narrativo
III.5. Matriz de Indicadores
III.6. Consistencia Interna del Programa Social (Lógica
Vertical)
III.7. Análisis de Involucrados del Programa
III.8. Complementariedad o Coincidencia con otros
Programas Sociales
III.9. Objetivos de Corto, Mediano y Largo Plazo
Ficha de valoración de Evaluación Interna 2015
Apartados de la Evaluación Interna 2015 Nivel de
Cumplimiento
Justificaci
ón
IV. Evaluación de
Cobertura y Operación
IV.1. Cobertura del Programa Social
IV.2. Congruencia de la Operación del Programa con su Diseño
IV.3. Valoración de los Procesos del Programa Social
IV.4. Seguimiento del Padrón de Beneficiarios o Derechohabientes
IV.5. Mecanismos de Seguimiento de Indicadores
IV.6. Avances en las Recomendaciones de la Evaluación Interna
2014
V. Evaluación de Resultados y
Satisfacción
V.1. Principales Resultados del Programa
V.2. Percepción de las Personas Beneficiarias o Derechohabientes
V.3. FODA del Programa Social
VI. Conclusiones y
Recomendaciones
VI.1. Conclusiones de la Evaluación Interna
VI.2. Estrategias de Mejora
VI.3. Cronograma de Instrumentación
VII. Referencias Documentales ---------------
Nivel de Cumplimiento: 3 Satisfactorio, 2 Parcialmente satisfactorio, 1 Insatisfactorio, 0 no se integró
Análisis particular de cada sub apartado
Apartados de la Evaluación Interna 2015 Aspectos a analizar
I. Introducción --------------- Propósitos y limitaciones de la Evaluación Interna,
además establecer si se han realizado las evaluaciones
internas de años anteriores al programa social.
II. Metodología de la
Evaluación
Interna 2015
II.1. Descripción del Objeto de
Evaluación
Descripción de la puesta en marcha del programa,
indicar el objetivo general y específicos del mismo, así
como la descripción de las características generales.
II.2. Área Encargada de la
Evaluación
Descripción del Área que realiza la evaluación interna,
sus funciones y perfiles de los integrantes.
II.3. Metodología de la Evaluación Explicar la metodología utilizada (cuantitativa y/o
cualitativa), señalar que la para la construcción de
indicadores se seguirá la MML y establecer la ruta crítica
de los procesos de evaluación.
II.4. Fuentes de Información Señalar las fuentes de información de gabinete o de
campo empleadas.
Análisis particular de cada sub apartado
Apartados de la Evaluación Interna 2015 Aspectos a analizar
III. Evaluación del Diseño del
Programa
III.1. Consistencia Normativa
y Alineación con la Política
Social del Distrito Federal
Habrá que establecer la valoración del apego en el diseño de
las Reglas de Operación 2014 los LERO 2014; la alineación del
diseño del programa mediante sus Reglas de Operación a las
leyes y reglamentos aplicables.
Señalar la contribución del programa social a garantizar los
doce principios de la Política Social y enunciar los derechos
sociales que se contribuye a garantizar.
Finalmente la alineación y contribución del programa social
con el PGD DF, los Programas Delegacionales, sectoriales e
institucionales.
III.2. Árbol del Problema Se identificó el problema o necesidad social, se estableció la
situación de la población en el momento de iniciar la
ejecución del programa, existe árbol de efectos, árbol de
causas y árbol de problemas.
III.3. Árbol de Objetivos y de
Acciones
Se construyó el árbol de Objetivos (situación ideal al resolver
la problemática social) y el árbol de Acciones.
Análisis particular de cada sub apartado
Apartados de la Evaluación Interna 2015 Aspectos a analizar
III. Evaluación del Diseño del
Programa
III.4. Resumen Narrativo Se presenta el Resumen Narrativo definiendo los
objetivos de nivel de: Fin, Propósito, Componentes y
Actividades.
III.5. Matriz de Indicadores Existe una matriz de indicadores diseñada con base en
la MML.
III.6. Consistencia Interna del
Programa Social (Lógica Vertical)
Se verifican las relaciones de causalidad entre los
distintos niveles de objetivos en la MML.
III.7. Análisis de Involucrados del
Programa
Se identifica, clasifica, posiciona y caracteriza a los
involucrados en el programa.
III.8. Complementariedad o
Coincidencia con otros Programas
Sociales
Se analiza la existencia de otros programas o acciones
sociales con los que el programa evaluado presenta
complementariedad o coincidencia.
III.9. Objetivos de Corto, Mediano y
Largo Plazo
Se establece una matriz de los efectos esperados por
el programa y los plazos en que se alcanzarán.
Análisis particular de cada sub apartado Apartados de la Evaluación Interna 2015 Aspectos a Analizar
IV. Evaluación de
Cobertura y Operación
IV.1. Cobertura del Programa Social Verificar si se caracteriza la población potencial, objetivo
y beneficiaria. Si se describe la evolución de la relación
existente entre la población atendida y la población
objetivo del programa.
IV.2. Congruencia de la Operación del
Programa con su Diseño
Valorar si efectivamente la operación programa se
enmarcó en el diseño de sus Reglas de Operación 2014.
IV.3. Valoración de los Procesos del Programa
Social
Se definieron los recursos empleados, los principales
procesos en las diferentes etapas de la operación del
programa social.
Valorar si éstos fueron adecuados y eficientes.
IV.4. Seguimiento del Padrón de Beneficiarios
o Derechohabientes
Identificar los procesos para el procesamiento de la
información de los beneficiarios, si existe un área
específica encargada de la sistematización y depuración
de la información.
IV.5. Mecanismos de Seguimiento de
Indicadores
Caracterizar los mecanismos de generación, recolección y registro de información para el seguimiento del programa a través de los indicadores diseñados.
IV.6. Avances en las Recomendaciones de la
Evaluación Interna 2014
Señalar el área responsable del seguimiento de las
recomendaciones y/o sugerencias de la Evaluación
Interna 2014, así como, el avance de las mismas.
Análisis particular de cada sub apartado
Apartados de la Evaluación Interna 2015 Aspectos a Analizar
V. Evaluación de
Resultados y
Satisfacción
V.1. Principales Resultados del Programa Se presentan los resultados de la matriz de indicadores
explicando, en los casos en que sea necesario, las
externalidades que condicionaron el logro de los
objetivos planteados.
V.2. Percepción de las Personas
Beneficiarias o Derechohabientes
Debe de valorarse el tipo de participación de los
beneficiarios, así como, el grado en el que se cubren
las expectativas de las personas beneficiarias de
acuerdo a las necesidades detectadas.
V.3. FODA del Programa Social Valorar la integración de la Matriz de las amenazas,
oportunidades, debilidades y fortalezas (FODA), con
base en lo desarrollado a lo largo de la evaluación
interna.
Análisis particular de cada sub apartado
Apartados de la Evaluación Interna 2015 Aspectos a Analizar
VI. Conclusiones y
Recomendaciones
VI.1. Conclusiones de la Evaluación Interna Presentar las principales conclusiones verificando si
éstas permiten tomar decisiones oportunas y que
mejoren la gestión del programa.
VI.2. Estrategias de Mejora Analizar si se establecieron estrategias de mejora en
función de los elementos detectados en la Matriz
FODA.
VI.3. Cronograma de Instrumentación Verificar la existencia una calendarización para la
instrumentación de las estrategias de mejora.
VII. Referencias
Documentales
--------------- Citar todas las fuentes de información consultadas para
la elaboración de la Evaluación Interna 2015.
Apartado Contenidos
V.2. Seguimiento de las Recomendaciones de las Evaluaciones Internas Anteriores
-En este apartado se reportará, tal como se solicitó en los Lineamientos para la Evaluación Interna 2015, el avance en la instrumentación de las estrategias de mejora propuestas, mediante el siguiente cuadro. En el caso de que en la evaluación interna 2015 haya quedado pendiente el cumplimiento de alguna recomendación de la evaluación 2014 también deberá incluirse en este apartado.
Estrategia de mejora
Etapa de implementación
dentro del programa
Plazo establecido
Área de seguimiento
Situación a junio de 2016
Justificación y retos enfrentados
Estrategias del Programa Seguro Contra la Violencia Familiar 2014
Habrá que reportar el avance de estas estrategias en la evaluación 2015
Apartado Contenidos
VI.1. Matriz FODA
Con base en cada uno de los aspectos desarrollados a lo largo de la evaluación interna 2016, en este apartado se debe generar la Matriz de las Fortalezas, Oportunidades, Debilidades y Amenazas (FODA) que permitirá determinar los logros del programa, las variables externas que han contribuido a éstos, las áreas de oportunidad y los obstáculos que han afectado el funcionamiento del programa social; es decir, valorar la efectividad en el cumplimiento de metas y en el logro de los objetivos e identificar las variables del programa que afectan en mayor medida sus resultados. El análisis FODA permitirá determinar cuáles serán las acciones que se deben llevar a cabo para aprovechar las oportunidades detectadas y así prepararse contra las amenazas teniendo conciencia de las debilidades y fortalezas; consolidando las fortalezas, minimizando las debilidades, aprovechando las ventajas de las oportunidades y eliminando o reduciendo las amenazas.
VI. CONCLUSIONES Y ESTRATEGIAS DE MEJORA (sesión 1)
Fortalezas Situaciones que afectan
positivamente el cumplimiento del objetivo definido y que se
pueden controlar directamente.
Debilidades Situaciones que afectan
negativamente el cumplimiento del objetivo y que pueden ser
controladas directamente.
Oportunidades Situaciones positivas que
afectan el cumplimiento del objetivo, pero que no son controlables, es decir, son
externas a la capacidad directa de gestión.
Amenazas Factores externos que afectan
negativamente el cumplimiento del objetivo.
Positivo Negativo
Externo
Interno
Matriz FODA
El análisis FODA permite a la organización determinar cuáles serán las acciones que se deben llevar a cabo para aprovechar las oportunidades detectadas y así prepararla contra las amenazas teniendo conciencia de las debilidades y fortalezas. El análisis FODA, cuando se realiza de la forma apropiada, lleva a una organización a identificar sus factores estratégicos de éxito (y también los críticos), para una vez identificados, usarlos y apoyar en ellos los cambios organizacionales: consolidando las fortalezas, minimizando las debilidades, aprovechando las ventajas de las oportunidades, y eliminando o reduciendo las amenazas.
Diagrama resumen del Análisis FODA
Apartado Contenidos
VI.2. Estrategias de Mejora
Se deberán integrar las principales estrategias de mejora del programa social, basadas en las conclusiones a las que se llegan en la evaluación interna mediante la Matriz FODA, intentando erradicar o disminuir las Debilidades y Amenazas detectadas en la Matriz FODA y potenciando las Fortalezas y Oportunidades; para lo cual se plantea el esquema siguiente:
Elementos de la Matriz FODA retomados
Estrategia de mejora propuesta
Etapa de implementación dentro del programa social Efecto esperado
Una vez construida la Matriz FODA en el apartado anterior, se debe desarrollar un análisis estratégico; esta exploración busca establecer, cuáles son las vinculaciones lógicas entre los elementos definidos. Así, en la celda donde se cruzan las fortalezas y las oportunidades se realiza el análisis de las potencialidades para el cumplimiento del objetivo. Los desafíos son el espacio donde se cruzan las debilidades con las oportunidades, los riesgos se entenderán como la relación entre las fortalezas y las amenazas y las limitaciones serán la asociación entre las debilidades y las amenazas. Todos los análisis se deben hacer tomando en consideración el objetivo central definido. El esquema básico que se utiliza es el que se plantea a continuación.
Objetivo central del proyecto Fortalezas (Internas) Debilidades (Internas)
Oportunidades (Externas) Potencialidades Desafíos
Amenazas (Externas)
Riesgos Limitaciones
Se realiza la formulación estratégica que consiste esencialmente en transformar el análisis en propuestas definidas. Se utiliza la misma estructura de matriz que se aplica para el análisis estratégico y la transformación debe hacerse en relación a cada análisis desarrollado previamente. Las estrategias deben formularse procurando que: - Las potencialidades requieren considerar el cómo enfrentar las oportunidades aprovechando las fortalezas. - Los desafíos se enfrentan buscando el cómo superar las debilidades aprovechando las oportunidades. - Para el caso de los riesgos se debe considerar el cómo se superan las amenazas aprovechando las fortalezas. -En relación con las limitaciones la consideración será el cómo neutralizar las amenazas a pesar de las debilidades.
Objetivo central del proyecto Fortalezas (Internas)
Debilidades (Internas)
Oportunidades (Externas)
Potencialidades Estrategias FO (maxi-maxi)
Desafíos Estrategias DO (mini-maxi)
Amenazas (Externas)
Riesgos Estrategias FA (maxi-mini)
Limitaciones Estrategias DA (mini-mini)
(Silva Lira Iván y Sandoval Carlos (2012). “Metodología para la elaboración de estrategias de desarrollo local”. Boletín 76, serie manuales. ILPES-CEPAL, Chile págs. 70-74)
Fuente: IPN (2002). Metodología para el análisis FODA.
Apartado Contenidos
VI.3. Cronograma de Implementación
En este apartado se deberá incluir un Cronograma para la instrumentación de las estrategias de mejora; estableciendo una ruta crítica para el seguimiento de las mismas (en el corto, mediano y largo plazo) y especificar las áreas encargadas de su instrumentación y seguimiento. Cabe destacar que el seguimiento y avance de estas recomendaciones tendrá que ser reportado en la siguiente evaluación interna 2017.
Estrategia de Mejora Plazo Área(s) de instrumentación Área(s) de seguimiento
Apartado Contenidos
VII. REFERENCIAS DOCUMENTALES
En este apartado se deben citar, de forma precisa y homogénea, todas las fuentes de información consultadas (bibliografía y referencias documentales, tales como Reglas de Operación, Manuales, Oficios e Informes) para la elaboración de la Evaluación Interna 2016, en el siguiente orden: autor, año, nombre completo del documento, medio de publicación.
Anderson, L. y Neville, P.T. (2006). Evaluación de programas: estudios de gran escala y de pequeña escala. Algunas generalizaciones. Serie Políticas Educativas 5. México: Centro Nacional de Evaluación para la Educación Superior, A.C., Consejo Mexicano de Investigación Educativa, A.C., Instituto Nacional para la Evaluación de la Educación, Universidad Pedagógica Nacional, Centro de Investigación y de Estudios Avanzados, Departamento de Investigaciones Educativas.
Briceño, B. (2010). Definición del tipo de sistemas de monitoreo y evaluación: Clientes, usos esperados y utilización real. PremNotes, Nº 2, Banco Mundial.
Cardozo, M. (2006). La evaluación de políticas y programas públicos. México: M. A. Porrúa.
---------------- (2012). Sistematización de la experiencia de evaluación de Evalúa DF 2008. Metaevaluación y Análisis. México: UAM.
Cohen, E. y Franco R. (1992). Evaluación de proyectos sociales., México: S. XXI.
Ejem
plos
:
