evaluación cualitativa (y cuantitativa) en programas sociales algunos elementos sobre la...
TRANSCRIPT
Evaluación cualitativa (y cuantitativa) en
programas sociales Algunos elementos sobre la importancia de la Evaluación
en los Programas del DIF
XIV Encuentro Nacional y Desarrollo Comunitario
Desarrollo Integral de la Familia (DIF)
Noviembre 26, 2014Huatulco, Oaxaca
Gabriela Vázquez Cermeño
Con la colaboración de: Ana Núñez Interiano y
Silvia A. Vázquez Hernández
CONTENIDO1. Aspectos generales sobre la evaluación de los programas
sociales.2. Evaluación de impacto: Metodología Cualitativa – Cuantitativa
o Métodos Mixtos.3. Presentación de algunos ejemplos de evaluación:
Progresa- Oportunidades – PROSPERA. Programa de Desarrollo Comunitario del DIF: Comunidad
DIFerente.4. Algunas recomendaciones para la evaluación de los
programas del DIF.
Importancia de a
Importancia de la evaluación de programas sociales
¿Por qué es necesario evaluar los programas sociales?
Para conocer las características, resultados y/o efectividad de las intervenciones públicas y hacer las correcciones pertinentes.
Dependiendo del tipo de evaluación que se diseñe e implemente, se puede obtener información específica de interés.
Importancia de a
• ¿La intervención está produciendo los beneficios previstos?
• ¿Cuál es el impacto general que tiene el programa en la población?
• ¿Se podría diseñar mejor el programa o proyecto para lograr los resultados previstos?
• ¿Se están empleando los recursos en forma eficiente?
La evaluación de un programa social debería poder responder las siguientes preguntas:
Importancia de la evaluación de programas sociales
Importancia de a
Normatividad de la evaluación de programas sociales en México
Desde el año 2005 se creó el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL).
Es el órgano encargado de normar y coordinar la evaluación de la Política Nacional de Desarrollo Social y las políticas, programas y acciones que ejecuten las dependencias públicas.
Se encarga de establecer los criterios y lineamientos para las metodologías de evaluación sobre la política y los programas de desarrollo social.
Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.
Importancia de a
Normatividad de la evaluación de programas sociales en México
Evaluación
Es el análisis sistemático y objetivo de los programas federales y que tiene como finalidad determinar la pertinencia y el logro de sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados, impacto y sostenibilidad.
Mediante la evaluación, se busca generar insumos relevantes que apoyen la toma de decisiones sobre ajustes y mejoras al diseño y operación del programa, mejorando así la efectividad y eficiencia del uso de los recursos y la rendición de cuentas.
Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.
Importancia de a
Tipos de Evaluación según el CONEVAL
a) Evaluación de Consistencia y Resultadosb) Evaluación de Indicadoresc) Evaluación de Procesosd) Evaluación de Impacto. Identifica con metodologías
rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa federal.
e) Evaluación Específicaf) Evaluaciones Estratégicas
Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.
Importancia de a
Sistema de Evaluación del Desempeño - CONEVAL
Las evaluaciones normadas por el CONEVAL tienen requisitos específicos. Estas evaluaciones y sus resultados forman parte del Sistema de Evaluación del Desempeño y se articularán sistemáticamente con la planeación y el proceso presupuestario.
Presupuesto Basado en Resultados (PbR)
Sistema de Evaluacióndel Desempeño
(SED) Gestión para lacalidad del gasto
Evaluación de Políticas Públicas y
Programas Presupuestarios
Programa Anual de Evaluación(PAE)
•Indicadores•Metodología del Marco Lógico•Nueva organización del proceso presupuestario•Asignación de recursos con base en resultados
Componentes del Sistema de Evaluación del Desempeño
Fuente: SHCP. Sistema de Evaluación del desempeño .
Evaluación de impacto: Metodología Cualitativa – Cuantitativa o Métodos
Mixtos.
Importancia de a
Evaluación de Impacto
El impacto (α) de un programa es la diferencia entre los resultados (Y) de la misma persona cuando ha participado y cuando no ha participado en el programa.
Fuente: Gertler et al. (2011) y Martínez (2014).
Importancia de a
Evaluación de Impacto
… Esto no es posible, por lo tanto…
Fuente: Gertler et al. (2011) y Martínez (2014).
Importancia de a
Principales pasos en el diseño e implementación de una Evaluación de Impacto
Durante la identificación y preparación del proyecto1. Determinar si realizar o no una evaluación e identificar las preguntas de política pública
relevantes2. Aclarar los objetivos de la evaluación3. Examinar la disponibilidad de datos4. Diseñar la evaluación5. Formar el equipo de evaluación6. Si se recopilan datos:
(a) Diseñar y seleccionar muestras(b) Elaborar instrumentos de recopilación de datos(c) Reunir y capacitar personal para trabajo en terreno(d) Realizar pruebas piloto(e) Recopilar datos(f) Administrar datos y acceder a ellos
Durante la implementación del proyecto7. Recopilar datos actuales8. Analizar los datos9. Redactar los resultados y analizarlos con las autoridades responsables y otras partes
interesadas10. Incorporar los resultados en el diseño del proyecto
Tomado de Baker, (2000:17)
Importancia de a
Diseños de Evaluaciones: Cualitativas vs. Cuantitativas
Tradicionalmente la evaluación de impacto se realiza utilizando metodologías cuantitativa, aunque también se utiliza métodos mixtos.
Metodología Cuantitativa
Diseños de control experimental o
aleatorio
Diseños no experimentales o
cuasi experimentales
Metodología Cualitativa
Estudios de caso
Etnografía
Importancia de a
Características de los Métodos Cualitativos
• El propósito de los Métodos Cualitativos es explorar las relaciones sociales y describir la realidad tal como la experimentan sus protagonistas.
• La investigación cualitativa requiere un profundo entendimiento del comportamiento humano y las razones que lo gobiernan.
• A diferencia de la investigación cuantitativa, la investigación cualitativa busca explicar las razones de los diferentes aspectos de tal comportamiento.
• En otras palabras, investiga el por qué y el cómo se tomó una decisión, en contraste con la investigación cuantitativa, que busca responder preguntas tales como cuál, dónde, cuándo, cuánto.
• La investigación cualitativa se basa en la toma de muestras pequeñas, esto es la observación de grupos de población reducidos, como salas de clase, una comunidad, etcétera.
Importancia de a
Diseños de Evaluaciones: Métodos Mixtos
Cuando se utilizan de forma aislada, los métodos Cuantitativos y Cualitativos de evaluación tienen ventajas y desventajas. Ventajas: M. Cuantitativo: se pueden medir y analizar los datos; se pueden probar hipótesis
en diseños experimentales o quasi-experimentales utilizando información estadística.
M. Cualitativo: es flexible; se obtiene información detallada; se puede observar el contexto y el sentido del sujeto que se estudia.
Desventajas: M. Cuantitativo: no se toma en cuenta el contexto particular de la población de
estudio; requiere una muestra más amplia para obtener resultados estadísticamente representativa y generalizable.
M. Cualitativo: requiere mucho tiempo y puede presentar sesgos del investigador.
El objetivo de los Métodos Mixtos es aprovechar las ventajas de ambos enfoques e integrarlos para superar sus desventajas y potenciar sus ventajas.
Presentación de algunos ejemplos de evaluación:
Progresa- Oportunidades – PROSPERA. Programa de Desarrollo Comunitario del DIF:
Comunidad Diferente
Importancia de a
Un ejemplo de un Programa Multievaluado: Progresa - Oportunidades - PROSPERAModelo integral de la evaluación de impacto
•Grupos Asesores de la Evaluación•Reconocidas instituciones académicas y de investigación•Acompañamiento del BID, se suma CONEVAL
Externa e independiente
•Cuantitativo
•Cualitativo
Enfoques
•Hogares e Individuos
•Grupos etarios, étnicos
•Localidades
•Clínicas (proveedores de servicios) y Escuelas modalidad de escuela)
Niveles de Análisis
•Transversal
•Longitudinal (Corto, Mediano y Largo Plazo)
•Ex ante y ex post
Dimensión Temporal
•Grupos de tratamiento
•Grupos de comparación: sin Programa, por tiempos de exposición al Programa
Grupos de Estudio
•Socioeconómicos y/o Demográficos
•Biológicos/antropométricos
•Desarrollo cognitivo, habilidades, logro educativo
•Dinámica familiar
•Infraestructura y dinámica comunitaria
•Otras
Temáticas
INTEGRALIDAD
Importancia de a
Resultados de la Evaluación de Impacto del PDHO
• Logros en Educación
• Logros en Nutrición
3
2
1 Hubo una reducción de 23.7% en el abandono escolar de los jóvenes de 16 a 19 años de zonas urbanas.
Se logró un grado adicional en la escolaridad esperada de jóvenes de 15 a 18 años en zonas rurales.
En zonas rurales se incrementó la probabilidad de entrar a la secundaria de los niños y niñas de 12 a 14 años en 42 y 33 % respectivamente.
La prevalencia de anemia en zonas rurales fue 7.2% menor en niños beneficiarios de 48 a 59 meses de edad. 1
2Los niños beneficiarios en zonas rurales de 24 a 71 meses de edad crecieron en promedio 0.67 cm. más que los niños no beneficiarios.
Un ejemplo de un Programa Multievaluado: Progresa - Oportunidades - PROSPERAEvaluación de Impacto Cualitativa
La evaluación cualitativa de impacto de Oportunidades en zonas rurales 2007- 2008
Coordinadora de la evaluación: Mercedes González de la Rocha – CIESAS OccidenteInvestigadores: Alejandro Agudo Sanchíz, Armando Haro, Juan Luis Sariego, Gabriela Sánchez.
• Objetivo principal Esclarecimiento de los procesos que llevan a un impacto diferencial en la población incorporada al programa, según su condición étnica.
• Muestra Analítica de Hogares1. Se eligieron doce microrregiones rurales étnicamente diversas en cuatro estados del país.2. Se eligieron Hogares según las variables: ETNICIDAD E INCORPORACIÓN O NO AL
PROGRAMA. Cuatro casos de cada uno de los siguientes tipos: Indígenas Beneficiarios (N=4) No Indígenas Beneficiarios (N=4) Indígenas No Beneficiarios (N=4) No Indígenas No Beneficiarios (N=4)
En total 16 hogares por micro-región.
Tipos de hogares . En los 8 casos de estudio de hogares beneficiarios se seleccionaron aquellos de larga exposición al Programa.
Importancia de a
Resultados de la Evaluación de Impacto del PDHO
• Evaluación Cualitativa
El Programa ha contribuido a cerrar dos importantes brechas en escolaridad: étnica y de género.
La prolongación de las trayectorias educativas es mayor entre indígenas que entre no indígenas, y también mayor entre mujeres que entre hombres.
1
2
Mejoras al PHDO- PROSPERA a partir de las recomendaciones de la evaluación de impacto
Recomendaciones Acciones implementadas
Cambiar el formato de hierro utilizado en los complementos para mejorar la efectividad de los impactos en la nutrición
Cambio en la fórmula de hierro para mejorar la biodisponibilidad. Se aumentó la cantidad de algunas vitaminas y minerales. Realización de un estudio de eficacia de tres tipos de complementos para mejorar el crecimiento y desarrollo en niños, y el estado de nutrición en mujeres.
Mejorar la promoción para asegurar el uso adecuado del Nutrisano
Mejora de la comunicación educativa para la preparación y uso del complemento. Mejora en la distribución y entrega del complemento.
Mejorar las sesiones educativas de autocuidado de la salud
Sustitución de las “pláticas” por talleres de capacitación y mejoramiento del Paquete Básico de Servicios de Salud.
Importancia de a
Ejemplo de Investigación sobre el Programa de Desarrollo Comunitario del DIF: Comunidad DIFerente: Tesis de Luz Helena Salgado
• Duración de la evaluación: 1 a 2 años• Métodos y técnicas empleados: Mixto. Cuantitativo -
Encuesta y Cualitativo – Entrevistas semiestructuradas• Tamaño y representatividad muestral:
– Baja California 25 grupos – solo una ronda– Nuevo León 66 grupos (primera ronda), 46 grupos (segunda
ronda)• Principales resultados:
– Hay autonomía en la definición del Programa a nivel estatal.– Su viabilidad depende de decisiones a nivel estatal.
• Actualmente se está realizando un Diagnóstico del Programa por un evaluador externo.
Algunas recomendaciones para la evaluación de los programas del DIF
Importancia de a
Consejos para realizar evaluaciones con recursos escasos
Cuando se cuenta con poco tiempo y recursos limitados para invertir en evaluaciones de impacto y poca experiencia profesional en evaluaciones, pueden seguir los siguientes consejos:
• Comience gradualmente y extienda el alcance a medida que obtiene experiencia. – Por ejemplo: realizar un estudio diagnóstico rápido para diseñar un cuestionario.
• Asegúrese de que los hallazgos sean metodológica mente correctos y creíbles para las partes interesadas. – No gaste todos sus recursos en encuestas de muestras extensas si las partes
interesadas aceptan estudios de caso y descripciones exhaustivas de cómo funciona realmente el programa.
– El muestreo puede asegurar que se pueda seleccionar una pequeña cantidad de estudios de caso para garantizar que sea representativa en líneas generales del total de la población objetivo, y así, aumentar la validez/credibilidad de los hallazgos.
Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto
Importancia de a
Consejos para realizar evaluaciones con recursos escasos
• Manténgase dentro de su presupuesto y nivel de experiencia profesional. – Algunas universidades enseñan sobre métodos mixtos y
quizás sea posible colaborar con un miembro del cuerpo docente o estudiante de forma gratuita o por un costo simbólico para una de sus asignaciones de campo. Muchos estudiantes de posgrado podrían considerar la preparación de un estudio de caso.
• Obtenga ayuda. – Existen muchos seminarios web y otros recursos en Internet
sobre el diseño y el uso de evaluación de programas sociales.
Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto
