evaluacion de programas
TRANSCRIPT
Métodos e instrumentos para la Evaluación de programas de
intervención social y educativa
Taller pre-congresoAMEPSO 2010
M. en I.E. Leticia Domínguez GuedeaPSICOM-UNISON
El análisis de la estructura es central en la discusión de política pública*
Rodríguez Guerra, R. Seminario doctoral: evaluación de políticas educativas. Enero 2010. Universidad Anáhuac Norte
EVALUACION DE POLITICAS PUBLICAS EN EDUCACIÓN
Domínguez-Guedea, R.L. y Rodríguez Guerra, R. Seminario doctoral: evaluación de políticas educativas. Enero 2010. Universidad Anáhuac Norte
Planeación de proyectosProgramación“Marco lógico”
ImplementaciónOperación
Resultados
Diagnósticos
CICLO DE LAS POLITICAS
Evaluación operativa
Evaluación de impactoLibros blancos Valor agregado
Evaluación operativa
Tipo de evaluación
Los programas y proyectos son la traducción operacional de las políticas sociales. Es por ello que su formulación y evaluación son el capítulo más importante del proceso de asignación de recursos .
No obstante existen múltiples problemas que no son
fáciles de solucionar al momento de establecer
prioridades presupuestales y de políticas públicas
de un país.
El Estado enfrenta entonces la demanda de responder preguntas como ¿cuánta inversión se debe destinar a cada nivel educativo?,
¿qué política y programas son más apropiados? ¿hasta que
punto han sido beneficiados los destinatarios del programa de
salud?
Matos Bazó, 2004
La evaluación de las políticas públicas tiene por función: •La mejora•Proveer información para la implementación de nuevas fases•Guiar las evaluaciones específicas
Las evaluaciones específicas:•Generan información sobre programas sociales•Auxilian el diseño de políticas públicas
Siguiendo la lógica de la tabla que se presenta, determine un programa de intervención que puede ser un campo de acción para ud. como evaluador
Programa a analizar Materiales de referencia(sujeto a la estructura normativa y de la política pública)
Información
Evaluación docente en la unison
ConstituciónLey organica Leer art. 2 que justifia la creación de la sep
como máximo departamento para el despacho de los negocios del orden administrativo en el ámbito de la educaciónArt. 3
Ley general de educacionhttp://basica.sep.gob.mx/dgei/pdf/normateca/LeyGeneraldeEducacion.pdf
Artículo 25,26 27, 28, 30, 37Artículo 1Art. 9Art 10
Plan de desarrollohttp://pnd.calderon.presidencia.gob.mx/igualdad-de-oportunidades/transformacion-educativa.html
Plan Nacional de desarrolloEje 3: Igualdad de oportunidades3.3 Transformación educativaOBJETIVO 14Ampliar la cobertura, favorecer la equidad y mejorar la calidad y pertinencia de la educación superior.ESTRATEGIA 14.3 Consolidar el perfil y desempeño del personal académico y extender las prácticas de evaluación y acreditación para mejorar la calidad de los programas de educación superior.
Programa sectorialOperación institucionalMisión, visión, plan de desarrollo institucionalPrograma de estimuls a los profesores
Breve receso
La evaluación de programas sociales es un
elemento técnico que corrige el diseño y operación de los mismos.
La evaluación de programas es:
• Un proceso sistemático, metódico y neutral que hace posible el conocimiento de los efectos de un programa, relacionándolos con las metas propuestas y los recursos movilizados.
• Es un proceso que facilita la identificación, la recolección y la interpretación de informaciones útiles a los encargados de tomar decisiones y a los responsables de la ejecución y gestión de los programas.
Tipos de evaluación de programas
Tipo Descripción
Pseudoevaluaciones
En ellas, se cumple un proceso evaluatorio, pero con fuerte injerenciade alguna de las partes comprometidas con el proyecto y quepresiona para que aparezcan resultados preestablecidos. El evaluador no actúa neutralmente.
Evaluacionesexperimentales ycuasi experimentales
Son evaluaciones exclusivamente cuantitativas. Este diseño exige que se constituya un grupo de control (tarea ardua y compleja). Se mide el impacto por comparación estadística entre el grupo de control y el grupo beneficiario de las acciones del programa.Se miden: incremento del bienestar de los beneficiarios, según empleo (empleabilidad, inserción laboral posterior, tipo de trabajo, satisfacción laboral) ingresos y ciudadanía. Asimismo, puede medirse focalización, deserción, retención, cobertura.
Evaluacionesverdaderas mixtascuanticualitativas
El abordaje mixto permite tener los datos señalados en el grupoanterior y agrega el aporte cualitativo.Entre estos:_ cambios actitudinales_ cambios psicosociales_ autoestima_ empleabilidad_ necesidad y satisfacción con el programaPuede medirse también el impacto sobre los restantes actores(capacitadores, empresarios, informantes claves de la población).Se utilizan los estudios de casos, las observaciones, las entrevistas,en profundidad.El aporte mixto ayuda a entender más por qué unos programas sonexitosos y otros fracasan.
Fuente: http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
EX ANTE Se cumple antes del inicio de la ejecución.Se evalúan el contexto socioeconómico e institucional; los problemasidentificados; las necesidades detectadas; la población objetivo;los insumos; las estrategias de acción.
INTRA Se desarrolla durante la ejecución del programa.Se evalúan las actividades del proceso mientras estas se están desarrollando,identificando los aciertos, los errores, las dificultades.
POST Se corresponde con la finalización inmediata de la ejecución delproyecto, detectando, registrando y analizando los resultadostempranos.
EX POST Se realiza tiempo después (meses o años) de concluida la ejecución.Evalúa los resultados mediatos y alejados, consolidados en eltiempo.
Momentos de realización
Fuente: http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
Evaluación de valor agregado
Implica el seguimiento a una medición inicial en una población o en un sujeto sobre beneficios que se supone deben permanecer debido a las características de la intervención
Para ello deberá programarse una serie de tomas de información
http://www.simce.cl/index.php?id=245
El planteamiento de Valor agregado escolar tiene fundamentalmente tres aplicaciones: la rendición de cuentas, la toma de decisiones administrativas y el desarrollo de las escuelas.
En primer lugar, el Valor agregado escolar posibilita hacer una rendición de cuentas más ajustada de la escuela a las familias y a la sociedad.
Los resultados brutos nos aportan más información sobre los factores contextuales que sobre el trabajo de la escuela.
Sólo mediante estos planteamientos es posible saber hasta qué punto una escuela está logrando contribuir a los alumnos más de lo que seríaesperable.
En segundo término, el Valor agregado posibilita una toma de decisiones más ajustada por parte de las administraciones. Con la información que aporta es posible, entre otros elementos, que la administración detecte aquellos centros con más dificultades, con más necesidades de docentes, de apoyo técnico o de recursos económicos, y tome las medidas para ayudarles. De esta forma es un recurso fundamental para el trabajo de los inspectores.
El tercer término es que:
•Permite adoptar medidas para la mejora del centro por parte del propio centro. Entre otras:•Contribuye a mejorar la docencia, dado que aporta datos sobre los elementos débiles y fuertes del desarrollo de los alumnos. Así, facilita la formulación de objetivos docentes, permite optimizar las metodologías y ajustar los énfasis e las necesidades de aprendizaje de los estudiantes.
•La tecnología de Valor agregado ayuda a identificar a los estudiantes con mayores necesidades de apoyo y a hacer un seguimiento más ajustado de su desarrollo.
•Aporta datos para el diseño y seguimiento de innovaciones y procesos de mejora escolar. Conociendo la situación de partida "real" es posible diseñar estrategias de cambio ajustadas a las necesitadas y, posteriormente, evaluar el impacto de las mismas sobre el desempeño de los estudiantes.
•Una de las funciones más relevantes de la evaluación es aportar datos que refuercen los logros conseguidos, el trabajo bien hecho.
Evaluación operativa
Lo que distingue a la IO de otras actividades de asistencia técnica es la aplicación de técnicas sistemáticas deinvestigación para mejorar los programas (Ross y cols., 1987)
Lo que distingue a la IO de otros tipos de investigación es su enfoque en factores que están bajo el control de los gerentes y la inclusión de indicadores de éxito del programa.
http://www.popcouncil.org/pdfs/investigacionoperativa.pdf
Las principales áreastemáticas de la investigación operativa: Impacto, Acceso, Recursos y Calidad de
los programas
La investigación que no cumple con los criterios de control gerencial de las variables independientes ni con la inclusión deindicadores de éxito del programa como variables dependientes no es IO.
Por lo tanto, los estudios en los que se informa que la falta de educación, la residencia en áreas rurales o el apego a sistemas de valores tradicionales son barreras para la utilización de un programa de planificación familiar, no son investigación operativa, ya que ninguno de estos factores está bajo el control de los gerentes.
Esta definición no se propone para argumentar que los factores que no se encuentren potencialmente bajo su control sean irrelevantes. Por el contrario, es responsabilidad del gerente de programa diseñar y probar intervenciones para superar las barreras que representan los factores contextuales.
http://www.popcouncil.org/pdfs/investigacionoperativa.pdf
Evaluación de impacto
Proceso evaluatorio orientado a medir los resultados de las intervenciones,
en cantidad, calidad y extensión según las reglas preestablecidas
La medida de los resultados, característica principal de la evaluación de impacto, permite comparar el grado de realización alcanzado con el grado de realización deseado.
Compara, de esta forma, la planeación con el resultado de la ejecución.
La evaluación de impacto abarca todos los efectos secundarios a laplaneación y a la ejecución: específicos y globales; buscados (segúnlos objetivos) o no; positivos, negativos o neutros; directos o indirectos (la puesta en marcha del programa puede generar por sí misma efectos sobre los directamente involucrados, hasta la sociedad toda).
http://www.oitcinterfor.org/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
La evaluación de impacto, al medir los resultados permite:
• Registrar y analizar todas las experiencias (positivas y negativas),mediante la comparación en el grupo control, sistematizándolas
• Evaluar el contexto socioeconómico y político en que se da laexperiencia;
• Identificar los actores involucrados y su peso específico en los resultados;
• Estudiar la articulación interinstitucional y público-privado
• Ofrecer estudios de costo-beneficio;
• Concertar aportes de los técnicos en gestión, mediante la difusiónde la información proveniente de la evaluación y su posterior discusión entre todos los responsables de la gestión
• Informar de forma clara y objetiva a los responsables de la toma de decisiones sobre la marcha de los programas
http://www.oitcinterfor.org/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
Las etapas básicas de la evaluación son:
• Toma de decisión respecto al cumplimiento de la evaluación y su estructuración;
• Constitución del marco de referencia;
• Selección de evaluadores y planeación de la evaluación (incluyendo costos, organigrama y cronograma);
• Implementación y gestión;
• Difusión de resultados.
http://www.oitcinterfor.org/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf