presupuestos teoricos y metodologicos para la evaluaciÓn de programas eduardo garcía jiménez
TRANSCRIPT
PRESUPUESTOS TEORICOS Y METODOLOGICOS PARA LA
EVALUACIÓN DE PROGRAMAS
Eduardo García Jiménez
ÍNDICE
Definición y funciones. Actos básicos de la evaluación. Información a recoger Esquema comparativo. Tipos de evaluación de programas. El proceso de evaluación de programas. Validez. Fases de una evaluación.
1. DEFINICIÓN y FUNCIONES Definición
Determinar el valor de algo de acuerdo con un criterio previo.
Adoptar un conjunto de estándares, definirlos, especificar la clase de comparación, y deducir el grado con que el objetivo satisface los estándares llegando a un juicio acerca del mérito del objeto evaluado.
1. DEFINICIÓN Y FUNCIONESFunciones
Señalar el valor de un programa Iluminar la comprensión del programa y las
perspectivas de valor existentes Mejorar el programa Facilitar la tomar decisiones
2. ACTOS BÁSICOS DE LA
EVALUACIÓN Descripción: Definición de un programa enumerando
sus componentes, cualidades y circunstancias. Juicio: Acto mental por el que pensamos acerca de la
verdad o falsedad de un enunciado relacionado con un programa. “El programa consigue ….”.
Evidencias:– Intenciones: el programa que se planifica– Observaciones: el programa que se implanta.– Estándares: de calidad de los programas.– Juicios: de valor sobre un programa.
3. INFORMACIÓN A RECOGER
Antecedentes: Cualquier condición con una existencia previa al programa. – Fundamentos en los que se apoya el programa.
Procesos: Interacciones o transacciones que añaden valor a la situación anterior de los sujetos o entidades a quienes va dirigido el programa.
Resultados: Consecuencias en los sujetos o entidades atribuibles al programa.
4. EL ESQUEMA COMPARATIVO
Comparación basada en descripciones. Comparación basada en juicios.
ANTECEDENTESESPERADOS
ANTECEDENTES OBSERVADOS
TRANSACIONESESPERADAS
TRANSACIONESOBSERVADAS
RESULTADOSESPERADOS
RESULTADOSOBSERVADOS
CONGRUENCIA
CONGRUENCIA
CONGRUENCIA
CONTINGENCIA LÓGICA
CONTINGENCIA EMPÍRICA
CONTINGENCIA LÓGICA
CONTINGENCIA EMPÍRICA
MATRIZ DE DESCRIPCIONES
Datos descriptivos
de otros programas
Datos descriptivos
de otros programas
Antecedentes
Transacciones
Resultados
Datos descriptivos
del programaNormas de calidad
Datos descriptivos
de otros programas
JUICIOS
COMPARACIÓN RELATIVA
COMPARACIÓNABSOLUTA
Propuestas observadas
5. TIPOS DE EVALUACIÓN
Según quién evalúa:– Interna.– Externa.
Según su función:– Sumativa y formativa.– Retroactiva y proactiva.– Psicológica o sociopolítica.– Ejercicio de la autoridad.
EL FLUJO DE LA EVALUACIÓN
NECESIDADESDISEÑO DEL PROGRAMA
APLICACIÓN DEL
PROGRAMA
Contexto A
FINAL DEL PROGRAMA
Contexto N
TRANSFERENCIA DEL
PROGRAMA...
Finalidades Marco
Situación actual
EVALUACIÓN DE NECESIDADES
EVALUACIÓN DISEÑO
EVALUACIÓN IMPLEMENTACIÓN
EVALUACIÓN COBERTURA
MONITORIZACIÓN
EVALUACIÓN RESULTADOS
EVALUACIÓN IMPACTO
5. TIPOS DE EVALUACIÓNSegún los elementos que se están evaluando
EVALUACIÓN DE NECESIDADES
Volumen y características esenciales del problema que la intervención quiere solucionar
Niveles de necesidad (Witkin y Altschuld, 1995):– Nivel 1(Primarias): de los receptores del programa
(estudiantes, clientes, usuarios de la información, potenciales usuarios,...).
– Nivel 2 (Secundarias): de los responsables de la planificación, gestión y/o ejecución del programa (profesores, diseñadores, funcionarios de la Administración, profesionales, equipos directivos, inspectores...).
– Nivel 3 (Terciarias): relativas a los recursos o soluciones (equipamientos educativos,condiciones laborales, programas, ratios, tecnología, ayudas, salarios y beneficios...).
EVALUACIÓN DE LA EVALUABILIDAD
Estudiar la posibilidad de evaluación de un programa.
Metodologías:– Análisis documental y entrevistas personales
con los diseñadores del programa (en papel).– Análisis de la realidad empírica (el programa en
la realidad)
EVALUACIÓN DEL DISEÑO/ CONCEPTUALIZACIÓN DEL PROGRAMA
Comprobar si el programa se basa en un mode-lo de intervención suficientemente contrastado.
Metodología:– Análisis lógico del programa en relación a:
• Población objeto y los posibles problemas de cobertura.
• Conjunto de actividades que constituyen el programa incluidos los recursos asignados al mismo.
EVALUACIÓN DE LA IMPLEMENTACIÓN
Contrastar si hay discrepancias entre el diseño y la realidad
Metodología:– Describir cuáles son los elementos esenciales del
programa según los textos que los especifican.– Recoger información empírica sobre cómo se
aplican, cómo funcionan, etc. esos elementos.– Deducir si la implementación es adecuada
comparando los dos puntos anteriores.
EVALUACIÓN DE LA COBERTURA
Analizar hasta qué punto el programa llega a la población a la que está destinado (tasa de cobertura, sesgo, barreras y accesibilidad).
Análisis de la accesibilidad:– Conocimiento del programa por parte de la
población objeto del mismo.– Accesibilidad (física, temporal y mediática).– Aceptación del programa (accesibilidad
psíquica o motivacional).
MONITORIZACIÓN Y SEGUIMIENTO DEL PROGRAMA
Gestionar y dirigir adecuadamente el programa. Metodología:
– Establecer el tipo de información a recoger
– Determinar la periodicidad de dicha recogida
– Realizar un análisis periódico de la información:• Cobertura
• Esfuerzo (recursos humanos, medios materiales y financieros)
• Proceso (actividades, distribución del tiempo) e implementación
• Productividad (del personal del programa)
• Calidad (de la atención e intervención)
• Económica (de los costes de la intervención y su eficacia)
EVALUACIÓN DE LOS RESULTADOS
Analizar todas las consecuencias o efectos previstos que tenga el programa sobre la población objeto del mismo (usuarios, beneficiarios).
Metodología:– Identificar los posibles efectos/consecuencias del
programa.– Establecer diseños:
• Diseños experimentales• Modelos causales• Diseños cualitativos
EVALUACIÓN DEL IMPACTO
Analizar los efectos del programa sobre una población que va más allá de los beneficiarios/usuarios inicialmente previstos.
Metodología:– Identificar los posibles efectos/consecuencias no
previstos en el programa.– Establecer diseños:
• Diseños experimentales• Modelos causales• Diseños cualitativos
EVALUACIÓN ECONÓMICA
Analizar el coste del programa en relación a los resultados que éste consigue.
Posibilidades: coste/beneficio, coste/efectividad o coste/utilidad.
Jerarquía evaluativa:
EvaluabilidadImplementación
ResultadosEconómica
Evaluación de necesidades
PROGRAMA
5. TIPOS DE EVALUACIÓNSegún la perspectiva temporal
Evaluación ex-ante:– ¿El programa es pertinente? ¿Tendrá éxito?
Evaluación intermedia:– ¿Se está desarrollando según lo previsto? ¿Se
están logrando los objetivos?
Evaluación ex-post:– ¿Cuáles son los logros atribuibles al programa?
6. EL PROCESO DE EVALUACIÓN
Marco regulador de la evaluación. Objeto y tipo de evaluación. Finalidad y función de la evaluación. Objetivos. Identificación de las audiencias. Términos de comparación. Criterios de evaluación. Diseño de evaluación: tipo, participantes, recogida y
análisis de datos. Resolución del diseño de evaluación. Calendario de trabajo previsto. Equipo de evaluación.
6. EL PROCESO DE EVALUACIÓNObjeto y tipo de evaluación
¿Qué programa?– Oficial
– Programa en desarrollo
– Puesto en práctica
– Según el cliente
– Según los diseñadores
– Según los participantes
– Según las audiencias
¿Qué evaluar?– Necesidades
– Evaluabilidad
– Diseño/Conceptualización
– Implementación
– Cobertura
– Seguimiento
– Resultados
– Impacto
– Economía
6. EL PROCESO DE EVALUACIÓNFinalidad y función. Objetivos
Finalidad: Informar, ayudar a tomar decisiones, mejorar el programa, rendir cuentas …
Funciones:– Formativa – Sumativa – Proactiva…
Objetivos.
EL PROCESO DE EVALUACIÓNIdentificación de las audiencias
Una evaluación puede tener más de un cliente o audiencia.
Diferentes audiencias pueden tener diferentes necesidades de evaluación.
Es necesario identificar las audiencias concretas y sus necesidades relacionadas con el proceso de evaluación.
6. EL PROCESO DE EVALUACIÓNTérminos de comparación
PROGRAMA-A-
PROGRAMA-A’-
PROGRAMA-A-
PROGRAMA-B-
!!PROGRAMA!!
PROGRAMA-A-
PROGRAMA-a, b, c, ...z-
PROGRAMA-A-
6. EL PROCESO DE EVALUACIÓNCriterios
Ajuste entre los términos de comparación. Nivel de mejora respecto a una situación
anterior. Satisfacción de ciertos indicadores o estándares. Efectos sobre:
– personas objetivo, organizaciones, sistemas y comunidad.
Impacto.
EVALUACIÓN DE NECESIDADES
EVALUACIÓN DEL DISEÑO
EVALUACIÓN
DE LA GESTIÓN y SEGUIMIENTO
EVALUACIÓN DE LOS
RESULTADOS
EVALUACIÓN
DEL IMPACTO
Ad hoc basados en modelos.
Sistemas de jueces
Observacionales Correlacionales Causales
Cuantitativos Cuanlitativos
Cuantitativos ParticipativosCualitativos
Tipo survey Observación Indicadores
sociales Delphi, DAFO ...
Escalas de valoración
Paneles de expertos
Indicadores. Informaciones periódicas.
Observación Tipo survey
Tipo survey Medidas de rendimiento
Observación Portafolios
Tipo survey Grupo nominal DelphiForum comunitario
Técnicas estadísticas
Análisis de decisiones
Análisis cualitativos
Análisis de decisiones
Técnicas estadísticas
Análisis cualitativos
Técnicas estadísticas
Análisis de decisiones
Análisis cualitativos
Técnicas estadísticas
Análisis cualitativos
Análisis coste-beneficio
Análisis de impactos micro y macroeconómicos
6. EL PROCESO DE EVALUACIÓN Resolución del diseño
Evaluador, único juez. Equipos de evaluadores. Evaluador/es y audiencias. Evaluación y toma de decisiones: ¿un solo
agente o dos agentes distintos? Validez.
6. EL PROCESO DE EVALUACIÓN Calendario previsto
Detallar actividades, procedimientos, responsables y tiempo asociados.
Contar con los RR.HH y RR.MM al planificar el calendario.
Construir un diagrama de Gantt.
6. EL PROCESO DE EVALUACIÓN Equipo de evaluación
Establecer un propietario del proceso. Diferenciar funciones y responsabilidades. Carrera del evaluador, a partir de la
formación y la experiencia acumuladas:– Novel.– Junior.– Senior.
7. VALIDEZ DE LA EVALUACIÓN
Útil: En la medida en que da respuesta a las necesidades, problemas o motivaciones.
Procedimiento: Dinámico, sigue la lógica de ajuste al modelo.
Valor: No es universalmente defendible, depende de las audiencias afectadas.
Valor: Depende de que los destinatarios la consideren bien fundamentada o aplicable.
Valor: Garantizada por el evaluador y certificada por las audiencias.
8. FASES DE UNA EVALUACIÓN
Tyler (1950):– Establecer las metas de
la evaluación (conduc.)
– Desarrollar instrumen-tos de evaluación
– Recoger datos
– Interpretar los hallazgos
– Hacer recomendaciones
Stake (1973):– Describir el objeto
– Informar a las audiencias relevantes
– Obtener y analizar sus juicios
– Informar a las audiencias de la sobre el análisis realizado aplicando sus perspectivas de valor
FASES DE UNA EVALUACIÓN(Esquema tradicional)
1. Familiarización con el programa.2. Decisión sobre la viabilidad de la evaluación.3. Determinación del tipo de evaluación:
a) Funcionamiento del programa (implem./monitor.)b) Efecto sobre la sociedad/comunidad (impacto).c) Resultados/efectos del programa (resultados).d) Consideración de beneficios y costes
(coste/beneficio/utilidad).
4. Diseño/proyecto de la evaluación.5. Recogida de la información.6. Análisis de datos/informe.
Identificación de partes interesadas
Organizar con ellas un grupo de trabajo
Delimitación de preguntas y temas de evaluación
Puede identificarse cómo se utilizarán
las respuestas a esta pregunta
Buscar nuevas
preguntas y temas
SÍ
NO
SÍ
Dada la utilización prevista, vale la pena hacer la evaluación
NO
Toma de decisiones sobre diseño, métodos y medición
1. Los métodos son adecuados para las preguntas de la evaluación.
2. Los resultados que se obtengan tendrán credibilidad.
3. Los métodos a utilizar están dentro del presupuesto.4. Los resultados obtenidos se utilizarán.
Recogida de información/datos
Análisis de datos
Grupo de trabajo se implica en el análisis
Decisión sobre cómo utilizar y aplicar los hallazgos
Decisión sobre difusión de los hallazgos