LA EVALUACIÓN Y EL SEGUIMIENTO DE LOS

PROYECTOS DE DESARROLLO

Palma de Mallorca, junio 2010

Héctor Sainz Ollero

DEFINICIÓN DE EVALUACIÓN

La evaluación es una función que consiste en hacer una apreciación, tan sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o un conjunto de líneas de acción, su concepción, su realización y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la viabilidad. Una evaluación debe proporcionar unas informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de elaboración de las decisiones, tanto de los países de acogida como de los donantes. (CAD/OCDE)

- Apreciación - opinión - investigación.

- Sistemática y objetiva.

- Proyecto en curso o acabado, programa o conjunto de líneas de acción.

- Su concepción (diseño), su realización (desempeño) y sus resultados (efectos).

- Determinar: pertinencia, eficacia, eficiencia, impacto y viabilidad.

- El fin es proporcionar información creíbley útil.

- Para la toma de decisiones.

- Tanto en receptores como en donantes.

CA

RA

CT

ER

ÍST

ICA

S

Organización de Cooperación y Desarrollo Económicos, 1995, Manual de ayuda al desarrollo: Principios del CAD para una ayuda eficaz

LA EVALUACIÓN NO ES...

OPINIÓN

INVESTIGACIÓN

EVALUACIÓN ESCOLAR O CLÍNICA

AUDITORÍA

SEGUIMIENTO

EL SEGUIMIENTOFunción que mediante la recogida metódica de datos

tiene por fin conocer:• Si las aportaciones materiales y financieras

comprometidas han sido suministradas y son suficientes

• Si los cooperantes y homólogos sobre el terreno poseen las competencias técnicas y personales para ejecutar sus tareas.

• Si las actividades desarrolladas por los expertos y los aportes, están de acuerdo con el plan de trabajo.

• Si el plan de trabajo está siendo realizado y produce los objetivos a alcanzar de acuerdo a lo planificado;

Tomando las medidas necesarias para remediar las insuficiencias encontradas

El seguimiento de proyectos es una función que consiste en utilizar un sistema de

información, basado en la formulación del proyecto de desarrollo (matriz de

planificación y plan de ejecución de las actividades), para que apoyándose en la

utilización de tres tipos de datos (sobre el progreso físico y financiero de las actividades,

sobre el contacto entre el proyecto y los usuarios y sobre la evolución de los factores

externos), la dirección del proyecto pueda comparar planificado y ejecutado en el nivel

de recursos y actividades, con la triple finalidad de:

1.- detectar desviaciones,

2.- anticipar desviaciones,

3.- y corregir desviaciones (reconducir el proyecto)

DEFINICIÓN DE SEGUIMIENTO

LOS PLANES OPERATIVOS

LOS PLANES OPERATIVOS

Las diferencias entre el seguimiento y la evaluación

El seguimiento La evaluación

La periodicidad

El agente

Los elementos

Las decisiones

Proceso continuo Acción puntual

Habitualmente interno Generalmente externo

Actividades y recursos Resultados y objetivos

Contacto con destinatarios

Factores externos

Contacto con destinatarios

Factores externos

Reconducir Reorientar

Propósitos de la evaluación

Aprendizaje

Rendición de cuentas

Lecciones

Enseñanzas extraídas

Buenas prácticas

Evaluación sumativa

Evaluación formativa

Transparencia

Accountability

Contribuyentes

Comunicación

UTILIDAD

CREDIBILIDAD

PROPÓSITOS DE LA EVALUACIÓN/ SEGUIMIENTO: ¿PARA QUÉ EVALUAR?

1) Para tomar mejores decisiones:

• Mejorar la gestión

• Aprender

2) Rendición de cuentas (control)

3) Compartir experiencias e informar

EVALUABILIDAD

Medida en que puede evaluarse una actividad o un programa de manera fiable y creíble.

Para determinar la evaluabilidad es necesario un examen anticipado de una evaluación propuesta para determinar si sus objetivos están definidos adecuadamente y si sus resultados pueden ser objeto de verificación.

OCDE (2004): Glosario de los principales términos sobre evaluación y gestión basada en resultados

EVALUABILIDAD: EXIGENCIAS DEL PROYECTO COMO HIPÓTESIS DE TRABAJO

• Descripción de la situación actual del problema a resolver:

- Magnitud y severidad del problema (LÍNEA DE BASE)

- Cómo afecta a los distintos grupos de población

- Posibles causas y consecuencias

• Estrategia de desarrollo:

- Vínculos entre medios y fines del desarrollo

- Selección / priorización de la alternativa más adecuada

• Imagen de la situación futura a alcanzar

- Definición de resultados y objetivos

- Sistemas de medición (indicadores y fuentes de verificación)

EL CICLO DEL PROYECTO: Fases centrales y circundantes, pasos y principales contenidos.

1º) Análisis de participación

2º) Análisis de problemas

3º) Análisis de objetivos

4º) Análisis de alternativas

5º) Matriz de planificación del Proyecto proyecto

EL ENFOQUE DEL MARCO LÓGICO.PASOS DEL MÉTODO

LA IDENTIFICACIÓN Y EL ENFOQUE DEL MARCO

LÓGICO Preguntas de la identificación

Pasos del enfoque del marco lógico

¿Qué sucede?

¿A quien le sucede?

¿Por qué sucede?

Análisis de la participación

Análisis de los problemas

¿Qué se puede hacer para solucionarlo?

¿Qué vamos a hacer para solucionarlo?

Análisis de los objetivos

Análisis de las alternativas

LA FORMULACIÓN Y EL ENFOQUE DEL MARCO

LÓGICO Preguntas de la formulación Pasos del enfoque del

marco lógico

¿Para qué se lleva a cabo el proyecto?

¿Qué se desea lograr con el proyecto?

¿Cómo se alcanzará el objetivo del proyecto?

¿Qué factores externos son importantes para el éxito del proyecto?

¿Cuáles son los niveles esperados de “éxito” del proyecto?

¿Donde o cómo se mide ese “éxito”?

¿Cuándo se realizarán las actividades?

¿Quién hará las actividades?

¿Con qué y cuánto costará realizar las actividades?

 

¿Qué posibilidades de permanencia en el tiempo tienen los efectos generados por el proyecto?

MPP

 

 

•Cronograma de actividades

•Plan de ejecución

•Presupuesto

 

 Análisis de los factores de viabilidad/ sostenibilidad

La Matriz de Planificación

Condiciones Previas

Lógica de la intervención

Indicadores Objetivamente

VerificablesFuentes de Verificación

Hipótesis

Objetivo Específico

Resultados

Actividades Medios Costes

Objetivo General

Eficacia:En qué medida el objetivo específico ha sido alcanzado; si puede esperarse que esto ocurra sobre la base de los resultados del proyecto.

Eficiencia:Análisis de los resultados en relación con el esfuerzo realizado. Cómo los insumos se convierten en resultados desde el punto de vista económico. Examinar si los mismos resultados podrían haberse logrado de otra forma mejor.

Pertinencia:En qué medida se justifica el proyecto en relación a las prioridades de desarrollo locales y nacionales.

Impacto:Los cambios y efectos positivos y negativos, previstos o no previstos en el proyecto, analizados en relación con los beneficiarios y otros afectados.

Viabilidad/sostenibilidad:Un análisis acerca de en qué medida los efectos positivos del proyecto continuarán después de que la ayuda externa haya finalizado.

COMPONENTES DE LA EVALUACIÓN

Pertinencia: La pertinencia analiza si el propósito del proyecto es coherente con las prioridades de la comunidad y sociedad local, así como de las entidades donantes y receptoras. Es decir, se trata de apreciar si la intervención analizada va a suponer una aportación significativa a los procesos de desarrollo de los que son actores los beneficiarios tanto en el interior del propio proyecto, como en su contexto.

Eficacia:La eficacia refleja en qué medida se espera alcanzar o se ha alcanzado el objetivo específico del proyecto; teniéndose para ello en cuenta tanto el nivel de logro, así como los períodos temporales para hacerlo.

Eficiencia:La eficiencia se refiere a la capacidad del proyecto para transformar los insumos financieros, humanos y materiales en resultados; es decir, establece el rendimiento o productividad con que se realiza esta transformación.

Impacto:El impacto se refiere -en contraposición a la eficacia restringida a los efectos positivos sobre los beneficiarios- a las consecuencias positivas y negativas, que un proyecto genera. Es por lo tanto un concepto más amplio que el de eficacia, cuyo análisis se inicia a partir del de la eficacia; interrogándose sobre las consecuencias económicas, sociales, culturales, técnicas ambientales... que se registran en el plano local o general, tanto en el corto como -especialmente- en el medio y en el largo plazo.

Viabilidad/ Sostenibilidad: Se entiende por viabilidad la capacidad de un proyecto para “proporcionar un nivel aceptable de beneficios al grupo destinatario [beneficiarios] durante un periodo suficientemente largo una vez interrumpida la asistencia financiera y técnica del proveedor de fondos” (CCE 1993:65). El análisis de viabilidad significa interrogarse sobre algo más allá de si el proyecto ha alcanzado los objetivos que tenía previstos; se debe responder a la cuestión de en qué medida los resultados positivos alcanzados permanecen en el tiempo.

Sostenibilidad

EJECUCIÓN

Insostenible

Sostenible

SOSTENIBILIDAD

Fin de Proyecto

Tiempo

Flujode

Beneficios

Resultado

Resultado

Resultado

ObjetivoEspecífico

Fuente: Europe Aid (2001)

“Probabilidad de que el flujo de beneficios continúe después de que se agote la financiación del donante”

FACTORES DE DESARROLLO

En cualquier examen previo debe tenerse en cuenta la viabilidad de los proyectos. Puede decirse que un proyecto es viable cuando puede beneficiar al grupo destinatario durante un largo período aún cuando haya finalizado en lo esencial, la ayuda exterior proporcionada por los donantes. Fuente: Comisión de las Comunidades Europeas (1993)Manual: Gestión del ciclo de un proyecto: Enfoque integrado y marco lógico. Bruselas, página 33. 

LA VIABILIDAD DEL PROYECTO La viabilidad de una intervención dependerá fundamentalmente de siete factores, cuyo análisis nos permitirá tener una idea clara sobre sus posibilidades de continuidad en el tiempo. Estos factores, también llamados de desarrollo, son:

Políticas de apoyo Aspectos institucionales Aspectos socioculturales Enfoque de género Factores tecnológicos Factores medioambientales Factores económico financieros

Fuente: Agencia Española de Cooperación Internacional (2000), Metodología de Gestión de Proyectos de la Cooperación Española, Madrid, páginas 26-27.

CRITERIOS DE EVALUACIÓN Y ELEMENTOS DE LA MATRIZ

OBJETIVO GENERAL

RECURSOS

ACTIVIDADES

RESULTADOS

OBJETIVO ESPECÍFICO

VIA

BIL

IDA

D

PE

RT

INE

NC

IA

IMP

AC

TO

EF

ICA

CIA

EF

ICIE

NC

IA

CRITERIOS

PO

LÍT

ICA

S D

E A

PO

YO

FA

CT

OR

ES

INST

ITU

CIO

NA

LE

S

FA

CT

OR

ES

TE

CN

OL

ÓG

ICO

S

FA

CT

OR

ES

SOC

IO -

CU

LT

UR

AL

ES

FA

CT

OR

ES

EC

ON

OM

ICO

-F

INA

NC

IER

OS

FA

CT

OR

ES

ME

DIO

AM

BIE

NT

AL

ES

LÓGICA DE INTERVENCIÓN

FACTORES DE DESARROLLO

OBJETIVO GENERAL

RECURSOS

ACTIVIDADES

RESULTADOS

OBJETIVO ESPECÍFICO

VIA

BIL

IDA

D

PE

RT

INE

NC

IA

IMP

AC

TO

EF

ICA

CIA

EF

ICIE

NC

IA

CRITERIOS

PO

LÍT

ICA

S D

E A

PO

YO

FA

CT

OR

ES

INST

ITU

CIO

NA

LE

S

FA

CT

OR

ES

TE

CN

OL

ÓG

ICO

S

FA

CT

OR

ES

SOC

IO -

CU

LT

UR

AL

ES

FA

CT

OR

ES

EC

ON

OM

ICO

-F

INA

NC

IER

OS

FA

CT

OR

ES

ME

DIO

AM

BIE

NT

AL

ES

LÓGICA DE INTERVENCIÓN

FACTORES DE DESARROLLO

Otros criterios para la evaluación

• COBERTURA (1):“La cobertura consiste en evaluar hasta qué punto un programa llega a la población objeto del mismo. Se trata de calcular no sólo la tasa de cobertura sino también de analizar si existe sesgo en la cobertura y efectuar un análisis de las posibles barreras de acceso al programa”

Fuente: Alvira, F (1991) Metodología de Evaluación de Programas, Madrid

“La magnitud con la que una intervención alcanza a sus grupos metas deseados”

Fuente: EUROPEAN MONITORING CENTRE FOR DRUGS AND DRUG ADDICTION -E.M.C.D.D.A.- (1998) Guidelines for the evaluation of drug prevention, Luxemburgo

Cobertura ( y 2) - ASPECTOS BÁSICOS1. Tasa de cobertura: “La proporción que forma parte del grupo

meta, tiene la necesidad y recibe los servicios, dividida por la población total del grupo meta que tiene la necesidad que el proyecto pretende atender” Cohen & Franco (1993) Evaluación de proyectos sociales.

2. Sesgo de la cobertura: “Existe sesgo en la cobertura cuando el proyecto llega a una población para la cual no estaba definido o cuando interviene sólo en un determinado subgrupo de la población definida, con unas características específicas” Ligero, J. A. (2001): Propuesta de un nuevo criterio de evaluación de proyectos de ayuda al desarrollo, la cobertura, REDC

3. Accesibilidad: “La accesibilidad se disgrega en tres aspectos:

• Grado de conocimiento e información del mismo por parte de la población objeto (implantación del proyecto, población demandante...)

• Accesibilidad física, es decir facilidad de acceso al proyecto

• Aceptación social, actitudes de los usuarios ante el proyecto”

Alvira, F (1991) Metodología de Evaluación de Programas, Madrid

REPLICABILIDAD

• Se entiende por replicabilidad la capacidad de un proyecto para generar conocimientos capaces de ser utilizados provechosamente en otros proyectos, actuaciones o procesos autónomos de desarrollo.

• Fuente: Cruz Roja Española (2001) Evaluación de proyectos. Madrid

Herramientas de la evaluación

TÉCNICAS CUANTITATIVAS

TÉCNICAS CUALITATIVAS

•Medición directa

•Encuestas formales

•Encuestas informales

•Análisis coste/ beneficio

•Análisis documental

•Observación directa

•Observación participante

•Entrevistas con informantes clave

•Entrevistas con informantes generales

•Entrevistas de grupo/ comunitarias

•Entrevistas de grupo focal

•Técnicas participativas

INDICADORES VERIFICABLES OBJETIVAMENTE

• Series de datos establecidos con el fin de dar respuesta a las cuestiones sobre los sistemas y los fenómenos existentes.

• Un indicador es una medida numérica (porcentaje, tasa, valor medio, etc.) que puede ser obtenida periódicamente y que se supone relacionada con los conceptos e hipótesis que se van a estudiar.

• Es una medida estadística de un concepto, basado en un análisis teórico previo, que sirve para describir el estado de la sociedad y la eficacia de las políticas.

• Medida estadística seleccionada por su propiedad de resumir o representar a un conjunto amplio de datos; sirve como medida indirecta o sustitutiva de informaciones que no se encuentran disponibles directamente.

Elementos de las definiciones

• Información de síntesis

• Variable teórica subyacente

• Dimensión empírica

• Observación

• Áreas de preocupación social y objetivos de política

• Conocimiento y acción

La definición adecuada de objetivos

• Representar los efectos o impactos de la acción, más que el resultado de determinadas actividades.

• Realistas y alcanzables

• Limitados en el tiempo

• Unidimensionales, de forma que se refieran a un único problema específico de desarrollo

• Claros, comprensibles e inequívocos, de forma que no se presten a interpretaciones diferentes

La formulación del objetivo define qué es lo que se logrará y por tanto, qué ha de medirse.

Criterios para desarrollar y adaptar indicadores de realización/avance

Aspectos clave:

1) Selección de indicadores/ variables

2) Establecimiento de bases y metas

3) Interpretación de datos y tendencias

1) Selección de variables

CRITERIOS DE CALIDAD• Clarificar enunciados de objetivos y resultados• Cuantitativos, cuando sea posible• Medición lo más directa posible del resultado• Prácticos• Fuentes y metodología para recoger la información• Seleccionar indicadores operacionales• Seleccionar indicadores objetivos• Mostrar la dimensión del problema• Asegurar que los indicadores son sensibles al cambio• Desagregar los indicadores• Independencia en los distintos niveles

2) Establecimiento de bases y metas• BASES: Elegir el año base o punto inicial a partir del cual se

medirá el avance. Examinar las tendencias del pasado (si existen series temporales).

• METAS:– Dificultad de establecerlas para algunos indicadores;– Tendencias pasadas como referencia para prever el futuro;– Experiencias similares de otros países;– Incidencia de las actividades del programa/proyecto sobre

el valor del indicador;– Incidencia de factores externos sobre el valor del

indicador;– Rangos/ valor numérico único;– Si el indicador está desagregado, también deberán estarlo

las metas.

3) Interpretación de datos y tendencias

• La interpretación de los datos debe ser específica para cada país. Patrones similares en un dato/indicador pueden tener distintos significados en diferentes países.

• Ejemplos:

1. Nº de denuncias de violaciones de derechos humanos por cada 100.000 habitantes.

2. Porcentajes de participación electoral

Formulación del indicadorOBJETIVO: Aumentada la integración laboral de las

alumnas egresadas de la Escuela-Taller

Identificar el indicador/ variable: CONTRATOS LABORALES

Grupo beneficiario: EGRESADAS ESCUELA-TALLER

Cuantificar: AUMENTO CONTRATACIÓN EN AL

MENOS UN 25%

Calidad: CONTRATOS ANUALES, VINCULADOS

AL ÁREA DE PRESERVACIÓN

Tiempo: ENTRE MAYO 2005 Y MAYO 2006

Ubicación: ANTIGUA GUATEMALA

• “Los contratos laborales de carácter anual relacionados con la preservación del patrimonio cultural de las alumnas egresadas de la Escuela-Taller de Antigua Guatemala aumentan en un 25% entre mayo de 2005 y mayo de 2006”

Las fuentes de verificación

“Aparecen en la tercera columna del marco lógico e indican donde y en qué forma se pueden encontrar las informaciones en cuanto a la realización de los objetivos globales, del objetivo específico y de los resultados (operacionalizados en indicadores verificables objetivamente)”

Fuente: EuropAid: Manual de Gestión del Ciclo de Proyecto

Las fuentes de verificaciónC

oste

s

Complejidad

Informesadministrativos

Informes de gestión

Estadísticasdisponibles

Estadísticas adaptadasdisponibles

Entrevistas con los beneficiarios

Estudios especializados

TIPOS DE EVALUACIÓN

MOMENTO DEL CICLO

• PREVIA (EX ANTE)• SIMULTÁNEA• INTERMEDIA• FINAL• POSTERIOR (EX POST)

ACTORES

• EXTERNA• INTERNA• MIXTA• PARTICIPATIVA

PROPÓSITO

• MEJORA DEL PROYECTO• APRENDIZAJE• RENDICIÓN DE CUENTAS

OBJETO

• DE OBJETIVOS/RESULTADOS• DE PROCESOS

NIVELES PLANIFICACIÓN

• NORMATIVA• ESTRATÉGICA• TÁCTICA• OPERATIVA

ENFASIS EN HERRAMIENTAS

• CUANTITATIVAS• CUALITATIVAS• PARTICIPATIVAS

ITINERARIO DE UNA EVALUACIÓN/ FASE PREVIA (1)

PASOS/ MOMENTOS

ACTORES DOCUMENTOS

Tomar la decisión de evaluar

Institución responsable (Unidad de evaluación ?)

Política de evaluación

Definir el ámbito y alcance de la evaluación

Institución responsable

Términos de Referencia

Proponer las principales preguntas de la evaluación

Establecer los rasgos principales del ejercicio de evaluación

Institución responsable

Seleccionar al equipo evaluador

Institución responsable Convocatoria/ Bases del concurso

GUIÓN TÉRMINOS DE REFERENCIA

• Introducción• Fundamento de la evaluación• Antecedentes• Cobertura temática• Metodología y Plan de Trabajo• Esquema de informe final, recomendaciones y

anexos• Equipo de evaluación• Disposiciones temporales y presupuestarias• Otras disposicionesFuente: Metodología de evaluación de la Cooperación Española

ITINERARIO DE UNA EVALUACIÓN/ FASE PREVIA (2)

PASOS/ MOMENTOS

ACTORES DOCUMENTOS

Adaptar los Términos de Referencia

Institución responsable/ equipo de evaluación

Términos de Referencia definitivos

Análisis documental y establecimiento de primeras hipótesis de trabajo

Equipo de evaluación

Preparar la visita al terreno y los contactos a realizar

Equipo de evaluación / Institución responsable

Plan de Trabajo de la evaluación

ITINERARIO DE UNA EVALUACIÓN/ FASE DE EJECUCIÓN (1)

PASOS/ MOMENTOS

ACTORES DOCUMENTOS

Recopilar datos e informaciones según los métodos establecidos

Equipo de evaluación

Ordenar y analizar los datos

Equipo de evaluación

Preparar conclusiones y recomendaciones preliminares

Equipo de evaluación Borrador del informe de evaluación

Presentar conclusiones y recomendaciones preliminares (taller, reunión, etc.)

Equipo de evaluación

ITINERARIO DE UNA EVALUACIÓN/ FASE DE EJECUCIÓN (2)

PASOS/ MOMENTOS

ACTORES DOCUMENTOS

Redactar el informe preliminar

Equipo de evaluación Informe preliminar de evaluación

Consultas y discusión del informe

Equipo de evaluación/ Otras entidades implicadas

Redacción del informe definitivo de evaluación

Equipo de evaluación Informe definitivo de evaluación

Presentación del informe de evaluación

Equipo de evaluación/ Institución responsable

Presentaciones, resúmenes, etc.

GUIÓN INFORME DE EVALUACIÓN

• Portada• Resumen ejecutivo• Introducción

– Antecedentes de la evaluación– Objetivo de la evaluación– Estructura de la documentación presentada– Metodología empleada en la evaluación– Condicionantes y límites del estudio realizado– Presentación de equipo de trabajo– Descripción de los trabajos ejecutados

• Capítulo I: Descripción de la intervención o intervenciones analizadas– Concepción inicial– Descripción detallada de su evolución

• Capítulo II: Metodología• Capítulo III: Criterios de evaluación y factores de desarrollo• Capítulo IV: Conclusiones y enseñanzas obtenidas• Recomendaciones• AnexosFuente: Metodología de evaluación de la Cooperación Española

ITINERARIO DE UNA EVALUACIÓN/ FASE DE UTILIZACIÓN DE LOS RESULTADOS

• Difusión de la evaluación

• Retroalimentación

• Asunción de conclusiones y recomendaciones