estudio sobre metodologÍa y prÁcticas de evaluaciÓn de ...€¦ · prÁcticas de evaluaciÓn de...

ESTUDIO SOBRE METODOLOGÍA Y PRÁCTICAS DE EVALUACIÓN DE ACCIONES

DE EDUCACIÓN PARA EL DESARROLLO Y SENSIBILIZACIÓN EN LA CAPV

Octubre 2011

2

ÍNDICE ACRÓNIMOS.................................................................................................................3 PRÓLOGO .....................................................................................................................4 1. INTRODUCCIÓN ...................................................................................................5

1.1 Antecedentes ...................................................................................................... 5 1.2 Objetivos y alcance ............................................................................................. 5 1.3 Metodología empleada......................................................................................... 6 1.4 Ámbito de la ED en el presente estudio................................................................. 7 1.5 Limitaciones encontradas..................................................................................... 8 1.6 Estructura del documento .................................................................................... 9

2. EVOLUCIÓN Y RETOS ACTUALES DE LA ED ........................................................10 3. EVALUACIÓN, MONITOREO Y SISTEMATIZACIÓN .............................................12 4. PANORAMA EUROPEO DE LA EVALUACIÓN DE ED .............................................14

4.1 Iniciativas europeas sobre evaluación de ED ....................................................... 14 4.2 Algunos marcos metodológicos empleados .......................................................... 15 4.3 Ejemplos de evaluaciones de ED en Europa......................................................... 18

5. LA EVALUACIÓN DE ED EN ENTIDADES PÚBLICAS VASCAS ..............................23

5.1 Gobierno Vasco ................................................................................................. 23 5.2 Diputaciones Forales.......................................................................................... 24 5.3 Ayuntamiento de San Sebastián ......................................................................... 24 5.4 Ayuntamiento de Vitoria-Gasteiz......................................................................... 25 5.5 Ayuntamiento de Bilbao ..................................................................................... 27

6. LA EVALUACIÓN DE ED EN ONGD VASCAS .........................................................29

6.1 Alcance de las evaluaciones sobre ED por ONGD vascas....................................... 29 6.1.1 Frecuencia e iniciativa de las evaluaciones realizadas ................................... 29 6.1.2 Recursos empleados para las evaluaciones.................................................. 33

6.2 Metodología para evaluar ED empleada por ONGD vascas .................................... 33 6.2.1 Marcos metodológicos existentes................................................................ 33 6.2.2 Criterios de evaluación manejados.............................................................. 35 6.2.3 Herramientas y fuentes empleadas en evaluación de ED .............................. 36 6.2.4 Grupos y agentes participantes en evaluaciones de ED................................. 38

6.3 Valoración procesos evaluativos de ED y aspectos de mejora ............................... 39 6.3.1 Principales dificultades encontradas ............................................................ 39 6.3.2 Posibles líneas de mejora ........................................................................... 41

6.4 Utilidad real, difusión y lecciones aprendidas de las evaluaciones realizadas .......... 42 6.4.1 Difusión de las evaluaciones realizadas ....................................................... 42 6.4.2 Grado de aprendizaje real de las evaluaciones de ED realizadas.................... 43 6.4.3 Recursos sobre evaluación de ED disponibles en la CAPV ............................. 44

7. CONCLUSIONES PRINCIPALES...........................................................................46 8. RECOMENDACIONES ..........................................................................................49

8.1 Para las Entidades Públicas Vascas ..................................................................... 49 8.2 Para las ONGD vascas ....................................................................................... 50

ANEXOS ......................................................................................................................52

Anexo I. Bibliografía y recursos ...................................................................................... 53 Anexo II. Listado entidades consultadas ......................................................................... 65 Anexo III. Fichas y cuestionarios empleados ................................................................... 66

3

ACRÓNIMOS AECID: Agencia Española de Cooperación Internacional y para el Desarrollo AL: Autoridades Locales ANE: Actores No Estatales BMZ: Ministerio Federal de Cooperación Económica y Desarrollo alemán CAD: Comité de Ayuda al Desarrollo CAPV: Comunidad Autónoma del País Vasco DEA: Asociación de Educación para el Desarrollo ED: Educación para el Desarrollo EEPP: Entidades Públicas LDB: Línea de Base MA: Mapeo de Alcances OCDE: Organización para la Cooperación y Desarrollo Económico ODM: Objetivos de Desarrollo del Milenio ONGD: Organizaciones No Gubernamentales para el Desarrollo TdR: Términos de Referencia TIC: Tecnologías de la Información y Comunicación UE: Unión Europea

4

PRÓLOGO Desde la Agencia Vasca de Cooperación para el Desarrollo, apostamos por la Educación para el Desarrollo como un proceso clave para generar conciencia crítica sobre la realidad mundial y facilitar herramientas para la participación y la transformación social en claves de justicia y solidaridad. La práctica totalidad de las entidades en Euskadi, consideran la Educación para el Desarrollo como una propuesta educativa, que a medio-largo plazo, pretende formar a las personas en la comprensión de las causas estructurales que generan las desigualdades mundiales. Pero también como una estrategia/herramienta para avanzar en un modelo de cooperación transformadora, basada en la corresponsabilidad y el protagonismo de la sociedad civil organizada, promoviendo una ciudadanía activa, local, global e intercultural. Y, todo lo anterior, partiendo de un enfoque que cuestionan modelos asistencialistas que tienden a estigmatizar o “culpar” de la pobreza a las propias personas pobres, y adoptando por el contrario un enfoque genuino de derechos (y deberes) con un fuerte enfoque participativo e incorporando los aspectos transversales básicos que se tratan de impulsar desde el mundo de la cooperación al desarrollo (equidad de género, sostenibilidad medioambiental, interculturalidad, etc.). Sin embargo, es precisamente la gran magnitud, alcance y ambición del cometido que se otorga a la Educación para el Desarrollo la que hace que, cuando llega el momento de descender a la práctica, con acciones concretas –proyectos, programas, etc.- que la hagan realidad, se ofrezcan numerosas dificultades y limitaciones a los agentes encargados de llevarlos a cabo, sobre todo las ONGD, las cuales cuentan inevitablemente con recursos, equipos y tiempos limitados. Adicionalmente la multiplicidad de entidades, acciones, grupos receptores, mensajes, etc. que se trata de abarcar con las acciones de Educación para el Desarrollo hacen aún más complicada la tarea, generando resistencias, agotamiento, riesgos de solapamiento, etc. Es por todo ello que se hace especialmente necesario, tanto para las ONGD como para las entidades públicas que las apoyan, el reflexionar sobre si las acciones de Educación al Desarrollo que llevan a cabo están contribuyendo de manera adecuada al logro de sus objetivos transformadores, son innovadoras, aprovechan sus ventajas comparativas y valor añadido, no se duplican y aprovechan sinergias con otras, etc. En definitiva, “avanzar en el impacto de las mismas”, tal y como se recoge en la Directriz estratégica VI del actual Plan Director y Estratégico de Cooperación del Gobierno Vasco. A pesar de lo anterior, es escasa aún en la CAPV la cultura evaluativa en materia de Educación al Desarrollo. Las especificidades y contexto propios de la primera, hacen que muchos de los instrumentos de evaluación habitualmente empleados en Cooperación al Desarrollo no sean del todo idóneos u ofrezcan dificultades prácticas en su aplicación. Por ello se hace necesario avanzar en la línea de las iniciativas emprendidas al respecto por varios agentes vascos desde hace algunos años, a fin de identificar buenas prácticas y habilitar herramientas, metodología, recursos, modelos, etc. específicos para la Educación al Desarrollo, que permitan a los agentes de cooperación acercarse con garantía y rigor a un proceso evaluativo de este tipo de intervenciones. A este objetivo trata de contribuir modestamente este estudio. Confiamos en que sea de interés y, sobre todo, de utilidad real y práctica a los diferentes agentes de cooperación vascos que, con su trabajo y esfuerzo, tratan de hacer de la Educación al Desarrollo una realidad palpable y efectiva de transformación social que posibilite afrontar y contribuir al objetivo compartido del desarrollo humano para todas las personas.

Marta Ares Directora de la Agencia Vasca de Cooperación para el Desarrollo

5

1. INTRODUCCIÓN

1.1 Antecedentes El presente estudio surge del consenso e interés común entre ECODE1 y la reciente Agencia Vasca de Cooperación al Desarrollo2 sobre la necesidad de impulsar la cultura evaluativa en la Cooperación al Desarrollo vasca, en general, y en la Educación para el Desarrollo (ED) en particular. ECODE viene trabajando desde 1999 en el apoyo a la gestión de intervenciones de Cooperación al Desarrollo en la Comunidad Autónoma del País Vasco (CAPV) a los múltiples agentes que intervienen en el sector, incluidas administraciones públicas, ONGD y organizaciones del Sur. Durante todo ese tiempo se ha tenido ocasión de realizar numerosas evaluaciones, la mayoría de ellas sobre acciones de cooperación en el Sur, siendo conscientes en cambio de la escasez de materiales, experiencias, modelos y metodologías específicas para evaluar acciones de ED realizadas en el Norte, a pesar del interés creciente al respecto demostrado por los agentes de cooperación relevantes en este sector. Es en este contexto en el que se detecta la oportunidad de contribuir por medio del estudio que ahora se presenta, a este proceso de refuerzo de la cultura evaluativa en materia de ED, ya iniciado por varios agentes hace algunos años. Se trata de aportar al mismo desde una perspectiva eminentemente práctica, metodológica y centrada, sobre todo, en la realidad de la CAPV. En concreto, el trabajo ha sido realizado por Laura de Antón y Pedro Surja, ambos/as consultores/as de ECODE. Para ello se ha contado, como ya se ha mencionado, con el apoyo fundamental de la Dirección de Cooperación del Gobierno Vasco3, en el marco de su apuesta por la investigación y mejora continua de la calidad en la Cooperación al Desarrollo, sin el cual no hubiera sido posible este trabajo. Puede descargarse una copia en formato PDF del presente documento a través de www.ecode.es. Para cualquier consulta o comentario relativo al mismo, pueden escribir a [email protected]

1.2 Objetivos y alcance El estudio tiene como objetivo último el mejorar el impacto de las acciones de ED en la CAPV, por medio del fomento de la cultura evaluativa y aprendizaje de las mismas entre las ONGD vascas. Más en concreto, los objetivos específicos que se persiguen son los siguientes:

Ofrecer un catálogo sistemático y fácilmente accesible de las principales aportaciones de la doctrina, modelos exitosos, iniciativas y tendencias en materia de evaluación de ED elaboradas hasta la fecha.

1 www.ecode.es 2 En Marzo 2010 el GV aprobó la puesta en marcha de la nueva Agencia Vasca de Cooperación al Desarrollo, actualmente en proceso. 3 www.gizartelan.ejgv.euskadi.net/r45-coopdesa/es/

6

Presentar una fotografía-diagnóstico global de cuál es el nivel de interiorización de

prácticas evaluativas en materia de ED por parte de ONGD y entidades públicas de la CAPV, que herramientas se emplean para ello, que prácticas exitosas merece la pena destacar, cuáles son las principales limitaciones encontradas, etc.

Facilitar una serie de recomendaciones, dirigidas tanto a ONGD como a

entidades públicas, sobre aspectos tanto metodológicos (enfoques, herramientas, modelos, buenas prácticas, etc.) como políticos (estrategias, apoyos, iniciativas a fomentar, criterios para baremar solicitudes, etc.) relativos a la evaluación de acciones de ED en la CAPV.

A nivel geográfico, el presente trabajo se concentra especialmente en la realidad existente en la CAPV, aunque las circunstancias de las ONGD y resto de agentes analizados posiblemente no difieren en substancia de las que podríamos encontrar a un contexto más amplio (estatal, europeo). Además, se incluye un análisis del estado del arte y doctrina al respecto a nivel europeo. Por todo ello, las conclusiones obtenidas tienen, sin duda, potencialidad para servir de base a otras investigaciones y ser difundidas / replicadas a un nivel más amplio que la propia CAPV. Los grandes bloques temáticos o cuestiones de estudio han sido las siguientes: - ¿Cuáles son las principales herramientas y tendencias actuales en relación a la evaluación

de ED en la doctrina? - ¿Qué grado de importancia/relevancia efectiva están otorgando los principales donantes

públicos vascos a la evaluación de las acciones de ED que apoyan? - ¿Cuál es el alcance de las evaluaciones de ED que están llevando a cabo las principales

ONGD vascas? - ¿Qué aspectos metodológicos comunes y/o específicos se encuentran en las iniciativas de

evaluación de acciones de ED que llevan a cabo las principales ONGD vascas? - ¿Cuál es su valoración de los procesos llevados a cabo al respecto (dificultades,

limitaciones, campos de mejora, etc.)? - ¿Qué grado de difusión y aplicabilidad (tanto interna en el seno de la propia ONGD, como

externa con otras entidades del sector) están teniendo las conclusiones y recomendaciones emanadas de las evaluaciones sobre ED llevadas a cabo?

1.3 Metodología empleada El estudio comenzó con una revisión de la doctrina, bibliografía y evaluaciones concretas sobre ED existentes a fin de aprovechar todo el bagaje existente y reflejar el grado de avance, modelos, retos, tendencias, etc. (en definitiva, el estado del arte) en materia de evaluación de ED, principalmente en Europa. Para ello se recurrió básicamente al análisis de fuentes documentales disponibles en Internet. En concreto, se analizaron 54 documentos, todos los cuales se presentan ordenados y accesibles para su consulta en los Anexos. Paralelamente a la fase anterior, se seleccionó el universo meta específico del estudio: ONGD especializadas y/o activas en materia de ED en la CAPV, así como las principales entidades públicas vascas (Gobierno Vasco, las 3 Diputaciones Forales y los Ayuntamientos de Bilbao, Vitoria-Gasteiz y San Sebastian. Para evitar sesgos en las conclusiones y poder apreciar matices en las mismas según los distintos tipos de entidades, se trató de buscar un equilibrio en la muestra. En concreto se incluyeron aquellas con mayor y menor volumen de recursos/personal, con más y menos experiencia en ED, con actividades en diferentes temáticas, con un número mayor y menor de proyectos en marcha. A nivel geográfico, desde luego, trató de obtenerse un balance entre entidades procedentes de los 3 territorios históricos

7

vascos. Para la selección de ONGD del estudio fue clave el aporte de la Coordinadora de ONGD de Euskadi, quien aportó sugerencias sobre el perfil y relevancia del trabajo de las ONGD en este sentido. En total se dirigieron encuestas a 19 ONGD vascas, logrando respuesta efectiva de 16 de ellas. En Anexos puede encontrarse un listado de las entidades concretas que han participado, así como un breve perfil descriptivo de las mismas y su actividad relativa a ED. En cuanto a las EEPP, se analizaron las bases y convocatorias de ED desde el 2008 hasta el 2011 (estas últimas en caso de estar publicadas) del Gobierno Vasco, las tres Diputaciones Forales, y los Ayuntamientos de Bilbao, Vitoria-Gasteiz y San Sebastian. Para la obtención y procesamiento de información de las fuentes arriba mencionadas se han empleado varias herramientas:

en primer lugar, para la recogida de información de ONGD se diseñaron y enviaron por correo electrónico cuestionarios que permitieran sistematizar con facilidad las respuestas, pero a la vez no fueran demasiado restrictivos para dar cabida a análisis cualitativos.

por otro lado, para el análisis de las fuentes documentales de entidades públicas

(bases, convocatorias, formularios, etc.) se diseñaron fichas estandarizadas con aquellos criterios/aspectos que se consideraban relevantes de cara a valorar el grado de incorporación y alcance de la evaluación de ED en ellas.

finalmente, una vez recibidas y revisadas las respuestas a los cuestionarios de ONGD y

analizadas las bases de entidades públicas, se llevaron a cabo entrevistas personalizadas en profundidad con responsables de unas y otras que reflejaban aspectos más relevantes y/o innovadores en relación a la evaluación de ED. En total se mantuvieron reuniones en profundidad con 9 entidades.

En Anexos puede encontrarse una muestra de todos los cuestionarios, fichas y herramientas arriba citadas, así como la lista de entidades con las que se mantuvieron entrevistas individuales en profundidad. Tras el análisis de toda la información mencionada hasta entonces se preparó un primer borrador, tratando de contrastar para ello diferente información para llegar a las conclusiones con el mayor grado de validez interna y representatividad posible. Para ello se combinaron diversas fuentes (documentales, cuestionarios, entrevistas en profundidad) y métodos de análisis (cuantitativo, cualitativo). El borrador fue presentado y discutido conjuntamente, a nivel interno y con los actores consultados previamente. Las sugerencias, comentarios y valoraciones de todos ellos fueron tenidos en cuenta para la redacción de la versión definitiva del estudio, el cual fue difundido públicamente en Septiembre de 2011.

1.4 Ámbito de la ED en el presente estudio

A la hora de realizar el presente estudio se ha tenido en cuenta el concepto más amplio de ED y que incluye sus cuatro ejes de actuación:

8

1. Sensibilización: acciones a corto plazo, puntuales y que significan el primer paso para la concienciación de la sociedad. Acciones que no llegan a profundizar en las causas y que se sirven de mensajes sencillos. Normalmente el destinatario del mensaje es un público muy amplio y suelen emplearse los medios de comunicación masivos como canal de transmisión. 2. Educación-formación: estrategias a medio y largo plazo con un público objetivo claro y una metodología claramente definida. Se profundiza en el análisis de las causas de las situaciones tratadas y se buscan metodologías adaptadas a cada público objetivo con el fin de que este tome conciencia para posteriormente actuar. 3. Investigación: acciones que hacen uso de las herramientas de la investigación social y que tienen especialmente relevancia para las acciones que se puedan desarrollar en otros ejes como el de incidencia política. Sirve para fundamentar las diferentes propuestas que se realicen. 4. Incidencia política y movilización social: La primera se desarrolla con el objetivo de influir en decisiones políticas que afectan a las estructuras sociales, económicas y políticas a nivel local y global. Por su parte, la movilización social es el mecanismo de apoyo para que la incidencia política tenga su efecto. Hace posible la participación e implicación de la ciudadanía en la lucha por el cambio de estructuras y políticas hacia la justicia y la igualdad. Además se han considerado estos 4 ejes y su puesta en práctica en tres ámbitos: 1. Ámbito formal: proceso educativo desarrollado por instituciones educativas, oficialmente reconocidas y que siguen el currículo aprobado por la autoridad competente. Son los títulos oficiales. 2. Ámbito no formal: prácticas organizadas y claramente definidas y diseñadas para grupos objetivos específicos. No se imparten en centros oficiales ni da lugar a titulaciones ni certificados oficiales. 3. Ámbito informal: acciones no intencionadas. Se trata de un proceso de aprendizaje continuo y espontáneo, fuera del ámbito de la educación formal y no formal.

1.5 Limitaciones encontradas El estudio no ha encontrado limitaciones serias que hayan podido invalidar las conclusiones obtenidas en el mismo. Tras la fase preliminar de análisis del “estado del arte” se confirmó la idoneidad y relevancia de la investigación. La colaboración institucional por parte de agentes clave (como la Dirección de Cooperación del Gobierno Vasco y la Coordinadora de ONGD de Euskadi) ha sido efectiva. Finalmente, se ha podido acceder en mayor o menor grado a las fuentes previstas (opiniones de los diferentes agentes a través de cuestionarios y entrevistas; bases, convocatorias y formularios; estudios relevantes; colaboración de expertos/as en el tema). Pueden destacarse como dificultades o limitaciones menores encontradas durante el proceso, junto a sus consecuencias en el estudio, las siguientes:

Precisamente la relativa novedad de la materia de estudio ha limitado la posibilidad de contar con pautas, modelos, metodologías y/o conclusiones previas, sobre las que se pudiera partir para avanzar sobre ellos con más detalle. Adicionalmente, existía cierta confusión entre las ONGD consultadas sobre el alcance y concepto exacto de la evaluación de ED, confundiéndose muchas veces con la sistematización o el monitoreo. Todo ello ha podido limitar el alcance y profundidad de alguna de las

9

cuestiones de investigación planteadas, así como provocar algún sesgo en el planteamiento terminológico y/o en algunas de las respuestas facilitadas y su análisis.

Aunque siempre en su calidad de responsables de cada entidad consultada, los

cuestionarios y entrevistas fueron respondidos por personas individuales. Por ello, en ocasiones, el peso de sus opiniones y/o vivencias propias ha podido sesgar las respuestas, con lo que podrían existir ciertas diferencias con la postura de otros miembros de las citadas entidades (o incluso con la postura “oficial” de éstas). En otras ocasiones, las personas responsables consultadas estaban recientemente incorporadas a su puesto con lo que tenían una perspectiva limitada de las cuestiones planteadas en relación a su nueva entidad.

Dificultades menores para acceder a cierta documentación, bases,

convocatorias, etc. actualizadas de entidades públicas han podido limitar en momentos puntuales su análisis. No obstante en la mayoría de los casos este aspecto se ha salvado por medio del contacto directo con las personas responsables de dichas entidades para que facilitasen dichos documentos.

1.6 Estructura del documento El presente documento comienza con una introducción en la que se destacan los antecedentes, objetivos, alcance, metodología y limitaciones del estudio, todo ello para ayudar a situar al lector/a en el contexto y fomentar una lectura matizada del propio estudio y sus conclusiones. En un segundo bloque se describe de una manera muy breve el contexto del estudio, incluyendo tanto el estado actual y retos principales de la ED, como una somera descripción de los rasgos principales a considerar cuando hablamos de evaluación y sus diferencias con la sistematización y/o el monitoreo. A continuación se recopilan las principales iniciativas e hitos, tanto a nivel metodológico y doctrinal, como de ejercicios evaluativos de ED concretos, disponibles en el ámbito europeo. Se trata este de un apartado esencial para valorar el estado del arte, las limitaciones, metodologías ensayadas, buenas prácticas, etc. en relación a la materia que nos ocupa. El grueso del documento se dedica, a continuación, al diagnóstico sobre el grado de incorporación de prácticas evaluativas en materia de ED por parte de ONGD y entidades públicas vascas: su importancia práctica, alcance, metodologías, valoración y grado de difusión/aplicabilidad efectiva de sus conclusiones. Finalmente, y en base a todo el análisis anterior combinado, se proponen una serie de conclusiones referidas a cada uno de los aspectos clave del estudio, junto a un listado de recomendaciones de tipo práctico para los agentes principales analizados (ONGD y entidades públicas vascas). Con este apartado, clave en el estudio, se busca hacer realidad el enfoque eminentemente práctico antes mencionado. Completan el estudio una serie de Anexos que amplían, detallan y/o profundizan en aspectos relevantes para comprender la metodología, alcance y proceso de trabajo seguido, así como para profundizar en el tema por medio de una extensa bibliografía referenciada y comentada, de fácil acceso.

10

2. EVOLUCIÓN Y RETOS ACTUALES DE LA ED El recorrido de la Educación para el Desarrollo (ED) está marcado por cambios y etapas que buscan adaptar, mejorar e impulsar este sector, tanto en el plano teórico como práctico. Desde sus inicios, bajo un concepto de corte más asistencialista y sin objetivos educativos claros, la ED ha ido acumulando experiencias en todos sus ámbitos (formal, informal y no formal), y enriqueciéndose para convertirse en la actualidad en un “proceso educativo encaminado a generar conciencia crítica, a promover una ciudadanía global políticamente activa y comprometida y a movilizar a la sociedad a favor de un Desarrollo Humano justo y equitativo”4. Transcurridas unas décadas desde su comienzo, hoy en día la ED ha conseguido aumentar considerablemente su visibilidad y presencia en las estrategias políticas de cooperación, promovidas por las ONGD y por las instituciones públicas locales, nacionales e internacionales. Su crecimiento se ha desarrollado a la par que el de las estrategias de cooperación al desarrollo, adquiriendo su propia personalidad para llegar a convertirse en otra forma de realizar cooperación “no caracterizada por fronteras geográficas si no por conflictos entre grupos privilegiados y grupos excluidos, no basada en principios de ayuda, sino de alianzas y corresponsabilidad en la lucha social”5. Actualmente, nos encontramos ante una quinta generación de ED cuya característica más relevante es “el impulso de una Educación para la Ciudadanía Global promotora del desarrollo humano y de todo lo que este concepto implica en lo que se refiere a la perspectiva de género, medio ambiente, derechos colectivos e individuales, justicia y equidad tanto local como global6. Dentro de esta corriente actual de ED, e inmersa en una globalizacin que abarca todos los ámbitos de nuestra vida, el concepto de ciudadanía global resulta clave. Como señala la Coordinadora Nacional de ONGD “La globalizacin plantea un desafío al que la ED debe responder desde la promoción de una conciencia de ciudadana global. Esto significa que cada ciudadano/a, dondequiera que viva, forma parte de la sociedad global y necesita saber que es responsable, junto con sus conciudadanos/as, en la lucha contra la exclusión, que es la razón de cualquier tipo de desigualdad e injusticia. En el contexto de la globalización, este enfoque global está destinado a sustituir el parcial enfoque geográfico Norte/Sur, que tiende a sesgar el análisis real de la situación mundial”7. Estamos ante una ED que tiene “como vocación favorecer el trabajo en red de movimientos sociales del Sur y del Norte, a fin de promover una conciencia ciudadana tanto a nivel local como global a través de cambios de análisis, metodologías y experiencias alternativas”8. La forma de hacer ED se ha ampliado en cuanto a metodologías y en cuánto a ámbitos de actuación. La mirada de la ED ya no tiende a centrarse exclusivamente en la educación formal. Igual de importantes son otros ámbitos, donde la educación no es intencionada y claramente estructurada.

4 Diccionario de Educación en valores. Hegoa 2010. Gema Celorio/Alicia López de Munain 5 (Evolution 2000-2010 et défis futurs. Adélie Miguel Sierra. ED-tat de Lieux 2010. Antipodes Nº189. Junio 2010 6 Hegoa. Educación para la Ciudadanía Global. Debates y desafíos. 2009 7 Artículo Educación para el desarrollo, estrategia imprescindible para las ONGD 8 Evolution 2000-2010 et défis futurs. Adélie Miguel Sierra. ED-tat de Lieux 2010. Antipodes N189. Junio 2010

11

En la sociedad actual, e impulsado especialmente por el desarrollo de las nuevas tecnologías de la información (TIC) cualquier escenario es apto para desarrollar la ED. “Educamos, generamos o destruimos potencialidades de solidaridad en cada una de nuestras acciones a través de lo que decimos o no decimos, a través de nuestra forma de relacionarnos o de organizarnos”9. A lo largo de estos años, han nacido en el plano internacional diferentes plataformas, redes de trabajo y asociaciones centradas en impulsar, debatir e intercambiar experiencias sobre ED (GENE-Global Education Network Europe, DARE-Development Awareness Raising and Education Forum-CONCORD, Centro Norte-Sur del Consejo de Europa, WIDE-Women in Development Europe…). Desde estas redes internacionales de trabajo y desde las ONGD e instituciones públicas se trabaja por una mejora continua. Y es en este marco cuando se definen las herramientas necesarias para la planificación, el diagnóstico, la sistematización y, sobre todo, la evaluación de las experiencias de ED. Todas ellas acompañadas por una puesta en común y de intercambio de información entre los actores implicados. ONGD, financiadores, redes de trabajo entorno a ED y otros agentes clave empiezan a destacar la evaluación como una de las principales herramientas de mejora de la calidad e impacto de la ED. Paulatinamente, se incrementa el apoyo y el interés de la evaluación dentro de las estrategias y políticas de ED a nivel local, regional y nacional. Entre los principales encuentros, declaraciones y foros que recogen el interés y debate sobre la ED y su evaluación, se pueden destacar:

• El Congreso Europeo sobre Educación Global para 2015 (Maastricht 2002) iniciativa pionera y clave para el crecimiento de la ED en Europa, en cuanto que levantó la atención de los Estados en esta materia, otorgando espacios a los actores nacionales y abogando por la importancia de estrategias estables, así como la evaluación y la calidad de las acciones que se desarrollen.

• La Conferencia Europea sobre la sensibilización y la ED para Solidaridad Norte-Sur

(Bruselas 2005) en cuyo informe final se resalta la necesidad de considerar la evaluación, el impacto y la calidad como una parte integral de los proyectos de ED, además de subrayar la importancia del intercambio de experiencias en evaluación.

• La Conferencia Europea de Educación al Desarrollo (Helsinki 2006) en la que, como

ocurrirá en otros encuentros, se habla de la necesaria visión Sur en las evaluaciones de ED, además -de nuevo- de la importancia del intercambio de experiencias.

• El Consenso Europeo sobre Desarrollo: la contribución de la educación y la

sensibilización en materia de desarrollo (2007, basado en la declaración de 2005) destaca la evaluación como uno de los principales desafíos de la ED a nivel europeo y le asigna una triple función: “a) aprender de las experiencias de ayer para hacerlo mejor mañana; b) evaluar los beneficios a corto y largo plazo para el público en general o los participantes; c) e informar de los planteamientos y actividades de las oportunidades y obstáculos del futuro. La evaluación de resultados, el impacto y la calidad de procesos constituyen el principal objetivo, pero no el único”.

• La Conferencia Mundial de la UNESCO para la Educación para el Desarrollo Sostenible

(2009) en cuya Declaración de Bonn se pide a la UNESCO que vele por “ampliar el sistema mundial de seguimiento y evaluación de la educación para el desarrollo sostenible y tomar iniciativas para crear estrategias y prácticas internacionales que conduzcan a la conclusión satisfactoria con resultados visibles y concretos”.

9 “Todo lo que comunica, educa, quiere decir que ¿activa o desactiva valores y actitudes?”Javier Erro y Teresa Burgui. ED-tat de Lieux 2010. Antipodes N189. Junio 2010

12

3. EVALUACIÓN, MONITOREO Y SISTEMATIZACIÓN Aunque comparten algunos rasgos comunes (básicamente todos suponen recoger y usar información) los conceptos de evaluación, monitoreo y sistematización ofrecen diferencias relevantes, tanto en sus metodologías, herramientas, fuentes, responsables y momentos, como en los enfoques, objetivos y funciones en los que unos y otros ponen el acento. Creemos que es especialmente importante clarificar estos aspectos, especialmente en el campo de la ED, dado que algunas de las prácticas que se denominan evaluativas por parte sobre todo de las ONGD que las llevan a cabo, parecen aproximarse muchas veces más a actividades de monitoreo y/o sistematización. Los rasgos o matices diferenciadores entre Monitoreo (o Seguimiento) y Evaluación han sido bastante bien descritos por la doctrina:

El Monitoreo es un proceso continuo y permanente en el tiempo, que acompaña de manera regular y paralela a toda la vida de una intervención de ED. La Evaluación, en cambio, es más puntual, se lleva a cabo en períodos clave, normalmente separados por un período considerable de tiempo, establecidos con antelación (habitualmente se suele hablar de evaluaciones antes de un proyecto/programa (ex ante), en su etapa más o menos intermedia, o al final del mismo (ex post).

Por otro lado, el Monitoreo tiende a orientarse más a la valoración del logro de

resultados y objetivos inmediatos definidos inicialmente para una intervención. Por su parte, sin renunciar a lo anterior, la Evaluación trata de ir más allá, preguntándose por otros aspectos igualmente importantes, como la coherencia y eficiencia de lo que se pretendía hacer y su diseño, la sostenibilidad a largo plazo de lo logrado, o el impacto al que todo ello contribuye (incluyendo aquí, no solo lo previsto, sino también lo imprevisto – ya sea esto positivo o negativo).

Respecto a los agentes que realizan uno y otro ejercicio, el Monitoreo suele ser llevado

a cabo por el propio personal que gestiona una intervención de ED, mientras que para el caso de la Evaluación, suele ser recomendable incorporar para esta a personas consultoras externas (total o parcialmente). Y ello bien para permitir aprovechar una visión más amplia y/o comparada, como para garantizar la necesaria imparcialidad y legitimidad de las conclusiones alcanzadas. A este respecto, debe señalarse que la mayoría de donantes exigen este requisito de externalidad en el caso de las evaluaciones de los proyectos de ED que apoyan.

Finalmente, en cuanto a los objetivos y enfoque pretendidos, aunque ambos confluyen

en cierta manera, el Monitoreo suele estar más orientado a la rendición de cuentas a terceros (sobre todo a donantes), mientras que la Evaluación tiende a centrarse en el aprendizaje y generación de buenas prácticas, tanto para la entidad responsable de la acción evaluada, como otros agentes que puedan tener un interés legítimo en la misma y/o llevar a cabo iniciativas similares.

Por su parte, la diferencia entre Evaluación y Sistematización no aparece tan clara. La sistematización se suele presentar, en ocasiones, como una alternativa a la primera, para el caso de proyectos sociales, educativos y de transformación social, con el fin de paliar algunos de los defectos y/o limitaciones detectadas en estos casos. En especial, al tratar de aplicar prácticas evaluativas excesivamente rígidas, experimentales, objetivas y/o cuantitativas, poco apropiadas para medir realidades más cualitativas, multidimensionales y fuertemente cargadas de subjetividad, como son los mencionados procesos sociales.

13

En términos globales, la sistematización es un proceso participativo que permite ordenar lo acontecido, recuperar así la memoria histórica, interpretarla, aprender nuevos conocimientos y compartirlos con otras personas. Por ello comparte, como se aprecia, muchos de los aspectos ya mencionados de una evaluación. De hecho, algunas voces no aprecian diferencias estrictas entre una y otra modalidad, sino más bien ponen el acento en fortalecer un enfoque más participativo, junto a un empleo de indicadores y fuentes más cualitativas en las evaluaciones “tradicionales” llevadas a cabo. En cualquier caso, las notas propias que definen a una sistematización, de acuerdo a la definición facilitada, serían:

La sistematización es un proceso en construcción en el que hay un itinerario e interesa tanto el proceso como el producto final. Nos ayuda a descubrir la lógica con la que ese proceso, así como la actividad que se sistematiza, se llevó a cabo (factores, relaciones, etc.).

La sistematización es, por definición, un método que propone una dinámica

participativa. Esto implica que se ha de crear un espacio de trabajo donde compartir, confrontar y discutir las opiniones basado en la confianza de las personas participantes. Su carácter participativo posibilita y es posibilitado en la medida en que se asume que todo proceso de sistematización es un proceso de interlocución entre personas en el que se negocian discursos, teorías y construcciones culturales.

La sistematización lleva implícito un ejercicio de organización, en base a un

orden lógico, de los hechos y los conocimientos de la experiencia. Una forma de ordenar que permita llevar a cabo la interpretación crítica de la experiencia. Para ello es necesario un esfuerzo de recuperación de la memoria histórica y facilita el acceso a ella como método de trabajo normalizado

Una vez recuperada y ordenada la memoria histórica es necesaria una

interpretación de la misma para poder objetivar la experiencia y así poder extraer los aprendizajes. Para ello es necesario objetivar lo vivido: convertir la propia experiencia en objeto de estudio e interpretación teórica, a la vez que objeto de transformación, manteniendo un equilibrio entre aspectos teóricos y prácticos

14

4. PANORAMA EUROPEO DE LA EVALUACIÓN DE ED

4.1 Iniciativas europeas sobre evaluación de ED La evaluación de ED ha centrado en los últimos años diversos encuentros, iniciativas y foros internacionales específicamente dedicados a esta materia. En la mayoría de los casos, estas iniciativas han venido impulsadas por las dos principales plataformas/redes europeas en materia de ED, como son GENE10 y DEEEP11. Entre los principales, podemos destacar12:

Seminario de Nürnberg (2003): Promovido por GENE y con el apoyo de la BMZ y DEA (UK) este seminario organizado por la Friedrich-Alexander-University Erlangen-Nürnberg se centró en aspectos de calidad y evaluación de la ED. Como conclusión principal se destacó la debilidad de reflexión teórica y práctica sobre estos aspectos, de manera que aunque sí existen un buen número de ejercicios evaluativos al respecto, existe una gran confusión en los modelos aplicables para ello, muchos de los cuales son importados de otros sectores de manera inapropiada. En definitiva, se echaba en falta un marco teórico adecuado y testado en la práctica para realizar evaluaciones de acciones de ED.

Conferencia de Londres (2003): Como consecuencia del anterior seminario, GENE

organizó esta Conferencia, con un objetivo y foco similar pero abriendo la participación a un espectro más amplio de actores europeos. De nuevo gran parte de las discusiones se centraron en la necesidad de elaborar un modelo y herramientas específicas e idóneas para la evaluación de acciones de ED y compartir aquellas iniciativas exitosas llevadas a cabo al respecto. La Conferencia produjo abundantes materiales sobre materias como: a) los contextos globales a tener en cuenta para analizar la pertinencia de una acción de ED, entre ellos los ODM; b) la evaluación como herramienta esencial para el aprendizaje; c) prácticas innovadoras para la evaluación de ED; d) necesidad de involucrar a los agentes del Sur en la evaluación de acciones de ED en Europa.

Proceso de revisión entre pares de la ED Europea: Este mecanismo de revisión e

intercambio de experiencias en materia de ED surgió como consecuencia del Congreso de Maastricht (2002) mencionado en secciones anteriores, y a iniciativa de sus participantes y GENE. Como su nombre indica, consiste en un proceso a medio camino entre la revisión y evaluación de ED, con la participación de organizaciones, agencias y entidades públicas actuando como miembros de equipos mixtos de revisión formados por expertos que analizan conjuntamente las políticas en materia de ED de todos ellos. Tras un estudio de viabilidad en 2003 se elaboró un protocolo o proceso guiado por varios principios clave y se producen informes periódicos. Hasta ahora se han elaborado informes sobre Chipre (2004), Finlandia (2004), Holanda (2005), Austria (2006), República Checa (2008), Noruega y Polonia (2009/10)13. Una de las conclusiones y/o lecciones aprendidas más interesantes tras las experiencias desarrolladas es la de que es necesario combinar la necesaria flexibilidad en las metodologías de revisión con una

10 Global Education Network Europe (www.gene.eu) red creada en 2001 y que aglutina a entidades públicas estatales, Agencias y otros actores relevantes en materia de ED, con objeto del aprendizaje mutuo en materia de políticas de ED europeas 11 Development Education Exchange in Europe Program (www.deeep.org) es un programa iniciado por el Foro de ED y Sensibilización de la red europea CONCORD, con el fin de fortalecer las capacidades de las ONGD europeas para trabajar en materia de sensibilización y ED. Cuenta con financiación de la UE. 12 En la Bibliografía adjunta como Anexo a este estudio se pueden encontrar referencias y links directos a todos los materiales producidos en estas iniciativas 13 Todos estos informes pueden ser descargados de www.gene.eu.php5-8.dfw1-1.websitetestlink.com/peer-review/

15

cierta estandarización de procesos, criterios y herramientas de manera que se permita la máxima objetividad, transparencia y, sobre todo, comparabilidad de los resultados.

Grupos de trabajo sobre evaluación de ED de DEEEP: Uno de los proyectos de

DEEEP, en marcha desde 2005, consiste en llevar a cabo estos grupos de trabajo (habitualmente agrupados por criterios idiomáticos –Inglés, Francés y Finlandés-) para explorar y compartir conceptos y prácticas sobre evaluación de ED, lanzando ideas interesantes al respecto:

o Como obstáculos comunes a la hora de evaluar una acción de ED se han

desatacado: el poco conocimiento del grupo objetivo (cómo actúa, preferencias, qué medios de comunicación emplea), la dificultad para medir datos cualitativos y realizar el seguimiento a un mismo grupo objetivo a largo plazo, la falta de recursos económicos y humanos, la necesidad de formación y la ausencia de líneas de base.

o Como conclusiones/lecciones aprendidas, se ha destacado la importancia

del Aprendizaje entre Pares como forma para preparar a nuevos agentes en torno a la evaluación de ED, el aprendizaje por parte de las ONG sobre el significado de evaluación e impacto para la calidad de su trabajo, la creación de métodos y herramientas específicas de ED, la necesidad de creatividad, humildad y voluntad en los procesos, además de los medios pedagógicos, humanos y de tiempo, y el intercambio de experiencias y métodos, y la creación de un marco teórico sobre los límites y fortaleza de la evaluación.

o Finalmente, las principales recomendaciones se han agrupado en torno a

tres grandes temáticas: a) En relación a las alianzas y estrategias: una mejor comunicación con los gobiernos en relación a las prácticas evaluativas, hacer propuestas de evaluación a los gobiernos, desarrollar la cooperación Norte/Sur educativa y enseñar la transversalidad entre ED en el Norte y en el Sur e incitar a que el Sur evalúe las prácticas de ED del Norte; b) En relación a construir una perspectiva: la evaluación será una fuente de aprendizaje, hay que elegir un marco de trabajo para la evaluación y construirlo conjuntamente, todos los agentes que tomen parte en el proyecto de ED deberán participar en el proceso de evaluación; c) En relación a la metodología: facilitar autoevaluaciones con expertos externos, verificar la coherencia y relevancia con el contexto y los objetivos e identificar mejor los grupos objetivo, intermediarios y las fuentes.

4.2 Algunos marcos metodológicos empleados Como ya se ha visto, en el ámbito europeo y a pesar de las experiencias en evaluación de ED practicadas por diferentes instituciones y ONGD, se aprecia un vacío importante en relación a la parte teórica o marco de referencia especifico necesario para llevarlas a cabo. Mientras que en la práctica se aplican diferentes metodologías, muchas veces trasladando las empleadas en evaluación en el Sur o innovando prácticas diferentes a las habituales (mapeo de alcances, evaluación segmentada…), los diferentes agentes implicados demandan una política común de actuación y modelos de evaluación adaptados a la ED, al mismo tiempo que la socialización y publicación de experiencias. Ante la citada falta de modelos específicos, entre las metodologías más habitualmente empleadas cabe destacar el seguimiento de los 5 criterios principales de evaluación definidos por el CAD de la OCDE: coherencia, pertinencia, eficacia, eficiencia, impacto y sostenibilidad. Sin embargo, y a juzgar por muchos de los agentes representativos y parte de la doctrina, esta metodología/marco presenta serias limitaciones a la hora de ser aplicada para evaluar proyectos de ED. Entre otras, no contempla suficientemente la importancia del enfoque “multi-actor” (clave en ED), predominan los indicadores cuantitativos y además no facilita

16

formas de medir el impacto en procesos de cambio de actitudes y comportamientos a largo plazo, característicos de la ED. Por ello, diversas ONGD e instituciones públicas, han ensayado prácticas evaluativas más o menos innovadoras y adaptadas a las especificidades de la ED. Se trata más bien de experiencias puntuales que se basan sobre todo en métodos cualitativos y con un fuerte enfoque participativo y multi-actor. Por citar algunos de los ejemplos más relevantes y/o que han gozado de mayor aceptación, se incluye aquí una breve mención de: a) la evaluación segmentada que propone Thierry De Smedt, b) la metodología del mapeo de alcances de IRD y c) la evaluación según las dimensiones de la ED, definidas por la red POLYGONE.

4.2.1 La evaluación segmentada La evaluación segmentada propuesta por Thierry De Smedt14 parte de la idea de que no es posible evaluar todo de una vez, así que propone dividir el análisis en 8 “segmentos o niveles” que, según afirma, son comunes a todos los proyectos de ED, poniendo el énfasis en aquellos que resulten más relevantes en cada caso. Los segmentos/niveles a evaluar propuestos por este enfoque serían:

La validez de la problemática proyectada en el dominio del desarrollo La validez del público identificado como factor de resolución del problema, como

intermediario, como vehículo de cambio

La calidad de las herramientas educativas, teniendo en cuenta los métodos de comunicación educativa adoptados (enfoque cognitivo, participativo, psicoafectivo)

Evaluar cuantitativa y cualitativamente la audiencia de las herramientas educativas

Los efectos inducidos por la difusión de las herramientas aplicadas

La validez de los métodos educativos adoptados para crear esas herramientas

La validez de los características atribuidas al público diana del dispositivo educativo

La acción de las representaciones, actitudes y comportamientos sobre el dominio del

desarrollo.

4.2.2 El mapeo de alcances Esta metodología fue desarrollada por el IDRC-International Development Research Centre de Canadá15. La metodología del Mapeo de Alcances (MA) pone su enfásis en la transformación del modo de actuar de las personas/organizaciones implicadas. Estos cambios pueden estar vinculados con el proyecto, pero no necesariamente son causados por él. El MA se centra en una categoría particular de resultados: cambios en el comportamiento de la gente, los grupos y las organizaciones con las que trabaja directamente el programa o proyecto. Estos cambios se denominan "resultados o alcances”16. A través del método de MA, las acciones de ED pretenden generar contribuciones al logro de resultados más que afirmar de

14 Miembro académico del Groupe de Recherches en Médiation des Savoirs de la Universidad Católoica de Lovaina (Bélgica) y colaborador habitual de la ONG ITECO 15 http://www.idrc.ca/EN/Pages/default.aspx 16 “Outcomes" en su versión original inglesa

17

manera categórica la atribución de impactos a aquellas. Los resultados logrados, a su vez, mejoran las posibilidades de lograr impactos de desarrollo, pero no hay necesariamente una relación directa causa-efecto. La responsabilidad última recae siempre en las personas/grupos implicados y la evaluación debe poner, por tanto, el acento en valorar qué cambios se han producido en los mismas El MA ayuda a analizar cambios complejos, especialmente aquellos relacionados con comportamiento y conocimiento, como son los propios de acciones de ED. Los principios subyacentes de este enfoque son:

los cambios son complejos y no se mueven de manera lineal e univoca (causa-efecto)

el desarrollo es siempre hecho por y para la gente, de manera que debe evaluarse

cualquier cambio en función de cómo es percibido por ella

aunque un programa puede influenciar el logro de resultados, no puede controlarlos ni garantizarlos totalmente

4.2.3 Las dimensiones de la ED Este modelo propone estructurar las preguntas de evaluación de acciones de ED partiendo de las tres dimensiones de la ED definidas por la red POLYGONE17:

Dimensión cultural (quizá la más importante), que recoge las respuestas educativas adecuadas a las necesidades de la propia cultura. Según esta dimensión es importante, por un lado, introducir las culturas locales en los programas educativos y, por otro, construir programas educativos adecuados a las necesidades de cada cultura.

Dimensión política. Según la cual, la educación es política porque, según los

contenidos que transmita y los métodos que utilice, estará formando a la gente para vivir en consonancia con el tipo de sociedad que se tiene o se quiere. La educación es política cuando educa en la importancia que ella misma tiene como elemento de cohesión y progreso de un núcleo social.

Dimensión pedagógica. Tener en cuenta la dimensión pedagógica quiere decir tener

formación y capacidades demostradas para poder ejercer de educador o educadora18. A partir de estas tres dimensiones, se definen los criterios y preguntas concretas de la evaluación para cada una de ellas. Habitualmente, las diferentes organizaciones añaden/completan nuevas dimensiones específicas y relevantes para la acción concreta de ED que están desarrollando (por ejemplo, la dimensión Sur, dimensión de Género, etc.…).

17 Colectivo europeo de Educación para el Desarrollo, creado con el fin de debatir sobre el papel que debe jugar la educación, como práctica transformadora, en distintas sociedades del Norte y del Sur. Polygone está formado por cuatro organizaciones europeas: a) ITECO-Centre de Formation pour le Développement, Bélgica., b) CIDAC-Centro de Informação e Documentação Amílcar Cabral, Portugal, c) CIP-Centro de Investigación para la Paz, España, d) HEGOA-Instituto de Estudios sobre Desarrollo y Cooperación Internacional, España. 18 Basado en “Mosaico educativo para salir del laberinto”. POLYGONE (2003)

18

4.3 Ejemplos de evaluaciones de ED en Europa Sin pretensiones de ser exhaustivos, se destacan en este apartado algunos ejemplos concretos de evaluaciones de acciones de ED realizadas en Europa, las cuales se han seleccionado principalmente por su alcance, junto a su particular relevancia, carácter innovador, etc. En cualquier caso, en la Bibliografía adjunta como Anexo a este estudio pueden encontrarse numerosas referencias y/o vínculos directos a estas y muchas otras evaluaciones/sistematizaciones de ED llevadas a cabo en Europa.

4.3.1 Evaluación de proyectos de ED cofinanciados por la UE a las ONG en el ámbito escolar (1998)

Se incluyen 79 proyectos (40 de ellos con mayor profundidad) que abarcan el período desde 1991 a 1994. Se trata por ello en todos los casos de una evaluación ex post y basada en estudios de caso representativos19 como principal herramienta metodológica empleada. El objeto principal de la evaluación fueron las prácticas de las ONG para promover la presencia de la ED en las escuelas. Para ello la evaluación se dividió en 3 fases: análisis de la documentación, trabajo en el terreno y síntesis y recomendaciones. Según los términos de referencia de la evaluación los objetivos y criterios de la misma eran valorar las estrategias de integración en el ámbito escolar en términos de:

impacto y de sostenibilidad la calidad, los resultados y la pertinencia de las acciones cofinanciadas la adecuación de los medios y los procedimientos de la Comisión recomendaciones con el objeto de mejorar las actividades de ED y la convocatoria

Como aspecto diferenciador con respecto a los proyectos de cooperación en el Sur, al tratarse de proyectos de ED en el Norte cofinanciados por la UE, el equipo evaluador tuvo en cuenta una serie de puntos que centraron la evaluación: a) la dimensión europea, b) la presencia del Sur, c) el concepto de ED y d) las relaciones con la Comisión. Con el fin de analizar las estrategias seguidas en cada proyecto se utilizaron tres modelos/enfoques: Modelo 1: Las dimensiones de una estrategia de integración. Utiliza diez dimensiones relacionadas con la manera de conseguir la integración que pueden analizarse respondiendo a las preguntas ¿qué importancia tiene esta dimensión para la ONG?, en relación a esta dimensión ¿de qué forma se desarrolla?. Las diez dimensiones son: 1) la sostenibilidad, 2) la dispersión, 3) los cambios estructurales, 4) los programas, 5) la pedagogía, 6) el vehículo educativo apropiado, 7) las oportunidades, 8) la participación en las iniciativas estratégicas de mayor envergadura, 9) la innovación y 10) las infraestructuras y recursos disponibles. Modelo 2: Un enfoque global de la estrategia: Aborda la estrategia como un juego de posturas y espacios a ocupar (interesándose por la inserción institucional, las redes escolares, la expansión numérica y geográfica) y como un conjunto coherente de procedimientos que podrían seguir el siguiente itinerario:

19 Entre ellos se incluyó uno de Hegoa “Extensión sistemática de la ED en el País Vasco”

19

La voluntad de la ONGD (de hacer ED) La competencia de la ONG (para hacer ED) La existencia de medios (en particular los proyectos) El posicionamiento de la ONG frente al sistema educativo El posicionamiento de la ONG entre los diferentes promotores de ED La definición de contenidos, métodos y acciones

Modelo 3: Un enfoque centrado en el profesorado: Se centra en los factores que determinan el compromiso del profesorado para practicar ED:

El querer hacer: los factores que determinan la voluntad del profesorado para practicar ED.

El deber hacer: los elementos que conducen al profesorado a practicar ED por deber legal o moral.

El saber hacer: los conocimientos y las competencias del profesorado en ED El poder hacer: los recursos y condiciones para la práctica de ED.

4.3.2 Evaluación general de acciones de sensibilización y ED en Europa encargada por la UE (2008)

Esta evaluación abarca más de 690 proyectos financiados bajo los instrumentos de la UE “Cofinanciación con ONGD Europeas” y “Cooperación Descentralizada”. Los proyectos tienen una duración de 1 a 3 años y se desarrollan entre 1997 y 2007, implementados por ONG. La evaluación busca verificar hasta dónde los proyectos financiados han alcanzado los objetivos de sensibilización y educación sobre la cooperación al desarrollo (en línea con los ODM) entre los ciudadanos de los Estados miembro. Y su objetivo específico es ayudar a definir la estrategia en Educación al Desarrollo y Sensibilización de la Comisión Europea, realizando recomendaciones para mejorar el impacto global de los proyectos de ED. El alcance de la evaluación realizada abarcó 3 tipos de acciones/proyectos, seleccionados en base a criterios de representatividad y carácter comprehensivo:

Evaluación ex post de 26 de sus 552 proyectos financiados y ya concluidos hasta la fecha

Evaluación intermedia de 10 de los 122 proyectos en marcha Evaluación ex ante del nuevo programa “Actores No Estatales y Autoridades Locales en

el Desarrollo” La evaluación contó con cuatro fases: a) la fase de estructuración (formulación de preguntas y modificación de los Términos de Referencia), b) la fase de gabinete (entrevistas a personas clave y análisis de documentación y elección de los proyectos a visitar sobre el terreno), c) la fase de recogida de datos en terreno (visita a 22 países para recoger datos de 39 proyectos) y d) la fase de elaboración del informe final. En total se emplearon unos 6-7 meses en completar todas las fases anteriores. La evaluación se basó en los 5 criterios generales propuestos por el CAD de la OCDE: relevancia, eficiencia, eficacia, impacto y sostenibilidad. El peso de las herramientas cualitativas fue superior al de las cuantitativas, tal y como afirman los propios autores de la evaluación. Las principales herramientas empleadas fueron las siguientes:

Creación de un grupo de referencia para la gestión y seguimiento de la evaluación

20

Elaboración de una matriz de evaluación, con preguntas concretas por cada uno de los

criterios anteriormente mencionados e indicadores cuantitativos y cualitativos para responder a cada una de ellas

Definición de los criterios para determinar los proyectos a evaluar y selección de estos,

a modo de estudios de caso representativos Análisis documental y estadístico, incluidas las bases y reportes de cada convocatoria,

así como los documentos clave sobre ED a nivel de cada Estado miembro

Entrevistas con responsables de la UE, CONCORD/DEEEP/TRIALOG y el Foro De Educación para el Desarrollo, así como miembros del Parlamento Europeo

Entrevistas en profundidad con responsables de las ONGD implicadas, así como

coordinadoras de ONGd agencias y entidades públicas relevantes en cada país

Entrevistas por teléfono y/o por email en base a cuestionarios preparados previamente

4.3.3 Otras experiencias puntuales relevantes A continuación se ofrece una breve muestra de otras iniciativas relevantes de evaluación de ED en Europa, las cuales han aplicado metodologías relativamente innovadoras aunque diferentes entre sí: UNA EVALUACIÓN DESDE EL SUR País: Noruega Año: 2002 La evaluación fue llevada a cabo por la red RORG (acrónimo en noruego de “Organización de Acuerdo Marco”), caracterizada por promover la mirada y las perspectivas del Sur en Noruega. El objetivo principal de la evaluación fue demostrar la utilidad de los ODM como una referencia común para la ED de acuerdo a la mirada desde el Sur. La evaluación se centró en las actividades de ED de los miembros de la red RORG y en el trabajo de la propia red. El grupo evaluador contó con una persona de Filipinas, otra de Nicaragua y otra de Sudáfrica. Los términos de referencia y los criterios fueron definidos conjuntamente de forma bilateral mediante cuestionarios y mesas redondas con miembros del Sur y de las organizaciones pertenecientes a RORG. Finalmente se publicaron tres documentos relativos a: a) la forma de entender el concepto de ED por parte de los miembros de las diferentes organizaciones, b) una forma de entender común de la cooperación con el Sur y c) una revisión de la misión y visión de la red RORG. PROYECTO EN 15 ESTADOS FEDERALES DE ALEMANIA: EDUCACIÓN 21 País: Alemania Año: 2003-04 Coordinado por la Universidad Libre de Berlín el programa evaluado en cuestión debía trabajar los conceptos de medio ambiente y de desarrollo de la Agenda 21 en las escuelas. El principal objetivo educacional era determinar sus competencias para el futuro y por otro lado, y el principal objetivo del programa era integrar la educación al desarrollo sostenible como prácticas regulares en la escuela. Un profesorado seleccionado (unas 750 personas de cerca de 175 escuelas) fue entrevistado mediante cuestionarios en dos ocasiones en relación a cambios antes y después del proyecto. La primera al inicio del proyecto en 1999 y la segunda un año y medio después.

21

PROYECTO “JUNTOS CONTRA TODAS LAS DISCRIMINACIONES” País: Francia Año: desde 2001 El proyecto que se desarrolla en el ámbito escolar es realizado anualmente por la asociación La Case, desde el año 2001. Cada intervención es seguida por una evaluación en caliente. Al final del año de proyecto, se organizan encuentros (cofinanciadores, público objetivo) y se realizan evaluaciones en frio. El informe de evaluación, que se envía a los colaboradores, se divide de la siguiente forma:

Objetivos Cofinanciadores locales y regionales Acciones realizadas Públicos contactados Dificultades encontradas Perspectivas (objetivos, acciones y público)

El alcance de la evaluación incluye: a) el programa (contenido), b) la cantidad y calidad de los cofinanciadores, c) la diversidad de los públicos objetivo, d) la progresión pedagógica y e) los materiales elaborados. 5º FIN DE SEMANA NACIONAL DE FORMACIÓN Y DE INTERCAMBIO SOBRE LA ED POR LOS JÓVENES Y PARA LOS JÓVENES País: Francia Año: 2005 Se trata de un fin de semana organizado por la asociación Starting-Block con el objeto de incrementar el alcance e impacto de las acciones de sensibilización y de ED en la educación formal y no formal, así como reforzar la red coordinada por Starting-Block que favorece el intercambio de experiencias y la innovación. El fin de semana se evaluó en base a dos enfoques:

El fin de semana como acción de formación, es decir, evaluar particularmente la calidad y la formación conseguida y puesta en marcha.

El fin de semana como acción de ED, es decir evaluar en qué medida la formación ha permitido transmitir un saber que lleve a los jóvenes hacia un cambio de actitudes y de comportamientos como futuros ciudadanos y animadores de ED.

Para la evaluación se eligieron diversas herramientas (colectivas e individuales) e intervinieron numerosos agentes. Esto permitió cruzar las fuentes de información, y obtener una apreciación más apurada y objetiva de la calidad de la formación. Las principales empleadas fueron: a) una evaluación individual en caliente a todos/as participantes en el fin de semana de formación, mediante cuestionarios individuales para los participantes (incluía preguntas abiertas sobre la forma en que conocieron el fin de semana, sus expectativas, puntos fuertes y débiles y un apartado de redacción libre) y b) una evaluación colectiva tras el evento, con el equipo contratado que participó, por medio de un taller focal. Los criterios e indicadores empleados en la evaluación fueron:

Pertinencia: El objetivo de la formación responde a las necesidades expresadas por los participantes

Coherencia: Un fin de semana, con diferentes talleres animados por agentes externos

22

ha sido la manera más apropiada para responder a los objetivos; la pedagogía ha sido interactiva y ha requerido de la participación

Eficacia a corto plazo: los animadores valoran positivamente su momento de

intervención en el conjunto del proyecto; los/as participantes han realizado nexos de unión entre las temáticas abordadas; los/as participantes han marcado su interés de profundizar las reflexiones ofrecidas; los/as participantes han formulado ideas para acciones de ED en las que ellos/as podrán participar.

Eficacia a largo plazo o impacto. Los/as participantes se han apropiado de los conceptos

de ED y son capaces de utilizarlos, de hacer comparaciones y de ilustrarlos LA CAMPAÑA “MAÑANA EL MUNDO… LAS MIGRACIONES PARA VIVIR JUNTOS”. País: Francia Año: 2004 El grupo coordinador de la campaña definió los términos de referencia de esta autoevaluación. Los objetivos de la evaluación eran: la capitalización de la experiencia; la apreciación global de los resultados en función de los objetivos establecidos; la apreciación del impacto de las herramientas de comunicación, pedagógicas e informativas y la identificación de huellas de mejora. Para ello, fueron evaluados:

El funcionamiento de la campaña: comité coordinador, comité de mantenimiento, grupos de trabajo, relaciones internas, relaciones externas.

La acción educativa: adecuación del contenido de la acción con las orientaciones de la campaña; contexto; colaboradores; uso de las herramientas creadas a nivel internacional; creación de herramientas locales; adecuación de las herramientas a la acción con las orientaciones de la campaña; herramientas virtuales, olvidadas, potenciales…

La comunicación y el cabildeo: análisis de la existencia de faltas/fallos; expectativas La evaluación se basó en los siguientes criterios:

innovación pertinencia del tema y de la campaña coherencia eficacia de las acciones eficiencia impacto de los proyectos realizados viabilidad y durabilidad.

23

5. LA EVALUACIÓN DE ED EN ENTIDADES PÚBLICAS VASCAS

5.1 Gobierno Vasco Ya desde el anterior Plan Director 2005-2008 del Gobierno Vasco, dentro de la línea sectorial de ED, se incluía un apartado relativo a “La evaluación como aprendizaje significativo”. Se reconoce que “…la incorporación de la evaluación al ciclo del proyecto comporta una elevada carga pedagógica, porque obliga a dar forma a la intuición primera sobre la cuestión que se quiere trabajar y los colectivos a los que va dirigida, así como sobre los procedimientos y plazos de actuación”. Pero se concluye que “…sólo la decisión de aprender permite establecer indicadores realistas y comprometidos, presupuestos eficientes y acciones eficaces. Y si, en todo caso, los resultados obtenidos no son los esperados, el propósito inicial de evaluar permite identificar los puntos débiles del planteamiento e incorporar, así, los fracasos como aprendizajes, lo que, por paradójico que parezca, fortalece a la organización. Para ello “…la voluntad de evaluar es un reto que exige, antes de nada, el establecimiento de criterios e indicadores para poder llevarla a cabo. Este reto será más fácilmente superable si organizaciones e instituciones son capaces de reflexionar conjuntamente sobre las pautas para evaluar, de manera que las organizaciones puedan redimensionar su trabajo y las instituciones se doten de herramientas más seguras para el conocimiento del impacto real de las actividades que se lleven a cabo”. El actual Plan Director de Cooperación 2008-2011 del Gobierno Vasco continúa con la misma apuesta que el anterior, reconociendo expresamente la importancia de la evaluación de ED como herramienta de aprendizaje interno y apostando coherentemente por ella. Así, en su Directriz estratégica VI, se plantea el “avanzar en el impacto de la Educación para el Desarrollo”. Este objetivo se traduce, en términos más concretos, en la pretensión de superar las acciones dispersas, planificando procesos de mayor impacto que incidan en las variables prioritarias para la educación para el desarrollo: planificación estratégica, evaluación y coordinación. Y, para ello, se apuesta por procesos de asistencia técnica y formación para fortalecer la capacidad de seguimiento y evaluación de las organizaciones sociales. Sin embargo, a la hora de concretar esta apuesta global por la evaluación de ED, no se recogen en los citados Planes Directores objetivos e indicadores medibles relacionados con ello para el período de vigencia de los mismos, ni se asignan recursos específicos para estos fines. Tampoco se detallan segmentos concretos de acciones de ED a evaluar (acciones directas, programas, temáticas o grupos meta específicos, etc.), ni se incluyen menciones a enfoques, metodologías y/o herramientas para ello, aunque sí se distinguen las 3 dimensiones propias de la ED (dimensión cultural, política y pedagógica) como referentes a la hora de plantear ejercicios evaluativos al respecto. No existen, finalmente menciones expresas a la publicación y/o difusión de sus posibles conclusiones/lecciones aprendidas. En cuanto a las Bases y Convocatorias concretas de acciones de ED, se exige que estas “…tengan una repercusión práctica y evaluable en los colectivos destinatarios propuestos en la formulación de cada proyecto”. Más en concreto, aunque no se recoge como obligatorio ni se valora expresamente el incorporar una evaluación externa, sí se considera a la hora de baremar las propuestas presentadas si estas“…se han definido indicadores concretos y verificables de evaluación al elaborar el proyecto…” los cuales “…facilitan la interpretación de lo que ha ocurrido en el proceso del proyecto, yendo más allá de la mera descripción…”. El Gobierno Vasco permite expresamente “…imputar…los costes derivados de una contratación externa a los agentes directamente involucrados en el proyecto, tanto si la evaluación o sistematización es únicamente externa, o si es mixta”. El monto destinado a esta partida no

24

puede superar el 5% del total de los costes directos imputados al proyecto. Se especifica que las auditorias no serán consideradas evaluaciones ni gastos imputables al proyecto. Ni en las memorias anuales de actividad de los últimos años, ni en los sitios web específicos para Cooperación al Desarrollo del Gobierno Vasco existe información sobre el número de evaluaciones externas de acciones de ED realizadas. Tampoco se recogen, difunden y/o publican las potencialmente llevadas cabo, ni sus resúmenes, conclusiones y/o recomendaciones.

5.2 Diputaciones Forales El Plan Director de Cooperación 2009-2011 conjunto de las 3 Diputaciones Forales, recoge la ED como un instrumento/estrategia clave a promover, bajo un enfoque transformador y participativo del desarrollo. Entre los principios del Plan Director se incluye el de evaluación, en general: “A fin de posibilitar una adaptación y mejora constantes, las Diputaciones Forales deben establecer los procesos adecuados para realizar un seguimiento permanente y transversal, tanto del cumplimiento del Plan y de su idoneidad, como de la gestión de todos los proyectos y programas de colaboración”. De la misma forma, se reconoce “…la escasa importancia concedida a este apartado en el terreno de la cooperación al desarrollo, especialmente en la no gubernamental y se considera necesario apoyar financiera y técnicamente la capacitación de la planificación y gestión por resultados de todos los agentes que intervienen en la cooperación…”. Sin embargo, no se recogen en el Plan de Cooperación menciones expresamente dirigidas a la importancia de evaluar acciones de ED, su relevancia o especial dificultad. Tan sólo en el apartado relativo a la educación formal se promueve la “…realización de investigaciones, estudios y análisis propios de Educación para el Desarrollo (identificación de buenas prácticas, definición de programas de innovación educativa, evaluación de proyectos como herramienta de cambio y mejora...)”. Tampoco se recogen, obviamente, detalles sobre qué tipo de acciones de ED evaluar, con qué enfoques específicos, qué herramientas, canales de difusión, etc. ni se fijan objetivos, indicadores y/o recursos concretos y exclusivos asignados para ello. En relación a las Bases y Convocatorias de ED de las Diputaciones Forales, no se exige ni se considera expresamente la evaluación de las propuestas de ED presentadas como uno de los criterios de baremación de las mismas. Se permite expresamente incluir los gastos de evaluación en el presupuesto del proyecto, aunque como indirectos junto a los de gestión y seguimiento (por tanto, aparentemente dirigidos sobre todo a la evaluación interna). Ni en las memorias anuales de actividad de los últimos años, ni en los sitios web específicos para Cooperación al Desarrollo de las 3 Diputaciones Forales existe información sobre el número de evaluaciones externas de acciones de ED realizadas. Tampoco se recogen, difunden y/o publican las potencialmente llevadas cabo, ni sus resúmenes, conclusiones y/o recomendaciones.

5.3 Ayuntamiento de San Sebastián El Plan Director de Cooperación 2008-2011 del Ayuntamiento de San Sebastian otorga una importancia alta a la evaluación de acciones de ED. Así se consideran expresamente como claves en el seguimiento y evaluación del trabajo de ED y sensibilización, los puntos siguientes: a) apoyar procesos de evaluación del conjunto del trabajo de ED y de cada una de las acciones; b) incidir en aspectos cualitativos; apoyar la sistematización de experiencias; c) comunicar y difundir los resultados para intercambiar aprendizajes.

25

Sin embargo, a la hora de concretar esta apuesta global por la evaluación de ED, no se recogen en los citados Planes Directores objetivos e indicadores medibles relacionados con ello para el período de vigencia de los mismos, ni se asignan recursos específicos para estos fines. Tampoco se detallan segmentos concretos de acciones de ED a evaluar (acciones directas, programas, temáticas o grupos meta específicos, etc.). Se menciona que la evaluación de acciones de ED debe llevarse a cabo con un fuerte enfoque participativo, por medio de “cuestionarios, talleres de participación o grupos de trabajo, o cualquier otro mecanismo que se considere oportuno”. Se promueve expresamente el comunicar y difundir los resultados para intercambiar aprendizajes, como clave en el seguimiento y evaluación del trabajo de ED y sensibilización. El reflejo práctico de todo esto en las Bases y Convocatorias de ED ha sido, hasta ahora, alto. Como requisito previo para proyectos de sensibilización y educación para el desarrollo se solicita el “…tener una repercusión práctica evaluable, con formulaciones de acciones que requieran la participación y la movilización de las personas…”. Además esta institución es la única de la CAPV que incluye como elemento expreso de baremación positiva de las propuestas el que esté prevista “…la realización de una evaluación y sistematización del proyecto”. Además, se valora que se hayan definido, para el proyecto, indicadores concretos y verificables, de evaluación, y si estos permiten ir más allá de la mera descripción y medición de resultados, facilitando el análisis y la interpretación de lo ocurrido en el proceso. También se permite expresamente, dentro del presupuesto de costes directos de acciones de ED, una partida específica para evaluación (sin detallar si es externa o interna). Sin embargo, según las impresiones de la responsable municipal de ED, se ha visto que “…no ha tenido mucho efecto esta iniciativa, ya que los proyectos presentados no han incluido planes de evaluación, y las ONGD han priorizado y dedicado esfuerzos a ganar otros puntos del baremo…”. De hecho, están considerando eliminar del baremo “la planificación de una evaluación” debido al poco éxito obtenido hasta ahora y a la necesidad de simplificar el sistema de baremación y hacerlo menos complejo. Ni en las memorias anuales de actividad de los últimos años, ni en los sitios web específicos para Cooperación al Desarrollo del Ayuntamiento existe información sobre el número de evaluaciones externas de acciones de ED realizadas. En conversaciones con la responsable de ED, se destaca la utilidad de los informes de seguimiento que elaboran las ONGD sobre los proyectos apoyados, aunque estos se orientan más al cumplimiento de resultados y no tanto al aprendizaje sobre otros aspectos propios de una evaluación. Por otro lado, se reconoce que no se ha planteado hasta ahora el que el Ayuntamiento realizase o subvencionase evaluaciones de acciones de ED que apoya (aunque podría ser interesante) ya que “…son las ONGD quienes conducen los proyectos aprobados y por tanto deberían de ser ellas las encargadas o promotoras de las evaluaciones…”.

5.4 Ayuntamiento de Vitoria-Gasteiz El Plan Director de Cooperación al Desarrollo 2010-2013 del Ayuntamiento de Vitoria-Gasteiz, apuesta claramente por la importancia de la evaluación, tanto del propio Plan Director, como de las diferentes acciones que este incorpora. Como una de las estrategias para “Lograr La mejora de la calidad y de la eficacia de la cooperación y de la sensibilización”, se recoge la “Realización de evaluaciones que sirvan de aprendizaje para los actores implicados y cuyas conclusiones se socialicen”. Aunque no referido exclusivamente a ED, el Plan Director si recoge una reserva de presupuesto (1,3% del total) para realizar investigaciones, evaluaciones y seguimiento de las acciones apoyadas por el ente municipal.

26

En especial, se desarrolla este objetivo evaluativo para las acciones de ED “…se prevé en especial la realización de evaluaciones externas en los proyectos plurianuales de educación para el desarrollo, haciendo coincidir la evaluación con la identificación del proyecto plurianual siguiente…”. El Plan Director del Ayuntamiento de Vitoria-Gasteiz es el único que realiza menciones expresas a la metodología recomendada para evaluar acciones específicas de ED. Así se recoge que “…para mejorar la eficacia de las actuaciones se pretende integrar la evaluación como herramienta de educación para el desarrollo. El Servicio de Cooperación al Desarrollo pretende recoger la propuesta de la ONGD belga ITECO. Se trata de una evaluación segmentada en ocho aspectos que forman parte de un conjunto y cuyo resultado no es la suma sino la interrelación entre todos ellos: problemática elegida, público identificado, instrumentos educativos, participantes, efectos de la difusión, métodos educativos, cambios en el público después del proceso y efectos del contexto…”. Por parte de la responsable de ED entrevistada, se confirma que no aplican el enfoque propio del Marco Lógico para las acciones de ED (incluida la evaluación de las mismas) por considerarlo poco apropiado para aquellas. Por otro lado, a la hora de evaluar se diferencia entre acciones de sensibilización (de carácter más puntual) y de ED (mayor recorrido, grupos meta definidos, impactos esperables…) poniendo el acento evaluativo, sobre todo, en estas últimas. En relación a las Bases y Convocatorias de ED del Ayuntamiento de Vitoria-Gasteiz, en el caso de los proyectos plurianuales, se recogen menciones expresas a su evaluación: “Todo proyecto tendrá definido y programado un sistema de evaluación. A propuesta del consorcio o la red solicitante, el Ayuntamiento de Vitoria-Gasteiz podrá participar en el desarrollo de las actividades de evaluación programadas. En su caso, el Ayuntamiento podrá realizar o contratar una evaluación externa del proyecto. En caso de programar una evaluación externa, el Ayuntamiento de Vitoria-Gasteiz deberá comunicárselo a la ONGD cabeza del consorcio o red con un mínimo de dos meses de antelación”. También se repite en las Bases y Convocatorias el ya mencionado enfoque metodológico segmentado para evaluación de ED, de la ONG belga ITECO. Consecuentemente con todo ello, la incorporación de aspectos concretos orientados a la evaluación tiene su peso en las Bases y Convocatorias a la hora de baremar las propuestas: Así, se puntúa: “El grado de definición del sistema de seguimiento y evaluación (2 p); La validez de los indicadores que miden los resultados (2 p); La especificación de la línea de base (2 p); Los mecanismos específicos de medición y recogida de datos (2 p)”. En lo relativo al presupuesto, se incluye en el cuadro de gastos un apartado específico para “evaluación: recursos humanos, personas contratadas, etc.”. El Ayuntamiento de Vitoria-Gasteiz ha llevado a cabo varias evaluaciones de acciones de ED, la mayoría externas, varias de las cuales ha difundido públicamente y/o compartido con otras entidades de la CAPV. En la medida de lo posible, sobre todo en acciones directas, se intenta trabajar transversalmente con otros departamentos de tal forma que estos realicen/colaboren en la evaluación. Las principales iniciativas de evaluación de acciones de ED llevadas a cabo desde el Ayuntamiento de Vitoria son:

• Evaluaciones externas cada cuatro años al programa de formación de voluntariado que realiza SETEM, con el fin de conocer el impacto en el público objetivo y el grado de satisfacción.

• Evaluación del convenio de acogida de niños/as saharauis, desde el Gabinete de

Estudios del propio Ayuntamiento, para conocer el grado de satisfacción de las familias que acogen.

• Evaluación al convenio del Ayuntamiento con la delegación de Álava de la Coordinadora

27

de ONGD. Fue una evaluación interna que se centró en analizar eficiencia/coste.

• Finalmente, debe destacarse especialmente la reciente (2011) evaluación externa de los dos proyectos plurianuales de ED que el Ayuntamiento viene apoyando desde 200520. Para ello se ha contratado a una consultora especializada. Esta iniciativa pionera es la única conocida, referida en sentido estricto a evaluación externa de proyectos de ED, impulsada por una entidad pública de la CAPV hasta ahora.

5.5 Ayuntamiento de Bilbao El anterior I Plan Director de Cooperación 2006-2009 contemplaba, como instrumento para conseguir los objetivos del área, el “…diseño y ejecución de un plan de evaluación específica para el área de ED que permita analizar la eficacia de las acciones desarrolladas y la sistematización de buenas prácticas”. El actual II Plan Director 2010-2013 no incluye menciones tan específicas para la evaluación de acciones de ED, limitándose a destacar, dentro de la línea estratégica de mejora de la calidad de la cooperación municipal de Bilbao, como objetivo “…implementar una metodología basada en la evaluación y mejora continua de proyectos…”. En cambio, el Plan Director de Bilbao es de los pocos que recogen expresamente objetivos e indicadores específicos en materia de evaluación de ED. Así, se afirma que “…al término de la vigencia del Plan se han evaluado dos iniciativas de ED….”, asignando recursos separados para ello en sus presupuestos. En noviembre de 2009, se fortaleció el equipo técnico de Cooperación al Desarrollo con la incorporación de una nueva persona, con el objetivo de mejorar la gestión municipal en este ámbito, incluidos los programas de Sensibilización y ED, por lo que se estima adquirirá mayor peso la evaluación de estas acciones. No se detallan metodologías y/o enfoques específicos para evaluar acciones de ED, sin embargo sus responsables resaltan varias limitaciones al respecto como que “…es difícil evaluar ED ya que se necesitan indicadores cualitativos….en los proyectos de ED se definen objetivos ambiciosos (cambios de estructuras sociales) que son difíciles de evaluar…”. Por otro lado también se manifiestan ciertas limitaciones, dado el reducido volumen de fondos que suelen destinarse a ED y la utilidad de las evaluaciones: “…es difícil también ver la relación coste-beneficio de una evaluación de ED. Los recursos necesarios para realizar una evaluación son grandes, para luego realmente darle un uso…”. En cualquier caso, según los/as responsables municipales, parece que el factor para seleccionar a futuro acciones de ED a evaluar no será tanto el volumen económico de las mismas, sin principalmente la continuidad del proyecto: “que se hayan celebrado ya varias ediciones”. No se recogen menciones expresas a la difusión de conclusiones/lecciones aprendidas de procesos evaluativos sobre ED que se realicen por el Ayuntamiento de Bilbao. En relación a las Bases y Convocatorias de ED del Ayuntamiento de Bilbao, no se exige ni se considera expresamente la evaluación de las propuestas de ED presentadas (tanto para proyectos anuales, como bienales de ED) como uno de los criterios de baremación de las mismas, ni tampoco se realizan menciones específicas a su inclusión como parte del presupuesto (aunque se entiende que podría incluirse, tanto como coste directo –si es externa- o dentro de los indirectos – si lo realiza la propia ONGD). Esto contrasta con el caso de los proyectos bienales de cooperación en el Sur, para los cuales se puede destinar hasta un 5% de la subvención para su evaluación externa, requisito que no figura en el caso de los de ED. El Ayuntamiento de Bilbao, hasta ahora, no ha realizado ninguna evaluación de sus acciones de ED. Sólo se tiene la experiencia de un informe cuantitativo (nº de asistentes, etc.)

20 Se trata de los proyectos “Jolas eta Ekin-Juega y Actúa”, (llevado a cabo por el consorcio formado por SERSO-San Viator, Save the Children, Tierra de Hombres) y “Zentzuz Kontsumitu-Consume con Sentido” (realizado por el consorcio SETEM, Mugarik Gabe, Medicus Mundi Álava y Paz y Solidaridad).

28

un poco más exhaustivo de lo normal, realizado a propósito de una iniciativa interna de ED del Ayuntamiento. Ese primer paso les confirmó la utilidad de los informes, aprendizajes y, por tanto, de las evaluaciones.

29

6. LA EVALUACIÓN DE ED EN ONGD VASCAS

6.1 Alcance de las evaluaciones sobre ED por ONGD vascas

6.1.1 Frecuencia e iniciativa de las evaluaciones realizadas Casi la mitad de las ONGD que realizan intervenciones de ED en la CAPV encuestadas manifiestan realizar con regularidad evaluaciones internas de sus acciones de ED, incorporando estas como práctica habitual inherente al ciclo de gestión de prácticamente todos sus proyectos21. Junto a estas, una de cada cinco aproximadamente, evalúa ciertas acciones escogidas de ED, habiendo realizado más de 5 ejercicios de este tipo en los últimos 3 años. En el otro extremo, casi un tercio de las encuestadas reconocen no haber evaluado ningún proyecto, ni siquiera con carácter interno. No obstante, este resultado debe ser matizado. Al solicitar detalles, en conversaciones con responsables de las ONGD encuestadas, sobre qué se entiende por “evaluaciones internas” estas se describieron habitualmente como ejercicios de seguimiento y monitoreo de las mismas, fuertemente orientadas hacia la valoración del cumplimiento de los resultados inmediatos del proyecto/acción. En cambio otros aspectos más propios de ejercicios evaluativos, como el análisis de la pertinencia de la temática, selección grupos meta, impactos en comparación con una línea de base previa, etc. no aparecían tan claramente mencionados22. Como bien afirmaba una de las ONGD encuestadas “…no se ha realizado ninguna, entendida la evaluación como proceso e incluyendo principios de evaluabilidad en la definición inicial del propio proyecto…”. Esto nos hace concluir que el porcentaje de ONGD que realizan “verdaderas” evaluaciones internas sea significativamente menor que el declarado en las encuestas.

Fuente: Encuestas específicas realizadas por ECODE para el estudio

21 Como modelo de integración plena de la evaluación en sus proyectos puede citarse, entre otros, el caso de Círculo Solidario. Esta ONGD incorpora desde 2007 en la planificación de todos sus proyectos un apartado de evaluación interna, así como el detalle de qué eje del proyecto será evaluado (visión Sur, incidencia política..). 22 Para mayor información sobre las diferencias conceptuales entre seguimiento, sistematización y evaluación, puede consultarse el capítulo 3 de este estudio

30

El panorama es significativamente diferente si se consideran las evaluaciones externas, incluyendo en este caso todas aquellas para las que se contó con apoyo de una/varias personas contratadas para ello, aunque también se involucrase parte del equipo interno (tratándose por ello de evaluaciones mixtas). Para este caso, la gran mayoría de las ONGD encuestadas (dos de cada 3) reconocían no haber realizado ninguna en los últimos 3 años. Un pequeño porcentaje (13%) manifestaban haber llevado a cabo sólo una. El mismo porcentaje (13%) habían realizado 2-3 evaluaciones externas en los últimos 3 años. Algunas ONGD encuestadas matizaban afirmando que sí se habían realizado evaluaciones externas pero a nivel de proyectos de ámbito estatal, sin poder circunscribirlas por ello exclusivamente al ámbito de la CAPV. Entre las razones que pueden explicar este menor peso de evaluaciones externas en materia de ED, según las opiniones de las propias ONGD entrevistadas, se detectan varias:

• Por un lado, la evidente necesidad mayor de recursos para el caso de una evaluación externa, los cuales no siempre se hallan disponibles en la organización.

• Pero, junto a lo anterior, la propia tipología de acciones de ED abordadas y su alto

grado de apropiación y ejecución directa por parte de los equipos internos de la ONGD (cosa que no ocurre, por ejemplo con las acciones de cooperación en el Sur, habitualmente ejecutados por contrapartes locales) parece motivar con mayor fuerza las evaluaciones internas, frente a las externas (más habituales, en el caso de proyectos de cooperación en el Sur).

• Existen varios casos entre las ONGD entrevistadas en los que “…no se siente la

necesidad de acudir a evaluaciones externas, porque están satisfechas/os con su forma de evaluar…” u otros en los que, tras ensayar evaluaciones externas, se decidió continuar con ellas a nivel exclusivamente interno por dudas sobre la relación entre el coste y el aporte real de valor añadido de las primeras.

• En otros casos se pone el acento en la utilidad, ya que se considera que las

evaluaciones internas “…les permite conocer datos más concretos que les interesan, y centrarse en mejorar ediciones posteriores de los proyectos…”.

• Finalmente, alguna ONGD recibió formación sobre metodologías específicas de

evaluación de ED, llegando a desarrollar modelos internos propios, por lo que se tiene dudas sobre incorporar a un agente externo que pueda no ajustarse bien a dicha metodología.

En cualquier caso, aún en el caso de evaluaciones lideradas/facilitadas por personas externas, el grado de implicación de los equipos internos de las ONGD (evaluaciones mixtas) tuvo generalmente mucho peso, a juzgar por las opiniones expresadas por las mismas. Esta parece ser una diferencia importante de matiz con las evaluaciones de proyectos de cooperación en el Sur, en las que dicho grado de implicación de los equipos internos, aún existiendo, suele ser sensiblemente menor.

31

Fuente: Encuestas específicas realizadas por ECODE para el estudio En cualquier caso, la frecuencia y decisión de cuándo evaluar (interna y/o externamente) una acción de ED no parecía responder normalmente a la existencia de un plan de evaluación organizado y sistemático al respecto en el seno de la organización, dada la ausencia de este tipo de instrumentos en la mayoría de ellas (solo un 13% afirmaron contar con él). Los criterios habitualmente señalados por las ONGD entrevistadas, como clave para iniciar un proceso evaluativo, eran frecuentemente la duración más o menos prolongada de un proyecto/acción, tras la cual se sentía la necesidad de reflexionar sobre aspectos del mismo que iban más allá de la mera medición de sus resultados inmediatos.

Fuente: Encuestas específicas realizadas por ECODE para el estudio En otros casos, se destacaba la oportunidad/exigencia de este tipo de ejercicios de evaluación por parte de las entidades públicas que financiaban los proyectos23. Sin embargo, no parece ser este el criterio fundamental para decidirse por llevar a cabo una evaluación, a juzgar tanto por las respuestas facilitadas por las propias ONGD (sólo el 20% manifiestan que las EEPP se lo solicitan) como por el análisis de la escasa obligatoriedad de este tipo de iniciativas en las bases y convocatorias de dichas EEPP, realizado en el apartado anterior.

23 Es el caso ya mencionado de los programas de ED del Gobierno Vasco, con la posibilidad de destinar el 5% del presupuesto a una evaluación externa

32

Fuente: Encuestas específicas realizadas por ECODE para el estudio En cualquier caso, y con cierta relación con la falta habitual de Planes de Evaluación, la iniciativa de evaluar parece provenir mayoritariamente del propio departamento/área de ED, y no de toda la organización en su conjunto (sólo en un 12% de casos). Y ello a pesar de la evidente y necesaria interconexión de la ED con todas las áreas de cualquier organización. Esta limitación ha sido también apuntada por varias de las ONGD entrevistadas, las cuales en general siguen percibiendo como “asignatura pendiente” la necesaria implicación y transversalización de este tipo de ejercicios evaluativos de ED a toda la organización, sin que deban ser considerados únicamente como “iniciativas propias de los departamentos de ED y que se agotan en estos”. Como excepción a lo anterior, se recogen iniciativas interesantes24 en las que se ha creado dentro de la organización un “grupo de evaluación inter-departamental” que intenta inculcar y trasladar experiencias de evaluación de ED entre las diferentes áreas de la ONGD.


24 Como es el caso de ALBOAN

33

6.1.2 Recursos empleados para las evaluaciones De acuerdo a las respuestas de las ONGD encuestadas, el perfil tipo de recursos empleados para una evaluación sobre ED respondería a las siguientes características:

• Equipos internos formados por un mínimo de 2 y un máximo de 5 personas. En caso de aporte externo, 1 persona facilita/lleva a cabo el proceso.

• Coste medio de 2.000-3.000 € en el caso de una evaluación interna. En caso de

evaluaciones externas dicho importe se duplica, llegando a alcanzar los 5.000-6.000 €.

• La duración media, tanto para el caso de evaluaciones internas como externas, se fija en 1-2 meses para todo el proceso.

• Los recursos para realizar evaluaciones de ED, sobre todo en el caso de las

evaluaciones externas, provienen mayoritariamente (y en muchas ocasiones, casi exclusivamente) de fondos públicos.

6.2 Metodología para evaluar ED empleada por ONGD vascas

6.2.1 Marcos metodológicos existentes A diferencia del caso de la Cooperación Internacional en el Sur, la cual cuenta con una metodología de evaluación más o menos consolidada y aplicada uniformemente por la mayoría de agentes implicados25, en el caso de la ED en la CAPV no puede afirmarse lo mismo. Menos de la mitad de las ONGD encuestadas afirmaron disponer de marcos metodológicos (Términos de Referencia, formatos, enfoques, criterios, etc.) específicos para evaluar sus acciones de ED. El resto, realizaban prácticas más basadas en su propia experiencia y “el sentido común”, las cuales por ello podían variar en función de cada caso. Si bien lo anterior permite un alto grado de flexibilidad y adaptabilidad de los ejercicios evaluativos sobre ED a cada caso concreto, por otro lado limita su sistematización, comparación, replicabilidad interna y/o difusión externa, además de que se corre el riesgo de incurrir en sesgos interpretativos y/o alcances incompletos en este tipo de procesos.

25 Nos referimos a la metodología de evaluación del CAD-OCDE, asumida por la Cooperación Española, la cual se basa principalmente en el análisis de los criterios de Pertinencia, Eficiencia, Eficacia, Sostenibilidad e Impacto. No es el objeto de este estudio el detallar esta metodología, que por otro lado se supone conocida. En cualquier caso, para más detalles al respecto pueden consultarse los materiales disponible, entre otras, en la Web de la AECID: http://www.maec.es/es/MenuPpal/CooperacionInternacional/Publicacionesydocumentacion/Paginas/publlicaciones_cooperacion.aspx

34

Fuente: Encuestas específicas realizadas por ECODE para el estudio Entre las pocas ONGD encuestadas que afirmaron disponer de modelos/marcos metodológicos propios de evaluación de ED, más o menos consolidados, se destacaron los siguientes:

• Algunas (las menos) afirmaron no encontrar diferencias significativas con la metodología estándar de evaluación de proyectos de cooperación en el Sur, la cual aplican de la misma manera en el caso de acciones de ED26

• Una buena parte de ONGD27 destaca sin embargo, como factor distintivo de la

evaluación de ED, la importancia de tener en cuenta las denominadas “dimensiones de la ED” (pedagógica, cultural y política, como principales, junto a género y dimensión Sur y otras específicas de cada proyecto) bien de manera exclusiva, o bien complementando con ellas los criterios “estándar” de evaluación (pertinencia, eficiencia, eficacia, sostenibilidad e impacto). Bajo este enfoque, a partir de cada una de las mencionadas dimensiones, se van desarrollando las preguntas concretas o elementos de análisis que permiten guiar el proceso evaluativo28.

• Finalmente, alguna de las ONGD consultadas, tras ensayar con varios

métodos/enfoques para evaluar ED, ha optado finalmente por seguir el denominado “Mapeo de Alcances” el cual, aunque no es exclusivo de ED, consideran se adapta especialmente bien a este campo. En esta metodología, esencialmente orientada al aprendizaje interno, el punto central está en la transformación del modo de actuar de las personas/organizaciones implicadas. Los alcances se definen como cambios en el comportamiento, en las relaciones, actividades y/o acciones de las personas, los grupos y las organizaciones con los que un programa trabaja en forma directa. Estos cambios pueden estar vinculados con el proyecto, pero no necesariamente son causados por él. El alcance se diferencia del impacto, siendo éste la meta definitiva que se pretende, pero en sí imposible de evaluar en sentido estricto29.

26 A nivel europeo, por ejemplo, es la opción metodológica elegida por la UE a la hora de plantear sus meta-evaluaciones sobre ED, ya mencionadas en el apartado 4 de este estudio y disponibles en la bibliografía adjunta 27 Muchas de ellas estuvieron inmersas en el interesante y exitoso proyecto “Evaluacción” de fomento de la cultura evaluativa entre las ONGD de la CAPV, desarrollado por INCYDE y Kalidadea con apoyo del Gobierno Vasco 28 Para más detalles sobre las “dimensiones de la ED” y su reflejo en evaluaciones, puede acudirse al apartado 4 de este estudio y/o acceder a los recursos bibliográficos disponibles en Anexos 29 Para más información sobre el “Mapeo de Alcances”, puede acudirse al apartado 4 de este estudio y/o acceder a los recursos bibliográficos disponibles en Anexos

35

Merece la pena destacar que la mayoría de enfoques metodológicos apuntados anteriormente no se refieren exclusivamente a la fase de evaluación de acciones de ED (aunque tengan un reflejo directo y/o aplicación práctica en ella) sino que consisten, más bien, en enfoques de gestión integral de acciones de ED, aplicables por ello en todas las fases de la misma, incluida la de diagnóstico inicial y seguimiento.

6.2.2 Criterios de evaluación manejados Si atendemos a la opinión de las ONGD encuestadas, los criterios habituales de evaluación a los que se otorga más importancia son los más directamente relacionados con el marco ideológico/conceptual de partida (Coherencia y Pertinencia) junto a los que hacen referencia al logro inmediato de los resultados previstos (Eficacia y Eficiencia). Otros criterios clave también tienen un peso importante, aunque algo menor que los anteriores. Es el caso de la Coordinación, Participación, Impacto y Sostenibilidad. En el caso de estos dos últimos criterios, el menor peso puede deberse no a la menor relevancia de los mismos, sino a la especial dificultad de medir el impacto y/o garantizar la sostenibilidad de una acción de ED de una manera neta y rigurosa, tal y como lo han puesto de manifiesto numerosas ONGD en las entrevistas realizadas. Finalmente, existe un tercer grupo de criterios cuya importancia es menor para las ONGD encuestadas. Se trata de los de Diseño, Cobertura y Visibilidad. Si bien en el caso de este último es comprensible su menor relevancia para una ONGD, sí sorprende en cambio la baja consideración de los criterios de Diseño y Cobertura. Aspectos de análisis teóricamente relevantes que engloban ambos (por ejemplo, si la alternativa, herramientas o componentes de actuación escogidas son adecuadas; si se aprovecha el valor añadido y ventajas comparativas de las ONGD; si los indicadores, Línea de Base y diagnósticos previos son acertados; si se ha caracterizado bien a los grupos participantes, sin que existan sesgos; etc.) parecen tener, en cambio, un menor peso para las ONGD.


Junto a la valoración de estos criterios estándar, otras ONGD mencionaron como clave otros más específicos de ED, ya comentados, que hacen referencia a las distintas dimensiones de la ED (política, pedagógica, cultural, de género, innovación, de asilo, dimensión Sur).

36

En cualquier caso, se destacó por varias ONGD consultadas la dificultad metodológica de plantear evaluaciones excesivamente comprehensivas de una acción de ED, dada la complejidad de las mismas. Ello puede llevar a una menor profundidad de análisis, así como en abundar en aspectos que sean de sobra conocidos por la ONGD, todo lo cual redunde negativamente en la utilidad y aplicabilidad práctica final de la evaluación. Por ello, muchas de ellas han optado por centrar los análisis evaluativos en unos pocos criterios/dimensiones/niveles, y no en todos ellos.

6.2.3 Herramientas y fuentes empleadas en evaluación de ED Una buena parte de las ONGD encuestadas basaba sus procesos evaluativos en algún tipo de matriz previa de preguntas a responder e indicadores a valorar para ello, aunque el grado de elaboración y detalle de esta herramienta variaba, desde algunos modelos exhaustivos y comprehensivos, hasta otros muy globales y escasamente operativos. Las herramientas/fuentes empleadas con mayor intensidad por las ONGD en sus evaluaciones de ED eran las encuestas individuales y la observación directa. Se trata de fuentes perfectamente relevantes y válidas, aunque con un riesgo importante de sesgos en las conclusiones obtenidas (en el caso de las encuestas individuales por posibles limitaciones en la representatividad de las personas encuestadas o su interpretación subjetiva de las preguntas; en el caso de la observación directa por potenciales interpretaciones subjetivas del/a observador/a y/o alteración de la conducta en los grupos observados ante su presencia). Otro tipo de herramientas/fuentes que permiten reducir las citadas limitaciones y acercarse a conclusiones con menores sesgos interpretativos, como los cuestionarios masivos, las entrevistas en profundidad y/o los talleres grupales no parecen tener tanto peso a la hora de recoger información por las ONGD vascas para sus procesos evaluativos de ED. De acuerdo a las entrevistas realizadas, las principales razones para ello vendrían dadas por:

• La falta de tiempo y recursos específicos para llevar a cabo estas herramientas, cuya preparación y ejecución requiere de esfuerzos mayores (e incluso, en ocasiones, exigen la presencia de personas expertas externas).

• La falta de especialización y/o dominio de ciertas técnicas por parte de los equipos

internos de las ONGD (como en el caso de talleres grupales, cuestionarios masivos…).

• La escasa disponibilidad/dificultad de acceso a las personas/grupos informantes clave, lo que motiva que se opte por emplear técnicas menos “invasivas” y que requieran de una menor “implicación” de estas personas/grupos (tanto en cantidad de personas contactadas, como en calidad de sus aportes).

Alguna ONGD puntual mencionó otro tipo de herramientas que pueden ser interesantes, como las fichas de registro de actividades para ir recogiendo información de manera paralela durante la ejecución del propio proyecto/acción de ED, la cual será sistematizada y analizada en momentos clave del mismo. Se resaltó por la mayoría de ONGD la gran importancia (y dificultad) de escoger adecuadamente la herramienta a emplear de manera diferenciada para cada grupo meta/informante. En función de su número, perfil, mayor o menor grado de implicación, disponibilidad de tiempo, etc., las herramientas empleadas con ciertos grupos podrían no ser aplicables a otros.

37

Fuente: Encuestas específicas realizadas por ECODE para el estudio En cualquier caso, y a pesar de que una buena parte de las ONGD encuestadas parecían guardar un adecuado equilibrio entre herramientas cualitativas y cuantitativas, las primeras parecen seguir teniendo un mayor peso a la hora de evaluar acciones de ED. Este dato fue también puesto de manifiesto durante las entrevistas en profundidad con las ONGD, quienes destacaron que la tipología de acciones e indicadores habituales en ED (procesos educativos a largo plazo, difíciles de medir numéricamente y/o con matices relevantes que los indicadores cuantitativos no siempre logran captar) junto a la mencionada dificultad de acceder a un número alto de miembros de los grupos meta, hacían especialmente apropiadas las herramientas cualitativas frente a las cuantitativas para su evaluación.


38

6.2.4 Grupos y agentes participantes en evaluaciones de ED Existe coincidencia por parte de las ONGD encuestadas a la hora de destacar a los propios equipos de ED de la organización, junto a los grupos meta directos a los que se dirige el proyecto/acción de ED, como los dos principales agentes/informantes participantes en las evaluaciones llevadas a cabo. Esta conclusión resulta fácilmente explicable y es coherente con la relevancia/importancia clave que tienen ambos a la hora de recuperar información valiosa para la evaluación, así como su mayor accesibilidad al conocer y estar implicados desde un inicio en la acción (sobre todo, obviamente, en el caso de los propios equipos de ED). Otros grupos/informantes clave participantes en evaluaciones, aunque con menor intensidad, son otras áreas de la propia ONGD (habitualmente el departamento de proyectos de cooperación en el Sur) así como personas expertas en materia de ED (sobre todo se refieren a facilitadores/as externos/as que guían el proceso evaluativo). El resto de grupos tienen una participación sensiblemente menor (sociedad en general, medios de comunicación, EEPP que apoyan los proyectos). En especial, destaca la baja participación de otras ONGD, redes y plataformas, así como de agentes del Sur, a pesar de ser ambos clave para garantizar determinados aspectos esenciales de cualquier intervención de ED (como es el caso de la coordinación y trabajo conjunto, o la necesaria visión Sur). Aunque es evidente la menor relevancia/vinculación con el proyecto de todos estos grupos, su falta de aporte en las evaluaciones llevadas a cabo podría estar limitando/impidiendo reflexiones interesantes sobre aspectos que van más allá de los resultados directos perseguidos, pero más vinculadas al diseño, impacto y sostenibilidad de la acción (criterios que, precisamente, han sido valorados con un nivel de importancia menor por las ONGD encuestadas).


39

6.3 Valoración procesos evaluativos de ED y aspectos de mejora

6.3.1 Principales dificultades encontradas La mayoría de ONGD encuestadas coincide en destacar la dificultad de medir impactos en los procesos evaluativos de ED que llevan a cabo. Según las opiniones mencionadas durante las entrevistas mantenidas, esta limitación tiene que ver principalmente con aspectos como:

• La complejidad de medir adecuadamente procesos de transformación social, cambios de actitudes y valores, etc. que requieren plazos de tiempo habitualmente muy superiores a los del proyecto/acción que se evalúa.

• La ya mencionada falta de adecuación de los indicadores cuantitativos al uso, para

medir los cambios de orden más cualitativo propios de las acciones de ED. De la misma manera la dificultad de establecer fuentes que sean apropiadas y, sobre todo, asequibles a los equipos y recursos disponibles (limites, por ejemplo, para encuestas masivas u otras herramientas de análisis estadístico complejas).

• Las dificultades “éticas” para diseñar desde un inicio una intervención de ED que pueda

ser evaluable con rigor “científico”. En especial, las ONGD se refieren a la complejidad de establecer “grupos de control” para comparar con los grupos meta directamente abarcados por el estudio (esto supondría dejar de actuar sobre dichos grupos de control, aunque fuera pertinente incluirlos en la acción, por el mero hecho de poder ser “utilizados” como término de comparación en un momento posterior).

• La necesidad habitual de realizar los procesos evaluativos en momentos que no son los

más apropiados para ello. Así se destaca por varias ONGD que la realización de una evaluación justo al finalizar un proyecto (como se tiende a exigir por parte de las EEPP que lo han apoyado) no permite tener la perspectiva suficiente como para apreciar los impactos, que se manifestarían más a largo plazo.

• La confusión que se provoca en ocasiones al fijar demasiados objetivos/indicadores

para las diferentes dimensiones de la acción de ED. Una multiplicación excesiva de indicadores para cada uno de los niveles pedagógico, político, cultural, etc. e incluyendo en estos tanto efectos inmediatos de la acción como cambios más profundos y duraderos perseguidos, puede llevar a listas excesivas de objetivos/indicadores, confusión y dificultad a la hora de seguir y evaluar los logros concretos alcanzados.

• La dificultad de atribuir impactos “netos” a una acción de ED, normalmente limitada en

cuanto a recursos, tiempo, etc. aplicables a un grupo meta y sobre la que también actúan otros agentes (otras ONGD, entidades públicas, medios, etc.). Por la presión (normalmente de los financiadores) se tiende a fijar objetivos excesivamente ambiciosos, sobre los cuales tan sólo se pude afirmar que “se contribuye a alcanzarlos” pero no tanto que son “consecuencia directa y exclusiva” de la acción.

• La falta de una Línea de Base adecuada, que mida el estado inicial antes de empezar al

acción de ED de los diferentes indicadores que se definen, a fin de poder comparar más tarde su evolución. La falta de recursos disponibles por la mayoría de financiadores para las fases de identificación y diagnóstico previo de una acción de ED tienen mucho que ver con esta limitación.

40

En segundo lugar, con el mismo grado de importancia que la anterior, se destaca también la dificultad de implicar a agentes del Sur en los procesos evaluativos de ED (y, en realidad, en toda la planificación y gestión de estas acciones). A pesar de que la visión Sur sea esencial en cualquier acción de ED, las dificultades de tipo logístico, falta de acuerdos de colaboración estables y planificados con entidades del Sur, sesgos culturales e idiomáticos en la comunicación, alto coste de traer a personas del Sur a la CAPV, dificultades de acomodar sus agendas, etc. hacen que las ONGD perciban como una debilidad su escasa participación a la hora de evaluar sus acciones de ED. Afortunadamente, como mencionaron algunas de las ONGD entrevistadas, las nuevas tecnologías disponibles actualmente (videoconferencias, foros y otros canales en Internet) permiten acercar personas y sus realidades de una manera más sencilla y eficiente, aunque no parece que esta oportunidad se esté aprovechando todo lo que sería óptimo. En menor medida que las dos anteriores, aunque también considerado relevante por las ONGD, se destaca la dificultad de implicar a otros agentes del Norte en las evaluaciones de ED. Circunstancias ya apuntadas, como la falta de disponibilidad, sobrecarga de trabajo, escasa motivación o prioridad, etc. de agentes como el profesorado, responsables de asociaciones, etc. son descritas por las ONGD como posibles causas de todo esto. En cualquier caso, ello redunda en una menor triangulación (contraste de información de varias fuentes, no solo de los propios equipos y los destinatarios/as finales) y, con ello, menor rigor, riqueza y profundidad de las conclusiones obtenidas durante los procesos evaluativos. En este sentido es interesante el testimonio de una de las ONGD que afirmaba que el empleo de terminología específica y demasiado técnica (en cuestionarios, talleres, encuestas) hizo difícil su comprensión por los grupos consultados, lo que generaba un ambiente demasiado “serio, formal y tenso” en las actividades de evaluación con estos grupos. Otra limitación puesta de manifiesto con fuerza por casi todas las ONGD encuestadas, consiste en la falta de formación de sus propios equipos de ED. Poniendo esto en relación con el resto de limitaciones apuntadas y con las entrevistas mantenidas, las carencias se refieren sobre todo a aspectos como los enfoques, criterios y metodologías de evaluación específicos de ED, incluyendo la fijación de indicadores, herramientas y fuentes, elaboración de LDB, definición de grupos meta, etc. La falta de modelos más o menos homogéneos y estandarizados al respecto de todos los aspectos anteriores en materia de evaluación de ED, especialmente a nivel de la CAPV, así como la escasa presencia de personas expertas en esta materia30, hace complejo a los equipos el enfrentarse a estas cuestiones con su nivel de formación actual. Finalmente, una de las últimas dificultades repetidas por las ONGD, tanto en las encuestas como en las entrevistas mantenidas, hacía referencia a la falta de recursos/interés real de la mayoría de entidades públicas financiadoras, a la hora de evaluar las acciones de ED que apoyan. Al tratarse mayoritariamente de ONGD cuyos proyectos dependen financieramente en un alto porcentaje de dichos donantes públicos, la aparente falta de recursos e inversiones públicas para integrar genuinamente la evaluación en los procesos de ED afecta negativamente. En el sentir de muchas de las ONGD consultadas “…las EEPP priorizan muchas veces el hacer, pero no tanto el reflexionar sobre si lo que se hace es lo más adecuado…especialmente en épocas de crisis económica como la actual, en que si hay que recortar se hace de componentes como la identificación y/o evaluación, lo cual repercute muy negativamente en la calidad de las acciones que se apoyan…”. Existen, no obstante, excepciones por parte de entidades publicas vascas, en las que sí se percibe con más fuerza esa apuesta por evaluar/facilitar la evaluación de las acciones de ED que apoyan (las más repetidas por las ONGD consultadas fueron las del Gobierno Vasco y el Ayuntamiento de Vitoria-Gasteiz31).

30 Una de las ONGD entrevistadas estaba siendo acompañadas por un experto belga para trabajar sus evaluaciones de ED 31 Para más datos sobre el tratamiento de la evaluación de ED en las Bases y convocatorias de EEPP de la CAPV, véase la primera sección de este apartado

41


6.3.2 Posibles líneas de mejora Las principales recomendaciones de mejora apuntadas por las propias ONGD guardan relación, como es lógico, con las dificultades mencionadas por las mismas anteriormente. Así la principal y repetida por la práctica totalidad de las entidades encuestadas se refería a mejorar/potenciar la formación de los equipos locales de ED (incluyendo a los/as voluntarios/as) en materia de evaluación de las acciones que llevan a cabo. Según las propias ONGD, esto permitiría, por un lado, una mejor integración de aspectos de evaluabilidad desde el propio diseño inicial de las acciones (LDB, objetivos e indicadores adecuados, etc.); por otro lado, también ayudaría a planificar, elegir y organizar mejor los recursos, objetivos, enfoques y herramientas a la hora de llevar a cabo una evaluación, bien sea interna, externa o mixta. En este sentido, varias ONGD manifestaron que las planificaciones de recursos y tiempo para evaluaciones no suelen ser realistas, y los efectivamente empleados superan normalmente los previstos inicialmente. Una de las posibles iniciativas complementarias al punto anterior, mencionadas por varias ONGD durante las entrevistas, consistía en “evaluar y aprender de las propias evaluaciones realizadas”, tratando además de sistematizar sus procesos, pasos, etc. y crear protocolos al respecto. El intercambio de experiencias y difusión de evaluaciones realizadas en la CAPV (y a un nivel más amplio) también se destaca como estrategia interesante al respecto. Por otro lado, las ONGD encuestadas solicitan a las EEPP que apuesten con mayor decisión por la evaluación de las acciones de ED, asignando recursos específicos para ello como parte integral del proyecto, adaptando tiempos y exigencias para que las ONGD puedan llevar a cabo estos procesos (no necesariamente justo al terminar el proyecto), fomentando el intercambio de experiencias entre entidades, etc. Todo ello de manera que al final se logre generar cultura evaluativa en las ONGD e incrementar el número de evaluaciones de ED (tanto internas como externas) que se llevan cabo (como es la tendencia en el caso de proyectos de cooperación en el Sur, aún muy por encima de la ED en este sentido).

42


6.4 Utilidad real, difusión y lecciones aprendidas de las evaluaciones realizadas

6.4.1 Difusión de las evaluaciones realizadas Sorprende en primer lugar el escaso porcentaje de evaluaciones de ED llevadas a cabo por las ONGD encuestadas que se han publicado formalmente, estando a disposición de toda la comunidad de ONGD (apenas 1 de cada 10). Este escaso porcentaje contrasta con la aparente mayor difusión de evaluaciones en otras áreas, como las realizadas en materia de cooperación al desarrollo en el Sur. Una posible explicación puede encontrarse en el hecho de que la mayoría de evaluaciones de ED analizadas en la CAPV provienen de la iniciativa de las propias ONGD, y no tanto de las EEPP financiadoras (siendo en este segundo caso mucho más habitual, por razones de transparencia y rendición de cuentas, que se publiquen los informes finales o resúmenes ejecutivos de las mismas). En cambio en el caso de evaluaciones realizadas a iniciativa de las propias ONGD la publicación suele se menor, bien por falta de recursos, bien por ciertas reticencias a “revelar sus debilidades” públicamente.


43

Más allá de la publicación formal de la evaluación, existen otros canales de difusión de las conclusiones, recomendaciones y lecciones aprendidas de las evaluaciones de ED realizadas (talleres, congresos, seminarios, presentaciones, foros, plataformas, informalmente, etc.). Preguntadas las ONGD por el grado de difusión logrado en los ejercicios evaluativos sobre ED realizados, los resultados arrojan que a nivel interno sí existe una cierta difusión (aunque no óptima, ya que sólo el 50% consideran que fue adecuada). En cambio, sorprende la opinión generalizada de que a nivel externo no se han difundido dichas evaluaciones (ni una sola ONGD de las encuestadas consideró que la difusión a este nivel había sido adecuada). Esta opinión se corroboró durante las entrevistas llevadas a cabo, donde la mayoría de ONGD recomendó como uno de los principales aspectos de mejora el desarrollar iniciativas de intercambio de experiencias, metodologías, enfoques, etc. sobre evaluación de ED entre las ONGD de la CAPV.


6.4.2 Grado de aprendizaje real de las evaluaciones de ED realizadas

En líneas generales, una buena parte de las ONGD que han llevado a cabo un proceso de evaluación de ED consideran que la utilidad y aprendizaje efectivo de la misma ha sido notable (cerca de la mitad lo valoran como “mucho” y sólo un 10% lo considera “poco”). Esto confirma la pertinencia global de apostar por las evaluaciones de ED, salvando ciertas reticencias iniciales mencionadas puntualmente por algunas ONGD sobre la eficiencia, coste y utilidad de las mismas. Preguntadas las ONGD sobre qué aspectos principales han resultado más útiles y/o cuáles han sido las principales enseñanzas obtenidas, las respuestas fueron orientadas sobre todo hacia la dificultad de evaluar todo a la vez, la propia metodología e importancia de la evaluación en sí misma, la selección de grupos meta y aspectos como la pertinencia, coherencia e impacto:

• “No todo se puede evaluar, es necesario tener claras y seleccionar las dimensiones, aspectos, niveles, etc. del proyecto, y decidir con claridad las que abarca la evaluación”

• “Nos han indicado cómo llegar mejor a las personas destinatarias, así como qué

herramientas son más adecuadas para cada grupo”

44

• “Han contribuido a avanzar en la metodología a la hora de implementar las acciones y

actividades”

• “Se han generado aprendizajes sobre la propia evaluación: herramientas, inclusión de nuevos criterios, etc.”

• “Se ha logrado un buen aprendizaje en la planificación, ejecución, coordinación y en la

propia evaluación”

• “Se nos ha puesto de manifiesto la necesidad de concretar el público objetivo y su convocatoria, entre otras”

• “Se ha insistido en la necesidad de hacer evaluaciones continuas y no sólo al final del

proceso”

• “Se ha aprendido sobre criterios que habitualmente no se recogen en nuestros informes de seguimiento internos, como la coherencia, pertinencia e impacto”


6.4.3 Recursos sobre evaluación de ED disponibles en la CAPV En términos generales puede decirse que los recursos específicos sobre evaluación de ED disponibles actualmente en la CAPV son considerados insuficientes por las ONGD encuestadas. Como excepción, se destaca muy positivamente por un gran número de ellas la experiencia ya mencionada de fomento de la cultura evaluativa “Evaluacción”, desarrollada por Círculo Solidario, INCYDE y Kalidadea durante 2007-2008 y apoyada por el Gobierno Vasco y el Ayuntamiento de Bilbao32.

• En línea con las conclusiones de los apartados anteriores, prácticamente ninguna de las ONGD encuestadas conocía otras evaluaciones (diferentes a las propias, en su caso) o sus principales conclusiones, recomendaciones y/o lecciones aprendidas, a nivel de la CAPV.

• En relación a foros, plataformas, etc. de discusión e intercambio de experiencias en

materia de evaluación específica de ED, se destaca por las ONGD la ya citada de 32 http://www.cseuskadi.org/home/cambiandoNorte-evaluAccion.asp

45

“Evaluacción”, junto a otras como la Coordinadora de ONGD de Euskadi33, o el encuentro “Mosaico y Trueque de Saberes34” (no específicas de la CAPV). En todas ellas se trata de iniciativas más o menos puntuales, pero no de foros regulares y activos que se mantengan con carácter continuado, como centros de recursos, etc.

• Las mismas limitaciones se manifiestan a la hora de acceder a manuales, material

bibliográfico, estudios, diagnósticos, etc. específicos en materia de evaluación de ED (aunque sobre ED en general sí existen varios materiales disponibles). De nuevo la única excepción notable son los materiales elaborados en el marco de la iniciativa “Evaluacción” que parecen ser recordados y utilizados por una buena parte de las ONGD encuestadas.


33 Aunque según la entrevista realizada con la Coordinadora de ONGD de Euskadi, se señala que en la actualidad ya no existe el grupo de trabajo en ED, y las actividades que hacen de sensibilización se reparten entre el área de comunicación, campañas e incidencia y movilización 34 http://www.acsurasturias.org/contenidos/proyectos/TruequeDeSaberes/index.html

46

7. CONCLUSIONES PRINCIPALES

• A diferencia del panorama de evaluación de acciones de Cooperación al Desarrollo en el Sur (metodología del CAD-OCDE, asumida por la Cooperación Española, basada en los criterios de pertinencia, eficiencia, eficacia, sostenibilidad e impacto) las metodologías, enfoques y herramientas específicas para evaluar acciones de ED son escasas y no existe un modelo uniforme de referencia empleado de manera común, homogénea y uniforme por la mayoría de agentes de cooperación (EEPP, ONGD, doctrina).

• Las principales evaluaciones sobre acciones de ED realizadas hasta ahora a nivel

europeo han alternado el empleo de la metodología “estándar” de evaluación para proyectos en el Sur citada, con otras metodologías más específicas y adaptadas a la realidad de la ED, que eviten las limitaciones de la primera. Entre las segundas, las más repetidas han sido: 1) las basadas en las “dimensiones” (política, cultural y pedagógica) de la ED; 2) la evaluación segmentada, o por niveles, propuesta por ITECO; 3) la basada en el Mapeo de Alcances, que otorga el peso a los cambios esperados en cada uno de los grupos implicados.

• A pesar del importante impulso global dado a la evaluación en los últimos años desde

las entidades públicas de la CAPV, lo cual tiene su reflejo en sus Planes Directores de Cooperación, apenas existen ejemplos de evaluaciones concretas de acciones de ED impulsadas desde estas entidades públicas (la reciente evaluación externa de sus proyectos plurianuales de ED, impulsada por el Ayuntamiento de Vitoria-Gasteiz, es una interesante excepción).

• De la misma manera, y en línea con lo anterior, aún son pocas las medidas más

concretas y operativas para incentivar la evaluación de acciones de ED por parte de las propias ONGD, en las bases y convocatorias de las entidades públicas vascas (la asignación de un 5% del presupuesto de programas de ED expresamente para evaluación, por parte del Gobierno Vasco, es una excepción valorada muy positivamente por las ONGD).

• Un buen número de las ONGD de la CAPV realizan regularmente algún tipo de revisión,

reflexión o evaluación interna sobre sus acciones de ED. Sin embargo, en muchos casos se trata más bien de ejercicios de seguimiento y/o monitoreo (orientados por ello hacia la valoración del cumplimiento de los resultados directos perseguidos) pero no tanto hacia otros aspectos relevantes (como la pertinencia de la temática, selección de grupos meta, impactos en comparación con una línea de base previa, etc.) más propios de una evaluación integrada desde un inicio como proceso clave en una acción, en sentido estricto.

• El peso de las evaluaciones externas en ED es sensiblemente menor que en

proyectos de cooperación al desarrollo en el Sur. Incluso en los casos en los que participan personas facilitadoras externas en procesos evaluativos, estas se suelen integrar en equipos mixtos junto a personal interno del equipo de la ONGD. Razones económicas (menor disponibilidad de recursos para contrataciones externas) junto a una posible mayor apropiación de las acciones de ED e implicación directa de sus equipos por parte de las ONGD vascas (a diferencia de los proyectos en el Sur, habitualmente ejecutados por socias locales) parecen explicar esta peculiaridad. También existen algunos casos puntuales en los que se detecta cierta “desconfianza” sobre las ventajas reales de llevar a cabo evaluaciones externas.

47

• Las evaluaciones de ED llevadas a cabo por las ONGD vascas no responden, habitualmente, a planes globales de evaluación periódicos, organizados y/o sistematizados en el seno de la organización en su conjunto. Tampoco la exigibilidad por parte de las entidades financiadoras parece tener un peso alto a la hora de evaluar acciones de ED. Las iniciativas se deben más bien, en la mayoría de los casos, a la necesidad percibida internamente por los propios equipos de ED de las ONGD de evaluar una u otra intervención concreta, sobre todo en base a su continuidad en el tiempo.

• Los recursos medios empleados por las ONGD vascas para llevar a cabo

evaluaciones externas de ED suelen ser ligeramente inferiores a los asignados para evaluaciones de intervenciones en el Sur (lógico por la menor necesidad de viajes y desplazamientos), requieren de un tiempo similar (1-2 meses) y suelen integrar equipos algo más numerosos (hasta 4-5 personas) dada la fuerte participación de personal interno ya apuntada.

• Los criterios estándar de evaluación más directamente relacionados con el marco

“ideológico” de la acción (pertinencia y coherencia), así como los que hacen referencia al logro inmediato de los resultados previstos (eficacia y eficiencia) son a los que las ONGD otorgan mayor peso a la hora de evaluar ED. Otros, como impacto y sostenibilidad, se consideran relevantes pero, en la práctica, suelen existir serias limitaciones para su adecuada/estricta valoración. Finalmente, criterios aparentemente importantes de reflexión, como el diseño y la cobertura, parecen tener en cambio una importancia o prioridad menor para las ONGD.

• La complejidad, riqueza de matices y amplitud de grupos implicados en la mayoría de

acciones de ED, hacen difícil el tratar de incluir demasiados criterios/niveles/dimensiones a la hora abordar un mismo proceso evaluativo, corriendo con ello el riesgo de realizar análisis excesivamente superficiales, poco adaptados a las necesidades/intereses reales de unos u otros agentes interesados y, en definitiva, menos útiles.

• En general, las ONGD tienden a emplear herramientas cualitativas (sobre todo

encuestas individuales y observación directa) sobre las cuantitativas, a la hora de recoger información en sus procesos evaluativos de ED. Ciertas herramientas interesantes a priori (como los cuestionarios masivos, o los grupos focales de discusión) no son tan empleadas, normalmente por falta de formación, medios y/o disponibilidad de los equipos y/o resto de grupos participantes. Todo ello permite cierta flexibilidad y adecuación a las posibilidades reales de las ONGD, pero por el contrario puede generar ciertos sesgos en el análisis y reducir, con ello, la validez de las conclusiones obtenidas.

• Los grupos más frecuentemente consultados por las ONGD en sus

evaluaciones de ED son sus propios equipos de ED responsables de la acción, así como los grupos meta directos de la misma. Otros, como parte de la sociedad en su conjunto, los medios y, sobre todo, entidades del Sur, EEPP y otras ONGD/plataformas/redes no tienen una participación tan relevante, lo que puede mermar la capacidad de reflexionar sobre aspectos más globales como la coherencia, diseño, encaje en procesos estratégicos o valor añadido de las acciones evaluadas.

• La dificultad de medir, sobre todo con indicadores cuantitativos, el impacto

de las acciones de ED, así como de implicar suficientemente a los grupos de agentes del Sur en este tipo de procesos, son las principales limitaciones mencionadas por las ONGD a la hora de llevar a cabo evaluaciones de ED. Junto a ellas, la falta de formación interna y de referencias metodológicas específicas para evaluar ED, unidas a cierto desinterés de las EEPP a la hora de fomentar real y profundamente la evaluación de acciones de ED que apoyan, son debilidades también percibidas y reiteradas por aquellas.

48

• El nivel de publicación, difusión y/o puesta en común de las evaluaciones

sobre ED realizadas en la CAPV (o, al menos, sus principales conclusiones y lecciones aprendidas) es extremadamente bajo, repercutiendo esto negativamente en el aprendizaje y mejora global sobre ED en el sector. El mayor peso de evaluaciones internas, las reticencias a “mostrar debilidades en público” y la escasez de evaluaciones sobre ED impulsadas directamente por entidades públicas, parecen ser las causas principales de ello.

• En buena parte por lo anterior, la mayoría de ONGD vascas manifiestan que los

recursos específicos sobre evaluación de ED disponibles en la CAPV (ejemplos concretos de evaluaciones, foros, manuales, etc.) son claramente insuficientes para las necesidades existentes, aunque existen algunas iniciativas puntuales al respecto en los últimos años que parecen haber tenido una aceptación y aprovechamiento óptimos por la mayoría de ONGD implicadas.

• El grado de satisfacción con la utilidad real y aplicabilidad práctica de las

evaluaciones sobre ED llevadas a cabo por las propias ONGD es, salvo excepciones, alto. Entre los principales aprendizajes obtenidos, se destacan la necesidad de priorizar criterios/niveles de evaluación, la aplicabilidad de las propias metodologías empleadas para la evaluación a la hora de diseñar futuras acciones de ED, o la necesidad de definir con precisión los grupos meta y otros participantes, así como emplear herramientas adecuadas y específicas para cada uno de ellos.

49

8. RECOMENDACIONES

8.1 Para las Entidades Públicas Vascas

• Acompañar y desarrollar la actual apuesta global por reforzar la evaluación en sus Planes Directores, dotándose además de objetivos e indicadores más concretos para la referida específicamente a acciones de ED. En especial fomentar las evaluaciones externas de acciones de ED impulsadas directamente desde la Entidad Pública, al menos sobre aquellos programas de ED que sean clave, bien por su continuidad, alcance y/o importancia estratégica para la entidad.

• En la medida de lo posible, tratar de incorporar desde un inicio a las ONGD

implicadas, a la hora de definir los Términos de Referencia de las evaluaciones sobre acciones de ED que se impulsen desde las entidades públicas financiadoras. En especial, a la hora de valorar el momento idóneo para realizar dichas evaluaciones (garantizando que existe la perspectiva suficiente para medir aspectos como el impacto) así como para seleccionar los componentes, criterios o niveles sobre los que centrará el peso de la evaluación (minimizando los riesgos de solapamiento con ejercicios internos que ya haya realizado la propia ONGD).

• Reforzar los mecanismos prácticos y operativos en sus Bases y Formularios de

acciones de ED dirigidos a potenciar la realización de evaluaciones de las mismas por las ONGD. En especial, otorgar importancia en los criterios de baremación a la incorporación de aspectos orientados a la evaluación de la propuesta que se presente; y permitir asignar un % del presupuesto solicitado específicamente para la realización de una evaluación de la acción.

• Impulsar estudios, investigaciones, conferencias, foros, debates, talleres, etc.

sobre evaluación de ED en la CAPV, de manera que se pueda reflexionar y conocer en profundidad por todos los agentes de cooperación vascos las últimas experiencias, opciones y herramientas existentes a nivel europeo. A poder ser, priorizar aquellas iniciativas que contengan un enfoque eminentemente práctico, frente a otras de formación más teórica, de cara a su mayor aplicabilidad y utilización.

• Facilitar los recursos necesarios para que el diseño de las acciones de ED que se

presentan por las ONGD incorpore adecuadamente aspectos de evaluabilidad (líneas de base precisas, objetivos e indicadores adecuados, fuentes de verificación, etc.). Establecer convocatorias específicas para identificación (al menos en el caso de programas) y/o permitir asignar gastos de identificación anteriores en los presupuestos solicitados son algunas de las opciones clave para ello.

• Evitar fomentar (aún de manera indirecta) la definición de objetivos e impactos

sobredimensionados y menos realistas por parte de las ONGD a la hora de diseñar sus acciones de ED. Ser conscientes de las posibilidades reales de influencia de un proyecto concreto, con recursos limitados y a corto-medio plazo (1-3 años) a la hora de lograr cambios netos y atribuibles sobre aspectos complejos relativos a cambios en la esfera cultural o política, en los que habitualmente intervienen otros muchos factores y requieren de mucho más tiempo y recursos.

50

• Potenciar la máxima difusión pública de las evaluaciones sobre ED realizadas

en la CAPV (desde luego, para el caso de todas aquellas que se lleven a cabo con fondos públicos) motivando además a las ONGD que apoya cada entidad a intercambiar experiencias al respecto de procesos evaluativos de ED realizados, principales conclusiones y lecciones aprendidas, dificultades encontradas, etc.

8.2 Para las ONGD vascas

• Elaborar planes de evaluación de ED internos en la organización, en los que la decisión de evaluar una u otra acción esté prevista de antemano, con criterios claros y no sea coyuntural o dependiente exclusivamente de la disponibilidad de fondos públicos para ello. Fomentar la inserción de dichos planes en los globales de evaluación de la ONGD, tratando de garantizar la máxima coherencia interna entre las evaluaciones de ED y las que se realicen para el resto de áreas de la ONGD.

• Potenciar los ejercicios evaluativos de sus acciones de ED, no sólo limitados a la

valoración del cumplimiento de los resultados directos de las mismas (lo cual sería más bien monitoreo o seguimiento) sino reflexionando también sobre otros aspectos más globales, como la pertinencia de la temática abordada, valor añadido, encaje en procesos estratégicos, idoneidad de grupos meta, calidad de la participación, impactos más profundos y duraderos, etc..

• Tratar de elaborar y basar sus evaluaciones de acciones de ED en matrices previas

que detallen criterios, preguntas, indicadores y fuentes que guiarán el proceso evaluativo, aportando de esta manera mayor rigor y objetividad al mismo. Aún en el caso de sistematizaciones (en las que se otorga el peso principal a las opiniones subjetivas de los diferentes agentes/grupos implicados en la acción) fomentar también el empleo de este tipo de matrices para la recogida y análisis de la información de una manera ordenada y asegurándose que responde a las necesidades de aprendizaje planteadas previamente.

• En la medida que se disponga de recursos para ello, tratar de involucrar a personas

expertas externas en las evaluaciones que se lleven a cabo. Aún en el caso de evaluaciones con una fuerte implicación de equipos internos, lo cual es deseable, debe valorarse la objetividad, credibilidad, perspectiva y aprendizaje interno (en forma de herramientas de evaluación) que puede aportar la participación de un agente externo al propio equipo que ha gestionado la acción.

• Debe considerarse la evaluación como un proceso integrado en todas las fases

de una acción de ED, y no sólo al final. Especialmente, debe cuidarse el incorporar elementos de evaluabilidad en la fase de diseño inicial, como la elaboración de una adecuada Línea de Base, la delimitación de grupos meta y otros participantes claros y bien identificados, o la definición de objetivos pertinentes y fácilmente medibles en base a indicadores expresamente asignados para ello.

• Priorizar con claridad los criterios, niveles o dimensiones de la evaluación de

una acción de ED en los que se desea profundizar, a la hora de diseñar los Términos de Referencia y/o matriz de diseño de la misma, ya que es muy difícil tratar de abordar todos y con el mismo grado de profundidad. Buscar para ello siempre la máxima utilidad, tratando de evitar solapamiento con aspectos ya potencialmente conocidos por la ONGD (como la eficacia o pertinencia), buscando en cambio reflexiones/aprendizajes sobre otros más difícilmente abordables en la práctica habitual de la ONGD (coherencia, diseño, cobertura o impacto).

51

• Sin dejar de apostar por herramientas cualitativas sencillas y más asequibles para obtener la información necesaria en las evaluaciones de ED, tratar de completar con otras que incrementen la representatividad y/o objetividad de las conclusiones, minimizando los riesgos de sesgos y subjetividad. En este sentido, las encuestas masivas y los grupos focales de discusión son herramientas que deben potenciarse en este tipo de procesos, aunque requieran algo más de dedicación y recursos.

• Los grupos/informantes participantes durante un proceso evaluativo de ED no deberían

limitarse (aunque, obviamente, sí concentrarse) a los propios equipos internos de la ONGD y los grupos destinatarios directos, sobre todo si se desea obtener reflexiones relevantes sobre aspectos como el propio diseño, coherencia y pertinencia, el impacto o la sostenibilidad de la acción. Para ello, en la medida de lo posible, debe tratar de implicarse también a entidades del Sur, entidades públicas, otras ONGD, plataformas y/o redes, segmentos de sociedad en su conjunto y medios de comunicación.

• El empleo de nuevas tecnologías de la comunicación (videoconferencias, foros y

chats en Internet, etc.) es precisamente una buena estrategia a explorar y potenciar por las ONGD para implicar a todos estos grupos anteriores en evaluaciones de ED y, en especial, a los agentes del Sur (cuya escasa participación es una de las principales limitaciones percibidas por casi todas las ONGD de la CAPV).

• Es preciso delimitar con claridad y realismo los efectos directamente

perseguidos por una acción de ED, que esta debe garantizar en el tiempo y con los recursos disponibles, de aquellos otros referidos a cambios más profundos y duraderos a los que la acción podrá, en su caso, contribuir pero siempre junto a otros factores. Evitar definir un número excesivo de indicadores, que confundan/solapen los logros pretendidos en uno u otro nivel y/o, por el contrario, se refieran a actividades a realizar y no a efectos a conseguir con ellas.

• Debe apostarse por una mayor difusión de las evaluaciones de ED realizadas por

las ONGD (tanto internas como, sobre todo, mixtas y/o externas). Si bien no es imprescindible revelar aspectos concretos y específicos (como las debilidades, etc.) detectados en cada caso concreto, si sería interesante compartir las principales lecciones aprendidas en abstracto, así como la propia metodología y herramientas de evaluación empleadas y las dificultades encontradas. La creación para ello de espacios, foros y/o “centros de recursos”, tanto presenciales como virtuales, es una estrategia interesante a valorar, estando llamada la Coordinadora de ONGD de Euskadi a jugar un papel y liderazgo importantes al respecto.

52

ANEXOS

Anexo I. Bibliografía y recursos DOCUMENTOS DE DEBATE Y EVALUACIONES INTERNACIONALES

EDUCATION AU DEVELOPPEMENT ET A LA SOLIDARITE INTERNATIONALE COMMENT auto –EVALUER SES ACTIONS ? Autor: Gilbert Graugnard, et Ana-Maria Oliveira (CIEDEL) Año: Septiembre 2009 URL: http://www.educasol.org/IMG/pdf/guide_methodologique_auto_evaluation_des_actions_d_ead-si.pdf

Guía de autoevaluación publicada por EDUCASOL para acciones de educación para la ciudadanía. Explica el porqué de una evaluación, las fases a seguir para hacer una autoevaluación con principios, indicadores y su comunicación y posterior aplicación.

GENERAL EVALUATION OF ACTIONS TO RAISE PUBLIC AWARENESS OF DEVELOPMENT ISSUES IN EUROPE /DEVELOPMENT EDUCATION EC Autor: IBF International Consulting y BAa Consultors (financiado por la Comisión Europea). Año: Diciembre 2008 URL: http://ec.europa.eu/europeaid/what/civil-society/documents/de-ar_evaluation2008.pdf

Evaluaciones realizadas con el objetivo de ayudar a la Comisión Europea a definir su estrategia en Educación al Desarrollo y hacer recomendaciones para mejorar el impacto de los proyectos de ED. Muestra qué metodología se ha seguido para evaluar (bajo los criterios de relevancia, eficiencia, eficacia, impacto y sostenibilidad) y se describen diferentes conclusiones sobre buenas prácticas,estrategias acertadas, etc.

CONSULTATION ON THE EUROPEAN COMMISSION DRAFT EVALUATION REPORT ON EC FUNDED DEVELOPMENT EDUCATION AND AWARENESS RAISING ACTIONS. COMMON CONTRIBUTION OF THE CONCORD DEVELOPMENT EDUCATION FORUM AND THE CONCORD FUNDING FOR DEVELOPMENT AND RELIEF WORKING GROUP. Autor:CONCORD Año: 2009 Disponible en www.deeep.org

Analiza el documento GENERAL EVALUATION OF ACTIONS TO RAISE PUBLIC AWARENESS OF DEVELOPMENT ISSUES IN EUROPE /DEVELOPMENT EDUCATION, sus aportaciones están dirigidas a la estrategia de ED de la Comisión Europea. Aunque hace una aportación a la forma en la que se han realizado las evaluaciones y que se puede aplicar a las evaluaciones de ED. Destaca, entre otros, la importancia de formar una adecuado equipo evaluador con conocimientos de ED.

GLOBAL EDUCATION, PUBLIC AWARENESS- RAISING AND CAMPAIGNING ON DEVELOPMENT ISSUES AN OVERVIEW OF EVALUATION PRACTICE AND POLICY Autor: Eddie O’Loughlin, Liam Wegimont (Hosted by the German Ministry for Economic Co-operation and Development (BMZ) and the OECD Development Centre) Año: 2007 URL: http://www.oecd.org/dataoecd/43/59/38405962.pdf

Nombra los momentos internacionales más importantes en ED que sirven para enmarcar las políticas actuales de ED, así como los seminarios y encuentros sobre evaluación de ED. Detalla algunas metodologías sencillas utilizadas en algunos países europeos para proyectos de ONGD concretos. Recoge recomendaciones para las ONG en relación a la contratación de una evaluación externa: importancia de evaluar, estar preparados para realizar cambios teniendo en cuenta los resultados de la evaluación, definir bien los indicadores teniendo en cuenta el contexto, elegir a los/as evaluadores adecuados con competencias en evaluación ED que deberán de participar en todo el proceso evaluativo; facilitar el intercambio de experiencias a nivel internacional, trabajo conjunto Norte-Sur, etc. ; coste de la contratación de un equipo evaluador.

54

EVALUATION DES PROJETS D’ÉDUCATION AU DÉVELOPPEMENT COFINANCÉS AVEC LES ONG DANS LE MILIEU SCOLAIRE Autor:EDI-IRFED (ONGD, París) y Manchester Metropolitan University Año:1998 URL: http://ec.europa.eu/europeaid/how/evaluation/evaluation_reports/reports/acp/951236_fr.pdf

Evalúa proyectos que realizan las ONGD con el apoyo de la Comisión Europea para incluir ED en los colegios en el periodo 1991-94, con especial análisis en la dimensión europea, visión Sur, la definición de ED y su estrategia y la relación con la Comisión Europea en cada proyecto.

EVALUATION OF GOOD PRACTICE IN THE FIELD OF EDUCATION FOR DEMOCRATIC CITIZENSHIP IN 31 OF 48 MEMBER STATES OF THE CULTURAL CONVENTION OF THE COUNCIL OF EUROPE Autor: AD HOC COMMITTEE OF EXPERTS FOR THE EUROPEAN YEAR OF CITIZENSHIP THROUGH EDUCATION (CAHCIT) Año: Noviembre 2006 URL: http://www.coe.int/t/dg4/education/edc/Source/Pdf/Coordinators/2006_18Rev14_GoodParacticesEDC.pdf

Documento que recoge buenas prácticas de ED en países miembros de la UE. No hay una evaluación como tal sino una respuesta breve a la pregunta de porqué esa acción se considera una buena práctica. Se responde describiendo los resultados positivos obtenidos.

CONSENSO EUROPEO SOBRE DESARROLLO. LA CONTRIBUCIÓN DE LA EDUCACIÓN Y DE LA SENSIBILIZACIÓN EN MATERIA DE DESARROLLO. Autor: Diferentes autores (comisión europea, CONCORD Centro Norte-Sur, GENE, gobiernos, agencias de desarrollo…) Año: 2007 URL: http://europa.eu/legislation_summaries/development/general_development_framework/r12544_es.htm

Contribución a la aplicación del Consenso Europeo sobre Desarrollo, en referencia a la educación para el desarrollo y la sensibilización, en la que se destaca la importancia de los procesos de evaluación, de actuar coordinados y de involucrar a los socios del Sur. El monitoreo y evaluación de los proyectos de cooperación en el Sur también debe incluir menciones a cómo se promueven cambios de actitudes en el Norte.

BUILDING PUBLIC AWARENESS OF DEVELOPMENT: COMMUNICATORS, EDUCATORS AND EVALUATION POLICY BRIEF No. 35 Autor: OCED development center Año: 2008 URL: http://www.oecd.org/dataoecd/39/38/41043735.pdf

Definición y uso de una evaluación en un proyecto de ED, como herramienta que sirve a diferentes propósitos incluyendo el rendir cuentas a los donantes y a los grupos objetivos, así como a las personas protagonistas de las acciones (el Sur), además de aprender y mejorar experiencias. Por ello, y reconociendo las dificultades para evaluar proyectos de ED, se dan una serie de recomendaciones como que la evaluación sea sistemática, este basada en la evidencia y recoja conclusiones y recomendaciones claras que permitan un aprendizaje continuo. Diferencia y detalle los dos tipos de evaluación empleadas en ED: externa y autoevaluación. Como metodologías a utilizar, anima a que se tomen como ejemplo las guías de evaluación de proyectos de cooperación ya existentes, y que se adapten (se facilitan direcciones web donde encontrar estas guías). Incluye 5 ejemplos resumidos de buenas prácticas ED y evaluaciones de ED.

55

UNE APPROCHE SUBJECTIVE DE L’EVALUATION EST PLUS APPROPRIEER Autora: Mags Liddy Antípodes. Nº 191 Año: 2011 URL: http://www.iteco.be/

Habla de los pros y contras de una evaluación en ED. Sirve para mejorar pero puede llevar a modificar el proyecto inicial con el fin de poder incluir indicadores o criterios que nos interesen para conseguir una evaluación positiva de nuestro proyecto. Descarta una evaluación cuantitativa para ED, ya que una evaluación de ED se define más por datos cualitativos y de reflexión y diálogo y nombra todas las utilidades que ve en una evaluación de ED, que van más allá de simples datos.

PLAIDOYER POUR LA RECHERCHE ACTION Autor : Mark K. Smith. Antípodes. Nº 191 Año: 2011 URL: http://www.iteco.be/

Artículo en el que se explora la teoría y la práctica de la evaluación y otras nociones fundamentales para los actores de la educación formal. Se responde a cuestiones como ¿evaluación del programa o de la práctica? ¿evaluación sumativa o formativa? ¿evaluación dialogada o no? Reflexiones sobre los indicadores. E incluye un apartado sobre la evaluación de la educación no formal.

ARTÍCULO: CE N’EST PAS SORCIER! Autor: Andrés Patuelli (publicado en ITECO) URL: http://www.iteco.be/Ce-n-est-pas-sorcier

Entrevista a un especialista en evaluaciones (de todos los sectores) que denuncia la poca tendencia que hay en evaluar ED en Francia. Nombra EDUCASOL como una importante red nacional de ong de ED que denuncia la buena voluntad para evaluar ED pero la escasa puesta en práctica. Da algún consejo para evaluar de forma sencilla.

HANDBOOK: EVALUATION IN GLOBAL AND DEVELOPMENT EDUCATION. GUIDE FOR EVALUATION PRACTICE. Autor: EED (Protestant Development Services) Año: 2003

El libro define los diferentes tipos de evaluación en ED, e incluye pistas y ejemplos útiles para hacer evaluación desde las ong y otros agentes de al ED. Asimismo incluye diversos ejemplos de buenas prácticas.

ARTÍCULO: FUNDING DEVELOPMENT EDUCATION IN OECD COUNTRIES: HOW DO STATES INTERACT WITH CIVIL SOCIETY AND HOW COULD THEY IMPROVE?REVISTA DEEP. DE TIMES. Nº 12-PAG. 3. Autor: Steffen Beitz and Robert Zimmer- man, OECD Development Centre Año: abril 2009 Disponible en www.deeep.org

En respuesta a cómo se puede mejorar la sensibilización de la ciudadanía de los países occidentales en temas de desarrollo propone la evaluación de los proyectos que se hagan.

EDUCTATION AU DEVELOPPMENT ET SOLIDARICÉ INTERNATIONAL EN NORD PAS DE CALAIS Autor: Lianes Cooperation Año: 2005 URL: http://www.lianescooperation.org/IMG/pdf/Theme_EADenNord-PasdeCalais.pdf

Estudio diagnóstico sobre ED en Nord Pas de Calais (Francia) en el que entre los tres obstáculos diagnosticados para la mejora de ED se encuentra la “insuficiente” evaluación que se hace de acciones de ED. Se detallan los problemas a la hora de evaluar (resultados a largo plazo, falta de tiempo para dedicar una evaluación planificada, difícil diferencia indicadores para sensibilizar y no para captación de fondos…)

56

EUROPEAN DEVELOPMENT EDUCATION MONITORING REPORT “DE WATCH” Autor: European Multi-Stakeholder Steering Group on Development Education Año: 2010 Disponible en www.deeep.org

Repaso detallado de las políticas y entidades financiadoras de proyectos de ED en 27 estados miembro y Noruega. Entre las recomendaciones destaca que “se necesita invertir más recursos en controlar y evaluar los proyectos y programas de ED. No estará sólo enfocada a medir la eficacia y las actividades dirigidas al cambio de valores y actitudes más apropiadas, sino a el proceso de aprendizaje y su impacto en las percepciones, entendimientos, habilidades y competencias del estudiante que son muy importantes en educación”.

QUALITY AND IMPACT IN DEVELOPMENT EDUCATION Autor: DEEEP Education Summer School (Bobby Mc Cormack, David Wagner, Dominique Bénard, Kasia Szeniawska, Anne Strachan) Año: junio 2011 URL:www.deeep.org

Dossier monográfico que incluye artículos de diversos especialistas sobre la calidad y el impacto de las acciones de ED, campañas de sensibilización y acciones en la educación no formal. Entre los artículos, se encuentra el firmado por Anne Strachan en el que se destaca la evaluación como una herramienta de mejora de la calidad y el impacto de ED y la necesidad de encontrar una metodología adecuada. Incluye links interesantes que permiten profundizar sobre la temática tratada.

QUALITY IN GLOBAL EDUCATION. AN OVERVIEW ON EDUCATION POLICY AND PRACTICE. Autor: GENE. Global Education Network Año: 2008 URL: http://www.gene.eu.php5-8.dfw1-1.websitetestlink.com/publications//

Momentos significativos, experiencias nacionales y panorama actual de la evaluación de ED en Europa. Se presentan prácticas resumidas de ED que han sido evaluadas en Europa, destacando las lecciones aprendidas en cuanto al proceso de evaluación.

RECOMMENDATION CM/REC(2010)7 OF THE COMMITTEE OF MINISTERS TO MEMBER STATES ON THE COUNCIL OF EUROPE CHARTER ON EDUCATION FOR DEMOCRATIC CITIZENSHIP AND HUMAN RIGHTS EDUCATION Autor: Consejo de Europa.Comité de Ministros Año: Mayo 2010 URL: https://wcd.coe.int/ViewDoc.jsp?id=1621697&Site=CM

El documento recoge recomendaciones para los estados miembros en relación a la educación para una ciudadanía global y la educación en DD.HH. Entre ellos que “los estados miembro deberían desarrollar criterios de evaluación de la eficacia de los programas de educación para una ciudadanía democrática y la educación en DD.HH.” y que “los estados miembros deberían evaluar las estrategias y políticas llevadas a cabo… deberían hacerlo en cooperación con otros estados miembros”.

EvaluAcción Autor: Círculo Solidario, Kalidadea, Incyde. Año: 2009 (estudio realizado en 2007) URL: http://iniciativasdecooperacionydesarrollo.files.wordpress.com/2011/03/definitivo-castellano_2.pdf

Diagnóstico sobre la cultura evaluativa en las ONGD de Euskadi y detalle de algunos procesos de acompañamiento. El diagnóstico concluye que consideran prioritarios en evaluación de ED los criterios: sostenibilidad, impacto, género, participación, política institucional y coherencia. Entre las limitaciones encontradas a la hora de evaluar se encuentra la falta de asesoramiento técnico y acompañamiento y el hecho de que no siempre sea exigida por las entidades financiadoras la evaluación en ED.

57

PAUTAS PARA UNA EDUCACIÓN GLOBAL. MANUAL PARA QUE LOS EDUCADORES COMPRENDAN E IMPLEMENTEN LA EDUCACIÓN GLOBAL Autor: Red de la Semana de Educación Global en coordinación con el Centro Norte-Sur del Consejo de Europa (Lisboa) Año: 2008

Instrumento pedagógico destinado a los educadores (educación formal y no formal) para que definan e implementen acciones adecuadas para una educación global. Entre otros, se detallan preguntas que servirán para evaluar la acción realizada, y a lo largo del documento se plantean cuestiones sobre cómo se ha definido y puesto en marcha la acción que nos pueden ayudar a la hora de definir indicadores para ED.

FOROS Y ENCUENTROS

REPORT OF THE ENGLISH-SPEAKING GROUP / FINAL REPORT Autor: países participantes en el taller, organizado por DEEEP Año: noviembre 2005 Disponible un resumen en el documento QUALITY IN GLOBAL EDUCATION. AN OVERVIEW ON EDUCATION POLICY AND PRACTICE.

Seminario organizado por DEEEP en Gran Bretaña sobre evaluación de ED. La principal conclusión es la importancia del “peer learning” (como método interactivo y de compartir experiencias al mismo nivel) en la evaluación de proyectos de ED con el fin de definir herramientas y métodos.

FINLANDIA GROUP REPORT Autor: Finlandia Año: noviembre 2005 Disponible un resumen en el documento QUALITY IN GLOBAL EDUCATION. AN OVERVIEW ON EDUCATION POLICY AND PRACTICE.

Seminario organizado por DEEEP en Finlandia sobre evaluación de ED. Se discute el porqué hacer una evaluación, la dificultad de definir indicadores, quien evalúa, dedicación y formación sobre el tema. Se detallan los ítems a tener en cuenta antes, durante y después de la evaluación en un proyecto de ED.

ATELIER D’ÉCHANGES EN ÉVALUATION D’ACTIONS D’ÉDUCATION AU DÉVELOPPEMENT Autor: ITECO-DEEEP Año:2005 Disponible un resumen en el documento QUALITY IN GLOBAL EDUCATION. AN OVERVIEW ON EDUCATION POLICY AND PRACTICE.

Seminario francófono organizado por DEEEP sobre evaluación de ED con el fin de conocer la situación actual y las necesidades. Cada país responde a las siguientes preguntas:

· Prácticas actuales de evaluación de ED en cada país · Necesidades en la evaluación de ED en cada país · Principales dificultades y límites encontrados en los métodos de evaluación de

ED empleados. · Detallar guías y publicaciones de referencia en este campo y detallar su

disponibilidad. · Presentaciones de experiencias de evaluación que detalla conclusiones y

debilidades tanto de los proyectos de ED como del proceso de evaluación.

EUROPEAN CONFERENCE ON INTERCULTURAL DIALOGUE IN DEVELOPMENT EDUCATION, LJUBLJANA Autor: Over 230 participants from national ministries and state agencies, parliaments, EU institutions, European civil society, international organizations, local and regional authorities and research institutes. Organizado por SLOGA (sloven plataforma de ongd), CONCORD, commission europea y el ministerio de exterior de Eslovenia. Año: 2008 Disponible en www.deeep.org

Se recogen las principales conclusiones de la conferencia celebrada en Ljubijana sobre ED. Entre ellas, se recomienda invertir en formación y en evaluación de proyectos de ED y además de recomendar la inclusión de los actores del Sur en todas las etapas del proyecto, incluida la de evaluación.

58

DECLARACIÓN DE BONN Autores: participantes en la Conferencia Mundial de la UNESCO para la Educación para el Desarrollo Sostenible. Año: 2009 URL: http://www.esd-world-conference-2009.org/fileadmin/download/ESD2009_BonnDeclarationESP.pdf

Los participantes en la conferencia definen la educación para el desarrollo sostenible (EDS) más actual, los progresos realizados en el Decenio de las NN.UU de la EDS, reconociendo que hay esfuerzos por evaluar la calidad de la EDS en algunos países. Entre otros, se llama a la acción en el plano práctico para “promover el diálogo sobre políticas de base empírica acerca de la EDS, aprovechando las estrategias pertinentes de investigación, seguimiento y evaluación y el intercambio y reconocimiento de las prácticas ejemplares. Crear indicadores nacionales de EDS que contribuyan a la aplicación eficaz y la evaluación de los resultados y procesos en la materia.” Y piden a la UNESCO que vele por “ampliar el sistema mundial de seguimiento y evaluación de la EDS y tomar iniciativas para crear estrategias y prácticas internacionales que conduzcan a la conclusión satisfactoria del DESD con resultados visibles y concretos”, aunque reconoce que se han dado algunos pasos en la evaluación.

UNESCO WORLD CONFERENCE ON EDUCATION FOR SUSTAINABLE DEVELOPMENT. WORKSHOPS 17 “MONITORING AND EVALUATION OF ESD DURING THE DESD” Autor: participantes del grupo de trabajo “17” Año: 2009 URL: http://www.esd-world-conference-2009.org/fileadmin/download/workshops/ESD2009WS17ME_EN_01.pdf

El grupo de trabajo “17” de la conferencia mundial de la UNESCO sobre educación por un desarrollo sostenible, resalta -entre otros- la importancia de seguir trabajando en el seguimiento y evaluación de ED incorporando el intercambio de experiencias a todos los niveles, culturas y contextos.

SEMINARIO INTERAMERICANO SOBRE BUENAS PRÁCTICAS EN EDUCACIÓN PARA LA CIUDADANÍA Año: México. julio 2006 URL: http://www.educadem.oas.org/mexico/espanol/fr_caminos.html

En el Seminario Interamericano sobre buenas prácticas en educación para la ciudadanía, cuyo objetivo es promover un diálogo crítico y una reflexión conjunta con respecto a buenas prácticas en materia de educación para la ciudadanía global, se realizan diferentes recomendaciones. Entre ellas, la evaluación, no sólo del incremento de los conocimientos a corto plazo, sino también de los procesos, actitudes y comportamientos a largo plazo. Ademas, se recomienda promover evaluaciones internacionales de los proyectos de educación para la ciudadanía. Se recogen ejemplos de buenas prácticas.

CONFERENCIA DE EDUCACIÓN AL DESARROLLO EUROPEA Autor: KEHYS (plataforma de ONGD finlandesa), CONCORD y Comisión Europea Año: Helsinki, julio 2006

El grupo de trabajo B de “Calidad, Impacto y Evaluación en ED y sensibilización” de la conferencia internacional concluye, entre otros, que: -Se deben financiar estudios sobre evaluación y línea de base -Son necesarios diferentes modelos de evaluación para DE&PA y diferentes grupos dentro de esas categorías. -No solo se quiere evaluación cuantitativa, si no también cualitativa. Además se compartirán experiencias y la información. -Se deben tener revisiones entre pares en más países para evaluaciones cualitativas -Tener una estrategia para mayor coherencia a nivel de metodologías, roles… -Incluir la dimensión Sur en la evaluación

59

EUROPEAN CONFERENCE ON AWARENESS-RAISING AND DEVELOPMENT EDUCATION FOR NORTH-SOUTH SOLIDARITY. Autor: Belgian Development Cooperation Año: mayo 2005 URL: http://www.dochas.ie/Pages/Resources/documents/dev_ed_recommend05.pdf

Documento que recoge las recomendaciones de la conferencia. Se indica que la evaluación de los programas de cooperación no sólo debe cubrir los efectos en el terreno si no también la evolución de la percepción de la sociedad en el Norte y en el Sur del desarrollo logrado. Basándose en experiencias ya existentes, los esfuerzos deben dirigirse a mejorar el control y la evaluación de la ED y la sensibilización con el fin de aumentar la relevancia, eficiencia y eficacia global de los proyectos.

METODOLOGÍAS DETALLADAS

OUTCOME MAPPING: A REALISTIC ALTERNATIV FOR PLANNING, MONITORING AND EVALUATION. Autor: Harry Jones and Simon Hearn. (Overseas Development Institute-ODI) Año: octubre 2009

Artículo sobre la metodología de Mapeo de Alcances.

EVALUACIÓN SEGMENTADA DE ED Autor: Thierry De Smedt Año: 2005 URL: http://www.iteco.be/Por-una-evaluacion-segmentada

El autor reconoce la dificultad de evaluar la totalidad de un proyecto de ED, por lo que propone segmentar el proyecto para su evaluación, según qué queremos evaluar, cómo y porqué: 1.Evaluar la validez de la problemática elegida dentro del mundo de la cooperación. 2.Evaluar la validez del público seleccionado para resolver el problema, con su papel de “cambio de actitudes”. 3.Evaluar la calidad de las herramientas educativas escogidas, métodos comunicativos adaptados (método de participación, de aprendizaje, afectivo...) 4. Evaluar cuantitativamente y cualitativamente el público al que hemos llegado. 5. Evaluar los efectos conseguidos.

EVALUACIÓN DE EDUCACIÓN EN VALORES Autor: Eliana Aldea López (Consejera Educacional y Vocacional Coordinadora de Programa: Educación en Valores I. Municipalidad de Chillán-Chile) Consejera Educacional y Vocacional Coordinadora de Programa: Educación en Valores URL: http://www.oei.es/valores2/boletin10a02.htm

Divide en tres los conceptos a analizar en una evaluación de ED: 1. En los contenidos conceptuales, como hechos, conceptos y principios, se espera lograr aprendizajes memorísticos, de relación y comprensión. El criterio de evaluación es el saber. 2. En los contenidos procedimentales, es decir, uso de distintas acciones y estrategias para alcanzar metas, se busca el aprendizaje en conocimientos y uso de habilidades. Se evalúa el saber hacer. 3. En los contenidos actitudinales, como actitudes, valores y normas, se busca lograr una predisposición a actuar de una forma aceptada socialmente. Se evalúa el valorar. Describe los instrumentos más adecuados a utilizar en función de nuestro objetivo de análisis (entrevistas, grupos de debate, etc.).

60

POSER LA QUESTION DE L’ÉVALUATION AVANT DE COMMENCER L’ACTION Autor: Andrés Patuelli (publicado en la web de ITECO) URL: http://www.iteco.be/Poser-la-question-de-l-evaluation

Entrevista realizada a un experto en formación y evaluación de proyectos educativos en la BIEF (Bureau d’ingénierie en éducation et en formation), en la que se refleja el esfuerzo del gobierno belga para que se realicen evaluaciones de sensibilización. La BIEF ha definido una serie de criterios concretos para hacer evaluación de proyectos en el mundo de la educación, incluida la ED:

• La continuidad o utilidad: el efecto esperado sobre el terreno. El objetivo global ¿corresponde a las necesidades de la institución?¿aporta algo?

• La pertinencia: ¿los objetivos específicos del proyecto son pertinentes con relación a los efectos esperados sobre el terreno?

• El impacto o eficacia externa: ¿el producto obtenido consigue el efecto esperado sobre el terreno? ¿Se ha observado en los hechos?

• La eficacia interna: ¿el producto real corresponde con el producto esperado? • La adhesión: ¿hay una adecuación entre los componentes de la acción y las

necesidades de las personas? • La conformidad: ¿hay una adecuación entre los componentes de la acción y el

cuadro normativo, ético, deontológico? • La coherencia: ¿los medios previstos permiten alcanzar los objetivos? • La viabilidad: ¿pueden los objetivos ser mantenidos teniendo en cuenta las

estrategias previstas y los recursos disponibles? • La aplicación: ¿los medios utilizados son los medios previstos? • La regulación: teniendo en cuenta el desarrollo de la acción y los medios

utilizados en la práctica, ¿no es necesario revisar los medios previstos? • La eficiencia: ¿el producto se obtiene con unos medios mínimos? ¿No se puede

obtener el mismo resultado con menos coste? Cada uno de estos criterios necesita ser medido a través de indicadores concretos

CRITERIOS DE EVALUACIÓN DE ED ELABORADOS PARA EL CAD (COMITÉ DE AYUDA AL DESARROLLO) EN LA COMUNIDAD AUTÓNOMA VASCA. Autor: Miguel Argibay Año: 2003 URL: http://www.bantaba.ehu.es/formarse/ficheros/view/Exposición_1_Sesión_3.pdf?revision_id=34357&package_id=34338

Recomendaciones de los puntos a analizar en una evaluación de un proyecto de ED en el sector formal y no formal. Los criterios e indicadores propuestos son: 1. Factibilidad: Que exista diagnóstico previo. Planificación del proceso, coherencia entre los resultados esperados, el grupo objetivo elegido, los recursos... 2.Continuidad: Que sea sostenible, que pueda perdurar en el tiempo. A medio o largo plazo. 3. Experiencia: Trayectoria de la ONGD. Calidad e impacto de sus trabajos. Capacidad de trabajo en red. 4. Redes: Que sea o que genere una plataforma de acción. Que implique la participación de impulsores y beneficiarios. 5. Enfoques Globales: Multicausalidad de los fenómenos del desarrollo, vínculos entre local y global. 6.Capacitación: Que implique formación del grupo objetivo beneficiario en temas de desarrollo. Que desarticule prejuicios. Que proponga estrategias o acciones alternativas. 7. Evaluación: Que sea capaz de valorar las acciones por el grado de proximidad cualitativa y cuantitativa a los resultados esperados.

61

SUIVRE ET EVALUER LE CHANGEMENT EN EDUCATION AU DEVELOPPEMENT Autor: cuadernos Echos du Cota (nº 124) Año: septiembre 2010 URL:http://www.cota.be/

Número dedicado a las experiencias de ong francesas y americanas para evaluar acciones de sensibilización e incidencia política. Describe el método de “cartografía de incidencias”; de “teorías del cambio”.

GUÍA DE ORIENTACIÓN-EDUCACIÓN PARA EL DESARROLLO Autor: Cruz Roja URL: http://www.cruzroja.es/portal/page?_pageid=33,12620&_dad=portal30&_schema=PORTAL30

El documento detalla cómo se debe definir, planificar y evaluar un proyecto de ED, bajo la experiencia/punto de vista de Cruz Roja. Para la evaluación recomienda la metodología de definir indicadores bajo los criterios de: eficacia, eficiencia, proceso e impacto (incluye los indicadores para cada uno de ellos).

EJEMPLOS DE EVALUACIÓN DE ED A ESCALA NACIONAL, REGIONAL O LOCAL

COMMENT LES ACTEURS ÉVALUENT-ILS LEURS ACTIONS D’ÉDUCATION AU DÉVELOPPEMENTET À LA SOLIDARITÉ INTERNATIONALE ? Exemples de pratiques Autor: EDUCASOL. Recueil Nº 10 Año: 2006-07 URL: http://www.international.ac-versailles.fr/IMG/pdf/educasol-4.pdf

Ejemplos de autoevaluación recopilados por EDUCASOL. Plantea tres tipos: oral, escrita o convencional. Todas ellas son evaluaciones muy sencillas que no cuentan con apoyo externo. Incluye los cuestionarios dirigidos a los organizadores de las acciones, al público objetivo, etc utilizados por las ong para evaluar sus acciones.

LESSONS IN EVALUATING COMMUNICATIONS CAMPAIGNS FIVE CASE STUDIES Autor: Julia Coffman Harvard Family Research Project (Washington) coordinated by the Communications Consortium Media Center. Año: Junio 2003 URL: http://www.mediaevaluationproject.org/HFRP2.pdf

Describe cinco evaluaciones de la comunicación de proyectos de sensibilización individual (ejem.dejar de fumar) y de incidencia política de EE.UU. Describe los instrumentos utilizados en cada evaluación, además de las conclusiones.

EVALUACIÓN EXTERNA DE LA VI SEMANA DE LA SOLIDARIDAD (FRANCIA) Autor: F3E, SSI, Catherine Cyrot, Assia Saou. http://f3e.asso.fr/

EVALUACIÓN EXTERNA DEL PROGRAMA “SENSIBILIZAR JUNTOS/AS” (FRANCIA). Autor: F3E, Béatrice Seror et Catherine Cyrot Año: mayo 2010 URL: http://f3e.asso.fr/

62

EVALUACIÓN LOS PROYECTOS PLURIANUALES DE ED FINANCIADOS POR EL AYTO. DE VITORIA-GASTEIZ (2009-11) Autor: ECODE Año: 2011

(Pendiente de publicar)

EVALUACIÓN DEL PROYECTO EL DERECHO DE ASILO EN LOS MUNICIPIOS VIZCAÍNOS: UNA PROPUESTA PARTICIPATIVA DE ED Autor: CEAR-Euskadi Año: 2011 URL: http://www.sinrefugio.org/teatro/

EVALUACIÓN DE “MÍRAME CON OTROS OJOS” (DELEGACIÓN DE ALAVA DE LA CONGDE) Autor: Iniciativas de Cooperación y Desarrollo Año: oct-2004 a feb. 2005 URL: https://www.vitoria-gasteiz.org/wb021/http/contenidosEstaticos/adjuntos/2484.pdf

EL VIAJE DE LA EVALUACIÓN QUE CONECTA…MUNDOS Autor: Iniciativas de Cooperación y Desarrollo Año: 2000 URL: http://iniciativasdecooperacionydesarrollo.files.wordpress.com/2011/05/el-viaje-de-la-evaluacic3b3n-que-conecta-mundos1.pdf

EDUCACIÓN AL DESARROLLO

ED- ÉTAT DE LIEUX 2010. Antipodes n° 189, juin 2010 Autor: varios autores Año: 2010 URL: http://www.iteco.be/-Education-au-developpement-etat-

Análisis y reflexiones de varios autores sobre ED: actualidad, retos, estrategias, aspectos clave, etc.

MOSAICO EDUCATIVO PARA SALIR DEL LABERINTO Autor: POLYGONE (red internacional de educación para el desarrollo y popular) Año: 2003 URL: http://pdf2.hegoa.efaber.net/entry/content/714/mosaico_castellano.pdf

Define las tres dimensiones de ED (cultural, política, pedagógica).

63

ESTRATEGIA DE EDUCACIÓN PARA EL DESARROLLO DE LA COOPERACIÓN ESPAÑOLA Autor: AECID Año: 2007 URL: http://www.aecid.es/galerias/programas/Vita/descargas/estrategia_educacion_desarr.pdf

Evolución de ED y estrategia de la AECID relativa a ED.

EDUCACIÓN PARA EL DESARROLLO, ESTRATEGIA IMPRESCINDIBLE PARA LAS ONGD Autor: CONGDE Año: + de 2005 URL: http://guiarecursos-epd.coordinadoraongd.org/uploads/documentos/que_es_la_educacion_para_el_desarrollo.pdf

Definición de ED consensuada.

DICCIONARIO DE EDUCACIÓN PARA EL DESARROLLO Autor: Gema Celorio y Alicia López de Munain (de Hegoa) Año: 2007 URL: http://www.educacionenvalores.org/IMG/pdf/diccionario_2.pdf

Definiciones de términos relacionados con la ED, que incluye un apartado sobre qué es evaluación de ED, cuáles deben de ser los objetivos y la utilidad de una evaluación de ED.

EDUCACIÓN AL DESARROLLO Autor: Miguel Argibay y Gema Celorio. Cuadernos de Formación Hegoa. Nº 8. Cooperación pública vasca. Año: 2005 URL: http://biblioteca.hegoa.ehu.es/system/ebooks/15211/original/La_educacion_para_el_desarrollo.pdf

Cuaderno que recoge la evolución de ED hasta nuestros días (a nivel europeo y estatal). Define tipologías y dedica un apartado a evaluación y sistematización de ED.

UNA APROXIMACIÓN A LA ED EN LAS ONGD DE EUSKADI. DIAGNÓSTICO PARTICIPATIVO. Autor: Iniciativas de Cooperación y Desarrollo y Círculo Solidario Año: 2011 URL: http://iniciativasdecooperacionydesarrollo.files.wordpress.com/2011/06/diagnc3b3sticoparticipativof-cas100r.pdf

Panorama de la ED que muestra tanto sus carencias como sus potencialidades.

LA EDUCACION PARA EL DESARROLLO EN LA COMUNIDAD DE MADRID: TENDENCIAS Y ESTRATEGIAS PARA EL SIGLO XXI Autor: Centro de Investigación para la Paz Año: 2001 http://www.fongdcam.org/manuales/educaciondesarrollo/datos/docs/A_docs/b_6_4_Ed.Desarrollo%20CM.pdf

Análisis de ED en Madrid y propuestas de mejora para las acciones de ED. Se propone la evaluación de las mismas.

64

CUADERNO DE TRABAJO DE ED EN EUSKADI Autor: UNESCO Etxea Año:2004 URL: http://www.educacionenvalores.org/spip.php?article43

Análisis de ED formal en Euskadi, sus problemas y propuestas de mejora. Se propone la evaluación.

III SEMINARIO EDUCAR PARA UNA CIUDADANÍA GLOBAL Autor: red de educadores apoyada por Intermon Oxfam Año: 2009 URL: http://www.intermonoxfam.org/cms/HTML/espanol/2644/091201_memoriared.pdf

Taller impulsado por IO para educadores/as en el que se debate sobre la identidad, prioridades y estrategias para una ciudadanía global. Una de las conclusiones de los grupos de trabajo es “sistematizar modelos de evaluación para este tipo de prácticas”.

DECENIO DE LAS NACIONES UNIDAS DE LA EDUCACIÓN PARA EL DESARROLLO SOSTENIBLE 2005-2014. PLAN DE APLICACIÓN INTERNACIONAL. Autor: UNESCO Año: Enero 2005 http://www.unesco.org.uy/educacion/fileadmin/templates/educacion/archivos/DecenioNUDesarrolloSostenible.pdf

Nombra la necesidad de evaluar aspectos del Decenio como ver si se ha conseguido cambio de valores en la sociedad. Habla de la necesaria evaluación cuantitativa y cualitativa. Para esta última da ejemplos de indicadores que ayudan a medir y que evalúan si a nivel nacional se ha integrado la ED.

MIRANDO HACIA DELANTE. LA EDUCACIÓN PARA EL DESARROLLO EN ÁLAVA. Autor: Iniciativas de Cooperación y Desarrollo Año: 2011 http://iniciativasdecooperacionydesarrollo.wordpress.com/2011/03/21/141/

Documento que analiza los proyectos de ED cofinanciados por la DFA y en el que se considera aún un desafío la evaluación de la ED en las ONGD.

Anexo II. Listado entidades consultadas A) ONGD

Coordinadora de ONGD de Euskadi (*) ADECO ALBOAN (*) Calcuta Ondoan CEAR-Euskadi35 (*) Círculo Solidario (*) EMAUS HEGOA Intered Jolas eta Ekin (consorcio) Manos Unidas Medicus Mundi Gipuzkoa (*) MSF SETEM (*) TAU Donosti UNESCO Etxea Zabalketa

B) EEPP

Agencia Vasca de Cooperación - Gobierno Vasco Diputación Foral de Araba Diputación Foral de Gipuzkoa Diputación Foral de Bizkaia Ayuntamiento de Vitoria-Gasteiz (*) Ayuntamiento de San Sebastian (*) Ayuntamiento de Bilbao (*)

(*) Con las entidades marcadas con asterisco se mantuvieron adicionalmente entrevistas en profundidad

35 CEAR-Euskadi es una organización que no realiza cooperación al desarrollo, pero que sí tiene acciones importantes de ED por lo que se ha incluido en el presente estudio.

66

Anexo III. Fichas y cuestionarios empleados FICHA DE ANÁLISIS DE DOCUMENTACIÓN DE INSTITUCIONES PÚBLICAS

1. DATOS DE LA FICHA 1.1 Analizado por: 1.2 Fecha: 1.3 Institución/documentos analizados: 2. EVALUACIÓN DE ED EN LOS PLANES DIRECTORES DE COOPERACIÓN DE LA ENTIDAD PÚBLICA 2.1 Menciones generales expresas sobre la importancia de evaluación de ED en estos planes

2.2 Objetivos e indicadores concretos sobre evaluación de ED

2.3 Tipos de acciones de ED a evaluar (de cooperación directa, o de ONG; por temática y grupo meta…)

2.4 Menciones a metodologías específicas para evaluar ED

2.5 Menciones a publicación, difusión, etc. de resultados de evaluación de ED

2.6 Menciones a volumen de recursos asignados para evaluar ED

3. EVALUACIÓN DE ED EN MEMORIAS Y WEBS DE LA ENTIDAD PÚBLICA 3.1 Menciones a evaluaciones de ED realizadas, tanto de acciones propias como de ONG subvencionadas (describir cuáles son, temas, proceso, métodos, etc.)

3.2 Accesibilidad de las evaluaciones realizadas (colgadas en la Web, etc.)

3.3 Menciones a congresos, publicaciones, seminarios, jornadas, etc. sobre evaluación de ED llevadas a cabo por la entidad

4. EVALUACIÓN DE ED EN BASES Y CONVOCATORIAS DE PROYECTOS DE ED DE LA ENTIDAD PÚBLICA 4.1 Menciones generales a la evaluación de los proyectos de ED como baremo para puntuar la propuesta presentada

4.2 ¿Se permite cargar al presupuesto los gastos para evaluar ED? ¿Con qué límite?

4.3 ¿Se exige realizar evaluaciones de las acciones de ED? ¿Para todas o con algún criterio?

4.4 ¿Se hacen referencias a la publicación / difusión de los resultados de la evaluación?

6. OTRAS REFERENCIAS A LA EVALUACIÓN DE ED RELATIVAS A LA ENTIDAD PÚBLICA

67

CUESTIONARIO SOBRE EVALUACIÓN DE ACCIONES DE EDUCACIÓN AL DESARROLLO EN LA COOPERACIÓN VASCA ENVIADO A ONGD

1. DATOS DE LA ONGD Nombre de la ONGD Antigüedad de la ONGD (en años) ¿Cuenta con un departamento específico de ED?

SI / NO

¿Cuántas personas se dedican a ED en la ONG?

Nº:

% sobre total personal ONG:

¿Desde cuando (años) realiza la ONGD acciones de ED?

Acciones de ED (incluyendo formal e informal) realizadas en los últimos 3 años.

Nº:

% sobre total proyectos ONG:

Alcance de las acciones de ED en el Norte

Local / Autonómico / Estatal / Global

Temáticas principales de actuación en ED

- - - -

Grupos meta/público objetivo de las acciones de ED (mujeres, autoridades, sociedad en general…)

- - - -

Duración media (aproximada) de cada acción de ED

Presupuesto (aproximado) destinado a ED

Medio para cada acción ED:

% sobre total ONG/anual:

% presupuesto destinado a ED procedente de entidades públicas

Nombre responsable/puesto de la persona que responde:

Correo electrónico de contacto: Teléfono (directo) de contacto:

68

2. ALCANCE DE LAS EVALUACIONES SOBRE ACCIONES DE ED ¿Cuántas evaluaciones (tanto internas como externas) de proyectos de ED ha realizado su entidad en los últimos 3 años?

¿Cuántas de ellas han sido externas (con participación de personal externo e independiente?

¿De cuántas personas se formaron, como media, los equipos internos de evaluación?

¿De cuántas personas se formaron, como media, los equipos externos de evaluación (sólo en caso de las externas)?

¿Cuál fue el presupuesto medio destinado a cada evaluación? ¿Cuánto duró (como media) el proceso de evaluación de principio a fin? ¿Qué % de los fondos para la evaluación de ED procedieron de Entidades Públicas?

¿Cuánta la ONG con un Plan de evaluación de acciones de ED? ¿A iniciativa de quien se realizan habitualmente las evaluaciones (equipo directivo, dpto. ED…)?

¿Alguna de las Entidades Públicas que apoya acciones de ED a su ONG solicita evaluaciones (internas o externas) de las mismas?

En caso afirmativo, señalar cuál y detallar si son externas o internas:

NOTA: En caso de no haberse llevado a cabo ninguna evaluación de acciones de ED en su ONG, no debe seguir rellenándose más apartados del cuestionario 3. METODOLOGÍA SEGUIDA EN EVALUACIÓN DE ED ¿Cuenta la ONG con TdR, metodologías, herramientas y formatos específicos para evaluar acciones de ED?

SI/NO

En caso positivo explicar brevemente en qué se diferencian de las empleadas para evaluar acciones de Cooperación al Desarrollo en el Sur:

Señale qué peso/importancia tienen los siguientes criterios para las evaluaciones de ED llevadas a cabo en su ONG Coherencia Alto /Medio / Bajo Pertinencia Alto /Medio / Bajo Diseño Alto /Medio / Bajo Cobertura Alto /Medio / Bajo Eficacia Alto /Medio / Bajo Participación Alto /Medio / Bajo Coordinación Alto /Medio / Bajo Eficiencia Alto /Medio / Bajo Impacto Alto /Medio / Bajo Viabilidad Alto /Medio / Bajo Visibilidad Alto /Medio / Bajo

69

Señale en qué medida se utilizaron las siguientes herramientas para las evaluación de ED llevadas a cabo Matrices de evaluación (con criterios, preguntas, indicadores, fuentes) Alto /Medio / Bajo Encuestas a personas clave Alto /Medio / Bajo Cuestionarios masivos Alto /Medio / Bajo Análisis de documentos Alto /Medio / Bajo Entrevistas en profundidad Alto /Medio / Bajo Talleres con grupos relevantes Alto /Medio / Bajo Observación directa Alto /Medio / Bajo

En general, ¿que peso diría que tuvieron las herramientas cualitativas y cuantitativas en las evaluaciones realizadas? Cualitativas Señalar el % aprox Cuantitativas Señalar el % aprox Señale en qué medida participan/se consulta en las evaluaciones sobre ED a: Personal interno del departamento de ED de la ONG Alto /Medio / Bajo Personal de otros departamentos de la ONG Alto /Medio / Bajo Grupos meta/destinatarios específicos de la acción Alto /Medio / Bajo Sociedad en general Alto /Medio / Bajo Otras ONG, plataformas, etc. Alto /Medio / Bajo Medios de comunicación Alto /Medio / Bajo Actores del Sur Alto /Medio / Bajo Administraciones públicas (del Norte) Alto /Medio / Bajo Expertos/as en ED Alto /Medio / Bajo

Si se empleó algún otro criterio para evaluar acciones de ED, indíquelo y explique brevemente qué aspectos se analizaron bajo el mismo Indicar criterio Explicarlo

Indicar criterio Explicarlo

Indicar criterio Explicarlo

Si se empleó alguna otra herramienta para evaluar acciones de ED, indíquelo y explique brevemente la misma Indicar herramienta

Explicarla

Indicar herramienta

Explicarla

Indicar herramienta

Explicarla

70

4. VALORACIÓN DE LOS PROCESOS EVALUATIVOS SOBRE ED LLEVADOS A CABO ¿Cuáles han sido las principales dificultades encontradas en las evaluaciones de acciones de ED? (puntuar de 1 a 5 , siendo 5 el máximo de dificultad) No existen apenas recursos/interés de los donantes para financiarlas 1 a 5 No acaban de estar claros los objetivos finales pretendidos con la evaluación 1 a 5 No se cuenta con criterios claros y estandarizados para evaluar ED 1 a 5 No se cuenta con herramientas y metodologías específicas para evaluar ED 1 a 5 Falta formación en evaluación entre los equipos de ED de las ONGD 1 a 5 Escasez de expertos/as externos/as especializados/as en evaluación de ED 1 a 5 Dificultad de fijar indicadores/fuentes adecuados 1 a 5 Dificultad de establecer líneas de base previas 1 a 5 Dificultad de medir impactos en procesos tan largos como los de ED 1 a 5 Dificultad de implicar a todos los actores relevantes del Norte en la evaluación 1 a 5 Dificultad de implicar a todos los actores relevantes del Sur en la evaluación 1 a 5 Dificultad de establecer el grupo meta con claridad 1 a 5 Otros (especificar cualquier otra dificultad y puntuarla) 1 a 5 Señala, en general, cómo crees que podrían mejorarse los procesos de evaluación de acciones de ED que lleva a cabo tu ONG 5. DIFUSIÓN, APLICABILIDAD Y LECCIONES APRENDIDAS ¿Qué porcentaje de las evaluaciones sobre ED realizadas en tu ONG se han publicado y difundido externamente sus resultados?

En caso de haber alguna en Internet señala dónde puede accederse a ella:

Dentro de la ONG Fuera de la ONG ¿En general consideras que las evaluaciones sobre ED llevadas a cabo se han difundido adecuadamente? SI / NO SI / NO Señala el grado de aprendizaje que han supuesto las evaluaciones sobre ED

Mucho / Algo / Poco

¿Y cuáles han sido las principales lecciones aprendidas? ¿Conoces alguna evaluación sobre acciones de ED realizada por otra ONG que haya resultado especialmente valiosa?

SI / NO

En caso afirmativo indicar cuál y porqué ¿Conoces algún foro en el que se puedan difundir resultados, compartir experiencias, etc. en relación a evaluación de acciones de ED?

SI / NO

En caso afirmativo indicar cuál ¿Conoce manuales, materiales, ensayos y/o publicaciones referidas específicamente a evaluación de ED?

SI/NO

En caso positivo explicar brevemente cuáles y cómo se accedió a ellas:

estudio sobre metodologÍa y prÁcticas de evaluaciÓn de ...€¦ · prÁcticas de evaluaciÓn de...

Documents