· la idea surge de la confluencia de dos circuns-tancias. por un lado la constatación de la...

Evaluación ex ante en Educación para el Desarrollo

Una propuesta de indicadores en el ámbito formal

Evaluación ex ante en Educación para el Desarrollo

Una propuesta de indicadores en el ámbito formal

Elena Rodríguez San JuliánAlejandra BoniBegoña Arias

Juan Carlos BallesterosIgnacio Megías

Evaluación ex ante en Educación para el Desarrollo. Una propuesta de indicadores en el ámbito formal

Autoras y autores: Elena Rodríguez San Julián (Sociológica Tres, S.L.), Alejandra Boni (profesora titular de la Universitat Poli-tècnica de València), Begoña Arias (Sociológica Tres, S.L.), Juan Carlos Ballesteros (Sociológica Tres, S.L.) e Ignacio Megías (Sociológica Tres, S.L.).

Este trabajo es responsabilidad exclusiva de las autoras y autores y su contenido no representa necesariamente la opinión de la AECID ni de las organizaciones y personas participantes.

Edición: marzo 2014Impreso en Valencia (España)

La presente publicación, así como el trabajo de investigación en que se basa han sido realizados gracias a la financiación de la Agencia Española de Cooperación Internacional al Desarrollo (AECID). Convocatoria de Ayudas a Proyectos (CAP): Primer Procedimiento de 2009 (09-CAP1-0481) y Segundo Procedimiento de 2011 (11-CAP2-0999)

ISBN: 978-84-695-9376-9

Esta obra está bajo una Licencia de Creative Commons. Reconocimiento – NoComercial – SinObraDerivada (BY-NC-ND 3.0 ES): Debe reconocer adecuadamente la autoría. No se permite un uso comercial de la obra ori-ginal ni la generación de obras derivadas. Para ver una copia de esta licencia visite <http://creativecommons.org/licenses/by-nc-nd/3.0/es>.

Este proyecto no sería posible sin la concurren-cia de las siguientes personas y entidades, a las que queremos agradecer expresamente su esfuerzo, interés y colaboración en distintos momentos del trabajo:

En primer lugar a M.ª Luz Ortega y Pilar De-bén que se han implicado activamente en la inves-tigación; su contribución ha sido fundamental en la validación del sistema de indicadores.

También a todas las personas que han sido entrevistadas y que han participado en el estudio Delphi de la investigación: Almudena López (Jó-venes y Desarrollo), Andrés Carbonero (Gobierno de Navarra), Antonio Casanova (Ayuntamiento Córdoba), Elvira Roel (Gobierno de Cantabria), Eusebio Megías (Fundación de Ayuda contra la Drogadicción, FAD), Eva María Domínguez

Colaboraciones

(Junta de Castilla y León), Gema Celorio (Hegoa), Jesús Galán (Junta de Comunidades de Castilla La Mancha), Margarita Pedrosa (Gobierno Islas Baleares), M.ª Mar Palacios (InteRed), Mercedes Rubio (Gobierno de Navarra), Nagore Gardoqui (Junta de Andalucía), Pilar González (Principado de Asturies), Pilar Romero (Xunta de Galicia), Raquel León (Intermón-OXFAM).

A las siete ONGD que nos han facilitado el acceso a sus proyectos imprescindibles para el aná-lisis: Entreculturas, InteRed, Intermón Oxfam (IO), Jóvenes y Desarrollo (JyD), MPDL, On-gawa y Veterinarios sin Fronteras (Vetermon).

Y, finalmente, en las tareas de transcripción de entrevistas y grupos, colaboración en el análisis de documentos y en el diseño del sistema on-line: Beatriz Rodríguez, Begoña Arias, José Luis Torre y Monique Leyvas.

Índice

INTRODUCCIÓN .......................................................................................................................... 11

1. ¿QUÉ MOTIVACIONES Y NECESIDADES ALIENTAN ESTA INVESTIGACIÓN? ............ 13 1.1. La relevancia de la evaluación en la ED .................................................................................. 13 1.2. La falta de metodología específica consensuada ....................................................................... 14

2. ¿CUÁL ES NUESTRO POSICIONAMIENTO TEÓRICO? .................................................... 17 2.1. La Educación para el Desarrollo “de quinta generación” ......................................................... 17 2.1.1. Elementos clave en la Educación para el Desarrollo ..................................................... 18 2.1.2. La Educación para el Desarrollo en el ámbito educativo formal ................................... 19 2.2. La evaluación ......................................................................................................................... 20 2.2.1. La evaluación de resultados .......................................................................................... 21 2.2.2. La evaluación ex ante ................................................................................................... 22 2.2.3. Características de la evaluación de procesos de intervención centrados en lo educativo ............................................................................................. 23 2.2.4. Sobre el concepto de “indicador” ................................................................................. 24

3. METODOLOGÍA EMPLEADA ................................................................................................. 27 3.1 Orientación y enfoque metodológico ..................................................................................... 27 3.2 Fases y técnicas ....................................................................................................................... 28 Etapa 1: Diseño ...................................................................................................................... 30 Fase 1: Análisis documental .............................................................................................. 31 Revisar las convocatorias de ED .......................................................................... 31 Analizar documentos teóricos y debates sobre ED ............................................... 32 Fase 2: Aproximación cualitativa ...................................................................................... 33 Entrevistas semiestructuradas .............................................................................. 33 Grupos de discusión ........................................................................................... 36 Primera propuesta de indicadores ..................................................................................... 37 Fase 3: Estudio Delphi ..................................................................................................... 40 Fase 4: Sistematización de resultados y propuesta del sistema de indicadores .................... 41 Etapa 2: Validación................................................................................................................. 42 Fase 1: Selección de ONGD y de proyectos ...................................................................... 43 Fase 2: Análisis preliminar de proyectos ............................................................................ 44 Fase 3: Primera validación del sistema de indicadores ....................................................... 44 Fase 4: Análisis de resultados y propuesta final del sistema de indicadores ......................... 45 Contraste de baremos en un proceso global ........................................................ 45 Elaboración de la propuesta final ........................................................................ 45

4. RESULTADO FINAL: PROPUESTA DE INDICADORES ...................................................... 47 4.1. Criterios transversales ............................................................................................................. 48 4.2. Criterios sectoriales................................................................................................................. 48

5. CONCLUSIONES ...................................................................................................................... 51

BIBLIOGRAFÍA DE REFERENCIA ............................................................................................... 53

Índice tablas

Tabla 1. Criterios básicos de evaluación. (DGPOLDE, 2007)........................................................ 14Tabla 2. Ejemplo de criterios extraídos de las convocatorias oficiales de ED o de Cooperación ...... 31Tabla 3. Criterios y contenidos extraídos de las entrevistas a personas expertas en ED .................... 34Tabla 4. Elementos que estructuran el conjunto de indicadores ..................................................... 37Tabla 5. Contenidos de los criterios tipo de la propuesta inicial ..................................................... 38Tabla 6. Puntuaciones de los criterios transversales y criterios tipo ................................................. 41

Índice imágenes

Imagen 1. Dimensiones de la ED. (Ortega en EED, 2007) ............................................................... 19Imagen 2. Ejemplo de modelo causal. (Ligero, 2011: 32).................................................................. 22Imagen 3. Etapas de la investigación ................................................................................................. 29Imagen 4. Etapa 1: Diseño del sistema de indicadores y sus fases ...................................................... 30Imagen 5. Contenidos del sistema de indicadores ............................................................................. 39Imagen 6. Etapa 2: Validación del sistema de indicadores ................................................................. 42Imagen 7. Características de los criterios del sistema de indicadores .................................................. 47

Acrónimos

AECID: Agencia Española de Cooperación Internacional para el DesarrolloCAD: Comité de Ayuda al DesarrolloCAPV: Comunidad Autónoma del País VascoCC.AA.: Comunidades AutónomasCECOD: Centro de Estudios de Cooperación al DesarrolloCIS: Centro de Investigaciones Sociológicas CONGDE: Coordinadora Española de Organizaciones no Gubernamentales para el DesarrolloDGPOLDE: Dirección General de Planificación y Evaluación de Políticas para el DesarrolloECODE: Estudio de Cooperación al DesarrolloED: Educación para el Desarrollo EED: Estrategia de Educación para el DesarrolloONGD: Organización no Gubernamental para el Desarrollo MAEC: Ministerio de Asuntos Exteriores y CooperaciónOCDE: Organización para la Cooperación y el Desarrollo Económico

La idea surge de la confluencia de dos circuns-tancias. Por un lado la constatación de la dificul-tad de valorar proyectos de ED empleando los cri-terios generales diseñados para las evaluaciones de proyectos de Cooperación para el Desarrollo y, por otro aunque vinculado a lo anterior, la necesidad del área de ED de la Agencia Española de Coo-peración Internacional al Desarrollo (AECID) de contar con un instrumento específico para la eva-luación de proyectos de ED, que permita tomar decisiones más ajustadas acerca de la calidad de los mismos para la resolución de las convocatorias de subvenciones públicas (por tanto, evaluación ex ante).

El proyecto parte, por tanto, del acuerdo con la AECID1 y se dirige a la elaboración de un sis-tema actualizado, válido y fiable que mejore la valoración, ex ante, de los proyectos de ED en el ámbito formal, incorporando junto a los criterios habituales que maneja la Agencia2, adaptados para que resulten significativos en los procesos de ED, algunos otros que puedan resultar clave en dichos procesos, y muy concretamente los que tienen que ver con las posibilidades de valorar los resultados relativos al cambio de actitudes, conocimientos y aptitudes de la población beneficiaria, que son es-pecíficos en la ED.

La investigación se dividió en dos grandes eta-pas, cada una de las cuales se desarrolló en varias fases, con una aproximación metodológica dife-renciada.

Introducción

El documento que presentamos a continua-ción es el resultado obligado de un proceso de investigación llevado a cabo durante más de tres años (2010-2013), en el que han participado mu-chas personas implicadas en la Educación para el Desarrollo (en adelante ED) en España, tanto desde instituciones públicas como privadas y, muy especialmente, Organizaciones no Gubernamen-tales de Desarrollo (ONGD).

Y es obligado porque difundir y compartir los resultados, en coherencia con el propio proceso seguido, es una parte fundamental del fin último de la investigación, que consiste en aportar una propuesta de evaluación ex ante para los proyectos de ED en el ámbito formal. De hecho, este trabajo tiene sentido si la propuesta final es compartida y cuenta con el apoyo de las y los agentes implica-dos. Por tanto, como en la mayoría de las acciones de ED y en general en todos los procesos de in-tervención social, el resultado perseguido en esta investigación no puede desvincularse del método –el proceso–, o lo que es más, el fin pretendido lleva implícito un modo específico de trabajo que, en este caso, es cooperativo y busca la interacción y la comunicación.

Como se ha avanzado, el objetivo de la investi-gación es el diseño y la validación de un sistema de indicadores para ser utilizado en la evaluación ex ante de los proyectos de ED en el ámbito formal realizados por Organizaciones no Gubernamenta-les de Desarrollo (ONGD).

1 Las dos fases de la investigación han sido financiadas por la AECID a través de la Convocatoria de Ayudas a Proyectos (CAP): Primer Procedimiento de 2009 (09-CAP1-0481) y Segundo Procedimiento de 2011 (11-CAP2-0999).

2 En general los criterios del Comité de Ayuda para el Desarrollo (CAD) para la Cooperación Internacional al Desarrollo. Se describen brevemente más adelante.

Introducción12

La primera etapa se realizó entre 2010 y 2011 y su propósito fue el diseño preliminar de una propuesta de indicadores estables, válidos y fia-bles para evaluación ex ante de acciones de ED en el ámbito formal. Se llevó a cabo mediante las siguientes fases:

1. Análisis documental de las convocatorias, re-ferencias y prácticas de ED, a nivel nacional y europeo.

2. Entrevistas semiestructuradas con personas expertas en ED, tanto de la administración pública, como de ONGD. En esta fase se in-corporó la realización de una serie de grupos de discusión con población potencialmente beneficiaria de la ED en educación formal (adolescentes y jóvenes, entre 16 y 23 años, divididos según el nivel de escolarización y la participación activa en voluntariado).

3. Estudio Delphi, para el que se seleccionaron expertos y expertas en la materia entre los agentes institucionales (AECID, CC. AA. y ayuntamientos), ONGD e investigadores y docentes en temas de ED.

4. La fase final de esta etapa consistió en la sis-tematización de todos los elementos anterio-res, integrándolos en la propuesta de sistema de indicadores.

La segunda etapa de la investigación, realizada entre 2012 y 2013, ha consistido en la validación

del sistema anterior hasta depurarlo y obtener la herramienta que presentamos al final de este do-cumento. En esta parte del trabajo ha sido esencial la colaboración de las ONGD que han aportado sus proyectos de ED en el ámbito formal sobre los que se ha validado el sistema de indicadores. Esta etapa se estructuró en las fases siguientes:

1. Selección de ONGD y proyectos.2. Análisis preliminar de los proyectos.3. Primera validación de indicadores.4. Análisis de resultados y propuesta final del

sistema de indicadores.

Todo este proceso para el diseño y valida-ción de la herramienta de evaluación se expone a continuación. Empezaremos por describir más detalladamente las motivaciones para realizar este trabajo, seguiremos con la visión teórica de la que partimos –conceptos tales como ED, evaluación ex ante, teoría del cambio, etc.– para encuadrar adecuadamente la investigación. En el siguiente apartado se tratará el enfoque metodológico y los procedimientos empleados hasta llegar al resulta-do final del trabajo, el sistema de indicadores.

Terminaremos el documento con unas re-flexiones sobre la operatividad del sistema pro-puesto, las ventajas que pueden derivarse de su utilización y los nuevos retos que surgen una vez finalizado este proceso.

Como ya se ha mencionado al principio de este documento, la necesidad que pretende cubrir esta investigación es la ausencia de una herramien-ta fiable y consensuada para la evaluación ex ante de proyectos de ED, que permita a la AECID dis-poner de criterios de valoración adecuados para decidir acerca de la financiación de los proyectos.

La necesidad de contar con una herramienta específica de valoración en ED viene precedida de la importancia que está adquiriendo la evaluación en el ámbito de las intervenciones sociales –lo que incluye a la ED– como un mecanismo de mejora, aprendizaje y control de responsabilidades.

En concreto, en el área de ED se han consta-tado en múltiples ocasiones las dificultades para valorar adecuadamente los proyectos que se plan-tean, previamente a la asignación de recursos y a su implementación utilizando los criterios habi-tuales para la evaluación de proyectos de Coope-ración al Desarrollo, que no contemplan aspectos definitorios de la ED. Dificultades y carencias ampliamente compartidas y debatidas entre las entidades implicadas en la implementación de los proyectos de ED.

Vamos a analizar cada uno de estos aspectos:

1.1. La reLevancia de La evaLuación en La ed

La evaluación de proyectos y programas en to-dos los campos de la intervención social se ha con-vertido en las últimas décadas en una exigencia en muchos sentidos. Desde los meros criterios eco-nomicistas a la rendición de cuentas, pasando por la necesidad de establecer procesos de aprendiza-

je sistemáticos vinculados a la reflexión, también sistematizada, sobre las prácticas, procesos, méto-dos y resultados reales (previstos y no previstos) de la intervención, la práctica de la evaluación es un requisito de la implementación de programas y proyectos sociales que ya no sólo demandan las instituciones de manera formal, sino que es una demanda sentida por prácticamente todos los agentes que intervienen en dichas intervenciones.

En el caso concreto de la ED son numerosos los foros internacionales que recogen el interés sobre la evaluación en este campo como una he-rramienta para la mejora de su calidad e impacto. Entre ellos El Consenso Europeo sobre Desarrollo: la contribución de la educación y la sensibilización en materia de desarrollo de 2007 destaca “la evalua-ción como uno de los principales desafíos de la ED a nivel europeo”.

A nivel nacional, ya el Plan Director de la Cooperación Española 2005-2008 señalaba que:

La evaluación de las políticas, programas y proyectos de la Cooperación al Desarrollo es una de las actividades más relevantes para conocer el funcionamiento, los resultados y los efectos de la ayuda oficial al desarrollo es-pañola, herramienta especialmente necesaria para mejorar la calidad y la eficacia de las ac-ciones de cooperación que España realiza en el exterior (Plan Director, 2005-2008: 115).

Y, en esta misma línea, el actual Plan Director señala:

Resulta necesario consolidar los avances del ciclo anterior y para ello se profundizará en

¿Qué motivaciones y necesidades alientan esta investigación?

1.

¿Qué motivaciones y necesidades alientan esta investigación?14

los principios definidos en la Estrategia de Educación para el Desarrollo, desde la me-dición, evaluación y generación de evidencias acerca de las experiencias más eficaces. Se fo-mentará la cultura evaluativa de la educación para el desarrollo en las funciones de mejora, generación de conocimiento sobre la práctica y rendición de cuentas (Plan Director de la Cooperación Española, 2013-2016: 33).

Por lo tanto, la necesidad de la evaluación en la ED se considera fundamental para poder analizar los efectos de las actuaciones, generar y difundir aprendizajes y dar cuenta de las respon-sabilidades de cada uno de los implicados en esas acciones.

Asimismo, la evaluación ex ante –valoración de una propuesta de intervención que busca so-lucionar o mitigar problemas o necesidades de una comunidad de personas, antes de que esta se realice (Espinoza y Peroni, 2000: 10)–, objeto de este trabajo, se antoja imprescindible por diferen-tes razones: racionalizar la asignación de recursos,

garantizar el desarrollo de procesos de aprendizaje, detectar duplicidades en las intervenciones, accio-nes con enfoques inapropiados o proyectos/pro-gramas escasamente o mal planificados.

1.2. La faLta de metodoLogía específica consensuada

En un estudio realizado por la consultora ECODE y la Agencia Vasca de Cooperación para el Desarrollo (ECODE, 2011) sobre metodología y prácticas de evaluación en ED, tras un repaso de las iniciativas de evaluación en ED a nivel euro-peo, se señala la falta de un marco de referencia es-pecífico para llevar a cabo estas evaluaciones, tanto en el ámbito europeo como a nivel nacional. Esto da lugar a que se utilicen diferentes metodologías de evaluación, en muchas ocasiones trasladando las empleadas en evaluación en el Sur o innovan-do prácticas diferentes a las habituales (mapeo de alcances3, evaluación segmentada4, evaluación se-gún las dimensiones de la ED5, etc.).

3 Esta metodología fue desarrollada por el IDRC-International Development Research Centre de Canadá. http://www.idrc.ca/EN/Pages/default.aspx.

4 Propuesta por Thierry De Smedt, miembro académico del Groupe de Recherches en Médiation des Savoirs de la Universi-dad Católica de Lovaina (Bélgica) y colaborador habitual de la ONG ITECO.

5 POLYGONE (2003). “Mosaico educativo para salir del laberinto”.

CRITERIOS BÁSICOS DEFINICIÓN

PERTINENCIAConsiste en valorar la adecuación de los resultados y los objetivos de la intervención al contexto en el que se realiza. Con su análisis se estudia la calidad del diagnóstico que sustenta la intervención, juzgando su correspondencia con las necesidades observadas en la población beneficiaria.

EFICIENCIAHace referencia al estudio y valoración de los resultados alcanzados en comparación con los recursos empleados.

EFICACIATrata de medir y valorar el grado de consecución de los objetivos inicialmente previstos, es decir, persigue juzgar la intervención en función de su orientación a resultados.

IMPACTOTrata de identificar los efectos generados por la intervención, positivos o negativos, esperados o no, directos e indirectos, colaterales e inducidos. El análisis de los impactos se centra en la determinación de los efectos netos atribuibles a la actuación.

VIABILIDAD

Se centra en la valoración de la continuidad en el tiempo de los efectos positivos generados con la intervención una vez retirada la ayuda. En el ámbito de la cooperación este concepto está muy ligado a la potenciación de los factores clave de desarrollo, a la apropiación del proceso por parte de los receptores de la ayuda y se puede decir que está directamente relacionada con evaluaciones favorables de los anteriores criterios.

Tabla 1. Criterios básicos de evaluación. (DGPOLDE, 2007)

Evaluación ex ante en Educación para el Desarrollo 15

Según estos autores, ante la citada falta de mo-delos específicos, entre las metodologías más habi-tualmente empleadas cabe destacar el seguimiento de los cinco criterios principales de evaluación defi-nidos por el Comité de Ayuda al Desarrollo (CAD) de la OCDE: pertinencia, eficacia, eficiencia, im-pacto y viabilidad (entendida como sostenibilidad).

La aplicación de dichos criterios en el ámbito de la ED no se ha adaptado de una manera especí-fica, y se concretan siguiendo las especificaciones comunes de los proyectos y programas de Ayuda y Cooperación al Desarrollo. Por lo tanto, esta metodología presenta limitaciones a la hora de ser aplicada para evaluar proyectos de ED, ya que no

contempla elementos clave y específicos de la ED o no facilita formas de medir el impacto en pro-cesos de cambio de actitudes y comportamientos a largo plazo.

Esta realidad muestra una clara demanda de los diferentes agentes implicados de una “políti-ca común de actuación y modelos de evaluación adaptados a la ED, al mismo tiempo que la so-cialización y publicación de experiencias” (ECO-DE, 2011:15) y de una metodología adaptada a las características de la ED, que tenga en cuenta y permita evaluar sus elementos clave; esto a su vez es lo que motiva la demanda, participación y apoyo de la AECID en nuestra investigación.

Si releemos el objetivo principal de esta inves-tigación, diseñar y validar un sistema de indicado-res para ser utilizado en las evaluaciones ex ante de los proyectos de ED en el ámbito formal, vemos que hay varios términos cuya conceptualización –lo que nosotros y nosotras entendemos por ellos– es la que va a vertebrar todo nuestro trabajo: tener un encuadre teórico claro y explícito respecto a conceptos como ED –en el ámbito educativo for-mal–, evaluación ex ante e indicadores determina-rá la línea argumental de toda la investigación y transmitirá coherencia a ésta.

2.1. La educación para eL desarroLLo “de quinta generación”

Desde hace unos años, en el ámbito de la coo-peración al desarrollo, cuando se habla de ED se alude a su evolución refiriéndose a un modelo de cinco generaciones (Mesa, 2000), paralelo a las ge-neraciones de ONGD del Norte enunciadas por distintos autores (Korten, 1990; Ortega, 1994; Senillosa, 1998), y que transcurre desde los años cincuenta hasta el presente.

A lo largo de ese período las actividades de ED realizadas por las ONGD se han ido transforman-do, tal y como resumen Boni y León:

…desde un planteamiento asistencial, según el cual los que tienen la capacidad para pro-ducir los cambios son los donantes individua-les del Norte (1.ª generación) o las ONGD (2.ª generación), hasta la idea de la sociedad civil global (5.ª generación), todo ello pasan-

do por visibilizar las interdependencias y la necesidad de cambios estructurales (3.ª gene-ración) y el cuestionamiento del modelo de desarrollo occidental a partir de la propuesta del desarrollo humano y sostenible (4.ª gene-ración). (Boni y León, 2013:216)

Si bien, se pueden encontrar experiencias de ED de una misma ONGD que podrían encua-drarse en más de una generación.

Existen diversas definiciones de lo que se en-tiende actualmente por ED –de 5.ª generación o educación para la ciudadanía global–. Uno de los documentos ampliamente suscritos, el Consen-so Europeo sobre Desarrollo: la contribución de la educación para el desarrollo y la sensibilización en materia de desarrollo (2007) señala:

El objetivo de la educación y la sensibiliza-ción en materia de desarrollo es hacer posible que todos los europeos tengan a lo largo de su vida acceso a la posibilidad de sensibili-zarse y de percibir los aspectos del desarrollo mundial y su importancia local y personal, y de ejercer sus derechos y responsabilidades como habitantes de un mundo interdepen-diente y cambiante, contribuyendo a hacerlo más justo y sostenible. (Consenso Europeo sobre el Desarrollo, 2007: 6)

El III Plan Director de la Cooperación Es-pañola 2009-2012, inspirado en la Estrategia de Educación para el Desarrollo (EED) de 2007, elevó la ED a la categoría de ámbito estratégico esencial de la cooperación española, definiéndola así:

¿Cuál es nuestro posicionamiento teórico?

2.

¿Cuál es nuestro posicionamiento teórico?18

La ED es un ámbito estratégico de la coope-ración, porque a través de ella se contribuye a que la ciudadanía pueda responder a los re-tos que plantea el actual proceso de globali-zación, respuestas coherentes con el enfoque basado en los derechos, la promoción de las capacidades humanas y la ayuda inclusiva. La ED desarrolla en la ciudadanía competencias (cognitivas, procedimentales y actitudinales) que aumentan la concienciación y el compro-miso ciudadano: con los derechos humanos, la responsabilidad social, la igualdad entre los sexos, el sentimiento de pertenecer a un solo mundo. A través de la ED se amplía la visión del mundo y se toma conciencia de las disparidades existentes entre las diversas con-diciones de vida de los seres humanos y de los esfuerzos que se realizan para superarlas y en la necesidad de participar en acciones democráticas que influyan en las situaciones sociales, políticas, económicas o medioam-bientales que afectan a la pobreza y al desa-rrollo humano y sostenible (Plan Director de la Cooperación Española, 2009-2012: 61).

Y la propia Estrategia de Educación para el Desarrollo aporta su definición:

Proceso educativo (formal, no formal e infor-mal) constante encaminado, a promover una ciudadanía global, a través de conocimientos, actitudes y valores capaces de generar una cultura de la solidaridad comprometida en la lucha contra la pobreza y la exclusión así como con la promoción del desarrollo huma-no y sostenible (Ortega en EED, 2007: 19).

En todas estas definiciones se recoge la dimen-sión de compromiso y participación de la ciuda-danía con la justicia social que, como apuntaba Boni (2006), introduce la ED de quinta genera-ción o educación para la ciudadanía global.

Nos sumamos a esta perspectiva de la ED que queda reflejada en sus elementos clave que vienen desarrollados en el siguiente punto.

2.1.1. Elementos clave en la Educación para el Desarrollo

Boni y León (2013) recogen buena parte de los elementos clave de la ED, que caracterizan como:

Ciudadanía global y local: incorpora la visión de la ciudadanía como participación, el acen-to está en la persona como agente individual y colectivo.

Gobernanza democrática y la profundización de la democracia por medio de la construc-ción de la sociedad civil –fuerte, independien-te y autónoma para movilizar reclamaciones y exigencias a gobiernos, controlar su acción y evitar abusos, particularmente en lo relativo a los derechos (Carothers, 1999)–, la gobernan-za participativa –la “cogobernanza” y el trabajo con el propio Estado (Ackerman, 2003), par-ticipando en sus actividades y en las decisiones sobre asuntos públicos– y la democracia deli-berativa (Gaventa, 2005) –cómo los ciudada-nos dialogan sobre las ideas de la democracia y los derechos en las distintas esferas (pública y privada; local, nacional y global) y cómo se in-cluyen en esto a todos los individuos y grupos sociales–.

La equidad de género y la dimensión intercul-tural. En cuanto a la primera, Celorio (2007) señala:

La perspectiva de género en la ED se reve-la como una de las perspectivas ineludibles, no sólo como propuesta de empoderamiento para las niñas y las mujeres, sino como apues-ta para la reconstrucción de identidades des-de la equidad, la corresponsabilidad, como medio para la superación del orden patriarcal y como estrategia de impugnación de los sis-temas de conocimiento androcéntricos (Ce-lorio, 2007: 128).

En cuanto a la dimensión cultural, la misma autora subraya:


La ED pone el acento en la dimensión in-tercultural, de manera que el conjunto de los sistemas educativos en sus vertientes forma-les y no formales acojan a todas las personas –y en especial a aquellas que están en riesgo de exclusión, que forman parte de colectivos vulnerables, de minorías–, poniendo en mar-cha estrategias de empoderamiento a través del fortalecimiento de la autonomía, del diá-logo y de la atención a la diversidad, sea esta cultural, de género, de etnia o cualquiera otra (Celorio, 2007: 124).

Sostenibilidad e interdependencia. En cuanto a la sostenibilidad, Celorio (2007) habla de la importancia de las relaciones entre el medio físico y el medio humano, con el objeto de conservar la de diversidad de modelos de desa-rrollo y de establecer los parámetros de futuros desarrollos deseables. La interdependencia nos

alerta de que cualquier análisis y propuesta no puede dejar de lado las relaciones económicas, sociales, culturales, políticas y también am-bientales entre los países y las personas.

Concienciación. Con todo lo anterior, la visión de la educación que propone la ED trasciende lo meramente formal y se entiende como un proceso de socialización crítica, que induce a la reflexión sobre desarrollo, ciudadanía, demo-cracia, cultura, etc., desde otras miradas y que permite tomar conciencia de la realidad y de las capacidades individuales y colectivas para actuar sobre ella.

Finalmente, la manera de poner en práctica la ED no se reduce solo al ámbito educativo sino que abarca el denominado continuo de sensibi-lización, formación-educación, investigación y movilización social e incidencia política.

Imagen 1. Dimensiones de la ED. (Ortega en EED, 2007)

SENSIBILIZACIÓN FORMACIÓN-EDUCACIÓN

INVESTIGACIÓNINCIDENCIA POLÍTICA YMOVILIZACIÓN SOCIAL

EDUCACIÓNPARA EL

DESARROLLO

2.1.2. La Educación para el Desarrollo en el ámbito educativo formal

La Estrategia de Educación para el Desarrollo (2007) describe la ED como un proceso educa-tivo, y como tal debe responder a un proyecto pedagógico estructurado, organizado y diseñado para grupos “objetivo” claramente identificables. Desde esta perspectiva podemos distinguir varios

ámbitos de actuación o sectores en los que se lle-van a cabo actividades de ED:

Educación formal: proceso educativo desarro-llado en instituciones educativas oficialmente reconocidas para impartir el currículo regula-do por la administración educativa, y que da acceso a titulaciones o certificados oficiales re-conocidos y homologados.


Educación no formal: proceso educativo espe-cíficamente diseñado en función de objetivos explícitos de formación o de instrucción. […] Aunque se trate de una ED no institucionali-zada, está organizada, estructurada y diseñada para grupos objetivos identificables (CONG-DE, 2004: 23).

Educación informal: se sitúa fuera del marco de la educación formal y de la educación no formal como hecho social no determinado de manera intencional. […] No obstante, el sis-tema educativo la reconoce y la utiliza como parte de sus aprendizajes. […] los aprendizajes […] están determinados por situaciones coti-dianas de contacto social: son experiencias que se dan en espacios distintos a aquellos en los que se produce la educación habitual. Dentro de este ámbito se recogen todas las actividades realizadas a través de los medios masivos de comunicación (Internet, prensa, radio, televi-sión) […] (Estrategia Educación para el Desa-rrollo, 2007: 23).

Es en el ámbito de la educación formal donde se enmarca nuestra investigación.

Dentro de éste, las actuaciones en ED –que son objeto de los proyectos de las ONGD que se pretenden evaluar ex ante– son básicamente los programas de ED en centros educativos:

Las propuestas didácticas que se llevan a cabo desde las distintas áreas curriculares incorpo-rando en todas ellas como eje transversal la ED y las que se impulsan desde un área cu-rricular concreta (habitualmente las Ciencias Sociales, la Filosofía, las tutorías, y también los monográficos o trabajos por proyectos de carácter interdisciplinar, como la “semana de la solidaridad” en todo el centro) (Baselga et al, 2004: 35).

Estos mismos autores proponen lograr pro-puestas integrales de la ED como Proyecto Edu-cativo de Centro, lo cual implicaría que los obje-tivos y contenidos de la ED se formularan desde todas las áreas curriculares y que se trabajaran las estrategias metodológicas y un diseño curricular

específico. A su vez, supondría una adaptación de la organización del centro para favorecer el trabajo en equipo.

Sin embargo, los problemas relacionados con la propia organización del centro: horarios, re-querimientos administrativos, carencia de espa-cios para trabajar en equipo, etc., la necesidad de formación del profesorado en estas cuestiones, la carencia de recursos económicos o el escaso apo-yo institucional dificultan la inserción de la ED como Proyecto Educativo del Centro.

2.2. La evaLuación

Cuando hablamos de evaluación de interven-ciones sociales en general, una de las primeras di-ficultades que nos encontramos es la de establecer un consenso sobre cuáles son las necesidades que cubre la evaluación.

Esto es así por varias razones. La primera que hay que tener en cuenta son las numerosas defini-ciones de evaluación que podemos encontrar, lo que la convierte en algo muy polisémico, a veces poco comprensible y no siempre adecuadamente utilizado. La revisión de las aportaciones de los distintos teóricos nos permitirá comprender me-jor el sentido que, en nuestra opinión, debe adop-tar la evaluación de programas y acciones sociales.

Un aspecto esencial de la evaluación es que ha de determinar una posición, un juicio de valor, respecto al objeto evaluado (Alvira, 1991). Así, “evaluar es fijar el valor una cosa, para lo cual se requiere un procedimiento mediante el que sea posible comparar aquello que se quiere evaluar respecto a un criterio o un patrón determinado”. (Franco, 1971 en Cohen y Franco, 1992: 73).

Desde este punto de vista, la evaluación debe fijar sus propios “criterios de valor”, que permitan establecer un juicio consensuado y estable respec-to a los distintos resultados obtenidos.

Además, la evaluación debe basarse en pro-cedimientos reconocidos y reconocibles desde el método científico. La aplicación de criterios, procedimientos y herramientas de observación, análisis, interpretación y emisión de juicios, no puede basarse estrictamente en la subjetividad o la


aleatoriedad del procesamiento de la información, sino que debe articularse en base a herramientas y procedimientos estructurados desde la investi-gación. Este requisito es la garantía de que los re-sultados de la evaluación respondan a criterios de fiabilidad, validez y pertinencia, sin los cuales no se puede garantizar la relevancia de los resultados.

Lo anterior queda recogido en las definiciones de Stufflebeam y Shinkfield (1987) y de Aguilar y Ander-Egg (1994):

Forma de valoración sistemática que se basa en el uso del método científico, y sirve para identificar, obtener y proporcionar informa-ción pertinente y enjuiciar el mérito o valor de algo, de manera justificable.

2.2.1. La evaluación de resultados

En cuanto a los contenidos u objetivos de la evaluación, el juicio sobre el mérito o valor de las intervenciones puede referirse a distintas cuestio-nes, que son en general a las que prestan atención los criterios de evaluación. De todos los criterios, los que se refieren a la evaluación de resultados (eficacia, impacto, etc.) son los que suelen generar más dificultades de comprensión y acuerdo.

Por definición la evaluación de resultados es-tudia las modificaciones que puede producir un programa sobre la estructura de las relaciones, el ámbito social y/o psíquico de las personas destina-tarias, las comunidades y los agentes intervinien-tes.

El mecanismo de estudio de los cambios que tienen lugar durante la aplicación de un pro-grama y, más específicamente, la evaluación busca determinar cuáles de esos cambios son atribuidos al programa. (Musto, 1975: 31).

Sin embargo, hay que diferenciar entre dos tipos de resultados que en ocasiones llevan a cier-ta confusión: los que operativamente produce el programa (actividades, actuaciones, materiales, etc.) y los efectos producidos por esas actividades, actuaciones, etc. y que implican cambios relativos

a los objetivos finales planteados por la interven-ción (aquello que se quiere transformar mediante la acción).

Así, vemos que muchos de los proyectos de ED proponen como “resultados” las propias activida-des de la intervención (y se verifica si se realizan o no, y se cuantifican e incluso se caracterizan), mientras que es mucho menos frecuente la expli-citación y verificación de los “efectos” relativos a los cambios planteados en actitudes, valores, com-portamientos, procesos, etc., que pretende la Es-trategia de ED.

Con relación a esta posible confusión, la Coor-dinadora de ONGD de España –CONGDE– (2009) entiende por “resultados” lo siguiente:

El concepto de “resultados de desarrollo”, como refleja el Manual de buenas prácticas sobre la Gestión para Resultados de Desarro-llo (GpRD) del CAD, es el siguiente: “cam-bios positivos y sostenibles a largo plazo en las condiciones de vida de las personas, que se reflejan en la reducción de la pobreza y en el desarrollo humano sostenido y sostenible, que pueden medirse a través de cambios en indicadores a largo plazo” (citado del CAD en CONGDE, 2009: 34).

Desde este punto de vista, la Gestión para Re-sultados de Desarrollo se centra en tres conceptos fundamentales que vinculan la acción a una pro-puesta teórica formulada mediante hipótesis de consecución de efectos (metas): un determinado modelo de acción, operativizado en determinadas actividades concretas, y mediante herramientas metodológicas adecuadas, derivará en unos efec-tos definidos y argumentados (causalidad en la ca-dena de resultados).

Para afrontar las necesidades analíticas que este enfoque plantea, nuestro posicionamiento se ali-nea al modelo de evaluación propuesto desde la Teoría del Cambio (Weiss, 1998) y la Teoría del Programa (Ligero, 2011). La propuesta de esta teoría (o modelo lógico de análisis) trata de com-prender la lógica de las intervenciones, buscando las relaciones internas entre los procesos y recursos concretos (la implementación) que se articulan en


los proyectos con los efectos que pretenden alcan-zarse. La teoría del cambio incorpora, por tanto, dos dimensiones fundamentales –implementación y resultados– asumiendo la existencia de relacio-nes causales entre ambas: si el programa funciona de una manera concreta producirá los efectos que se prevén. Obviamente, esta causalidad es posible

si las intervenciones cuentan con una formulación teórica adecuada que justifique (o defina hipótesis sobre) cómo se espera que dicha implementación [los procesos: inputs y actividades] deriven en unos resultados [o efectos: outputs y outcomes6] deter-minados.

6 Según el desarrollo de diferentes autores, se identifican también outputs con resultados intermedios e incluso con productos de la intervención, y outcomes con efectos a largo plazo o impactos. Obviamente estas interpretaciones concretas dependen del proyecto concreto, su envergadura y la operatividad de los efectos finales esperados.

EVALUACIÓN DEL PROGRAMA DE GASTOS DE LA UE(EVALUATING EU EXPENDITURE PROGRAMMES, 1997)

Necesidades

Objetivos Inputs Actividades Outputs

Outcomes

Resultados

Imagen 2. Ejemplo de modelo causal. (Ligero, 2011: 32)

La Teoría del Programa resulta especialmente útil y atractiva tanto por su perspectiva holística y sistémica de la evaluación, como por la exigencia que plantea para hacer explícitos los procesos y los efectos esperados en la realidad de las intervencio-nes. En proyectos a medio o largo plazo, como lo son los que son propios de la ED, esta teoría ade-más permite identificar los resultados intermedios dentro de la cadena causal de efectos esperados, lo que resulta muy clarificador para la evaluación de proyectos que se encadenan temporalmente en un proceso de mayor envergadura, y para la eva-luación de resultados intermedios que, a menudo, son los que resultan más interesantes en interven-ciones de corto plazo.

Creemos que es desde este tipo de plantea-mientos respecto a la evaluación de resultados como debe interpretarse la orientación de los cri-terios implicados en la evaluación de las acciones de ED en general, pero muy concretamente en las que se centran en el ámbito de la educación for-mal.

2.2.2. La evaluación ex ante

Según el momento en el que se realiza la eva-luación, podemos hablar de ex ante –antes de que el programa se ponga en marcha– o ex post –durante o una vez ejecutado el programa–. Este trabajo se centra en la evaluación ex ante, que es la utilizada por la administración, y en este caso concreto por la AECID, para valorar los proyectos con el fin de, entre otras cosas, determinar la asig-nación o no de recursos.

La Comisión Europea (2006) se refiere a este tipo de evaluación de la siguiente manera:

Se realiza la evaluación ex ante antes de la adopción o antes de la ejecución de la inter-vención. Constituye una ayuda al diseño de la intervención. Aspira a mejorar la calidad del diseño de la intervención en la medida en que transpone las lecciones de las experien-cias anteriores en el marco de la nueva inter-vención (Comisión Europea, 2006: 20).


Para Osuna y Márquez (2002), investigadores en la evaluación de políticas públicas, la evalua-ción ex ante:

Se realiza antes de ejecutar el plan, política o programa, siendo su objetivo principal ana-lizar su adecuación a las necesidades que lo motivan y sus posibilidades de éxito. Es de-cir, garantizar a priori que el programa, tal y como ha sido concebido, conseguirá los obje-tivos para los que se ha planificado. (Osuna y Márquez, 2002:19)

Los criterios implicados en la evaluación ex ante pueden ser todos y cada uno de los relativos a los diferentes tipos de evaluación (diseño, imple-mentación, eficacia, eficiencia, cobertura…), y sus principales objetivos serían los siguientes:

Asegurar la racionalidad y coherencia de la in-tervención.

Garantizar que el sistema de gestión diseña-do (incluido el sistema de seguimiento) y los recursos a él asignados (humanos, materiales, financieros, etc.) son los adecuados para poder ejecutar el programa y obtener los resultados previstos.

Prever y, en la medida de lo posible, cuantificar los impactos del programa.

Realizar un análisis coste-beneficio que per-mita comparar la “estrategia de intervención” escogida con otras alternativas. (Osuna y Már-quez, 2002: 20-21)

Las evaluaciones que realizan los organismos públicos de proyectos sociales para resolver la asignación de recursos vía, generalmente, concur-so público, están condicionadas por unos plazos temporales y medios escasos. Esto ha llevado a que se haya optado por aplicar herramientas que per-mitan establecer grados de discriminación entre proyectos alternativos, es decir, priorizar aquellos proyectos que presenten mayores garantías en el cumplimiento de sus objetivos.

Mediante una evaluación Integral del Di-seño, –aquella que contempla todas las fases y

componentes implicados en el desarrollo de un proyecto, desde la planificación hasta su evalua-ción– los procedimientos administrativos pueden establecer sus conclusiones respecto a un gran número de proyectos, siempre y cuando se de-terminen a priori los aspectos (diagnóstico, objeti-vos, productos, actividades, costos, recursos, etc.) que deberán ser valorados, así como las fórmulas adecuadas para que los proyectos que se presen-tan ofrezcan toda la información necesaria para ser analizada.

De esta manera, además de facilitar y posibili-tar la toma de decisiones por parte de las entidades financiadoras, se ayuda en el proceso de planifica-ción a las entidades aspirantes a la financiación. Conjuntamente, resolver estas dos necesidades, ya se constituye en un proceso de aprendizaje co-lectivo por el que se apuesta radicalmente en esta investigación.

2.2.3. Características de la evaluación de procesos de intervención centrados en lo educativo

La ED, como todos los procesos educativos, plantea una serie de condiciones específicas que hacen especialmente dificultosa su evaluación, sea ex ante o ex post.

Estas dificultades vienen derivadas al menos de cuatro de sus principales señas de identidad, a sa-ber: el sentido, el contexto, las herramientas y los procedimientos.

En cuanto al sentido de la ED, la principal di-ficultad radica en la posibilidad de establecimien-to a priori de efectos esperados relativos al cambio de actitudes, valores y conocimientos. Este tipo de modificaciones, fundamentalmente observables a medio-largo plazo, requieren de la formulación de proyectos con altos grados de estabilidad y consistencia teórica en lo que respecta a sus hi-pótesis centrales (cadenas de resultados), así como de análisis y diagnósticos previos muy ajustados al contexto de intervención, para poder plantear objetivos intermedios adecuados a las necesidades


concretas de la comunidad en la que se pretende intervenir7.

Respecto al contexto, es necesario resaltar que la ED en el ámbito formal supone un entorno de intervención, frecuentemente, muy inestable y volátil para el profesorado, lo que dificulta la esta-bilidad necesaria para este tipo de procesos. Pero, además, el propio contexto social puede resultar extremadamente variable y versátil para articular acciones comunitarias.

A esta variabilidad y volatilidad de las estruc-turas educativas formales contribuye también la incidencia de los distintos modelos territoriales que, a nivel comunitario, organizan el quehacer educativo en nuestro país.

Por otra parte, en referencia a las herramientas y procedimientos, la ED se basa en principios me-todológicos que no tienen por qué ser habituales en los centros educativos. La importancia de los procesos, del tempo del largo plazo y las herra-mientas participativas a menudo chocan con la rigidez de muchos de los entornos escolares.

Todas estas características hacen especialmente necesario, de cara a la evaluación ex ante, un análi-sis y diagnóstico previos, que permitan:

acotar la realidad y el contexto específico de cada una de las intervenciones que se plantean,

reconocer los procesos de cambio (en proce-dimientos, estructuras, modos y maneras) que serán necesarios para la acción, la viabilidad, sostenibilidad, etc. y

distinguir los efectos finales previstos por la Es-trategia de Educación para el Desarrollo –cam-bios en los conocimientos, valores y actitudes de cara a promover una ciudadanía global–.

2.2.4. Sobre el concepto de “indicador”

Teniendo en cuenta que el objetivo general es “diseñar y validar un sistema de indicadores…”, es preciso hacer alguna acotación específica respecto al concepto de indicador y a su planteamiento y

consideración en el conjunto del trabajo para que éste se comprenda adecuadamente.

Entendemos como indicador cada una de las diferentes formulaciones o expresiones, cuantita-tivas y/o cualitativas, que permiten aproximarnos al comportamiento de cualquier realidad objeto de estudio.

Los indicadores constituyen una de las formas más relevantes para sistematizar información so-bre realidades complejas, en la medida en que, conjuntamente, reconstruyen de forma razona-blemente aproximada, dichas realidades. Es decir, nos aproximan a cómo es la realidad.

Este sentido de aproximación es fundamental para la comprensión del concepto y la funcionali-dad de los indicadores, puesto que parte del reco-nocimiento de que muchas de las realidades a las que se enfrenta la intervención social compleja, y en concreto la ED, no pueden ser total y absoluta-mente caracterizadas.

Pero sí podemos establecer un buen “dibujo” sobre ellas a partir de conjuntos de medidas y/o características (indicadores) que, si bien de forma individualizada no expresan más que parcelas ais-ladas de la realidad, colectivamente cooperan para conocer de forma más aproximada esa realidad.

Por tanto, la selección de indicadores siempre puede considerarse arbitraria y/o mejorable. Lo importante de un buen sistema de indicadores es que plantee todas las posibles aproximaciones y características sobre las que la evaluación debe emitir su juicio, y que, conjuntamente, ofrezcan una perspectiva estable, válida y fiable.

En cuanto al proceso adecuado para su defini-ción hay que tener en cuenta las siguientes preci-siones:

Los indicadores deben partir de la definición de las variables críticas para cada objetivo.

Es importante diferenciar que unos indicado-res reflejan los resultados de la actuación pasa-da y otros describen lo que se hace (inductores).

Los indicadores de resultados y los indicadores de desempeño o inductores forman una cadena

7 En el apartado metodológico, al tratar el de la Teoría del Programa, se profundizará en estas ideas.


en la que los resultados del nivel inferior pue-den ser los inductores del nivel superior. (Gru-po Kaizen, 2005).

Los inductores o indicadores de desempeño son más ajustados a la intervención en el día a día, expresan cómo se desarrolla la acción y, por tanto, son más accesibles en la comprensión y la asun-ción de responsabilidad por los actores del proyec-to, y generalmente apuntan al conocimiento de procesos.

La lógica entre los inductores y los resultados radica en la probabilidad de que, consiguiendo que los inductores funcionen, se alcance el resul-tado. Eso sí, como hemos indicado anteriormen-te, esta lógica se sustenta en la existencia de un modelo teórico sólido, que debe estar planteado previamente en la intervención.8

Existe un acróstico internacionalmente cono-cido, el SMART, que puede ayudar a entender mejor el propósito de los indicadores:

S pecific: dirigida a su área (al objetivo que se busca).

M easurable: precisa y completa (datos confiables y completos).

A ctionable: indica cómo actuar (orientada a la acción).

R elevance: resultados significativos (informa-ción sobre lo que es importante).

T imely: oportunos (en el momento que los ne-cesita).

Los siguientes criterios pueden ayudar en la definición de indicadores (Grupo Kaizen, 2005):

Los indicadores no deben ser ambiguos y se deben definir de manera uniforme en todo el proyecto.

Los indicadores utilizados entre diferentes perspectivas deben estar claramente conecta-dos.

Deben servir para fijar objetivos realistas. Debe ser un proceso fácil y no complicado. Se debe buscar un equilibrio entre los indica-

dores de resultado y los indicadores de actua-ción (inductores).

Una ruta para la definición de indicadores puede ser la siguiente:

1. Aclarar el objetivo: desde la estrategia gene-ral, aclarar qué es lo que se quiere conseguir.

2. Definir las variables que muestren logros (in-ductores): establecer las variables críticas que deben ir aproximando la consecución del objetivo final.

3. Establecer los indicadores críticos para cada una de las variables intermedias.

8 Cabe señalar en este punto que tanto los indicadores de resultados como los de desempeño están contextualizados en los diferentes criterios de evaluación y que, por tanto, estarán reflejados en la propuesta del sistema para la evaluación.

3.1. orientación y enfoque metodoLógico

El trabajo pretende elaborar y validar una pro-puesta científica y solvente de indicadores que in-corporen en la evaluación ex ante de los proyectos de ED criterios y dimensiones sobre la expectativa de resultados relativos al cambio de actitudes, co-nocimientos y aptitudes de la población beneficia-ria previstos en la Estrategia de ED.

El proyecto de investigación partió inicialmen-te de las siguientes premisas e hipótesis:

La necesidad de sistematizar un conjunto de indicadores de evaluación ex ante adecuados a la formulación de proyectos de ED formal.

Esta sistematización debía elaborarse mediante un proceso de investigación científica que in-tegrara la participación de agentes e interlocu-tores implicados en el sector.

El sistema debía incorporar indicadores rela-tivos a todos los criterios de evaluación impli-cados en el diseño de proyectos (detección de necesidades, pertinencia, viabilidad, eficacia, eficiencia, impacto, transparencia, etc.), y muy especialmente los relativos a la consecución de resultados finales indicativos del cambio cog-nitivo, actitudinal y valorativo.

El peso correspondiente a cada uno de estos criterios variaría según la importancia relativa otorgada por los agentes del sector, de tal ma-nera que el sistema final de indicadores permi-tirá contar con una jerarquía de criterios sus-ceptibles de determinar el grado de adecuación de los proyectos que se presentan a las convo-catorias.

Por otro lado, la propuesta de indicadores se planteó con el requisito de incorporar criterios (cualitativos y cuantitativos) sobre los siguientes elementos:

Adecuación a las distintas etapas de la ED. Incorporación de contenidos conceptuales,

procedimentales y actitudinales. Incorporación de dimensiones propias de la

educación formal, así como de las posibles in-teracciones con la educación no formal e infor-mal.

En cuanto a los principios de carácter técnico y metodológico, la investigación se articula tenien-do en cuenta:

a) Enfoque participativo y colaborativo

El trabajo parte de una estrategia en la que tiene especial protagonismo la experiencia y ne-cesidades del sector de la ED en España. Todo el proyecto está basado en la cooperación y partici-pación de distintos tipos de agentes implicados: actores y agentes institucionales, ONGD, perso-nas expertas en ED, población beneficiaria y la propia AECID.

De esta manera, se garantiza que los resultados respondan a las necesidades sentidas por toda la comunidad que participa en el desarrollo de ED, así como que la aplicación del sistema final de in-dicadores implique un proceso consensuado de aprendizaje entre todas las partes intervinientes.

Esta perspectiva permitirá reforzar la vincula-ción de las entidades con los procesos de inves-

Metodología empleada3.

Metodología empleada28

tigación y evaluación de sus proyectos de inter-vención, participando en la detección y análisis de los puntos fuertes y débiles de sus sistemas de planificación.

b) Aplicación de la metodología científica

Que asegurará la solvencia, validez y fiabilidad de los resultados propuestos.

c) Adecuación y diversificación de herramientas metodológicas

Esta investigación requiere de la articulación adecuada de herramientas metodológicas que per-mitan dar respuesta a las diferentes necesidades expresadas en los objetivos.

Para ello, se propone una combinación de téc-nicas, diversificadas en las distintas etapas y fases que se plantean.

Finalmente, cabe decir que el proyecto quiere contribuir a reforzar las actuaciones de la Estrate-gia de ED ya que el sistema de indicadores de eva-luación servirá para validar, reforzar y/o corregir

aspectos importantes del desarrollo de las actua-ciones que se pongan en marcha.

Además, el proceso de investigación diseñado permitirá, a posteriori, desarrollar un debate ge-neral entre las entidades del sector, respecto a las prácticas, objetivos y resultados esperados de los proyectos, que contribuirá en sí mismo a refor-zar las capacidades de actuación e investigación de toda la red de agentes en ED.

Asimismo, se prevé que la puesta en práctica del sistema de indicadores facilitará la reflexión, las propuestas y el avance general de las prácticas de todas las entidades implicadas en la materia.

3.2. fases y técnicas

El trabajo se estructuró en dos grandes etapas correspondientes con los dos grandes objetivos de la investigación: diseñar un sistema de indicado-res estables, válidos y fiables para la evaluación ex ante de las acciones de ED en el ámbito formal y, posteriormente, validarlo.

A su vez, estas dos etapas se dividen en di-ferentes fases, cada una de las cuales ha seguido una estrategia de aproximación metodológica di-ferencial:


ETAPA 1: DISEÑO DEL SISTEMA DE INDICADORES

FASE 1: ANÁLISIS DOCUMENTAL

FASE 2: APROXIMACIÓN CUALITATIVA

FASE 3: ESTUDIO DELPHI

FASE 4: SISTEMATIZACIÓN DE RESULTADOS Y PROPUESTA INICIAL DE INDICADORES

ETAPA 2: VALIDACIÓN DEL SISTEMA DE INDICADORES

FASE 1: SELECCIÓN DE ONGD Y PROYECTOS

FASE 2: ANÁLISIS PRELIMINAR DE LOS PROYECTOS

FASE 3: PRIMERA VALIDACIÓN DEL SISTEMA DE INDICADORES

FASE 4: ANÁLISIS DE RESULTADOS Y PROPUESTA FINAL

Imagen 3. Etapas de la investigación


En este período de la investigación, desarro-llado entre 2010 y 2011, se llevó a cabo la etapa de diseño preliminar del sistema de indicadores, la cual se organizó en torno a los siguientes pro-pósitos:

El primero fue sistematizar y analizar las prin-cipales referencias teóricas y prácticas exis-tentes en la actualidad sobre valoración de acciones de ED, tanto a nivel estatal como in-ternacional, que se correspondería con la fase de análisis documental.

En segundo lugar, realizar una investigación cualitativa con población potencialmente beneficiaria de la ED en educación formal

(adolescentes y jóvenes escolarizados), que permita contrastar las principales referencias y actitudes sobre los contenidos y objetivos de la ED que sean susceptibles de incorporar al sistema de indicadores.

Y, finalmente, establecer un proceso de parti-cipación de los expertos y representantes del sector para la elaboración y validación del sis-tema de indicadores.

Para llevar a cabo cada uno de estos propósi-tos el trabajó contempló cuatro fases secuenciadas en las que se utilizaron diversas herramientas de recogida, análisis y sistematización de la informa-ción.

etapa 1: diseÑo

ETAPA 1: DISEÑO

Estudio Delphi

Sistematización de resultados y propuesta del sistema

de indicadores

Primera propuesta de indicadores

ETAPA 2: VALIDACIÓN

Análisis de resultados y propuesta final del sistema de indicadores

Primera validación de indicadores

Imagen 4. Etapa 1: Diseño del sistema de indicadores y sus fases


De cara a la confección de la primera propues-ta de indicadores se han tenido en cuenta algunas de las referencias más relevantes que enmarcan la selección de criterios y los desafíos respecto a la evaluación en el contexto de la ED.

Entre estas referencias se ha querido resaltar especialmente, además de documentos teóricos base, las propuestas incorporadas en determinadas convocatorias, tanto a nivel europeo, como estatal y local.

Revisar las convocatorias de ED

Se revisaron las convocatorias oficiales de ED, o en su defecto las bases de ayudas a ONGD en proyectos de cooperación al desarrollo, de diversas entidades locales, autonómicas, así como las de la AECID y de la Unión Europea.

De cada una de ellas se extrajeron los criterios de selección tenidos en cuenta y se confeccionó una tabla en la que figuraban dichos criterios para cada una de las convocatorias.

Dado lo extenso de esta información exponemos sólo a modo de resumen algunos de los criterios que resultaron coincidentes en varias entidades:

fase 1: anáLisis documentaL:

revisar Las convocatorias de ed anaLizar documentos teóricos y debate sobre ed

CONTENIDOS CRITERIOS

ENTIDAD

Experiencia y reconocimiento previos en proyectos relacionados con el actual y en el ámbito de la sensibilización y la ED

Capacidad técnica, logística, financiera y solvencia en relación al proyecto: gestión de proyectos similares. Eficiencia de los recursos financieros

Colaboración, presentación conjunta o consorcios de diferentes ONG, colectivos, organizaciones y organizaciones de ED

TEMÁTICA DEL PROYECTO

Relación de la problemática abordada y una problemática de nuestra sociedad y/o con una temática relevante de la agenda internacional o de la CPD

Vinculación local-global: contextualización

Sostenibilidad medioambiental

PERSPECTIVA DE GÉNERO

Equidad de género

Imagen de la mujer como sujeto de desarrollo: integración en lo político, lo social, lo económico y lo cultural

Información, formación, intercambio y/o sensibilización sobre la incorporación de la perspectiva de género en el desarrollo y sobre experiencias enfocadas a la igualdad de género y al empoderamiento

POBLACIÓN OBJETIVO Proyecto dirigido a un grupo determinado

FORMULACIÓN Y EVALUACIÓN

Coherencia entre justificación, objetivos y actividades. Relación adecuada y eficacia de las actividades, medios y costes

Definición precisa de objetivos, indicadores y resultados. Planificación previa y plan de actuación

Actividades fruto de un análisis y diagnóstico previo

Tabla 2. Ejemplo de criterios extraídos de las convocatorias oficiales de ED o de Cooperación


CONTENIDOS CRITERIOS

METODOLOGÍA Innovación en recursos y métodos de trabajo en ED

COMUNICACIÓN Y DIFUSIÓN

Acciones y programas de sensibilización, información, difusión en medios de comunicación, divulgación

Método y sistema de difusión adecuados a los sujetos, a las condiciones y al contexto y a los intereses de los participantes

SENSIBILIZACIÓN SOCIAL

Promoción y fortalecimiento de conocimiento e intercambio entre los colectivos del Sur y de la comunidad local

Acciones de ED y fomento de procesos educativos con el fin de transformar la sociedad

Implicación de voluntariado

FORTALECIMIENTO Y PARTICIPACIÓN SOCIAL

Participación de los colectivos del “Sur” en la concepción y el desarrollo del proyecto. Promover y fomentar el protagonismo de los agentes del Sur

Participación y movilización de las personas implicadas. Estrategias participativas por parte de la población beneficiaria

SOSTENIBILIDAD Continuidad de la acción educativa o solidaria en el tiempo

Dicho análisis documental ha puesto de ma-nifiesto la diversidad de criterios existentes actual-mente en la valoración de los proyectos, así como la demanda del sector de contar con herramientas claras que tengan en cuenta aspectos concretos y específicos del ámbito de la ED formal.

Esta demanda señala especialmente la inexis-tencia de criterios claros relativos a la determina-ción de la consecución de efectos finales. El debate sobre la evaluación de resultados, y su correlato en la imprevisión general en el diseño de los proyec-tos a este respecto, es uno de los ejes clave que el trabajo de investigación en conjunto ha tratado de resolver en el sistema final de indicadores.

Analizar documentos teóricos y debate sobre ED

Se analizó y sistematizó la información –que pudiera ser pertinente para esta investigación– de diversos documentos teóricos y debates relevan-tes en la ED recogiendo la perspectiva de ONGD, administraciones (AECID, Unión Europea), ex-pertos, académicos, etc., tanto a nivel nacional como internacional, relativa a: términos y conte-nidos clave para entender la ED, experiencias en ED, nuevos modelos de evaluación, marco con-ceptual y análisis de resultados, instrumentos de auto-diagnóstico, construcción de ciudadanía glo-bal, propuestas de sistematización, impacto de las acciones de ED en los destinatarios y en el sistema de cooperación, etc.

Tabla 2 (continuación). Ejemplo de criterios extraídos de las convocatorias oficiales de ED o de Cooperación


Entrevistas semiestructuradas

Conjuntamente con el estudio de los docu-mentos detallados anteriormente, se realizó una batería de entrevistas semiestructuradas en pro-fundidad a personas expertas en la materia, tanto desde la Administración Pública como desde las ONGD, desde distintas posiciones respecto a la planificación y la gestión de programas y/o convo-catorias de ED formal.

El objetivo de las entrevistas era analizar los puntos de vista especializados, determinando las claves que, a priori, se consideraban más re-levantes en la planificación de proyectos de ED formal, para poder incorporarlas en la propuesta inicial.

Las grandes líneas discursivas en torno a las que giraron las conversaciones fueron:

a) Desarrollo de procesos educativos

Una de las posiciones clave es la que parte de la convicción de que la educación, y por tanto la ED o Educación para la Ciudadanía9, es sobre todo un proceso destinado a la transformación social, se concibe como una acción transforma-dora global.

Su capacidad de incidencia se optimizará si se constituye en un movimiento capaz de realimen-tarse y aprender conjuntamente, mediante el esta-blecimiento y mantenimiento de relaciones inter-nas, sostenidas y creativas, entre los miembros de la comunidad educativa (redes).

b) La importancia de la transformación y el movimiento comunitario

Otra de las posiciones clave es la que resalta la importancia de la intervención educativa formal como parte en un proceso más abierto y global de incidencia en la comunidad.

Desde esta perspectiva, el énfasis de la ED formal debería centrarse en la definición de un proceso que permitiera su culminación, en el me-dio-largo plazo, pero con acción en el corto pla-zo, en el conjunto de la sociedad, mejor dicho de las comunidades en las que se insertan los centros educativos.

La idea en esta posición es el énfasis específico en el hecho de que la transformación meramente educativa no es nada si no se traslada al conjunto de la comunidad, por lo que es necesario alimen-tar la ED en un sentido procesual abierto y, en permanente conexión, con las estructuras comu-nitarias.

c) La necesidad de clarificar los resultados

La tercera de las perspectivas es la que se centra en destacar la trascendencia de la explicitación y el análisis del cambio esperado, en el corto, medio y largo plazo, como fruto de las intervenciones de ED formal.

Esto emerge como una de las carencias funda-mentales en los proyectos de ED, en la medida en que resulta más operativa la concreción del cum-plimiento de actividades y resultados de acción

9 Definición más cercana al concepto de quinta generación.

fase 2: aproximación cuaLitativa:

entrevistas semiestructuradas grupos de discusión


más que la determinación, o al menos, previsión de los efectos cognitivos, actitudinales, valorati-vos y comportamentales finales que pretenden los proyectos.

Siendo así, desde esta perspectiva se distingue este aspecto como un posible criterio de excelen-cia en la formulación de los proyectos, más allá de la explicitación de los mecanismos de gestión y/o la mera planificación operativa concreta.

d) La necesidad de sistematización y priorización de criterios en la planificación

Finalmente, una cuarta orientación es la que apunta la necesidad sentida y demandada de con-tar con un sistema común que estructure la de-terminación de prioridades y criterios, tanto en la formulación como en la evaluación de proyectos.

La exigencia de contar con un sistema ajustado que priorice los criterios se concibe, además, como un recurso común desde el que las administracio-

nes y las ONGD y/o entidades que promueven proyectos de ED formal puedan situarse y llegar a acuerdos para orientar las tácticas y las estrategias.

A partir de esos ejes del discurso, en las entre-vistas han surgido aportaciones de especial rele-vancia para la configuración del sistema de indica-dores, muy especialmente las relativas a:

La importancia de los resultados en el diseño de los proyectos. Dificultades para definir los efectos esperados y su ajuste a los contextos es-pecíficos.

Problemas en la verificación y el diseño. El contenido metodológico y el proceso como

entorno de resultados y efectos. Transformación social y comunitaria desde la

escuela.

Todo lo anterior, a su vez, se ha concretado en diferentes temas y criterios, tal y como se aprecia en la siguiente la tabla:

CRITERIOS DESCRIPCIÓN Y CONTENIDOS

1. Contexto

Los proyectos están claramente ajustados a un contexto específico. Las prácticas de ED se insertan en las dinámicas específicas de cada uno de los centros educativos, especialmente en el currículo. Identificar las características del centro desde el punto de vista del ajuste a las realidades concretas de los y las alumnas, de sus perfiles y del conocimiento de sus posiciones de partida respecto a los conceptos de ED.

2. Tipos de beneficiarios Definir y ajustar estrictamente la intervención al colectivo real con el que se va a trabajar, determinando qué acciones corresponden a cada grupo o “segmento” social.

3. Análisis del contexto y experiencias previas

Análisis preciso del entorno y contexto de intervención, que debe delimitar las características diferenciales de cada uno de los proyectos y que posibilite ajustar el resto de la planificación a las condiciones extraídas. El proyecto debe incorporar las posibilidades y necesidades a las que atenderá el programa y el porqué de las actividades y la orientación específica.

4. Niveles de intervención

El proyecto debe definir claramente la orientación de Educación para el Desarrollo Las acciones de ED deben definir sus fases específicas y los niveles de intervención (información, cambio de actitudes), también el colectivo concreto, así como las actividades previas de diagnóstico y ajuste al contexto.Debe prever un cierto grado de continuidad en las acciones (enlazando con la planificación curricular), la explicitación de los acuerdos y compromisos del centro, y las fases que se pronostiquen para el futuro.

Tabla 3. Criterios y contenidos extraídos de las entrevistas a personas expertas en ED


CRITERIOS DESCRIPCIÓN Y CONTENIDOS

5. Procesos de transformación social desde la escuela

Criterios relacionados con las “buenas prácticas educativas”, ajustadas al entorno escolar y a las realidades de docentes y alumnado.Reforzar y aportar recursos y contenidos para el desarrollo de un rol transformador desde los docentes, basado en la comunicación, en el establecimiento de relaciones significativas entre docentes y alumnos, y un cierto nivel de compromiso en el desarrollo de un proceso a medio-largo plazo.

6. Impacto comunitario Capacidad del proyecto para abrirse al entorno y para incidir en la comunidad. Incorporar al entorno en la práctica educativa mediante la implicación de entidades y movimientos comunitarios en las diferentes prácticas de ED.

7. Intensidad y cobertura Previsión ajustada (en recursos, acciones, plazos, objetivos, etc.), según condiciones, características, etc.

8. Cambio de actitudes y plazos

Concretar claramente las expectativas de cambios finales, a distintos niveles (cognitivo, actitudinal, valorativo, comportamental), determinando las posibilidades de consecución según áreas y dimensiones, en las que la intervención prevea su marco de acción.Concretar el grado y el tipo de cambio que es posible según las condiciones de la intervención. En este sentido se apuesta por la introducción de variables intermedias o inductoras, ajustadas (actitudes, sentimientos, emociones, empatía, motivación).

9. Definición de resultados

En el proyecto ha de constar la diversidad de tipos de resultados en función del contexto, los recursos y las necesidades. Los criterios que se deben tener en cuenta radican en el aprovechamiento de las condiciones del entorno para optimizarlas a favor de las pretensiones del proyecto para trabajar otros conceptos de nivel superior, o más directamente relacionados con los objetivos.

10. Modelo lógico conceptual del programa

Incorporar en la definición del proyecto el marco teórico que justifica la intervención concreta y que haga posible la explicitación de resultados finales e intermedios. Definir claramente la cadena de hipótesis y el proceso mediante el cual los diferentes resultados intermedios se irán concatenando en el desarrollo del proyecto hasta llegar a la meta final.

11. Coherencia en la programación

Coherencia de la planificación, tanto en términos internos como externos. Lógica clara de la programación en la definición de todos sus conceptos (necesidades, objetivos, recursos, plazos, actividades, etc.), de tal manera que no existan saltos conceptuales o incoherencias que no se justifiquen de una manera estructurada.El proyecto debe ser coherente con las políticas y estrategias de los acuerdos estatales, locales e internacionales.

12. Opacidad de los resultados en el aula

La apuesta por acciones integradas en los centros escolares, con implicación y liderazgo de los docentes, implica la asunción de un cierto grado de opacidad en lo que discurre al interior del aula, en lo que respecta a las prácticas concretas de cada uno de los docentes concretos.Trabajar con énfasis en las capacidades y recursos técnicos, institucionales, y también actitudinales, del profesorado.

13. Presupuesto Coherencia de las propuestas económicas mediante la explicitación de la necesidad del gasto y/o los recursos, en función de la congruencia de las actividades y el contenido global del proyecto.

14. Metodología Proponer herramientas y técnicas que faciliten el desarrollo del cambio de paradigma educativo.Los cambios de actitudes, valores, etc. requieren la apuesta por la práctica mediante herramientas metodológicas centradas en la participación, diversidad, innovación en el contexto, la motivación, etc.

15. Sostenibilidad Los presupuestos y los recursos deben irse ajustando para que las intervenciones sean auto mantenidas; los procesos de transformación social no pueden ser puntuales.

16. Entidad

Idoneidad de la entidad que promueve el proyecto para garantizar el éxito en las intervenciones programadas.La entidad debe contar con fines formales y una orientación general que sea coherente con los requisitos de este tipo de proyectos.Se considera la experiencia previa como una garantía, al igual que la capacidad de gestión.Alto grado de implantación e implicación comunitarias.

Tabla 3 (continuación). Criterios y contenidos extraídos de las entrevistas a personas expertas en ED


Grupos de discusión

El grupo de discusión es una técnica de in-vestigación social cualitativa, que permite un alto nivel de penetración en los discursos sociales res-pecto al tema de investigación. Esta técnica per-mite la expresión del discurso libre acerca de los temas tratados y refleja la estructura de opinio-nes, creencias y actitudes individuales y sociales mediante la confrontación y el debate de ideas, así como las percepciones sobre los mismos. La potencia explicativa de los grupos de discusión hace que sean una técnica especialmente adecua-da para explorar las expectativas, los deseos, los referentes y las autopercepciones de las personas participantes.

Para nuestra investigación los grupos se cons-tituyeron teniendo en cuenta el nivel de escolari-zación y la participación activa en voluntariado, teniendo 12 grupos de discusión, mixtos y con di-ferenciación según género, con 8/9 participantes en cada uno. Se organizaron teniendo en cuenta por un lado, la dimensión territorial –Sevilla, Ma-drid, Barcelona, Oviedo y Valencia– y por otro, el nivel de estudios –Secundaria y Bachillerato y universidad– y el voluntariado.

El objetivo era rastrear los referentes actitudi-nales y comportamentales de la población poten-cialmente beneficiaria de las intervenciones de ED y detectar los elementos clave del discurso que plantearan la necesidad de profundizar en deter-minados aspectos a través de las acciones de ED.

Se constató lo siguiente:

La dimensión de cierta lejanía con la que se abordan estos temas. La globalización parece tener eco en el conocimiento de la realidad mundial pero parece que lo local impone un freno y una barrera que impide el reflexio-nar de manera profunda sobre la necesidad de generar una conciencia activa más allá del territorio próximo. Por ejemplo, se está más preocupado sobre el tema del medioambiente (sobre su cuidado) porque es algo que “toca” de manera directa y visible y menos, por ejem-

plo, con el problema del subdesarrollo que se percibe en la órbita de lo internacional.

La información que se observa sobre algunos temas tratados resulta fruto de una sobreexpo-sición hacia los mismos, pero, al parecer, crea una percepción difusa y desequilibrada, que conlleva a distorsiones reales de algunos con-ceptos como pobreza, solidaridad o, en gene-ral, la ayuda humanitaria y la cooperación.

Sería preciso, como objetivo, que la ED de-sarrollara marcos educativos que tuvieran en cuenta estos hechos; el primero, la trascenden-tal importancia que tiene la ejemplificación como vínculo y conexión entre actitudes y comportamiento; la información sola, en sen-tido estricto, es capaz de promover actitudes pero no cambios de mentalidad reales, que tengan trascendencia en los comportamientos, y en las emotividades.

En cuestiones relacionadas con solidaridad, desarrollo y cooperación sólo se es consciente de determinados elementos, lo concreto y lla-mativo, pero se da menos importancia y existe un mayor desconocimiento de las causas real-mente generadoras de situaciones tales como la pobreza y la miseria, como lo son el subdesa-rrollo, la desigualdad en oportunidades y la fal-ta de equidad en las relaciones humanas y eco-nómicas. Si se habla por ejemplo de cuestiones superiores morales y éticas, como equidad o justicia social, el nivel de desconocimiento es amplio siendo, de hecho, la base sobre la que se deberían articular las políticas en ED.

Y, como punto esencial, los jóvenes se perci-ben a sí mismos como más sensibilizados y concienciados con los problemas acerca de la solidaridad y el desarrollo que generaciones anteriores y, sin embargo, los elementos pro-fundos de estos aspectos resuenan todavía con ecos lejanos entre la gran mayoría de jóvenes.

La información aportada por los grupos de discusión nos sirvió para reseñar la idea de la ne-cesidad de clarificar los contenidos de las acciones concretas.


Basándonos en la información y análisis obte-nidos de los documentos y convocatorias de ED y de las entrevistas a personas expertas, se elaboró una primera formulación, una primera propuesta sistematizada de indicadores, que sirvió como so-porte para el debate con el grupo ampliado de ex-pertos y expertas en el siguiente paso de la investi-gación, la fase Delphi10.

Esta primera propuesta está constituida en torno a las fases en el diseño del proyecto (fase

primera propuesta de indicadores

10 El método Delphi se explica con detalle en el apartado siguiente.11 Fase de conocimiento sobre las necesidades concretas y las características del entorno de la realidad sobre la que se va a inter-

venir, así como otras informaciones relevantes para el diseño de la intervención.12 Fase en la que se articulan y diseñan las distintas partes y aspectos del proyecto que dan cuerpo al conjunto de la planifica-

ción.

Tabla 4. Elementos que estructuran el conjunto de indicadores

de diagnóstico11 y de formulación12), las formas de provisión –u organización de la realidad– en la formulación del proyecto y la determinación de los criterios-tipo generales en la propuesta que es-tructuran el conjunto de los indicadores.

La configuración completa en la relación entre fases, formas de provisión y tipos de criterios es la siguiente:

FASEFORMA DE PROVISIÓN EN EL

PROYECTOTIPOS DE CRITERIOS (ASPECTOS RELEVANTES EN LA

FORMULACIÓN DEL PROYECTO)

1. DIAGNÓSTICOAnálisis de la realidad (Identificación)

1.1. Precisión y ajuste del diagnóstico

2. FORMULACIÓN

Planteamiento de organización y gestión del proyecto

2.1. Pertinencia

2.2. Eficiencia

2.3. Viabilidad

2.4. Transparencia y rendición de cuentas

Control de actividades respecto a la ejecución y el proceso de intervención

2.5. Monitorización

Delimitación de resultados esperados según los objetivos de ED

2.6. Eficacia/ Efectividad

2.7. Sostenibilidad

2.8. Impacto


Los principales contenidos de los criterios tipo que organizan el conjunto de indicadores serían:

CRITERIOS TIPO EXPLICACIÓN DE LOS CONTENIDOS

1.1. Precisión y ajuste del diagnósticoValoración del conocimiento previo y la información de que dispone el proyecto para ajustar su formulación y resultados esperados

2.1. PertinenciaValoración de la adecuación y coherencia de la propuesta respecto a la convocatoria, necesidades del contexto y población destinataria, etc.

2.2. EficienciaValoración de las previsiones del proyecto para optimizar los recursos humanos, técnicos, materiales y organizativos

2.3. ViabilidadValoración de las posibilidades y garantías de desarrollo del proyecto desde el punto de vista de las condiciones de la entidad y el contexto

2.4. Transparencia y rendición de cuentasValoración de las previsiones del proyecto respecto a la devolución de resultados a la/s comunidad/es

2.5. MonitorizaciónValoración de la previsión de control del proceso de intervención (actividades, beneficiarios, organización interna, etc.)

2.6. Eficacia/ EfectividadValoración de la explicitación y coherencia de resultados esperados en términos de modificación de actitudes, conocimientos y valores, así como desde la perspectiva de los recursos metodológicos y tecnológicos adecuados para estos fines

2.7. SostenibilidadValoración de la capacidad del proyecto para perdurar en el tiempo más allá de la financiación actual

2.8. ImpactoValoración de la capacidad del proyecto para generar resultados y efectos multiplicadores, más allá del ámbito concreto de intervención, contribuyendo a la articulación comunitaria.

Por encima de todos los criterios tipo a valorar en la formulación del proyecto se plantean tam-bién tres criterios transversales que se refieren al cumplimiento, en el conjunto del proyecto, de los requisitos relativos a las exigencias básicas en ma-teria de los consensos establecidos en la Estrategia de Educación para el Desarrollo, el Plan Director y el conjunto de documentos marco en la materia

Tabla 5. Contenidos de los criterios tipo de la propuesta inicial

sobre Educación para el Desarrollo, Perspectiva de Género e Interculturalidad.

Los criterios transversales se considerarán en la propuesta como un requisito imprescindible, cuya puntuación será independiente a la del resto de los indicadores, y que se constituirá como valora-ción global sin la que el resto de los criterios no se puntuarían.


Perspectiva de género

Adecuación a Estrategia ED

Interculturalidad

Criterios transversales

Valoración final

Análisis integral

del diseño

Imagen 5. Contenidos del sistema de indicadores


El método Delphi es una técnica de investiga-ción cuantitativa basada en el debate y el consenso “a distancia” mediante el análisis de la informa-ción y la valoración individualizada de cada uno de los participantes en dicho instrumento.

Su funcionamiento formal es prácticamente el de una encuesta, en la que la característica fun-damental es que se estructura en varias oleadas o momentos de puntuación (todos los participantes en el grupo valoran, al menos, dos veces la pro-puesta), y se dirige a una muestra reducida de per-sonas especialmente significativas en el tema que se trata de investigar.

En nuestro caso, representantes, especializados en ED, de Comunidades Autónomas y Ayunta-mientos, representantes de ONGD con trayecto-ria en la materia y con personas expertas de otras entidades públicas y privadas (universidades fun-damentalmente). Para ello, la AECID estableció un contacto previo explicando su participación y aval al proyecto.

El grupo final que avaló los resultados estaba compuesto por 15 expertos y expertas.

Con esta técnica, en nuestra investigación se buscó priorizar y asignar puntuaciones a cada uno de los criterios tipo y a sus respectivos indi-cadores, surgidos de la propuesta inicial. Es decir, pretendíamos validar la idoneidad de cada uno de los aspectos de la propuesta inicial, así como prio-rizar su grado de importancia relativa para la for-mulación y valoración de proyectos de ED formal.

El proceso se completó en dos oleadas, con el siguiente desarrollo:

1. Envío del documento a los participantes con la primera propuesta.

2. Puntuación y valoración individual, para que prioricen los indicadores de la propues-ta, resaltando los más y menos relevantes, así como el grado de importancia concedida a cada uno y devolución de los cuestionarios individuales.

3. El equipo investigador analiza y resume los resultados (puntuaciones medias, modas, máximos y mínimos) para cada indicador.

4. Preparación, por parte del equipo de trabajo, del segundo documento con las puntuacio-nes medias obtenidas.

5. Segundo envío, con la propuesta que incluye los resultados globales para que cada partici-pante revise su puntuación y pueda modifi-carla en base a las puntuaciones del conjunto del grupo.

6. Análisis final de resultados: se analiza la in-formación de la segunda oleada para dar como resultado la propuesta final priorizada.

Los datos finales fueron analizados estadística-mente para la obtención de resultados (puntua-ciones medias, modas, intervalos…).

Mediante las puntuaciones resultantes se es-tableció la priorización y jerarquía entre los dis-tintos criterios tipo y cada uno de los indicadores referidos a cada criterio.

fase 3: estudio deLphi


La fase final de esta etapa de la investigación (etapa de diseño) consistió en la sistematización de los resultados anteriores, integrándolos en la propuesta sistematizada de indicadores para la evaluación ex ante de proyectos de ED en el ám-bito formal.

Esta propuesta cuenta con 73 indicadores que recorren el conjunto del diseño del proyecto, agru-pados en nueve apartados, que hemos denomina-

do “criterios tipo”. Por encima de estos 73 indica-dores, se sugieren otros 10 indicadores relativos a la puntuación de los “criterios transversales”, que representarían una valoración independiente y globalizada para el conjunto del proyecto, y que se considerarán criterios imprescindibles para la adjudicación final.

La distribución de puntuaciones entre los dis-tintos criterios quedaría de la siguiente manera13:

fase 4: sistematización de resuLtados y propuesta deL sistema de indicadores

13 Dada la extensión de cada propuesta de sistema de indicadores y puesto que es una herramienta que se ha ido puliendo a lo largo de todo el proceso de investigación, sólo expondremos, en el apartado 4 de Resultados, la propuesta “final” del sistema de indicadores fruto de todo este trabajo.

CRITERIOS TRANSVERSALES SOBRE 100 PUNTOS

0.1. Adecuación EDD 51

0.2. Perspectiva de género 26

0.3. Interculturalidad 23

TOTAL 100

CRITERIOS TIPO SOBRE 100 PUNTOS

1.1 Precisión y ajuste diagnóstico 11,5

2.1 Pertinencia 12,6

2.2. Eficiencia 10,3

2.3. Viabilidad 10,8

2.4. Transparencia y rendición de cuentas 10,3

2.5. Articulación/Monitorización 9,9

2.6. Eficacia/Efectividad 12,1

2.7. Sostenibilidad 10,3

2.8. Impacto 12,4

TOTAL 100

Tabla 6. Puntuaciones de los criterios transversales y criterios tipo


Una vez diseñado el sistema de indicadores para la evaluación ex ante de proyectos de ED en el ámbito formal, se propuso la segunda etapa de la investigación, cuyo objetivo principal fue vali-dar el sistema de indicadores mediante un pro-ceso de investigación que permita la verificación de su capacidad, potencial y límites contrastán-dolo con las planificaciones y la elaboración de proyectos por parte de ONGD. Se hace necesaria una verificación de la capacidad de los proyectos elaborados por las ONGD para responder a los criterios de valoración y evaluación diseñados a priori.

Se trató de validar en terreno, sobre proyectos reales de ED en el ámbito formal que desarrollan ONGD, los siguientes contenidos en el sistema de indicadores propuesto:

Que los indicadores que constituyen el sistema sean parte fáctica de los diseños de interven-ción que proponen las ONGD. Se trata de va-lidar la especificidad, relevancia y pertinencia de los indicadores.

Que tienen capacidad discriminatoria en los rangos que se han establecido para su puntua-ción, o lo que es lo mismo, que para diferentes proyectos cada indicador aporta información clave para su valoración. Esta cuestión está re-lacionada con la validez de los indicadores.

Que el sistema de indicadores final es estable y puede ser replicado por distintas instancias (por ejemplo, diferentes evaluadores) sin que varíen sustancialmente los resultados finales de la valoración de los proyectos de ED formal. O lo que es lo mismo, validar su fiabilidad.

etapa 2: vaLidación

ETAPA 1: DISEÑO

Estudio Delphi

Sistematización de resultados y propuesta del sistema

de indicadores

Primera propuesta de indicadores

ETAPA 2: VALIDACIÓN

Análisis de resultados y propuesta final del sistema de indicadores

Primera validación de indicadores

Imagen 6. Etapa 2: Validación del sistema de indicadores


Para ello, en primer lugar habría que analizar proyectos de ED desarrollados, o en fase de plani-ficación, para verificar en qué medida los indica-dores se encuentran en los distintos proyectos y determinar los criterios de “evaluabilidad” de los proyectos de ED en el ámbito formal.

A continuación, se trataría de analizar los ti-pos y herramientas de evaluación presentes en la actualidad en los proyectos de ED en el ámbito formal que están llevando a cabo las ONGD par-

ticipantes en el estudio, así como los resultados de las mismas.

Y, por último, sobre la base de la planificación y desarrollo de proyectos, plantear un sistema va-lidado de indicadores para la evaluación ex ante de proyectos de ED en el ámbito formal.

Para alcanzar estos objetivos la investigación en esta etapa se estructuró en cuatro fases, con, a su vez, distintas etapas, las cuales siguieron dife-rentes aproximaciones metodológicas.

fase 1: seLección de ongd y de proyectos:

diseÑo de Las herramientas de investigación

De conformidad con la AECID se realizó una selección de posibles ONGD participantes en esta etapa de la investigación en base a su dimensión, experiencia en proyectos de ED y tipología orga-nizativa. El equipo de investigación contactó con las organizaciones y se planteó un acuerdo de co-laboración para llevar a cabo esta etapa del trabajo. Finalmente fueron siete las ONGD especializadas, y con trayectoria, en el campo de la ED formal que participaron en esta parte de la investigación:

Entreculturas Intered Intermón Oxfam (IO) Jóvenes y Desarrollo (JyD) MPDL Ongawa Veterinarios sin Fronteras (Vetermon)

A partir de ese acuerdo, se procedió a seleccio-nar, junto con las ONGD, un proyecto de ED de cada una de ellas desarrollado, o en fase de plani-ficación, en el ámbito educativo formal y sobre los que se iniciaría el proceso de validación del siste-ma de indicadores.

Para cada proyecto se solicitó a las entidades la aportación de la documentación relativa a la pla-nificación utilizada en sus proyectos correspon-dientes, en los formatos utilizados para su aproba-ción por parte de la AECID.

Finalmente, en esta fase, se planificaron y di-señaron los instrumentos de investigación necesa-rios para llevar a cabo el análisis integral del diseño de los proyectos seleccionados de las ONGD. Este diseño fue consensuado con las entidades partici-pantes.


La segunda fase permitió el análisis integral del diseño de los proyectos seleccionados para cada ONGD. Este análisis fue un paso previo necesario para la aplicación inicial del sistema de indicadores.

El análisis de los proyectos se ha realizado des-de el punto de vista de su diseño formal, mediante la aplicación de la Teoría del Programa (análisis del cambio y de la implementación), a través de la identificación de los elementos internos que re-lacionan los procesos propuestos en las interven-

ciones de ED formal con los efectos (resultados) esperados.

Se trabajó con las entidades en el análisis y revisión de la formulación de los proyectos para establecer su evaluabilidad, esto es, la posibilidad de que sean sometidos a una evaluación de diseño ex ante.

Cuando la formulación lo requiso, se planteó a las entidades la posible reconstrucción o reformu-lación de la planificación, para hacerla operativa en términos de evaluación.

fase 2: anáLisis preLiminar de Los proyectos:

anáLisis integraL deL diseÑo revisión de La formuLación de proyectos

Una vez analizados los proyectos y garantizada su evaluabilidad, se procedió a la primera aplica-ción de la batería de indicadores propuesta, ajus-tando en cada caso los valores y criterios internos que permiten establecer el recorrido de cada indi-cador en la escala propuesta.

Se trataba de establecer los baremos internos de cada uno de los indicadores del sistema propuesto, es decir, la determinación de su posible rango de variación interna para ajustar criterios objetivables.

Se realizó una baremación 2/2 por parte del equipo investigador: la valoración de cada proyec-to por dos miembros del grupo de trabajo, es decir, se realizaron dos valoraciones individualizadas de cada proyecto según la propuesta de indicadores y, posteriormente, se realizó la comparativa de la valoración pareada. Esta técnica proporciona es-tabilidad en la cuantificación de cada uno de los indicadores propuestos.

El objetivo era establecer, de forma inicial, la consistencia y validez de la batería de indicadores diseñada, mediante el análisis transversal de estos a lo largo de la doble valoración de los siete proyec-tos analizados. Este análisis se basó en el supuesto de que la consistencia de un indicador viene de-terminada por su estabilidad en las valoraciones, es decir, que debía mostrar la misma puntuación en cada valoración pareada. De esta forma, se es-tablecieron las coincidencias y discrepancias en las puntuaciones pareadas. Posteriormente, se suma-ron estas coincidencias y discrepancias para cada indicador y, en función de esto, se estableció una escala en la que cada indicador se consideraba esta-ble, medio o crítico (baja consistencia).

A estas valoraciones numéricas se añaden las observaciones y/o recomendaciones de cambios hechas por cada evaluador o evaluadora respecto de cada indicador.

fase 3: primera vaLidación deL sistema de indicadores:

vaLoración genérica de Los proyectos vaLoración pareada de Los proyectos


fase 4: anáLisis de resuLtados y propuesta finaL deL sistema de indicadores:

contraste de baremos en un proceso gLobaL eLaboración de La propuesta finaL

La última fase del proyecto permitirá unificar los baremos y criterios de los distintos proyectos y entidades para la elaboración de la propuesta ba-remada y validada de indicadores de evaluación ex ante de acciones de ED en el ámbito formal.

En esta fase se desarrollan los dos últimos apar-tados del proyecto:

a) Contraste de baremos en un proceso global

Se trata de aplicar los baremos individualiza-dos por proyectos al conjunto de todos los inclui-dos en la investigación.

Por un lado se unificaron los baremos y se determinaron los indicadores críticos y estables según criterios de coincidencia/discordancia valo-rativa en cada uno de los análisis pareados y, por otro, se identificaron indicadores redundantes y/o asociados mediante un análisis factorial para su posterior eliminación.

Este paso permitió verificar finalmente, y es-tablecer las correcciones necesarias en su caso, el sistema de indicadores, de tal manera que pueda considerarse útil, válido y fiable para cualquier proyecto que se someta a valoración con él.

Para ello se llevó a cabo un análisis factorial de indicadores. El análisis factorial es una técnica de análisis multivariante que se utiliza para el estudio e interpretación de las correlaciones entre un gru-po de variables, en nuestro caso los indicadores. Dichas correlaciones no son aleatorias, sino que se deben a la existencia de dimensiones comunes entre ellas. El objetivo de este análisis factorial es la identificación y cuantificación de dichas dimen-

siones comunes, agrupando indicadores en facto-res y evitando con ello la presencia de redundan-cias.

b) Elaboración de la propuesta final

El último apartado consistió en la sistematiza-ción de toda la información obtenida en el proceso de investigación y la presentación de la propuesta final del sistema de indicadores que mostraremos en el apartado siguiente de Resultados.

El resultado de esta segunda parte de la inves-tigación ha sido la validación del sistema de indi-cadores y su reducción, en aras de presentar un sistema más ágil, útil y aplicable tanto por parte de las entidades evaluadoras como por las propias organizaciones que diseñan proyectos de ED. Para ello se ha tenido en cuenta tanto la valoración pa-reada como el análisis factorial, así como los co-mentarios de los evaluadores y las evaluadoras.

Hay que señalar aquí que la reducción del nú-mero de indicadores se ha establecido en función de:

la integración o aglutinación en un solo indi-cador de los aspectos recogidos en dos o más indicadores (análisis factorial) y

la eliminación o el mantenimiento de un in-dicador en el sistema fundamentado en la es-tabilidad y el peso de dicho indicador en la dimensión que pretendía explicar. Así, por ejemplo, se han eliminado indicadores cuya estabilidad era “media” (en la valoración pa-reada), pero que apenas tenían peso (puntua-ción baja del factorial) en la explicación del criterio evaluado.

El resultado final de todo el proceso de inves-tigación es el sistema de indicadores que expone-mos seguidamente.

De manera resumida, las características princi-pales de este sistema son las siguientes:

La propuesta tiene como referentes básicos los postulados del Plan Director 2009-2012 y la Estrategia de ED, en cuanto a la necesidad y planteamiento de las estrategias y tácticas de investigación y evaluación en el sector y las ac-ciones correspondientes.

El sistema se basa en la propuesta de análisis integral del diseño, que contempla todas las fases de desarrollo de un proyecto desde la pla-nificación a la evaluación, incluyendo en dicha evaluación, de forma específica, la verifica-

ción de la consecución de objetivos de cambio (eficacia, efectividad e impacto) referidos a las prioridades establecidas en la Estrategia de ED (cambios en actitudes, conocimientos y com-portamientos). Se trata de aportar un sistema de criterios que faciliten la formulación y eva-luabilidad de los proyectos que se presentan a las convocatorias.

El sistema está diseñado mediante un proceso de investigación participativa, en el que han colaborado personas significativas tanto de las ONGD que trabajan en proyectos de ED en el ámbito formal, como expertos y expertas en la materia y responsables de instituciones y entidades públicas y privadas, así como la propia AECID –propulsora de esta investiga-ción–.

Resultado final:propuesta de indicadores

4.

Basados en los postulados del Plan Director 2009-2012 y la Estrategia de

Educación para el Desarrollo

Válido para su aplicabilidad a distintos entornos territoriales y realidades

institucionales/organizativas diversas

Diseño mediante un proceso de investigación participativa

Propuesta de análisis integral del diseño, que contempla todas las fases de desarrollo de un proyecto, desde la

planificación a la evaluación

35 indicadores referidos a 9 criterios tipo + 6

indicadores de 3 criterios transversales

Imagen 7. Características de los criterios del sistema de indicadores

Resultado final: propuesta de indicadores48

La propuesta se basa en la experiencia y reco-mendaciones de personas y entidades de dis-tintos entornos (públicos y privados) y reali-dades territoriales (diferentes entidades locales, Comunidades Autónomas…), por lo que es válido para su aplicabilidad en distintos en-tornos territoriales y realidades instituciona-les y organizativas diversas.

La propuesta de indicadores, como ya hemos explicado, se trata de la opción óptima que resu-me los elementos destacados en el menor número posible de indicadores. Consta de un total de 41 indicadores, 6 se refieren a 3 criterios transversales y 35 a 9 criterios tipo:

Criterios transversales:

ADECUACIÓN A LA ED

El proyecto se ajusta a las prioridades de la convocatoria en materia de ED

Se trata de un proyecto educativo a largo plazo que va más allá de la mera sensibilización

El proyecto contempla actividades relacionadas con la construcción de ciudadanía política (participación política, denuncia, reclamar derechos, etc.) en el Norte, en cualquiera de los ámbitos en los que se realicen las actividades del proyecto

Las voces del Sur tienen presencia activa en el proyecto, desde su definición hasta la evaluación de las actividades del mismo

PERSPECTIVA DE GÉNERO

En las temáticas del proyecto la mujer aparece como sujeto activo y agente de cambio en todos o algunos de los siguientes ámbitos: políticos, sociales, económicos y culturales

INTERCULTURALIDAD

En las temáticas del proyecto se promueve el reconocimiento y respeto a la diversidad de culturas, razas, religiones, etnias, etc.

Criterios sectoriales:

PRECISIÓN Y AJUSTE DEL DIAGNÓSTICO

Existen mecanismos de identificación de (o se han identificado) problemas o déficits específicos asociados a la población destinataria y/o el ámbito/organizaciones de referencia para la intervención

Se definen las condiciones que hacen que la intervención sea posible

Existen mecanismos de evaluación y diagnóstico de las posibilidades de intervención en el ámbito que se propone

PERTINENCIA

Los objetivos son coherentes con el diagnóstico

Las actividades y los resultados son coherentes con los objetivos

El proyecto presenta una caracterización clara del sector de intervención

El proyecto presenta una caracterización clara del colectivo destinatario

EFICIENCIA

Se concreta posibilidad cierta de posibilidades y compromisos de cofinanciación

Los recursos previstos se ajustan a las necesidades del proyecto


VIABILIDAD

El proyecto es ajustado para su realización en el marco social/ institucional en que se plantea

Los centros escolares y/o instituciones implicadas en la intervención manifiestan su compromiso en la participación de las actividades del proyecto

La entidad solicitante cuenta con una estrategia de ED coherente con el proyecto

La entidad solicitante tiene experiencia e incidencia en el entorno local, relacionada con procesos de ED

El personal asignado al proyecto cuenta con la formación y capacitación adecuada para proyectos de ED

TRANSPARENCIA/RENDICIÓN DE CUENTAS

Se han previsto espacios de rendición de cuentas del proyecto dirigidas a los destinatarios y/o participantes en las intervenciones

Se han previsto espacios de coordinación y comunicación entre los distintos actores intervinientes en el proyecto durante la ejecución de éste

Se han previsto espacios internos de debate, encuentro y reflexión

Se han previsto actividades de evaluación interna y/o externa de la intervención

MONITORIZACIÓN Y SEGUIMIENTO

Se prevé número y tipo de beneficiarios del proyecto

Están bien definidos los resultados del proyecto

Existen mecanismos de seguimiento y evaluación de los beneficiarios del proyecto

Existen mecanismos de seguimiento y control de las actividades del proyecto

EFICACIA/EFECTIVIDAD/RESULTADOS

El proyecto justifica teóricamente cómo se pretende que ocurra el cambio de actitudes, habilidades y/o conocimientos en la población destinataria

El proyecto incorpora la utilización de las TIC de forma combinada con otros medios

El proyecto define las actitudes, valores y/o conocimientos concretos en que se influye

El proyecto incorpora la valoración de los estilos de aprendizaje como parte fundamental de los resultados

El proyecto prevé un grado determinado de influencia en actitudes, valores y/o conocimientos

SOSTENIBILIDAD

El proyecto prevé acciones que puedan convertirse en sostenibles o transferibles a instituciones para su realización posterior

Se prevé la incorporación del profesorado a redes y/o procesos de intercambio, en su caso

El proyecto genera implicación de voluntariado

IMPACTO

El proyecto prevé formar agentes multiplicadores que se mantendrán en el tiempo

El proyecto prevé la realización de materiales y la diseminación de información para su uso posterior

El proyecto influye positivamente en la articulación y consolidación de redes implicadas en la intervención

El proyecto contribuye a afianzar las actividades de ED de la entidad en el seno de la organización

El proyecto prevé un impacto en la comunidad más allá de la comunidad educativa a la que va dirigido

En las características del sistema de indicado-res hemos resaltado los principales elementos que, creemos, legitiman la propuesta del sistema: se adecua a los referentes organizativos y teóricos de la ED, se basa en un debate y una investigación participativa, se ajusta a las necesidades de la ED y contempla los proyectos desde una perspectiva integral.

Por lo que respecta a la propuesta teórica que fundamenta el sistema, creemos que los diferentes indicadores recogen elementos fundamentales de la ED: la dimensión intercultural y de género, la apuesta por la ciudadanía democrática y la vin-culación con otras dimensiones de la ED, como pueden ser la incidencia y la movilización social o la sensibilización.

Asimismo, es también coherente con la apro-ximación a la evaluación ex ante que aquí se ha esgrimido, ya que considera y distingue elementos clave del diseño de las intervenciones: contexto, procesos de cambio y efectos finales previstos.

Por otra parte, la metodología de investigación ha intentado ser en todo momento rigurosa, com-binando diversas técnicas de carácter cuantitativo y cualitativo y recogiendo la voz de actores rele-

vantes en la ED: las ONGD, las administraciones públicas financiadoras, los y las estudiantes y una selección de expertos y expertas en la materia.

Hemos comprobado que el sistema funciona y es razonablemente estable. No obstante, requie-re de un acuerdo y un debate generalizado para consensuar los términos de su aplicabilidad y, en su caso, las condiciones de su implantación. En definitiva, se trata de la apuesta por un cambio de modelo, que no rompe con las condiciones esta-blecidas respecto a los criterios de evaluación, pero que avanza en su aproximación a los requisitos es-pecíficos de la ED.

La puesta en práctica del sistema requiere, como puede resultar obvio, de un cierto cambio de cultura en la planificación y conceptualización de los proyectos de ED, en el sentido de facilitar y permitir la explicitación en los diseños de los pro-yectos de los elementos acordados y destacados en el sistema. En cambio, creemos que este esfuerzo no sólo ayudará a clarificar el escenario de los pro-yectos de ED, sino que facilitará enormemente el análisis y el aprendizaje y, en definitiva, también la evaluación ex post de las acciones de ED en el ámbito formal.

Conclusiones5.

Ackerman, J., 2003. Co-Governance for Account-ability: Beyond “Exit” and “Voice”. World De-velopment, 32 (3), pp. 447-463.

AECID, 2005. Plan Director de la Cooperación Es-pañola 2005-2008. [On line]. Madrid: MAEC, disponible en: <www.aecid.es/galerias/publica-ciones/.../Plan_Director0508_Esp.pdf> [Fe-cha de acceso: el 8 de Enero de 2014].

AECID, 2009. Plan Director de la Cooperación Es-pañola 2009-2012. [On line]. Madrid: MAEC, disponible en: <www.aecid.es/galerias/publica-ciones/.../libro1_PlanDirector_LR.pdf> [Fe-cha de acceso: el 9 de enero de 2014].

AECID, 2012. Plan Director de la Cooperación Es-pañola 2013-2016. [On line]. Madrid: MAEC, disponible en: http://www.urv.cat/media/upload//arxius/URV_Solidaria/Info_Docu-mental/IV_Plan_DirectorCE_2013-2016_Fi-nal.pdf [Fecha de acceso: el 20 de diciembre de 2013].

Aguilar, M. J. y Ander-Egg, E., 1994. Evaluación de servicios y programas sociales. Buenos Aires: Lumen.

Alvira, F., 1991. Metodología de la evaluación de programas. Cuadernos metodológicos, 2. Ma-drid: CIS.

Baselga, P., Boni, A. y Ferrero, G., 2004. La edu-cación para el desarrollo en el ámbito formal, espacio común de la cooperación y la educación. Valencia: Editorial Universidad Politécnica de Valencia.

Boni, A., 2006. La educación para el desarrollo orientada al desarrollo humano. En: A. Boni y A. Perez-Foguet, eds. 2006. Construir la ciu-dadanía global desde la universidad. Barcelona: Intermón-Oxfam/ISF, pp. 41-51.

Boni, A. y León, R., 2013. Educación para una ciudadanía global: una estrategia imprescindi-ble para la justicia social. En: Intermón Oxfam, ed. 2013. La realidad de la ayuda 2012. Barce-lona: Intermón Oxfam, pp. 214-239.

Carothers, T., 1999. Aiding democracy abroad: the learning curve. Washington DC: Carnegie En-dowment for International Peace.

Celorio, G., 2007. Educación para el Desarrollo. En: G. Celorio y A. López de Munain, coords. 2007. Diccionario de Educación para el Desa-rrollo. Bilbao/Vitoria: Hegoa, pp. 124-130.

Chen,H-T., 1990. Theory-Driven Evaluations. California: Sage.

Cohen, E. y Franco, R., 1992. Evaluación de pro-yectos sociales. 1ª Edición en español. México: Siglo XXI editores.

Comisión Europea, 2006. Metodología de evalua-ción de la ayuda exterior de la Comisión Euro-pea. Bases metodológicas de evaluación. Vol. 1. [On line]. Luxemburgo: CE. Disponible en: <http://ec.europa.eu/europeaid/evaluation/methodology/examples/guide1_es.pdf> [Fe-cha de acceso: el 9 de enero de 2014].

Comisión Europea, 2007. Consenso Europeo para el Desarrollo: la contribución de la educación para el desarrollo y la sensibilización en materia de desarrollo. [On line]. Bruselas, disponible en: <http://ec.europa.eu/development/icen-ter/repository/PUBLICATION_CONSEN-SUS_ES-067-00-00.pdf> [Fecha de acceso: el 8 de enero de 2014].

Coordinadora de ONGD-España, 2004. Educa-ción para el desarrollo: estrategia imprescindible para el desarrollo. Propuestas para el Plan Di-rector 2005-2008. [On line]. Madrid: CONG-

Bibliografía de referencia

Bibliografía de referencia54

DE. Disponible en: <http://www.educacion-envalores.org/IMG/pdf/queeslaED.pdf> [Fe-cha de acceso: el 9 de enero de 2014].

Coordinadora de ONGD-España, 2009. La ges-tión para resultados en el nuevo marco de la Coo-peración Internacional para el Desarrollo. Ma-drid: Publicaciones Coordinadora.

ECODE, 2011. Estudio sobre metodología y prác-ticas de evaluación de acciones de educación para el desarrollo y sensibilización en la CAPV. [pdf ]. Agencia Vasca de Cooperación al Desarrollo, disponible en: <http://www.ecode.es/docs/Es-tudioEvaluacionED.pdf> [Fecha de acceso: el 8 de enero de 2014].

DGPOLDE, 2007. Manual de gestión de las eva-luaciones de la Cooperación Española. Aprender para Mejorar. Madrid: Ministerio de Asuntos Exteriores y de Cooperación.

Espinoza, A. y Peroni, A., 2000. Metodología de evaluación ex ante de Programas Sociales. Se-rie material de apoyo a la planificación social, núm. 4. Chile: Ministerio de Planificación y Cooperación –División Social. [On line], <disponible en: http://www.ministeriodesa-rrollosocial.gob.cl/btca/txtcompleto/mide-plan/mideplan_04_doc4_metodologia_eva-luac_ex_ante.pdf> [Fecha de acceso: el 13 de diciembre de 2013].

Gaventa, J., 2005. Triumph, Deficit or Contesta-tion? Deepening the “Deepening Democracy” Debate. IDS Working Paper, 264.

Grupo Kaizen, 2005. Cómo definir indicadores. [On line]. Disponible en: <http://www.gestio-polis.com/canales5/ger/gksa/90.htm> [Fecha de acceso: 11 de diciembre de 2013].

Korten, D., 1990. Getting to the 21st Century: Voluntary Action and the Global Agenda. West Hartford: Kumarian Press.

Ligero Lasa, J. A., 2011. Dos métodos de evalua-ción: criterios y teoría del programa. Serie CE-COD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo. 15/2011. Madrid: CEU Ediciones.

Megías, I., Ballesteros, J. C. y Rodríguez, E., 2008. Docentes o maestros: percepciones de la educación desde dentro. Madrid: Fundación de Ayuda con-tra la Drogadicción/ Obra Social Caja Madrid.

Megías Valenzuela, E. coord., 2010. Valores Socia-les y Drogas 2010. Madrid: FAD/ Obra Social Caja Madrid.

Mesa, M., 2000. La educación para el desarrollo: entre la caridad y la ciudadanía global. Papeles de Cuestiones Internacionales, 70, pp. 11-26.

Moreno, A. y Rodríguez, E., 2013. Informe Ju-ventud en España 2012. Madrid: Ministerio Sanidad, Servicios Sociales e Igualdad. INJU-VE. Disponible en: <http://www.injuve.es/ob-servatorio/demografia-e-informacion-general/informe-de-la-juventud-en-espana-2012> [Fe-cha de acceso: 30 de enero de 2014].

Musto, S., 1975. Análisis de Eficiencia, Metodolo-gía de Evaluación de Programas sociales de Desa-rrollo. Madrid: Tecnos.

Ortega, M.L., 1994. Las ONGD y la crisis de desa-rrollo. Madrid: IEPALA.

Ortega, M.L., 2007. Estrategia de Educación para el Desarrollo de la Cooperación Española. Ma-drid: Ministerio de Asuntos Exteriores y de Cooperación.

Osuna, J.L. y Márquez, C., 2002. Guía para la eva-luación de políticas públicas. Instituto de Desa-rrollo Regional: Fundación Universitaria. [pdf ]. Disponible en: <http://www.clad.org/sia-re_isis/innotend/evaluacion/manualeval.pdf>.

Rodríguez, E. y Megías, I., 2005. La brecha ge-neracional en la educación de los hijos. Madrid: FAD/ INJUVE/Caja Madrid.

Senillosa, I., 1998. A new age of social move-ments: a fifth generation of non-governmental development organizations in the making. De-velopment in Practice, 8 (1), pp. 40-53.

Stake, R.E., 1967. The countenance of educatio-nal evaluation. Teachers College Record, 68 (7), April.

Stake, R.E., 2006. Evaluación comprensiva y eva-luación basada en estándares. Barcelona: Grao.

Stufflebeam, D.L. y Shinkfield, A.J., 1987. Eva-luación sistemática. Guía teórica y práctica. Bar-celona: Paidós.

Stufflebeam, D., 2001. Evaluation Models. San Francisco: New Directionts in Program Eva-luation.

Weiss, C., 1998. Evaluation. New Jersey: Prenti-ce-Hall.

· la idea surge de la confluencia de dos circuns-tancias. por un lado la constatación de la...

Documents