la metodologÍa de la evaluaciÓn - ddd.uab.cat€¦ · la metodología de la evaluación...

la metodología de la evaluación participativa de planes y acciones comunitarias. tres experiencias de evaluación... [ 105 ]sips - pedagogia social. revista interuniversitaria [1139-1723 (2014) 24, 105-134] tercera época

LA METODOLOGÍA DE LA EVALUACIÓN PARTICIPATIVA DE PLANES Y ACCIONES COMUNITARIAS.

TRES EXPERIENCIAS DE EVALUACIÓN PARTICIPATIVA EN CATALUNYA

PARTICIPATORY EVALUATION METHODOLOGY FOR COMMUNITY PLANS AND ACTION.

THREE EXPERIENCES OF PARTICIPATORY EVALUATION IN CATALUNYA

A METODOLOGIA DA AVALIAÇÃOPARTICIPATIVA DE PLANOS E AÇÕESCOMUNITÀRIES-

TRÊS EXPERIÊNCIAS DE AVALIAÇÃO PARTICIPATIVA EM CATALUNYA

Anna Planas-LladóUniversitat de Girona, España

Pilar Pineda-HerreroUniversitat Autónoma de Barcelona, España

Esther Gil-PasamontesUniversitat de Barcelona, España

Laia Sánchez-CasalsUniversitat Autónoma de Barcelona, España

RESUMEN:La Evaluación Participativa (EP) se utiliza con frecuencia para evaluar los planes y accionescomunitarias. Pero, ¿cómo se diseña y se lleva a cabo un proceso de EP?, ¿qué elementos metodológicosdiferencian la EP de otras prácticas evaluativas?, ¿qué tipo de herramientas e instrumentos se utilizan? Esteartículo intenta responder a estos interrogantes; para ello, se revisa la bibliografía y guías más recientessobre metodología de la EP. A continuación se describen y se aportan las reflexiones metodológicas sobreel proceso de EP realizado en tres planes comunitarios.

Se analizan los aspectos metodológicos más relevantes observados durante la entrada a la comunidad(1), el análisis del contexto (2), la formación del grupo motor (3), la aplicación de técnicas y dinámicas parti-cipativas para evaluar las acciones comunitarias y su multiplicación (4), y la evaluación y cierre (5) de lostres procesos de EP. Los resultados permiten identificar aportaciones metodológicas relevantes para laimplementación de futuros procesos de Evaluación Participativa en entornos comunitarios, como: los agen-tes clave para el proceso de entrada en la comunidad, los ejes a tener en cuenta para fomentar la partici-pación, o el papel del equipo de evaluadores.

Pedagogía Social. Revista Interuniversitaria, 2014, 24, pp. 105-134http://www.upo.es/revistas/index.php/pedagogia_social/

ISSN: 1139-1723. © SIPS. DOI: 10.7179/PSRI_2014.24.05

Copyright © 2014 SIPS. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution-Non Commercial (by-nc) Spain 3.0

[ 106 ] anna planas-lladó, pilar pineda-herrero, esther gil-pasamontes y laia sánchez-casalssips - pedagogia social. revista interuniversitaria [1139-1723 (2014) 24, 105-134] tercera época

PALABRAS CLAVE: evaluación; investigación participativa; investigación evaluativa; acción comunitaria;desarrollo comunitario; participación.

ABSTRACT: Participatory evaluation (PE) is frequently used to assess community plans and actions. Buthow is a PE process designed and carried out? Which methodological elements differentiate PE fromother assessment practices? And what kind of tools and instruments are used? This article attempts toanswer these questions, though a review of the most recent literature and guidebooks on the EP metho-dology. Some methodological reflections on the EP process conducted in three community plans are givenand described.

In this paper we analyze the most relevant methodological aspects observed during entry into the com-munity (1), context analysis (2), the formation of the steering group (3), the application of participatory tech-niques and dynamics to evaluate community actions, their multiplication (4), and the evaluation and closu-re of the three processes of EP (5). Results allow identifying relevant methodological contributions to theimplementation of future processes of Participatory Evaluation in community settings, as the key stakehol-ders to the process of entry into the community, some elements to consider in order to encourage partici-pation, and the role of the professional evaluators team.

KEYWORDS: evaluation; participatory research; evaluation research; community action; community deve-lopment; citizen.

RESUMO: A Avaliação Participativa (AP) se utiliza com frequência para avaliar os planos e ações comuni-tárias. Mas, como se desenha e se realiza um processo de AP? Que elementos metodológicos diferenciama AP de outras práticas avaliativas? Que tipo de ferramentas e instrumentos se utilizam? Este artigo pro-cura responder a estas questões; para isso se revisa a bibliografia e guias mais recentes sobre metodologiada AP. Na continuação se descrevem e se indicam as reflexões metodológicas sobre o processo da APrealizado em três planos comunitários.

Se analizam os aspectos metodológicos mais relevantes observados durante a entrada na comunidade(1), a análise do contexto (2), a formação do grupo motor (3), a aplicação de técnicas e dinâmicas participa-tivas para avaliar as ações comunitárias, sua multiplicação (4), e a avaliação e encerramento (5) dos trêsprocessos de AP. Os resultados permitem identificar aportações metodológicas relevantes para a imple-mentação de futuros processos de Avaliação Participativa em entornos comunitários como; os agenteschave para o processo de entrada na comunidade, os eixos considerados para fomentar a participação, opapel da equipe de avaliadores.

PALAVRAS-CHAVE: avaliação, pesquisa participativa; pesquisa de avaliação; ação comunitária; desenvol-vimento comunitário; participação.


Introduction

In the Participatory Evaluation (PE) field there isa melting-pot of concepts, techniques and meth-ods not always easy to differentiate, even evalu-ation practices adding participation but not com-ing specifically from a PE approach (Daigneault& Jacob, 2009; Newman, 2008). What are the spe-cific characteristics of PE? Which methodologicalelements differentiate PE from others evaluationpractices? What are the more frequently usedtools?

This paper gives some answers to these ques-tions and presents some methodologicalresponses for the PE process developed in threecommunity plans in the framework of a researchproject1. Describing and reflecting over somepractices enables us to see the key moments andaspects of the PE, those that will not enable usto differentiate from other assessment method-ologies.

In the PE methodology experts and groupmembers, organisations and communities collab-orate on the design and execution of the evalua-tion programs in which are involved (Cousins,2003; Rossi, Lipsey & Freeman, 2004).

The aim of this kind of evaluation is twofold:research and intervention. As research it can con-tribute with information over reality, developmentand project’s results. And as intervention, it isfocused on solving problems in groups, organisa-tions or communities. Both aspects generate sig-nificant impacts over people participating in PE.Knowledge becomes a central mechanism in theseParticipatory Evaluation processes (Cousins, 2001;Cousins & Earl, 1992; Baur, Abma & Widdershoven,2010). Other axes for PE are participation (open-ing of the process to affected persons), negotia-tion (dealing over objectives, methods, interpre-tation, exchange and results spreading) and flex-ibility (constant environment change) (UNESCO,2010; Navarro, 2004).

In PE practices four approaches are identified(Nuñez Crespo, Llena-Berñe & Úcar, 2014); Col-laborative Evaluation, Practical-Participatory Eval-uation, Transformative-Participatory Evaluationand Empowerment Evaluation. The differencesbetween these approaches are determined by the

Introducción

En el campo de la Evaluación Participativa (EP) exis-te una amalgama de conceptos, técnicas y méto-dos que no siempre resultan fáciles de diferenciar,incluso prácticas de evaluación que incorporan laparticipación pero que no son propiamente EP (Daig-neault & Jacob, 2009; Newman, 2008). ¿Qué es loque caracteriza de manera específica a la EP?¿Quéelementos metodológicos diferencian la EP de otrasprácticas evaluativas? ¿Qué tipo de herramientase instrumentos se utilizan con mayor frecuencia?

En este artículo se aportan algunas respuestas aestos interrogantes y se presentan las reflexiones meto-dológicas sobre el proceso de EP realizadas en tresplanes comunitarios en el marco de un proyecto deinvestigación1. Es en la descripción y reflexión de lasprácticas concretas donde es posible vislumbrar losmomentos y aspectos clave de los procesos de EP,precisamente aquellos que nos van a permitir dife-renciarlos de otras metodologías de evaluación.

La EP es una metodología evaluadora que secaracteriza porque tanto los expertos como losmiembros de grupos, organizaciones y comunidadestrabajan de manera colaborativa en el diseño y eje-cución de la evaluación de los proyectos en los queparticipan (Cousins, 2003; Rossi, Lipsey & Freeman,2004).

Este tipo de evaluación responde a una doblefinalidad: de investigación y de intervención. Comoinvestigación puede aportar información sobre larealidad, el funcionamiento y los resultados de losproyectos. Y como intervención, está orientada asolucionar los problemas de grupos, organizacioneso comunidades. Ambos aspectos generan impactosimportantes en la formación de las personas queparticipan en la EP. De este modo, el aprendizajedeviene un mecanismo central de estos procesosde Evaluación Participativa (Cousins, 2001; Cousins& Earl, 1992; Baur, Abma, & Widdershoven, 2010).Otros ejes de la EP son la participación (aperturadel proceso a las personas afectadas), la negocia-ción (acuerdo sobre objetivos, métodos, interpre-tación, intercambio y difusión de resultados) y la fle-xibilidad (cambio constante del entorno) (UNESCO,2010: Navarro, 2004).

En las prácticas de EP se identifican cuatro gran-des enfoques (Núñez, Crespo, Llena-Berñe & Úcar,

2014); la evaluación colaborativa, la evaluación par-ticipativa práctica, la evaluación participativa trans-formadora y la evaluación para el empoderamiento.Las diferencias entre los enfoques vienen determi-nadas, básicamente, por el grado de control del eva-luador externo y por el objetivo principal persegui-do por la evaluación. Los cuatro enfoques se pue-den agrupar en dos tendencias: la primera la con-forman los dos primeros enfoques que se centranen mejorar e incrementar los resultados de la eva-luación con un mayor control por parte de los eva-luadores externos. En cambio los dos últimos enfo-ques apuestan explícitamente por el cambio, elempoderamiento y la transformación de los parti-cipantes y las comunidades, con menos control porparte de los evaluadores externos.

El proceso de EP realizado en los tres planescomunitarios que vamos a describir aquí se ubica enla segunda tendencia, la orientada al empodera-miento y transformación de las comunidades. Antesde abordar esta descripción, se presentan algunasaportaciones metodológicas existentes sobre la EP.Hay que apuntar que, aunque dichas aportacionesno siempre se identifican explícitamente con uno deestos cuatro enfoques planteados, sí que contribu-yen a ordenar y a sistematizar los procesos de EP.

1. Aspectos metodológicos de los procesosde Evaluación Participativa

En la bibliografía revisada no existe consenso en rela-ción al proceso metodológico a seguir en la EP. Esposible que esto se deba tanto a la flexibilidad delos diseños derivada del carácter participativo dela evaluación, como a la polisemia del concepto y susprácticas (Daigneult & Jacob, 2009).

Toda evaluación requiere una planificación pre-liminar pero, a diferencia de otro tipo de evaluacio-nes, las cuestiones de diseño de una EP son decidi-das a través de un proceso participativo, donde lascuestiones a evaluar y los métodos de recogida yanálisis de datos son determinados por los propiosparticipantes del proceso. De hecho, Daigneault yJa-cob (2009) consideran que los elementos esencia-les de la EP son: la inclusión de diversidad de parti-cipantes en el proceso, un alto grado de implicaciónde estos participantes y el control que estos tienendel proceso de evaluación.

external evaluator’s control power and the eval-uation’s main goal. Those approaches can be gath-ered in two tendencies: the first two approachesare focused in increasing and improving the eval-uation results with higher control of the externalevaluators. The other two vote for participantsand communities change, empowerment andtransformation, with less external control.

The PE process performed on the three com-munities described here is located into the sec-ond tendency; it is oriented to community empow-erment and transformation. Before its description,some existing PE methodological contributionsare presented. It should be pointed out thatalthough the before mentioned contributions arenot always identified in those four approaches,they contribute to organise and structure the PEprocesses.

1. Metodological aspects of Participatori yEvaluation processes

In the reviewed bibliography there is no agree-ment on the methodological process to followin the PE process. That can occur due to the pol-ysemy of the term and its practices, as well asthe flexibility of its designs originated from theparticipatory approach (Daigneult & Jacob,2009).

In every evaluation a preliminary planning isneeded. But, unlike in other kinds of evaluations,the design issues of a PE are accomplished in aparticipatory process, where the evaluation ques-tions, the data collecting and analyse methodsanalyse are determined by the process’ partici-pants. In fact, Daigneault & Jacob (2009) consid-er that those PE initial elements are: inclusion ofthe process participants’ diversity, a high degreeof participant participation and the control appliedover the evaluation process.


Despite of its flexibility, there are some PE sci-entific papers and methodological guides recom-mending the main steps to cover and contribut-ing with techniques to ease the group evaluationwork. According to Fawcet, Boothroyd, Schultz,Francisco, Carson and Bremly (2003) or Suarez-Balcazar, Orellana-Dmacela, Portillo, Sharma andLanum (2003), five community stages aredescribed: (a) developing the partnership andplanning the evaluation; (b) developing an out-comes logic model; (c) identifying the methodol-ogy ; (d) data gathering; (e) interpreting and report-ing findings; and last (f) utilization of findings.

Several PE guides linked to the communityaction’s evaluation (Shan, Kambou, goparaju,Admas & Matarazzo, 2004; UNFPA, 2004; PanAmerican Health Organization, 2005; Catley,Burns, Abebe & Suji, 2009; UNESCO, 2010) havebeen consulted. There are some coincidences inthe PE process stages and the performed tech-niques on those guides, most of them developedby governmental organizations for cooperationand development. Taking into account the sug-gested steps to follow on some of those guides(Pan American Health Organization, 2005; Catleyet al., 2009; UNESCO, 2010) we can probablyaffirm that they are similar to those of any otherevaluation. As to say: evaluation question defini-tion, methods and information source selection;information gathering, information analysis, etc.

The difference with other evaluations residesin the participatory nature of these processes, indi-cated by the used techniques and, sometimeseven the description of the steps to follow in theprocess (UNESCO, 2010). Regarding the usedtechniques, we realize that the guides suggest awide variety of them. Among them: communitymaps, historical time-lines, Venn diagram, role-playing games, task analysis, tree diagrams, FODA,discussion groups, scores, theatres…and all socialscience traditional tools. This diversity is appro-priate and desirable for this kind of evaluation tomeet the peculiarities of each evaluation process(Fletterman & Wandersman, 2007). The authorsPasteur and Blauert (2000) -with a bibliographiccompilation on participatory monitoring and eval-uation in Latin-America- stated that every newessay on PE process application applies an even

Pese a esta flexibilidad, existen algunos artículoscientíficos y algunas guías metodológicas de la EPque proponen los pasos principales a realizar y apor-tan técnicas para facilitar el trabajo evaluativo delgrupo. En los artículos científicos sobre EP de Faw-cet, Boothroyd, Schultz, Francisco, Carson y Bremly(2003) o de Suarez-Balcazar, Orellana-Dmacela, Por-tillo, Sharma, y Lanum (2003), por ejemplo, se des-criben cinco fases de la EP en el ámbito comunita-rio: (a) desarrollo de la asociación entre participan-tes y planificación de la evaluación; (b) desarrollo deun modelo de resultados; (c) identificación de lametodología; (d) obtención de datos; (e) interpre-tación e información de los resultados; y, por último,(f) utilización de los resultados de la evaluación.

Se han consultado diferentes guías de EP vin-culadas a la evaluación de acciones comunitarias(Shah, Kambou, Goparaju, Adams & Matarazzo,2004; UNFPA, 2004; Organización Panamerica-na de la Salud, 2005; Catley, Burns, Abebe & Suji,2009; UNESCO, 2010). En estas guías, mayorita-riamente elaboradas por organizaciones guber-namentales de cooperación y desarrollo, tambiénhay ciertas coincidencias en las fases del procesode EP y en las técnicas utilizadas. Si se tiene encuenta el enunciado de los pasos a seguir de algu-nas de estas guías (Organización Panamericanade la Salud, 2005; Catley et al., 2009; UNESCO,2010), probablemente se pudiera concluir que sonsimilares a los pasos a realizar en cualquier tipode evaluación. Esto es: definición de la preguntade evaluación, selección de métodos y fuentes deinformación, recopilación de la información, aná-lisis de la información, etc.

La diferencia con otro tipo de evaluaciones radi-ca en el carácter participativo de estos procesos,que nos lo indican las técnicas utilizadas y, en algúncaso, la misma descripción de los pasos del proce-so a seguir (UNESCO, 2010). Si nos fijamos en lastécnicas aplicadas, vemos que las guías plantean unaamplia diversidad. Entre ellas: mapas comunitarios,líneas históricas, mapas sociales, diagrama de Venn,juegos de rol, análisis de tareas, diagramas de árbol,DAFO, grupos de discusión, puntajes, teatro,…ytodas las herramientas tradicionales de las cienciassociales. Esta variedad es apropiada y deseable eneste tipo de evaluación para poderse adaptar a laspeculiaridades de cada proceso evaluativo (Fetter-


man & Wandersman, 2007). Pasteur y Blauert(2000), en una recopilación bibliográfica sobre segui-miento y Evaluación Participativa en América Lati-na, detectan que, en cada nuevo ensayo o aplica-ción de procesos de EP, se utiliza cada vez mayorvariedad de técnicas. Estos autores subrayan quelas técnicas participativas se están usando sobretodo para la recopilación de información, con la par-ticipación de los involucrados en el proceso de segui-miento y evaluación. Su uso ayuda a los gruposmenos privilegiados a construir una visión común oa asegurar las condiciones para una equilibradaexpresión de puntos de vista de los diferentes colec-tivos (Plottu & Plottu, 2009).

Para que la EP sea efectiva, tan importante sonlas técnicas utilizadas, como el seguimiento de losprincipios que guían este tipo de evaluaciones. Estosson algunos de estos principios.

Para empezar, la participación activa debe serdel mayor número posible de implicados (stake-holders) que, en procesos comunitarios, puedenser: políticos, técnicos, miembros de la comuni-dad, beneficiarios directos e indirectos del pro-ceso evaluativo y los propios evaluadores (Plot-tu & Plottu, 2009: Marchioni, 2003). Todos ellosinvolucrados en todas las fases de la evaluación,aunque Cousins (2003) apunta que, en la prácti-ca, los stakeholders suelen participar como con-sultores en el proceso de planificación y en lainterpretación de resultados. Uno de los prime-ros pasos en los procesos de EP suele ser la cons-titución de un grupo motor integrado por perso-nas que están motivadas para participar e impli-carse en la comunidad y tienen ganas de apren-der. Los objetivos principales del grupo motor enun proceso de EP son: dinamizar y co-liderar elproceso de implementación, y extender el pro-ceso de la EP al resto de la comunidad. En estesentido, el grupo motor puede tener una mayorinfluencia en los momentos iniciales del proce-so, para pasar a una menor implicación en elmomento en que las réplicas de las dinámicas delgrupo motor (multiplicaciones2) se vayan conso-lidando y desarrollando por otros agentes, tal ycomo se observa en la figura 1. Este proceso, nosiempre imprescindible de realizar, es recomen-dable para extender la participación aunque nosiempre sea posible.

wider variety of techniques. Those authors under-line that the participative techniques are mainlyused to compile information with the participationof the people involved in the follow-up and eval-uation process. Its use helps the less privilegedgroups to build a common vision or to ensureappropriate conditions for everyone to expresstheir point of view (Plottu & Plottu, 2009).

In order to make the PE effective, the usedtechniques are as important as the principlesguiding this kind of evaluation. These are someof them.

First of all, the active participation mustinvolve as many stakeholders as possible, whichin community processes can be: politicians, tech-nicians, community workers, community mem-bers, direct or indirect beneficiary of the evalu-ation process and the evaluators themselves(Plottu & Plottu, 2009; Marchioni, 2003). Accord-ing to Cousins (2003), in fact, the stakeholdersused to participate only as consultants duringthe planning process and in results’ interpreta-tion. One of the first steps in PE process is thecreation of a steering group composed of peo-ple motivated in getting involved in the commu-nity and aiming to learn. The main goals of asteering group are: invigorate and co-direct theimplementation process, and extending the PEprocess to the rest of the community. In thissense, the steering group may have a bigger influ-ence on the initial stages of the process andchange into a smaller implication when thereplies of the steering group dynamics (multi-plications2) are consolidated and developed byother agents, as shown in figure 1. This process,not always essential, is advisable to enlarge theparticipation, even if it is not always possible.

The second principle to be considered is basedin the inclusion of minority groups or with lesspower, the dialogue and the exchange among thedifferent interests groups and the necessary delib-eration to obtain results involving all participants(House, 2005). The different groups’ skills forexpressing their interest could drive to situationsin which those with more capacity and powerimpose their point of view over the more fragileone (Holte-McKenzie, Forde & Theobald, 2006).According to Bauer et al. (2010), in order to include


the more fragile groups we should acknowledgethe participant multiplicity, pay attention to powerrelations and define the group with less voice, stim-ulate the desire of sharing, and use easy tech-niques, as dialogue, in order to balance the dif-ferences.

El segundo principio a considerar se basa en lainclusión de grupos minoritarios o con menos poder,el diálogo y el intercambio entre los diferentes gru-pos de interés y la deliberaciónpara conseguir resul-tados que involucren a todos los participantes(House, 2005). Las diferentes capacidades de los


Fuente: Úcar, Pineda, Núñez & Villaseñor, 2011.

Figura 1. Niveles de influencia e implicación del grupo motor de la EP en una comunidad

Source: translation from Úcar, Pineda, Núñez & Villaseñor, 2011.

Figure 1. PE’s steering group influence and implication levels in a community

grupos para expresar sus intereses pueden llevar asituaciones en las que los que tienen más capacidady poder impongan su punto de vista en detrimentode los más débiles (Holte-McKenzie, Forde & The-obald, 2006). Baur et al. (2010) proponen que, paraincluir a grupos más débiles, se debe: reconocer lamultiplicidad de participantes, poner atención en lasrelaciones de poder y definir el grupo con menosvoz, estimular el deseo de compartir poder entretodos, y utilizar técnicas sencillas, como el diálogo,para equilibrar las posibles diferencias.

El tercer principio se construye sobre la moti-vación, la información y la formación de los partici-pantes. El equilibrio en la participación requiere quetodos los grupos tengan la misma información y dis-pongan de habilidades para formular y argumentarsus propuestas durante el proceso; por lo que, enalgunos casos, pueda ser necesario comenzar el pro-ceso con algunas sesiones de formación para las per-sonas involucradas. La participación no se puedeimponer, con lo que será necesario buscar estrate-gias para la implicación y la motivación de los dife-rentes colectivos en los procesos evaluativos. Entreellas, buscar la opinión de los líderes locales, utili-zar películas, organizar encuentros, hacer talleres,etc. (Plottu & Plottu, 2009).

Otro elemento fundamental es el papel del eva-luador como facilitadordel proceso. Éste debe escu-char a los participantes, compartir sus tareas con losotros stakeholders, y hacer el retorno de la evalua-ción a términos comunitarios (Plottu & Plottu, 2009;Scarinci, Johnson, Hardy, Marron & Partridge, 2009;Daigneau & Jacobs, 2009).

También es clave entender el contexto local dela acción. Las condiciones del contexto en el que serealiza el proceso de evaluación, determinaran su desa-rrollo (Smits & Champagne, 2008). En este sentido ycomo ya hemos apuntado, las técnicas, tiempos y pasosdel proceso deben adaptarse a las realidades de cadacomunidad, más que ser adoptados por éstas. Por esto,es importante que el evaluador conozca y compren-da bien el contexto y la política del programa o la comu-nidad en que se va a implementar el proceso de EP(Cousins, 2003: Díaz-Puente, 2008).

Las guías metodológicas y las aportaciones de losdiferentes autores han sido el punto de partida paraplanificar el proceso de EP de tres planes comuni-tarios que describimos a continuación.

The third principle is built over participants’motivation, information and training. The par-ticipation balance needs all groups having thesame information and abilities to formulate andargue their proposals during the process; so insome cases, to begin the process with sometraining sessions for the involved persons canbe necessary. The participation cannot beimposed, therefore finding strategies to impli-cate and motivate the different groups in eval-uation processes may be useful. We can citeamong them: searching local leaders’ opinions,utilization of films, arrange meetings and work-shops, etc. (Plottu & Plottu, 2009).

Other essential component is the role of theevaluator as process facilitator. He must listen toparticipants, share their tasks with other stake-holders, and think abount the evaluation resultsfeed-back in community terms (Plottu & Plottu,2009; Scarini, Johnson, Hardy, Marron & Partdge,2009; Daigneau & Jacobs, 2009).

It is also crucial to understand the action’s localcontext. The context conditions for an evaluationprocess will mark its development (Smits & Cham-pagne, 2008). In this sense, as argued before, thePE process’ techniques, times and steps mustmeet each community’s realities instead of beingadopted by them. This is why, it is crucial that theevaluator has a broad knowledge and under-standing of the program or community contextand policy in which the PE process is going to beimplemented (Cousins, 2003; Díaz-Puente, 2008).

The methodological guides and authors’ con-tributions have been the starting point to plan thePE process of the following three community plansdescribed.



2. El proceso metodológico de EvaluaciónParticipativa de la acción comunitaria: la experiencia en tres Planes de DesarrolloComunitario (PDC)

En el año 2011, se inicia la investigación “La evalua-ción participativa de acciones comunitarias comometodología de aprendizaje para el empoderamientopersonal y comunitario”.

Este proyecto se ha desarrollado en el marco delos Planes de Desarrollo Comunitario (PDC) en lascomunidades de Badia del Vallès, el barrio de Poble-nou en Barcelona, y el barrio de Sant Narcís y SantaEugènia en Girona. Tres contextos bien diferencia-dos con respecto a su ubicación geográfica, su baga-je histórico constitutivo, las realidades socioeconó-micas a las que dan respuesta y los niveles de par-ticipación de sus vecinos y vecinas, entre otros ele-mentos que los identifican.

El objetivo del presente artículo es describir yanalizar cualitativamente el proceso seguido pararealizar la EP de los tres planes comunitarios men-cionados, con el fin de evidenciar los aspectos meto-dológicos más relevantes que lo caracterizan. Paraello se describen los diferentes pasos realizados;desde el proceso de entrada en las comunidadeshasta la evaluación del proceso realizado, pasandopor la constitución del grupo motor y la descrip-ción de las metodología y técnicas realizadas.

2.1. El proceso de entrada en las comunidades

En las evaluaciones participativas, el grado de impli-cación de la comunidad y su actitud hacia el proyec-to son elementos clave, que pueden determinar sudesarrollo y sus resultados. Desde esta óptica, laentrada en la comunidad es un momento crucial enel que el apoyo y aval de las administraciones cons-tituye una primera puerta de entrada en el territorio.En esta investigación se contó, desde el primermomento, con la colaboración de la Dirección Gene-ral de Acción Cívica y Comunitaria de la Generalitatde Catalunya, con la que se realizaron diferentes reu-niones de trabajo para establecer los criterios deselección de las comunidades participantes y el pro-cedimiento de entrada en las mismas. La DirecciónGeneral de Acción Cívica y Comunitaria establecióinicialmente el contacto convocando a una primera

2. The methodological process of Participa-tory Evaluation in community actions: the experience in three Community Development Plans (CDPs)

In 2011, the research “Participatory Evaluation ofcommunity actions as learning methodology forthe personal and community empowerment”began.

This process is developed in the frameworkof the Community Development Plan (CDP) of thecommunities of Badia del Vallès, the neighbour-hood of Poblenou in Barcelona, and the neigh-bourhood of Sant Narcís and Santa Eugènia inGirona. Three very different contexts regardingtheir location, their constitutive historical ground-ing, the socio-economic realities that need to beaddressed and the inhabitants’ participation lev-els, among other components.

The aim of this paper is to make a qualitativedescription and analysis of the PE process fol-lowed on the three mentioned community plans,in order to show their most relevant method-ological aspects. With this aim, the performedsteps are described; from the community accessprocess to the evaluation of the process made,including the steering group creation and thedescription of methods and techniques.

2.1. The community access process

In participatory evaluations, the communityinvolvement level and its attitude towards the proj-ect are key elements that can determine PE devel-opment and results. In this approach, theresearchers’ entrance in the community is a cru-cial moment in which the administrations’ supportand endorsement are the first access to the ter-ritory. From the very beginning, this researchrelied on the collaboration of the Direcció Gen-eral d’Acció Cívica i Comunitària de la Generali-tat de Catalunya (an institution within the Cat-alonian Government) and several meetings wereheld in order to define the selection criteria of theparticipant communities and how to access them.This public institution set the first contact in a firstmeeting summoned the institutions in charge of


reunión a las instituciones responsables de la gestiónde los planes comunitarios donde se realizaría lainvestigación (Ayuntamientos de Girona y Barcelo-na y la Fundación Pere Tarrés), a los técnicos comu-nitarios de los tres territorios (con una formacióninicial muy variada, son técnicos que se especializanen el diseño, gestión y ejecución de actividades, pla-nes, programas y proyectos de acción comunitaria)(Llena et al., 2009) y al equipo de investigación, parapresentar el proyecto, recoger las valoraciones delos asistentes y solicitar su implicación en la EP.

En los tres territorios se articuló la presentaciónde la propuesta de EP, a través de las estructurasorganizativas existentes en cada comunidad, como,por ejemplo, a través de los grupos establecidos ode los proyectos consolidados en la comunidad.

Las reuniones con los técnicos comunitarios fue-ron decisivas para el proceso, ya que permitieronrealizar una negociación de los significados de la EP,antes de iniciar el trabajo con la comunidad. En ellasse acordaron el carácter y los niveles de participa-ción; el alcance de la propuesta en el territorio; elperfil de los participantes; el marco de trabajo delproceso; y, por último, los canales de presentaciónpara la propuesta a la comunidad.

En estas reuniones, los diferentes equiposrecogieron, en cada territorio, las expectativas pre-vias de los técnicos respecto la EP, el estado de lacomunidad a nivel general (problemáticas socioe-conómicas, demandas de la comunidad, efectos dela crisis, dinámicas comunitarias, capital social, etc.)y, también, información sobre otras experiencias deinvestigación ya realizadas en cada uno de los terri-torios.

Otros aspectos que incidieron en los momen-tos iniciales de entrada a la comunidad fueron:

• El origen externo de la demanda de EP, desdelos investigadores hacia el territorio. En los trescasos influyó tanto en la motivación de los téc-nicos como en la sostenibilidad del proceso y enúltimo término, en las características específicasde su participación• La situación del plan comunitario en el momentode entrada que incidió en cómo se articulaba elproceso participativo. Hay que apuntar que di-cha entrada se produjo en un momento de in-certidumbre económica con respecto a lacontinuidad de los planes comunitarios

the management of the community plans wherethe research will take place (the city councils ofGirona and Barcelona, and Fundación Pere Tar-rés, a private foundation), the community workersof the three territories -with a very different ini-tial training, specialised in plans, programs andcommunity action project management, designand execution (Llena et al., 2009)-, and theresearch team in order to introduce the project,collect the participants’ assessment and ask fortheir implication in the PE.

In the three territories the PE proposal wasenunciated through the existing organisationalstructures in each community, as for example,through the defined groups or the consolidatedcommunity programs.

The meetings with community workers werevital for the process, because they boosted a nego-tiation about PE meanings, before beginning towork in the communities. Thus, the nature and par-ticipation levels were established; the aim of com-munity proposal’s; the participants’ profile; theprocess’ framework; and the presentation chan-nels to propose de EP to the community.

In those meetings, the different researchteams collected the community workers’ previ-ous expectations about PE, the general commu-nity situation (socio-economic issues, communi-ty demands, crisis effects, community dynamics,social capital, etc.) and also, information aboutother research experiences previously devel-oped in each territory.

Other aspects affecting the initial stages of theentrance in the community were:

• The external origin of the EP demand, outsidethe community. In the three cases the commu-nity workers’ motivation, the project sustain-ability, and the particular components of itsparticipation were influenced.• The situation of the community plan at the en-trance moment, which influenced the articula-tion of the participatory process. It has to beoutlined that this entry occurred in a momentof economic uncertainty regarding communityplans’ continuation.• The different community expectations re-garding Participatory Evaluation and its results.The fact of having collaborated in previous par-

ticipatory experiences and the effects derivedfrom them (enthusiasm or uneasiness and frus-tration) affect the way the community acceptsand responds to the new collaboration initia-tive for participatory and community research.In all the communities, participants insisted onclarifying the PE project and defining their ded-ication and the expected results. • The profile and the differential role played bycommunity workers, who were the interlocu-tors with the university team in every territory.• The socio-economic situation prioritises thecommunity actions versus the new needs(housing access instability, economic resources’reduction, etc.) Consequently, the evaluationswere focused in issues related to the crisis orhow to face problems derived from it, as socialcohesion.

2.2. The steering group creation

The creation of the steering group has been linkedto the fact that none of the involved communitiesmade an explicit request for PE development. Onthe contrary, it was boosted by the public admin-istration or the CDP managing organisation. Thatprovoked initial resistances in some territories,in some cases the PE was perceived as an increaseof workload in technicians’ agenda. Also, therewere difficulties and resistances to imply the com-munity inhabitants in this participatory process.On the other hand, the participation of those com-munity workers about the PE has been boostedby the chance of learning from the PE process andfrom its methods and techniques.

The consolidated steering group in two of thecommunities were reduced (an average of 8 par-ticipants) and with a technical profile, with lesspresence of neighbours, organizations and othergroups. Even in one of them, neighbours andorganisations’ representatives have socio-educa-tive professional profiles. On the contrary, thethird community’s steering group brought togeth-

• Las diferentes expectativas de la comunidadrespecto a la Evaluación Participativa y a sus re-sultados. El hecho de haber colaborado en ex-periencias participativas anteriores y los efectosprovocados por las mismas (entusiasmo o ma-lestar y frustración) afecta a la manera en que lacomunidad recibe y responde a una nueva invi-tación a colaborar en una investigación partici-pativa y comunitaria. En las tres comunidades,los participantes insistieron en la necesidad declarificar el proyecto de EP y en concretar la de-dicación que supone y los resultados esperados.• El perfil y el rol diferencial que jugaron los téc-nicos interlocutores con el equipo universitario encada uno de los territorios. • La situación socioeconómica dio lugar a unapriorización de las actuaciones comunitarias antelas nuevas necesidades (precariedad de accesoa la vivienda, disminución de recursos económi-cos, etc.). En consecuencia, las evaluaciones secentraron en temas relacionados con la crisis o encómo afrontar problemas derivados de la misma,como la cohesión social.

2.2. La constitución del grupo motor

La constitución del grupo motor ha estado condi-cionada por el hecho de que no se produjo una peti-ción explícita por parte de ninguna de las comuni-dades para desarrollar una EP. Por el contario, éstaha sido impulsada por la administración y/o por laentidad gestora del PDC. Este hecho ha generadoresistencias iniciales en algún territorio. En algunoscasos, la EP se percibía cómo un factor que iba aaumentar el volumen de trabajo en las agendas delos propios técnicos. También dificultades y resis-tencias para implicar a la comunidad en este pro-ceso participativo. Por el contrario, un factor que haalentado la participación de dichos técnicos comu-nitarios en la EP ha sido la oportunidad de aprenderque suponía para todos, tanto del propio procesode EP como de los métodos y técnicas utilizadas.

Los grupos motor consolidados en dos de lascomunidades participantes eran reducidos en tama-ño (una media de 8 participantes) y han tenido unmarcado carácter técnico, con una menor presen-cia de vecinos, entidades y otros colectivos. Incluso,en uno de ellos, los vecinos y los representantes de


entidades tienen perfiles profesionales relaciona-dos con el trabajo socioeducativo. En cambio, elgrupo motor de la tercera comunidad ha aglutinadoun mayor número de participantes (una media de13) y con un perfil más variado en el que destaca lapresencia de vecinos y de miembros de entidades.

Estas diferencias en el grupo motor han condi-cionado el enfoque de las temáticas de evaluacióncentrándose, los grupos con carácter más técnico,en aspectos técnicos de la acción comunitaria. Elgrupo motor con mayor diversidad de participantescomunitarios, en cambio, ha incidido en las percep-ciones y valoraciones de los miembros de la comu-nidad sobre las actividades comunitarias que sedesarrollan en la misma. El tamaño también ha sidoun elemento determinante; tanto para la realizaciónde algunas dinámicas (falta de quórum, menos pun-tos de vista, etc.), como para la realización de multi-plicaciones en otros espacios.

Antes de formar el grupo motor se realiza unaprimera reunión con todo los agentes –técnicos yvecinos-, con dos objetivos: explicar el proyecto deEP y generar una discusión en torno a los posiblesbeneficios que puede suponer a nivel personal ycomunitario para estimular la participación. A con-tinuación, se constituye el equipo que iba a liderarel proceso de evaluación comunitaria. Esta primerareunión es clave para el desarrollo del proyecto deEP. En ella se negocian las cuestiones prácticas y decontenido, como la duración del proyecto, las tare-as a realizar, los elementos a evaluar, etc. Desde elequipo universitario, es muy importante dejar claroque estos temas se decidirán entre todos.

Al acabar la reunión, se pacta una fecha para ini-ciar el proceso de EP con las personas interesadasen participar. En nuestra experiencia, no se realizóninguna formalización de participación en el grupomotor. Si fuese necesario, se podría utilizar algúntipo de formalización o compromiso individual, perohabría que valorar las consecuencias que ello podríatener en la implicación de las personas en la EP; porejemplo, una sensación de obligatoriedad del pro-ceso o una mayor rigidez en la configuración delgrupo.

Éste es el momento del proceso de EP en el quees posible realizar una dinámica que ayude a las per-sonas a clarificar sus objetivos y expectativas en suvinculación con el grupo motor. La técnica utilizada

er the higher number of participants (an averageof 13) and with a most diverse profile where thepresence of several neighbours and communityassociations stands out.

Those differences among the steering groupshave affected the evaluation theme approach,making the more technical groups to focus onthe technical aspects of community actions. Onthe other hand, the steering group with highervariety of community participants has influencedcommunity members over their perceptions andevaluation of the community activities per-formed. Size also was an essential element bothfor the creation of several group dynamics (notreaching the quorum, less opinions, etc.) and forperforming multiplications in other spaces of thecommunity.

A meeting with all agents –workers and neigh-bours- was held before creating the steeringgroup, to achieve two goals: to explain the PEproject and to create a discussion over the futurebenefits at a personal and community level inorder to stimulate participation. After that, theteam that would lead the community evaluationprocess was created. The first meeting is crucialin order to develop the PE project; in thismeetind, the practical and content components(project duration, tasks, elements to be assessed,etc.) should be debated. It is important for theuniversity team to state that those issues mustbe decided in common.

After the meeting, the PE process starting datewas set. During our experience, no formal com-mitment for the participation was made in thesteering group. Some kind of commitment aboutthe personal involvement in the PE can be donewhen needed, but its consequences over the per-sons must be assessed before; for example, therisk of feeling the project as a compulsory or agreater rigidity of the group composition.

At that stage of the PE process it is possible todevelop a dynamic that helps people to clarifygoals and expectations in its steering group’sinvolvement. The applied technique was “Expec-tations Paper-Ball”. To make it work, each per-son must write down his or her expectations overthe Participatory Evaluation project; all papers arecollected and a big paper-ball is made. The ball is



en las tres comunidades fue la “bola de expectati-vas”. Esta dinámica consiste en que cada personaescribe en un papel sus expectativas sobre el pro-yecto de Evaluación Participativa; se recogen todoslos papeles y se van envolviendo uno encima de otro,formando una bola grande de papel. La bola se guar-da, con la intención de abrirla al final del proceso yrevisar así el grado de logro de las expectativas decada persona.

En nuestra experiencia, los participantes en elgrupo motor han representado diversidad de roles;de roles de escucha a roles más dinámicos y pro-positivos. Esta diversidad responde, en algunoscasos, a la propia concepción que tenían los parti-cipantes de cómo era una EP. Es decir, considera-ban que el opinar y el estar en las sesiones ya eraparticipar y en el momento que se les daba u ofre-cía un rol más decisorio mostraban dudas y temo-res, derivando la decisión final al equipo de investi-gación. En general, la implicación de los participan-tes, más allá del grupo motor, ha sido escasa. Losmotivos han sido diferentes en cada comunidad perose pueden plantear los siguientes: (1) la poca tradi-ción que existe sobre EP y la consideración de queasistir a las sesiones y opinar ya es suficiente; (2) elmiedo y la falta de habilidades para realizar pro-puestas o desarrollar multiplicaciones; y, por último,(3) la falta de tiempo para implicarse en el procesomás allá de la asistencia a las sesiones del grupomotor.

2.3. El desarrollo del proceso de EP. Metodologíasy técnicas

Todo el proceso de trabajo de la EP se realiza median-te reuniones con el grupo motor, que toma decisio-nes sobre las acciones a realizar por sus miembros.En esta investigación, las reuniones las convoca, enunas comunidades, el técnico comunitario, comomiembro de la comunidad con liderazgo reconocido,que además actúa de mediador entre el equipo deevaluadores universitarios y la comunidad, y, en otras,el equipo de evaluadores universitarios. Las reunio-nes de trabajo se realizan con una frecuencia men-sual, para darle continuidad al proceso de EP.

Para realizar la EP se han llevado a cabo unaserie de acciones en los grupos motores. Éstas varí-an, en función del ritmo de trabajo y de los ámbi-

kept intending to open it up at the end of theprocess, in order to check how the initial expec-tations are meet.

During our experience, steering group’s par-ticipants have performed several roles: from lis-tening roles to more dynamic and active ones.Sometimes, that diversity responds to their PE’sprevious perception. For some participants, giv-ing opinions or attending the sessions meant toparticipate, and when offered a more active rolewith decision-making responsibilities theyexpressed doubts deriving the final decision tothe research team. Out of the steering group, par-ticipants’ involvement was limited. Each commu-nity had its own reasons as to say: (1) the limitedexisting PE tradition and considering that attend-ing to meetings and give opinions was enough; (2)fear and lack of abilities to develop proposals ormultiplications; and finally (3) lack of time to getinvolved in the process out of attending to steer-ing group sessions.

2.3. Participatory Evaluation process development. Methods and techniques

The PE’s work process is based in steering groupmeetings, which take the decisions about actionsthat its members should perform. In this research,meetings were convened in communities by a com-munity worker (as a leader of community, actingas a mediator with the university evaluator team),and in others the university evaluators. The work-ing meetings happened once a month to keep onthe process.

The steering groups performed some actionsin order to develop the PE. They suffered varia-tion regarding the workload and the evaluationareas selected by each one, but with the samestructure. Figure 2 shows a sequence of actions

tos de evaluación seleccionados por cada uno, perosiguen una estructura común. La figura 2 presentala secuencia de acciones desarrolladas en los gru-pos motor y las principales técnicas utilizadas en

developed by steering groups and the main tech-niques used; some will be explained later.

The development of those actions led to 36working sessions of 2 hours in the communities


Fuente: elaboración propia.

Figura 2. Secuencia de acciones y técnicas desarrolladas en el proceso de Evaluación Participativa en las comunidades

Source: Personal compilation

Figure 2. Developed actions and technique’s sequence on the Participatory Evaluation community process

(the average is 14 sessions per community), someof them just with the community workers and oth-ers within the steering group.

After each working session, the main contri-butions, some literal cites, agreements anddefined charges were collected in a minute. Theagreements were at hand to all steering groupmembers, being an essential working tool dur-ing the information gathering and the decisiontaking.

Through the PE process, some steering groupmembers abandoned while other join up so theworking group was never the same. However, animportant group of participants stayed during thewhole process, giving continuity to the steeringgroup.

All plans and methodological decisions creat-ed by the university research team were agreedwith the community workers before taking it tothe steering group.

2.3.1 A selection of community actions to evaluate

One of the first steps made to create the PE wasa joint selection of community actions that thesteering group wanted to evaluate. In this way, theuniversity evaluators and community workers cre-ated a community action plan with actions under-going at that moment in order to see communityactions, its organization, lines and concernedagents. Later on, this map was shown to the steer-ing group to select the actions to evaluate. Theselection was made using a score in which all par-ticipants should prioritise several working lines.Figure 3 shows the map generated in one of thecommunities in which PE was developed.

cada una de ellas; algunas se explican con detallemás adelante.

El desarrollo de estas acciones ha dado lugar aun total de 36 sesiones de unas dos horas de traba-jo en las comunidades (una media de 14 sesiones porcomunidad), algunas sólo con los técnicos comuni-tarios y otras con el grupo motor.

Después de cada sesión de trabajo, se realizóun acta de las principales aportaciones, algunas citasliterales, y los acuerdos y encargos definidos. Lasactas estuvieron a la disposición de todos los miem-bros del grupo motor, siendo una herramienta detrabajo clave, tanto durante la recogida de infor-mación como en la toma de decisiones.

A lo largo de todo el proceso de EP, algunosmiembros del grupo motor se dieron de baja mien-tras que otros se incorporaron, de manera que elgrupo de trabajo nunca fue el mismo. Sin embargo,hay un número considerable de personas que semantuvieron a lo largo de todo el proceso, consti-tuyendo así el núcleo que dio continuidad al grupomotor.

Todos los planteamientos y decisiones metodo-lógicas elaborados por el equipo de investigadoresuniversitarios fueron consensuados con el técnicoo la técnica comunitaria o de referencia en la comu-nidad antes de llevarlos al grupo motor.

2.3.1. La selección de las acciones comunitarias a evaluar

Uno de los primeros pasos para realizar la EP fueseleccionar conjuntamente las acciones comuni-tarias que el grupo motor quería evaluar. Paraello, los evaluadores universitarios y los técnicosde la comunidad elaboraron un mapa de las accio-nes comunitarias que ya se estaban desarrollan-do, con el objetivo de visualizar las acciones dela comunidad, su organización, líneas y agentesimplicados. Posteriormente, se presentó estemapa al grupo motor para que seleccionaran lasacciones a evaluar. La selección se realizó a tra-vés de una dinámica de puntaje en la que todoslos participantes debían priorizar varias líneas detrabajo. La figura 3 es un ejemplo del mapa ela-borado en una de las comunidades en las quese realizó la EP.



Fuente: Soler, Planas & Rieradevall, 2013.

Figura 3.Mapa de acciones comunitarias del barrio de Sant Narcís i Santa Eugènia

Source: Soler, Planas & Riveradevall, 2013.

Figure 3. Community actions plan in Sant Narcis and Santa Eugènia’s quarters


Fuente: adaptación de Soler, Planas & Rieradevall, 2013.

Figura 4. Principales variables e indicadores del plan de evaluación

Source: adaptation from Soler, Planas & Riveradevall, 2013.

Figure 4.Main indicators and variables of the evaluation plan

2.3.2. La preparación de la EP y la selección de indicadores

Una vez seleccionadas las acciones comunitarias aevaluar, se decide lo que se quiere evaluar sobreestas acciones. Los evaluadores universitarios pro-pusieron una batería de variables e indicadores (Úcaret al., 2011) para facilitar el proceso, que se concre-tó en cada comunidad, según lo que ésta estimóoportuno evaluar. La batería recoge las principalesvariables e indicadores a evaluar en las accionescomunitarias (figura 4). Se definen cuatro dimen-siones: el contexto de la acción comunitaria, su evo-lución en el tiempo, su funcionamiento y los resul-tados que ha generado.

Para seleccionar las variables e indicadores a eva-luar en cada comunidad, se realizaron discusionesguiadas y mapas sociales participativos en el grupomotor, fomentando sus aportaciones a partir de susexperiencias en la comunidad.

Una vez adaptadas a cada comunidad concretay consensuadas con el grupo motor las variables eindicadores de las acciones comunitarias a evaluar,se decide el procedimiento y los instrumentos a uti-lizar durante la recogida de información.

2.3.3. La Evaluación Participativa de las acciones comunitarias: técnicas y dinámicas participativas

Con el objetivo de fomentar una participación realy activa en la evaluación de los implicados en el pro-ceso de EP, se utilizaron técnicas y dinámicas parti-cipativas. Se adaptaron y se crearon técnicas segúnla realidad y configuración de cada grupo, para quetodos, independientemente de su procedencia yexperiencia, encontrasen un espacio donde mani-festar sus opiniones de forma abierta. Las técnicasutilizadas, de las que en este apartado se presentanalgunos ejemplos, han contribuido a equilibrar tam-bién las relaciones de poder, sobretodo en la comu-nidad con mayor diversidad de agentes y, en con-secuencia, han facilitado la participación de todoslos miembros del grupo motor.

En la preparación del trabajo del grupo motorsobre el análisis del contexto de las acciones comu-nitarias, los evaluadores universitarios realizaron pre-viamente un proceso de recogida y tratamiento deinformación sobre la comunidad. A partir de la docu-

2.3.2 The Participatory Evaluation preparation andindicators selection

Once the community actions to be evaluated areselected, it is decided what to evaluate on them.The university evaluators proposed a list of vari-ables and indicators (Úcar et al., 2011) to facilitatethe process and it was developed in different waysin every community. The list covers the main vari-ables and indicators to evaluate in the communi-ty actions (figure 4). Four dimensions are defined:community action context, its evolution throughtime, its performance and the generated results.

In the steering groups some guided debatesand participatory social maps were developed inorder to select the variables and indicators to eval-uate in each community, which boosted contri-butions from community experiences.

After the variables and indicators of the com-munity actions to evaluate are adapted and debat-ed in the steering group of each community, datagathering’s process and tools used are selected.

2.3.3 The Participatory Evaluation of community actions: techniques and participatory dynamics

With the aim of increasing the real and active eval-uation of the concerned persons in the PE process,participatory techniques and dynamics were used.Techniques were created and adapted accordingto the reality and configuration of each group, soeveryone, regardless his or her precedence orexperience, could find an area to give their opin-ion. The used techniques (presented in this sec-tion with examples) contributed to balance thepower relations, mainly in communities with larg-er differences between agents; consequently, theparticipation of all steering group membersincreased.

While preparing the steering group activityabout community actions’ context analysis, uni-versity evaluators had already gathered andanalysed information about the community. Fromthe contributions and documentation collected,some information for a later development of the



mentación y aportaciones recogidas, fue posibleconstruir la información base para el posterior desa-rrollo de una dinámica de EP en el grupo motor. Lainformación recogida sobre el contexto se presen-tó de forma muy esquemática a la comunidad, estruc-turada en 4 apartados: territorio, población, servi-cios y equipamientos, y tejido asociativo.

Para trabajar la evolución de las acciones comu-nitarias a lo largo de los años se utilizan técnicas que

PE dynamic in the steering group was obtained.The information gathered on the context was pre-sented to the community in a very simple way,divided into four sections: territory, population,services and equipment, and associational fabric.

In order to analyse the community actions’ evo-lution through years, we used techniques to gath-er the community common memories regardingthe community actions evolution and its impact

Fuente: Crespo, Ciraso & Úcar, 2012.

Figura 5. Resultado de la aplicación de la técnica ‘línea cronológica’ en Badia del Vallès

Source: Crespo, Ciraso & Úcar, 2012.

Figure 5. Result of the time-line technique in Badia del Vallès

recogen la memoria colectiva de la comunidad res-pecto a la evolución de las acciones comunitarias ya su impacto en la vida en el territorio. La adapta-ción y aplicación de la técnica del ‘time-line’, que con-siste en consensuar los momentos relevantes de lahistoria compartida del grupo (Crespo, Ciraso &Úcar, 2012), dio un resultado óptimo, ya que generómucha implicación del grupo motor e hizo eviden-tes las diferentes visiones de la realidad presentesen el territorio (Figura 5).

El análisis de la variable “funcionamiento de lasacciones comunitarias” fue complicado. Desde nues-tra experiencia, a los grupos motores con un perfilpoco técnico les suele costar entender el concep-to de ‘funcionamiento’, ya que tienden a identificarcomo objeto de evaluación solo los resultados queproducen las acciones comunitarias. Los evaluado-res universitarios pueden organizar dinámicas queclarifiquen la perspectiva y el objeto de evaluación.Por ejemplo, la dinámica “cocinemos un buen plan”,realizada en una de las comunidades, que consisteen descubrir y compartir los elementos que requie-re una buen plan comunitario a partir de imitar lacreación de una receta, y organizarlos para confi-gurar entre todos el plan de EP.

Para evaluar los resultados de una línea de accióncomunitaria, una estrategia que ha dado muy buenresultado es, previo a la dinámica de EP con el grupomotor, entrevistar a diferentes agentes clave de lacomunidad para que proporcionen informaciónsobre los proyectos y actividades que configurandicha línea. Esto permite acceder de una maneracontrastada a aquellas acciones que, en el marco dela línea, se desarrollan de una manera transversal.Con la información obtenida, se diseña una dinámi-ca de trabajo basada en la técnica DAFO para queel grupo motor desarrolle la Evaluación Participati-va de esta línea. También ha sido interesante la eva-luación de resultados a partir de la técnica delmapeo, donde los participantes ubican en un mapadel territorio las acciones realizadas, con lo que sevisualizan los resultados obtenidos. La aplicación deambas técnicas genera mucha participación, per-mite que todos expresen sus opiniones y facilita elconsenso posterior, de manera que se obtiene unosresultados de la EP contrastados y consensuadospor todos.

over the territory. The adaptation and applicationof the “time-line” technique -consisting on agree-ing over relevant moments of the shared history-(Crespo, Ciraso & Úcar, 2012), produced a goodresult, generating a massive involvement of thesteering group and stating the different viewsexisting in the territory (figure 5).

The analysis of the variable “community actionsfunctioning” was difficult. From our experience,the steering groups with a less technical profilefind it difficult to understand the meaning of “func-tioning” because they just identify the communi-ty actions’ results as assessment object. Univer-sity evaluators can organize dynamics to clarifythe evaluation’s approach and goal. For instance,by the dynamic “let’s cook a good plan”, performedin one of the communities and consisting on dis-covering and sharing the elements for a good com-munity plan in the image of a recipe, everyone wasinvolved in creating the plan.

The strategy of interviewing several commu-nity key agents to obtain information of activi-ties and projects was applied with very goodresults before using the PE’s dynamic in thesteering group and in order to assess the resultsof one community action line. That enables theaccess to those actions developed in a trans-versal way, into the same line. Once the infor-mation collected the FADO technique wasemployed to create a working dynamic, so thesteering group could develop the ParticipatoryEvaluation of this line. The application of the“mapping” technique where participants placein a map the performed actions (the obtainedresults are easy to see) was also interesting. Theapplication of both techniques generate a lot ofparticipation, enabling everyone to express theiropinion and boosting the agreement, so theresults obtained are contrasted by everyone.


2.3.4 PE multiplication

The multiplication is a technique that enables par-ticipants in a specific group’s dynamic to repro-duce, in their own reference groups, what theyhave learnt from participating on it (see figure 1).It’s a technique to create and collect informationin PE process that allows multiplying the availableinformation by the number of participants’responses in their reference group, so the PEprocess can be extended to the territory. Multi-plications of PE can be made on existing groupsas organizations, associations, etc.

The main limitation observed to perform mul-tiplications is the shyness or insecurity of somemembers of the steering groups, which impededthem to multiply the PE in the groups where theywork or interact. We must take into account thatmultiplication empowers those persons that areable to overcome the shyness and finally apply itin their groups. In our experience, persons with amore technical profile did not find limitations andperformed the multiplications easily, even havingavailability limitations. Because of those limita-tions, fewer multiplications than desired weremade in the studied communities.

2.4 PE closing process

This is a very important moment for the PE, there-fore it was planned in detail, with several workingsessions of the steering group. The PE process’evaluation and closing enabled:

• To revise the PE process from participants’opinions.• To identify the individual and communitylearning reached by PE participants.• To check if expectations were accomplishedafter the PE.• To see new challenges generated from the re-search process.

Two techniques were performed to close the PEprocess. The “experience collage” enabled therebuilding of the whole Participatory Evaluation

2.3.4. La multiplicación de la EP

La multiplicación es una técnica que posibilita quelos participantes en una determinada dinámica gru-pal la repliquen con sus respectivos grupos de refe-rencia en la misma forma que la han aprendido par-ticipando en ella (ver figura 1). Es una técnica de cre-ación y recogida de información en los procesos deEP que permite multiplicar la cantidad de informa-ción disponible por el número de réplicas que losparticipantes hagan con sus grupos de referencia yextender así el proceso de EP al territorio. Se pue-den realizar multiplicaciones de la EP en grupos yaformados, como entidades, asociaciones etc.

La principal limitación que se ha observado pararealizar multiplicaciones es la inseguridad o timidezde algunas personas del grupo motor, que les impi-den multiplicar la EP en los grupos con los que tra-bajan o interaccionan. Hay que tener en cuenta, sinembargo, que la multiplicación empodera a aquellaspersonas que son capaces de superar la timidez yse deciden a aplicarla en sus grupos. En nuestraexperiencia, las personas con un perfil más técnicono presentan estas limitaciones y realizan la multi-plicación con más facilidad, aunque pueden tenerlimitaciones de disponibilidad. Estas limitaciones hancondicionado que se hayan realizado menos multi-plicaciones de las deseadas en las comunidades enlas que se ha desarrollado esta investigación.

2.4.El cierre del proceso de EP

Éste es un momento muy importante en la EP porlo que se ha planificado con detalle en el grupomotor, dedicándole varias sesiones de trabajo. Laevaluación y cierre del proceso de EP permitió:

• Revisar el proceso de EP a partir de las opinio-nes de los propios participantes.• Identificar los aprendizajes individuales y co-lectivos alcanzados por las personas participan-tes en el proceso de EP.• Comprobar el cumplimiento de las expectativasiniciales de las personas, una vez finalizada la EP. • Visibilizar nuevos retos generados a partir delproceso de investigación realizado.

Para el cierre del proceso de EP se realizaron dostécnicas. El “collage de vivencias”, que posibilitó la


reconstrucción de todo el proceso de EvaluaciónParticipativa desarrollado a lo largo de un año porparte del grupo motor y la reflexión colectiva sobreel mismo. La “bola de expectativas”, explicada ante-riormente, permitió abrir y cerrar el proceso de EP,a partir de la detección de las expectativas de losmiembros del grupo motor al inicio de la EP y la com-probación al final de hasta qué punto se han alcan-zado. Además, permitió dar unidad a todo el pro-ceso de EP, al recuperar una actividad realizada másde un año antes y cerrar todo el trabajo realizadoconcluyendo dicha actividad.

La realización de la EP en las tres comunidadesha permitido identificar y valorar de forma partici-pativa los resultados de las acciones comunitariasque se realizan en cada territorio, ha empoderadoa las personas y ha generado unión y espíritu de equi-po en el grupo motor. Fruto de estos resultados sonlas acciones posteriores a la EP que, por voluntadexplícita del propio grupo motor y sin la implica-ción de los evaluadores universitarios, se están lle-vando a cabo. Un ejemplo de ello, es la realizaciónen Badia del Vallès de un teatro-forum para difun-dir la EP en la comunidad y su continuidad comogrupo de teatro social en dicho territorio.

3. Discusión y Conclusiones

La EP no es fácil de implementar. Requiere de unaestrategia metodológica clara y consensuada, quepermita organizar el proceso en diferentes fases yactividades: informar, motivar y formar a los partici-pantes, garantizar condiciones equilibradas de par-ticipación para la confrontación de puntos de vista,compartir el control del proceso, etc.

Este artículo ha presentado el proceso metodo-lógico de EP desarrollado en tres planes comunita-rios, con el objetivo de aportar algunas considera-ciones y aportaciones metodológicas útiles para laimplementación de nuevos procesos comunitariosde EP.

La entrada en la comunidad es un momentodeterminante en el que se deben vencer las resis-tencias habituales a la evaluación en el inicio del pro-ceso (Miller & Lennie, 2005). Por ello, considera-mos recomendable invertir tiempo en la negociacióncon la administración o con la organización respon-sable de las acciones comunitarias para establecer

process developed over a year in the steeringgroup and its collective reflection. And the “expec-tations paper-ball”, explained before, allowed theopening and closing the PE project: from the groupmember’s expectations detection at the PE begin-ning, and checking at the end to which extentthese expectations were met..Moreover, it gaveunity to the PE process, when recovering an activ-ity started a year before and closing all the workdone by finishing the activity.

The PE development in the three communitiesallowed us to identify and evaluate, in a partici-patory approach, the results of community actionsthat are performed in each territory;, which hasempowered people and generated unity and teambuilding within the steering group. Thank to thoseresults the steering group’s members (without theuniversity evaluators’ implication) are currentlydeveloping some actions after the PE. Forinstance, the performance of pieces of forum-the-atre in Badia del Vallès, to spread the PE in thecommunity and its continuation as a social theatregroup in that territory.

3. Discussion and conclusions

It is not easy to implement PE; it needs a clear andagreed methodological strategy, which divide theprocess in stages and activities: to inform, moti-vate and train participants, to guarantee balancedconditions for participation when confronting theideas, so share the process’ control, etc.

This paper shows a PE methodological processdeveloped in three community plans, whose aimis to contribute with some remarks and usefulmethodological contributions for the implemen-tation of new community PE processes.

The community access is a key moment inwhich the usual resistances to the evaluation atthe beginning of the process should be overcome(Miller & Lennie, 2005). That is the reason why weconsider advisable to invest time in negotiatingwith the public administration or with the organi-sation responsible for the community actions, inorder to set a collaborative framework from thebeginning of PE: a strong commitment from par-


ticipants and the managers of the adequateresource’s investment is necessary to be effec-tive, as these author point out.

It is also crucial to hold a meeting with com-munity workers in order to negotiate the scopeand aim of the PE, because they are communi-ty experts and know its dynamics, history andpossibilities. They are basic to build a steeringgroup and to act as mediators between themand the evaluation team. From them we can getprevious participatory research experiencesdeveloped in the territory: in case they havebeen negative producing suspicion and resist-ance which influence both institutions and com-munity individuals regarding its motivation,expectations and participation in the PEprocess. They have to participate in the creationof approaches and methodological decisionsbefore taking it to the steering group in orderto secure its feasibility.

The configuration of the steering group deter-mines the PE process’ path. To create it, it is nec-essary to inform over the PE process, motivatethe community and boost its member’s participa-tion. It is advisable to create a steering group, withthe largest territory agent’s representation as pos-sible in order to contribute with its knowledge,abilities and experiences helping to design andimplement more effective evaluations (Bauret etal., 2010; Miller & Lennie, 2005), and to increaseits results’ usability. Once the steering group isbuilt, goals, expectations and participants’ rolesare clarified and a relation based on mutual trustand respect is established.

We consider important the development ofparticipatory dynamics for the expert evaluationteam member, where everyone can express his orher opinion, regardless of his or her power posi-tion, in order to boost the participants’ implica-tion. On the contrary, external evaluators shouldnever act as cold experts judging the practice(Baur, et al., 2010). In order to build a horizontalrelation within the steering group, not only thetechnique’s selection and adaptation are impor-tant, but also the attitudes and abilities used tocreate a comfortable environment that helps todevelop positive relations within the group (Holte-McKenzie et al., 2006).

un marco de colaboración desde el inicio de la EPya que, tal y como apuntan estos autores, para serefectivos necesitamos obtener un compromiso sóli-do por parte de los participantes del proceso y delos gestores responsables de la inversión adecuadade recursos.

También es importante reunirse con los técnicoscomunitarios para negociar el alcance y objeto de laEP porque ellos son los expertos de la comunidady conocen sus dinámicas, su historia y sus posibili-dades. Son importantes en la constitución del grupomotor y actúan como mediadores entre éste y elequipo de evaluadores. A partir de ellos, se pue-den conocer las experiencias previas de investiga-ción participativa desarrolladas en el territorio: siéstas han sido negativas generan desconfianza yresistencias que condicionan tanto a las institucio-nes como a los individuos de la comunidad respec-to a su motivación, expectativas y participación enel proceso de EP. Es también con ellos con quienhay que consensuar los planteamientos y decisio-nes metodológicas antes de llevarlos al grupo motor,para garantizar su viabilidad.

La configuración del grupo motor determina ladirección del proceso de EP. Para constituirlo esnecesario informar sobre el proceso de EP, moti-var a la comunidad y estimular la participación desus miembros. Es recomendable la constitución deun grupo motor, dónde el mayor número posible deagentes del territorio estén representados y apor-ten diversidad de conocimientos, habilidades y expe-riencias que permitan diseñar e implementar eva-luaciones más efectivas (Baur et al., 2010; Miller &Lennie, 2005), e incrementar el uso de sus resulta-dos. Una vez constituido el grupo motor, se clarifi-can los objetivos, las expectativas y los roles de losparticipantes y se establece una relación, a partir deprincipios de confianza y respeto mutuo.

Consideramos importante que los miembros delequipo evaluador experto desarrollen dinámicas par-ticipativas, dónde todos puedan expresar sus pun-tos de vista, independientemente de la posición depoder que ocupen, para estimular la implicación delos participantes. Por lo contrario, los evaluadoresexternos nunca deben comportarse como un exper-to frio que juzga la práctica (Baur, et al., 2010). Paraconseguir una relación horizontal en el marco delgrupo motor son importantes, no solo la selección


y adaptación de las técnicas, sino también sus acti-tudes y habilidades para crear un ambiente cómo-do que permita desarrollar relaciones positivas enel grupo (Holte-McKenzie et al., 2006).

A partir de nuestra experiencia, así como deexperiencias previas (Cousins, 2003) consideramosque, en relación a la participación, el equipo eva-luador experto debe trabajar para conseguir un equi-librio sobre el control del proceso en el grupo motor.Para lograrlo es necesario que el grupo motor seimplique en el diseño, en las decisiones del proce-so y en la aplicación de metodologías (entrevistas aagentes clave, realización de multiplicaciones, aná-lisis documental, etc.), al mismo nivel que los eva-luadores expertos. Es esta implicación la que per-mitirá pasar de la dependencia y delegación a la pro-actividad asumiendo riesgos y compromisos (Vare-la, 2010). Este es sin duda un reto clave a trabajardurante la EP.

La duración total de la EP que recomendamos esde un año, sin contar con el proceso previo de nego-ciación. Menos de un año es insuficiente para realizaruna EP en profundidad y más de un año puede gene-rar cansancio y abandono en el grupo motor. La dura-ción depende del contexto de la evaluación y de laintensidad con la que los participantes quieran hacerel proceso. Por ello, es básico que el equipo evalua-dor experto se adapte a los ritmos, acontecimientosy prioridades de la comunidad para establecer elcalendario de las sesiones de EP. Para realizar EP enun año o menos de un año, recomendamos seleccio-nar sólo una o dos acciones comunitarias a evaluar,ya que la selección de más acciones comunitarias enese margen de tiempo sería inviable y generaría muchapresión e insatisfacción en el grupo motor.

La flexibilidad para hacer cambios en el plan deevaluación y en la implementación de la EP esimprescindible (Furrer, Burrus, Green & Greenidge,2007; Scarinci et al., 2009). Si se pretende que elgrupo asuma el control del proceso, debemos serflexibles y adaptarnos durante todas las fases delproceso.

Otros aprendizajes realizados sobre el proceso,que también cabria tener en cuenta son:

• Las reuniones las debe convocar alguna per-sona de la comunidad con liderazgo reconocido,como puede ser el técnico comunitario; así sepotencia la asistencia e implicación de todos.

From our experiences and other performedbefore (Cousins, 2003), we consider that regard-ing the participation: the expert evaluation teamshould work to reach a balance over the steeringgroup process control. In order to succeed thesteering group must take part in the design,process decisions and methodology application(interviews with key agents, multiplications, doc-umental analysis, etc.) at the same level thatexperts evaluators. This involvement is what willenable the shift from dependency and delegationto proactivity taking risk and commitments (Varela,2010). This is with no doubt the key challenge towork over within the PE.

The recommended duration of the whole PE isa year, apart from the previous negotiationprocess. Less than a year it is not enough to devel-op a deep PE process and more than one year cangenerate tiredness and abandonment in the steer-ing group. Its duration depends on the evaluationcontext and the intensity of participants whendeveloping the process. This is why the evaluationgroup must get used to community rhythms,events and priorities in order to set the PE ses-sion’s agenda. To complete a PE in a year or lesswe recommend to select just one communitybecause selecting more than one for this periodwill not be practicable and will derive into a hugepressure and dissatisfaction within the steeringgroup.

It is essential to be flexible when makingchanges in the evaluation plan and the PE imple-mentation (Furrer, Burrus, Green & Greenidge,2007; Scarinci et al., 2009). If we want the groupto take control over the process, we should beflexible and adaptable during the different stages.

Other knowledge that we obtained duringthe process, that should be highlighted forfuture PE is:

• A community member with leadership, as acommunity worker, should convene meetings;so attendance and implication are boosted.• It is advisable to make a summary or a minuteafter each session with the main contributions,some quotes and the agreements and taskssealed. The agreements must be available toall steering group members as working tool toverify the agreements and process.


• The process is singular and unique. Themethodological process is linked to each com-munity peculiarities and restraints, so methodsused in other process should be adapted be-fore being implemented.• The best situation is to perform as much mul-tiplications as possible in order to collect every-one’s opinion and make the evaluation muchmore participative. Given the difficulty to ac-cess other groups, steering group members areadvised to multiply the PE in their own associ-ations or in the closest groups. Even though,some steering group members do not have therequired abilities to do it correctly: a tech-nique’s deep knowledge, self-confidence forthe application of the learned techniques, ex-perience in group management and enoughtime to organize and perform the multiplica-tion.

We would like to outline the importance of thePE process closing. The steering group shouldplan it in advance. Efforts must be done to get agood feedback of the process’ results, which willenable the steering group to think about the learn-ing achieved, to take decisions over future actionsand to improve the community action’s plan. Theprocess closing with the external evaluators donot have to be the end of the PE. In fact, ideallythe group would keep on with the process afterits finalization. In that sense, the end of theprocess is the beginning of the integration of theevaluation practices in the community daily life(Furrer et al., 2007). This result means that thecommunity has empowered in evaluation con-cerns (Themessl-Huber & Grutsch, 2003) and thatit has contributed to create an evaluation culture(Miller & Lennie, 2005). Nevertheless, conduct-ing a participatory evaluation process in the CDPstill requires a professional intervention to invig-orate it or requires resources that communityworkers can add and keep; if not, when theresearch ends, the participatory evaluationprocess ends too.

Even if following the posterior PE processes isa goal of this research, we consider this to be afuture working area in order to see the reasonsfor a group to keep on with the process or not.

• Después de cada sesión de trabajo, se reco-mienda realizar un acta-resumen de las princi-pales aportaciones, algunas citas literales y losacuerdos y encargos definidos. Las actas debenestar a la disposición de todos los miembros delgrupo motor, como herramienta de trabajo parael seguimiento de los acuerdos y del proceso.• Todo el proceso es singular y único. El procesometodológico está íntimamente relacionado conlas peculiaridades y condicionantes de cada co-munidad, por lo que no se debe pretender adop-tar, sino adaptar metodologías que hayan tenidoéxito en otros procesos. • Lo ideal es realizar tantas multiplicaciones comosea posible, para recoger la opinión de todos losmiembros de la comunidad y hacer que la eva-luación sea el máximo de participativa. Dado queel acceso a otros colectivos puede ser difícil, serecomienda que sean los propios miembros delgrupo motor los que multipliquen la EP en suspropias entidades o con los grupos que le sonmás próximos. Aun así, es difícil que algunosmiembros del grupo motor tengan las habilida-des necesarias para su buena realización: unaprendizaje profundo de las técnicas, la auto-confianza en la aplicación correcta de las técni-cas aprendidas, una cierta experiencia en laconducción de grupos y tiempo disponible paraorganizar y realizar la multiplicación.

En relación al proceso, queremos resaltar la impor-tancia del cierre de la EP. Es conveniente planificarlocon detalle en el grupo motor y dedicarle suficien-te tiempo. Se deben invertir esfuerzos en realizar unbuen retorno de los resultados del proceso realiza-do, que permitan al grupo motor reflexionar sobrelos aprendizajes realizados, tomar decisiones sobreacciones de futuro y mejorar los planes de accióncomunitaria. El cierre del proceso con el equipo deevaluadores externos no necesariamente es el finalde la EP. De hecho, sería interesante que el grupocontinuase con el proceso en su comunidad una vezfinalizada la EP. De esta manera, el punto final delproceso se convierte en realidad en el punto de ini-cio para integrar prácticas de evaluación en la vidacotidiana (Furrer et al., 2007). Este resultado indicaque ha habido un empoderamiento de la comuni-dad en temas de evaluación (Themessl- Huber &


Grutsch, 2003) y que ha contribuido a crear cultu-ra de evaluación (Miller & Lennie, 2005). Aún esteobjetivo, llevar a cabo un proceso de evaluación par-ticipativa en los PDC en el contexto actual requie-re todavía de una intervención profesional para dina-mizar el proceso o de recursos para que los técni-cos comunitarios puedan incorporarlas y mante-nerlas, de lo contrario una vez la investigación ter-mina, el proceso de evaluación participativa termi-na con ella

Aunque realizar un seguimiento posterior al pro-ceso de EP queda fuera del marco de nuestra inves-tigación, consideramos como línea de trabajo futu-ro hacer un seguimiento de lo que pasa una vez fina-lizada la EP y ver los motivos que llevan a que ungrupo continúe el proceso o no lo continúe. Asimis-mo, estudiar el impacto que tienen estas evaluacio-nes en la comunidad, más allá del impacto que puedatener entre los participantes más directos en el pro-ceso, es otra línea de investigación que considera-mos interesante para un futuro.

Para finalizar, queremos remarcar que la EP poneel acento más en el proceso que en el producto finalque la evaluación genera; es el proceso el que le con-fiere el carácter educativo a la EP. Podríamos decirque este es un proceso dónde se aprende hacien-do dónde a más implicación durante las distintasfases, mayor es el aprendizaje. Coincidimos con Cou-sins (2003) cuando define la Evaluación Participati-va como aquella que produce aprendizajes, creaciónde capacidades y empoderamiento. Estamos con-vencidos que la EP genera aprendizaje, cohesiona alos grupos, los hace más activos en su comunidad ymás críticos con su entorno; en definitiva, los empo-dera. Esta es la principal aportación que justifica suuso en los contextos comunitarios.

Moreover, to study the impact of those evalua-tions over community, further than its impact overits more direct participants, is another interestingfield to be explored in the future.

Finally, we will like to stress that the PE is morefocused on the process, than on the final result ofthe evaluation; it is the process what gives thePE an educational meaning. It is a process whereindividuals and groups learn by doing, and wherethe more participants are involved, the more theylearn. We agree with Cousins (2003) when defin-ing Participatory Evaluation as a tool that giveknowledge, ability and empowerment. We are surethat PE generates knowledge, group cohesion,makes them more active and critical within theirenvironment, as to say, empower them. This is themain contribution that justifies the use of PE incommunity contexts.


REFERENCIAS BIBLIOGRÁFICAS/BIBLIOGRAPHIC REFERENCES

Baur, V.E., Abma, T.A. & Widdershoven, G.A.M (2010). Participation of marginalized groups in evaluation:Mission impossible?.Evaluation and Program Planning 33, 238–245.

Catley.A., Burns, J., Abebe, D. & Suji O. (2009).Evaluación Participativa Del Impacto: Guía para profesio-nales. Boston: FeinsteinInternational Center.

Cousins, J.B. & Earl, L. (1992).The Case for Participatory Evaluation.Educational Evaluation and Policy Analy-sis, 14(4), 397–418.

Cousins, J.B. (2003): Utilization Effects of Participatory Evaluation. InKellaghan,T., Stufflebeam,D.L. & Win-gate, L. (eds).International Handbook of Educational Evaluation.EE.UU: Kluwer academic. 245-265.

Crespo, E., Ciraso, A. & Úcar, X. (2012). La memoria de La comunidad: la línea cronológica. Una técnica parala evaluación participativa de acciones comunitarias. Educación social. Revista de IntervenciónSocio-educativa, 51, 121-132.

Daigneault, P.M. & Jacob, S. (2009). Toward Accurate Measurement of Participation: Evaluation Rethin-king the Conceptualization and Operationalization of Participatory. American Journal of Evaluation,30,330-348.

Diaz –Puente, J., Yague, J & Alfonso, A. (2008). Building evaluation capacity in Spain.A case study of rural development and empowerment in the European Union.Evaluation Rewiev. Vol. 32;

Nº 5; Pp. 478-506.Fawcet, S.B., Boothroyd, R., Schultz, J.A., Francisco, V.T., Carson, V. & Bremly, R. (2003).Building capacity

for participatory evaluation within community initiatives.Journal of Prevention & Intervention in theCommunity, 26(2), 21-36.

Fetterman, D. & Wandersman, A. (2007). Empowerment evaluation: Yesterday, Today and Tomorrow. Ame-rican Journal of Evaluation, 28, 179-198.

Furrer, C.J., Burrus, S., Green, B.L. & Greenidge, B.A (2007).Community-Based Participatory ResearchEvaluation Planning: Oregon’s Specific Population Tobacco Prevention and Education Networks. FinalReport. Portland: NPC Research.

Holte-McKenzie, M., Forde, S. & Theobald, S. (2006). Development of a participatory monitoring and eva-luation strategy.Evaluation and programplanning, 29, 336-376.

Llena, A., Parcerisa, A. & Úcar, X (2009). 10 ideas clave. La acción comunitaria. Barcelona: Editorial Graó.Marchioni, M. (2003).La acción social en y con la comunidad. Zaragoza. Certeza. Miller, W. & Lennie, J. (2005). Empowermentevaluation. A practical method for evaluating a national scho-

ol breakfast program.EvaluationJournal of Australasia, 5(new series)(2), 18-26.Navarro, S. (2004). Redes sociales y construcción comunitaria. Creando (con) texto para una acción ecoló-

gica. Madrid. Ed. CCS.Newman, K. (2008). Whose view matters? Using participatory processes to evaluate Reflect in Nigeria.Com-

munity Development Journal,43(3), 382-394.Núñez, H., Crespo, E., LlenaBerñe, A. & Úcar, X. (2014).Enfoques de evaluación orientados a la participa-

ción en los procesos de acción comunitaria. Pedagogía Social. Revista Interuniversitaria, 24, 79-103Organización Panamericana de la Salud (2005). Guía de evaluación participativa para municipios y comu-

nidades saludables. Lima: Organización Panamericana de la Salud; Proyecto Amares; Ministerio deSalud. Dirección General de Promoción de la Salud.

Pasteur, K. & Blauert, J. (2000). Seguimiento y evaluación participativos en América Latina: Panorama biblio-gráfico y bibliografía anotada. Lima: Programa para el Fortalecimiento de la Capacidad de Segui-miento y Evaluación de los Proyectos FIDA en América Latina y el Caribe (PREVAL II) (Traducción).

Plottu, B. & Plottu, E. (2009). Approaches to participation in evaluation: some conditions for Implementa-tion. Evaluation, 15, 343-359.



Rossi, P.H., Lipsey, M.W. & Freeman, H.E (2004).Evaluation: A systematic approach. Thousand Oacks, CA:Sage.

Shah, M.K, Kambou, S.D., Goparaju, K., Adams, M.K. & Matarazzo, J.M (2004).Participatory Monitoring andEvaluation of Community- and Faith-based Programs: A step-by-step guide for people who want tomake HIV and AIDS services and activities more effective in their community.Core Initiatives. Recu-perado de: http://pdf.usaid.gov/pdf_docs/PNADB439.pdf

Scarinci, I.C., Johnson, R.E., Hardy, C., Marron, J. & Partridge, E (2009). Planning and implementation of aparticipatory evaluation strategy: A viable approach in the evaluation of community-based participa-tory programs addressing cancer disparities. Evaluation and Program Planning, 32, 221-228.

Smits, P.A. & Champagne, F. (2008). An Assessment of the Theoretical Underpinnings of Practical Partici-patory Evaluation.American Journal of Evaluation, 29(4), 427-442.

Soler, P., Planas, A. & Rieradevall, J. (2013).Memòria del procésd’avaluació participativa del plad’educació iconvivència de SantNarcís i Santa Eugènia. L’avaluació participativa d’accionscomunitàries com ametodologia d’aprenentatgepersonal i comunitari.Dipòsit digital de documents de la UAB. Recupe-rado de: http://ddd.uab.cat/record/110924

Suarez-Balcazar, Y., Orellana-Dmacela, L., Portillo, N., Sharma, A. & Lanum, M. (2003). Implementing anoutcomes model in the participatory Evaluation of Community Inititatives.Journal of Prevention &Intervention in the Community, 26(2), 5-20.

Themessl-Huber, M. & Grutsch, M. (2003). The Shifting Locus of Control in Participatory Evaluations.Eva-luation, 9(1), 92-111.

Úcar, X., Pineda, P., Núñez, H. & Villaseñor, K. (2011) Pla marcd’avaluació participativa delsplanscomunita-ris de Catalunya (2008). Informe ejecutivo. Dipósit Digital de Documents de la Universitat Autónomade Barcelona. Recuperado de: http://ddd.uab.cat/pub/estudis/2011/82407/Pla_marc_avaluacio_a2011.pdf

UNESCO (2010). Por buen camino. Guía para el seguimiento y la evaluación de proyectos comunitarios.París: UNESCO.

UNFPA (2004).Programme Manager’s Planning Montitoring& Evaluation Toolkit. Tool number 4: Stakehol-der participation in monitoring and evaluation. Recuperado de: http://www.unfpa.org/monitoring/tool-kit/stakeholder.pdf

Varela, L. (2010).La Educación Social y los Servicios Sociales en los procesos de desarrollo comunitario: revi-talización del trabajo en red.Revista Interuniversitaria de Pedagogía Social, 17, 137-148

Notas

1 The participatory evaluation of community actions as learning methodologies for the personal and community empower-ment”. EDU2010-15122 (Subprogram EDUC). Ministry for Sciences and Innovation, Spanish Government. IP: Xavier Úcar.Research team: Anna Ciraso, Estefanía Crespo, Héctor Núñez and Pilar Pineda (Universitat Autònoma de Barcelona);Anna Planas and Pere Soler (Universitat de Girona); Esther Gil, Pilar Heras and Asun Llena (Universitat de Barcelona); LaiaSánchez (Citilab). With the collaboration of: Jordi Colobrans, Arantxa Ribot and Jordi Rieradevall.2 Explained at the section 2.3.4 of this paper.

Notes

1 Proyecto de investigación “La evaluación participativa de acciones comunitarias como metodología de aprendizaje parael empoderamiento individual y comunitario”. EDU2010-15122 (Subprograma EDUC). Ministerio de Ciencia e Innovación,Gobierno de España. IP: Xavier Úcar. Equipo de investigación: Anna Ciraso, Estefanía Crespo, Héctor Núñez y Pilar Pine-da (UniversitatAutònoma de Barcelona); Anna Planas y Pere Soler (Universitat de Girona); Esther Gil, Pilar Heras y AsunLlena (Universitat de Barcelona); Laia Sánchez (Citilab). Con colaboración de: Jordi Colobrans, Arantxa Ribot y Jordi Rie-radevall. 2 Se explica el concepto en el punto 2.3.4 de este artículo.

CÓMO CITAR ESTE ARTÍCULO / HOW TO CITE THE ARTICLE:

Planas Lladó, A., Pineda-Herrero, P., Gil Pasamontes, E. & Sánchez Casals, L. (2014). La metodología de la Evaluación Parti-cipativa de planes y acciones comunitarias. Tres experiencias de Evaluación Participativa en Catalunya. Pedagogía Social.Revista Interuniversitaria, 24 105-134. DOIdoi:10.7179/PSRI_2014.24.05

Planas Lladó, A., Pineda-Herrero, P., Gil Pasamontes, E. & Sánchez Casals, L. (2014). Participatory Evaluation methodologyfor community plans and action. Three experiences of Participatory Evaluation in Catalunya. Pedagogía Social. Revista Inte-runiversitaria, 24 105-134. doi:10.7179/PSRI_2014.24.05

Fecha de recepción del artículo / received date: 16.I.2014Fecha de revisión del artículo / reviewed date: 27.I.2014Fecha de aceptación final / accepted date: 3.V.2014

DIRECCIÓN DE LOS AUTORES/ AUTHOR’S ADDRESS:

Anna Planas-Lladó. Departamento de Pedagogía, Universitat de Girona. SantDomènec, 9, 17071, Girona.Dirección de correo /e-mail [email protected]

Pilar Pineda Herrero. Departamento de Pedagogía Sistemática y Social, Universidad Autónoma de Barcelona.Edificio G6. Facultad de Ciencias de la Educación. 08193- Bellaterra (Barcelona)Dirección de correo /e-mail [email protected]

Ester Gil Pasamontes. Departamento de Teoria e Historia de la Educación, Universidad de Barcelona. Psg. Vall d’Hebron171, 08035, Barcelona.Dirección de correo /e-mail [email protected]

Laia Sánchez Casals. Departamento de Comunicación Audiovisual, Universitat Autònoma de Barcelona. 08193 Bellaterra(Cerdanyola del Vallès).

Citilab: Fundació pel Foment de la Societat del Coneixement. Pl. Can Suris, s/n, 08940. Cornellà de Llobregat (BCN).Dirección de correo /e-mail [email protected]

PERFIL ACADÉMICO / ACADEMIC PROFILE:

Anna Planas-Lladó: doctora en Pedagogía (2009) por la Universidad de Girona. Profesora en el Departamento de Peda-gogía de la Universidad de Girona. Miembro del grupo de investigación sobre Políticas, Programas y Servicios sociocultu-rales y educativos del Instituto de Investigación Educativa de la Universidad de Girona. Su investigación se ha centrado enla animación sociocultural, la evaluación participativa y las políticas de juventud. Tiene experiencia profesional en el ámbi-to de la animación sociocultural, el trabajo juvenil y el desarrollo de proyectos socioeducativos. Sus contribuciones puedenconsultarse en: http://www.udg.edu/personal/anna.planas.llado/tabid/8656/default.aspx?ID=2000956

Pilar Pineda Herrero: profesora Titular de Economía de la Educación y Pedagogía Laboral en la UAB. Sus líneas de inves-tigación son la formación a lo largo de la vida, la eficacia de la formación en y para el trabajo, y la evaluación participativa.Dirige el grupo de investigación EFI - http://grupsderecerca.uab.cat/efi/es- y forma parte del grupo interuniversitarioGIPE - http://gipe-igep.org/. Ha publicado diversos libros y artículos sobre formación en las organizaciones en revistas cien-tíficas nacionales e internacionales; pueden consultarse en https://uab.academia.edu/PilarPinedaHerrero

Ester Gil Pasamontes: licenciada en Pedagogía Terapéutica por la Universidad de Barcelona (1993). Profesora asociada enel Departamento de Teoría e Historia de la Facultad de Pedagogía. Miembro del grupo de investigación de pedagogía Social(GPS) per a la cohesió i la inclusió social: Recerca, formació, planificación i avaluació. (GPS). Su investigación se ha cen-trado en los campos de la infancia y las familias, la acción comunitaria y la evaluación participativa. Tiene experiencia pro-fesional en el ámbito de la protección de menores, educación especial y el desarrollo de proyectos socioeducativos. Másinformación en: http://www.ub.edu/the/



Laia Sánchez Casals: licenciada en CiènciasCiencias de la comunicación en (2004: Universitat Autònoma de Barcelona) yTècnicaTécnica Superior en Realitzación de Espectáculos y Audiovisuales (EMAV. 2000). Actualmente es profesora aso-ciada en la Facultad de Ciencias de la Comunicación de la UAB dónde forma parte del grupo Hermes y participa en el pro-yecto VERSO. En Citilab (2007-2014) ha desarollado diversos proyectos de innovación abierta y social de ámbito nacional(Social Media Lab: sportic, musiclab, seniorlabTV, technosummer y Evaluación participativa en ) y europeoos (Vision:Youthin Action; Gründvig,; IDEALL: European Design Innovation initiative etc). Actualmente forma parte de los proyectos en cursoiCityproject: Conpetitiveness an innovation framework program; PELARS: FP7-ICT; Jam Today:ICT CSPSus contribuciones pueden consultarse en: http://citilab.eu/es/citilab/quienesomos/laiasanchez