guia de evaluacion particpativa 2

56

GUIA METODOLÓGICA

PARA LA EVALUACIÓN PARTICIPATIVA

57

PREPARACIÓN PARA LA EVALUACIÓN PARTICIPATIVA

58

¿Cuál es el proceso de una evaluación participativa? La evaluación participativa implica un proceso continuo de reflexión sobre lo que se ha emprendido y logrado para orientar y modificar la acción futura. En el marco propuesto en esta Guía (Figura 4), esto se da a través del establecimiento de ciclos continuos de planificación, gestión y evaluación. Más que juzgar el mérito de una iniciativa de MCS, la metodología presentada se propone a aprender de la iniciativa y de la comunidad, documentar y analizar los cambios ocurridos y aplicar las mejoras necesarias a lo largo del proceso para que la comunidad sea lo más saludable posible y participe en un proceso sostenible de desarrollo de capacidades. Como está ilustrado en la figura 4, el proceso de evaluación empieza con una Fase de Preparación de la Evaluación que consiste en pasos dirigidos a la formación y orientación de un Subcomité de Evaluación que llevará a cabo la evaluación. Esta fase inicial conduce a los ciclos de la Fase de la Evaluación Participativa. Cada ciclo es compuesto por 7 pasos que serán detallados en el Capitulo 6. Los ciclos de evaluación son reiterativos, o sea desembocan en ciclos que se repiten indefinidamente (se puden apreciar en la figura 4 bajo el título “próximo ciclo de evaluación”).

Capítulo 5. El Marco del Proceso de Evaluación Participativa de los Municipios y Comunidades Saludables

59

Monitoreo continuo, recopilación de datos y reflexión

1. Formación del Subcomité de Evaluación

2. Orientación del Subcomité de Evaluación

Fase de Preparación para la Evaluación

Paso 1. Desarrollar Preguntas de Evaluación

Paso 2. Seleccionar Metodos y Fuentes de Información

Paso 3. Preparar el Plan de Trabajo

Paso 4. Recopilar la Información

Paso 5. Analisar, interpreter y reflexionar sobre los resultadosPaso 6.

Disseminar Resultados

Paso 7. Actuar sobre los resultados

Próximo Ciclo de Evaluación

Ciclo de Evaluación Participativa

Figura 4. Proceso de Evaluación Participativa

60

¿Que es la fase de preparación del proceso de evaluación participativa? La fase de preparación para la evaluación implica: 1) establecer un Subcomité de Evaluación y (2) orientar el Subcomité de Evaluación para el proceso de evaluación. ¿Que es el Subcomité de Evaluación? El Subcomité de Evaluación es un grupo de actores clave que será responsable por llevar a cabo la evaluación de la iniciativa de MCS. Esto implica planificar, implementar y gestionar el proceso de evaluación, así cómo diseminar, promover y actuar sobre los resultados de la evaluación.

El siguiente ejemplo será utilizado en toda la Guía Metodológica para ilustrar un proceso de evaluación participativa: La comunidad de Villa Linda formó un Comité Intersectorial compuesto por miembros de distintos segmentos comunitarios (grupos comunitarios, industria, residentes, grupos de profesionales, el gobierno municipal, formuladores de políticas, etc.). Después de elaborar un diagnóstico comunitario participativo, el Comité identificó tres áreas prioritarias para su estrategia: 1) saneamiento deficientes en el sector alimentario (vendedores callejeros y de mercado); 2) delincuencia; y 3) viviendas insuficientes. Se promovieron reuniones públicas y a través de la negociación y del consenso, Villa Linda decidió centrar sus actividades en la mejora del saneamiento en el sector alimentario (Área Prioritaria). En una primera etapa se realizaron talleres educativos para vendedores de alimentos e inspectores de salud, y se hizo abogacía a formuladores de políticas para fortalecer las leyes que regulan el sector alimentario. Para el Comité Intersectorial el trabajo en el área prioritaria servirá como punto inicial y dinamizador para el desarrollo de un MCS. Esto implica que además de mejorar la calidad de los alimentos, las actividades de la iniciativa contribuirán a un proceso continuo de empoderamiento, de desarrollo de capacidades y de mejoras en los pilares, condicionantes/determinantes y valores que constituyen un MCS. Por ejemplo, el Comité apoya la formación de grupos de vendedores y consumidores para defender sus intereses, participar en las decisiones acerca de las actividades de la estrategia y tener un representante en el Comité

61

La evaluación participativa es un proceso permanente y continuo. Cómo tal, es importante que se evalúe la iniciativa de MCS como un todo, y no sólo un proyecto o programa especifico. Por esto, el ideal es que el Subcomite de Evaluación sea un comité fijo y parte integral de la iniciativa de MCS; los miembros del Subcomité pueden cambiarse cuando sea necesário y otras personas pueden acoplarse al proceso de acuerdo con el tema de la evaluación en distintos momentos. El nombre, rol y estructura del Subcomité será distinto en cada país o comunidad. Por ejemplo, en algunos países, este comité se denomina “Comité de Evaluación” o “Grupo Evaluador”. Cada iniciativa debe definir cual es la mejor manera de formar un Subcomité de Evaluación en su contexto. No es necesario que todos los miembros del Subcomité de Evaluación tengan conocimiento especializado o experiencia en evaluación. Lo importante es conformar un Subcomité equilibrado, con conocimientos de la historia de la comunidad y de la iniciativa, y que esté en condiciones de actuar en función de los resultados de la evaluación. Tener más personas no necesariamente significa que el grupo vaya a ser más productivo. Concéntrense en formar un Subcomité de Evaluación pequeño y motivado.

¿Cómo establecer Subcomité de Evaluación? El primer paso es identificar a los actores clave de la evaluación, muchos de los cuales probablemente formen parte del Comité Intersectorial. Si se ha formado el Subcomité de Evaluación durante la planificación de la iniciativa de MCS, este es el momento de revisarlo y realizar cualquier modificación necesaria.

Misión y Funciones del Subcomité de Evaluación: 1. Orientar y dinamizar el proceso de evaluación. 2. Garantizar que los resultados se articulen con la planificación y gestión de

la iniciativa. 3. Diseminar, comunicar, promover y reflexionar sobre los resultados. 4. Garantizar la sostenibilidad del grupo y del proceso de evaluación. 5. Institucionalizar el proceso de evaluación, siempre que sea posible, para

que este no esté de todo dependiente de determinadas personas (esto garante la sostenibilidad!).

6. Recopilar, manejar, analizar e interpretar la información.

62

El Subcomite de Evaluación debe ser relativamente independiente del Comité Intersectorial, pero ambos comités deben trabajar en conjunto. Es muy probable que el Subcomité de Evaluación y Comité Intersectorial se superpongan (algunas personas pueden ser miembros de los 2 comités).

Los actores clave de la evaluación son personas que se preocupan por lo que se va a aprender de la evaluación y por la forma en que se aplican estos conocimientos. Esto incluye individuos o grupos capaces de actuar y utilizar los resultados de la evaluación, y aquellos que son afectados por las actividades de la iniciativa. Actores clave pueden proceder de los diversos ámbitos que forman los procesos de planificación, gestión y evaluación de la iniciativa de MCS. Algunos ejemplos de actores clave son miembros de la comunidad, patrocinadores, líderes locales, organizaciones de bario, financiadores del programa, tomadores de decisiones, etc. Una buena evaluación involucrará a los actores clave en las primeras fases de sus trabajos y mantendrá interacción frecuente con ellos para asegurar que la evaluación aborde específicamente sus valores y necesidades. Así se constituye un proceso de validación para el Subcomité de Evaluación. También consideren que dar lugar a perspectivas contrarias fortalecerá la credibilidad de la evaluación.

Además de conformar un Subcomité de Evaluación que sea capaz de cumplir la misión y funciones anteriormente mencionadas, piensen en las características personales que creen que son importantes estar presentes en el Subcomité (mismo que no sea para cada miembro), cómo por ejemplo:

1. Capacidad de liderazgo. 2. Tiempo para participar del Subcomité y del proceso de evaluación. 3. Disponibilidad para participar por un largo período de tiempo. 4. Conocimientos sobre la comunidad. 5. Conocimientos sobre la história de la iniciativa. 6. Capacidad de actuar sobre los resultados. 7. Representatividad de diversos puntos de vistas y perspectivas.

63

EJERCICIO 16. Identificación y reclutamiento de los miembros del Subcomité de Evaluación Discutan estas preguntas entre los miembros del Comité Intersectorial:

1. Para conformar un Subcomité de Evaluación que cumpla con la misión y las funciones anteriormente mencionadas, qué personas y sectores deben ser convocados?

2. Cuál deberá ser la estructura, nombre y rol de este Subcomité en la iniciativa de MCS?

3. Identifiquen los factores que facilitarán o que dificultarán el trabajo del Subcomité. ¿Cómo manejar estos factores?

4. Que características personales creen que deben estar presentes en el Subcomité de Evaluación?

64

¿Cómo orientar el Subcomité de Evaluación para el proceso de Evaluación Participativa? Una vez seleccionado el Subcomité de Evaluación, es importante orientarlo para que inicien oficialmente el proceso de evaluación participativa. Esto puede darse a través de una reunión o un taller entre el Comité Intersectorial y el Subcomité de Evaluación. Incluyan a otros miembros de la comunidad, si es pertinente. Esta orientacón tiene las siguientes metas:

Revisar la historia local de la iniciativa MCS para que el Subcomité de Evaluación tenga un punto de partida común para la evaluación.

Clarificar la importancia de hacer la evaluación en este momento y por qué esta debe ser participativa.

Revisar o establecer una visión común, metas y actividades de la iniciativa para orientar el proceso de evaluación y al Subcomité de Evaluación.

Determinar cómo se involucrará al Comité Intersectorial en el proceso.

¿Por qué es importante compartir la história de la iniciativa de MCS y de la comunidad con el Subcomité de Evaluación? La historia de la iniciativa y de la comunidad es una fuente rica de cuestiones importantes, de sus raíces y de los motores o fuerzas que influencian los cambios. Para mejor planificar la evaluación de la iniciativa de MCS es importante que el Subcomité de Evaluación conozca esta história porque esta información:

Crea una finalidad común para todos los miembros. Posibilita intercambio de información y su corrección. Identifica intereses profundamente arraigados, valores y otros factores que dieron lugar a la iniciativa. Ofrece la oportunidad de remontarse al pasado y comprobar cuánto se ha avanzado. Ofrece la posibilidad de basar la evaluación en los esfuerzos existentes.

Empleen el tiempo necesario para que los participantes compartan la historia de la iniciativa, y para que afloren ideas y hechos escondidas u olvidadas. No dediquen mucho tiempo debatiendo obstáculos y barreras. Concéntrense en como construir un futuro positivo. El Ejercicio 1 del Manual de Recursos (Capitulo 1) es un buen recurso para apoyar en esta actividad de compartir la história de la iniciativa de MCS. Es muy recomendable revisar o realizar este ejercicio en conjunto con el Subcomité de Evaluación en esta fase de orientación al proceso de evaluación.

65

¿Por qué es importante debatir la finalidad y la audiencia para la evaluación? Revisen. en conjunto con el Subcomité e Evaluación, el Capitulo 1 y 2 de la Guía para tener claro los objetivos de la evaluación participativa y el marco de la evaluación. Aunque esto parezca una repetición de actividades anteriores, la discusión reforzará las decisiones que se tomaron juntos y asegurará que todos los miembros de los Comités tengan los conceptos claros sobre la iniciativa antes de que su trabajo empiece de verdad. Esto también sirve para informar a los miembros que se hayan involucrado más tarde en el proceso.

EJERCICIO 17. Examinar la finalidad de la evaluación

Contesten estas preguntas en conjunto con el Subcomité de Evaluación: 1. ¿Por qué está teniendo lugar esta evaluación en este momento? 2. ¿Por qué esta debe ser participativa? 3. ¿Qué esperan de la evaluación específicamente (cada miembro y

cada comité)?

4. ¿Cómo los diferentes actores clave se beneficiarán de la información resultante de la evaluación?

66

¿Qué significa crear o examinar una visión común de MCS, sus metas y actividades? Durante la planificación de la iniciativa de MCS, es probable que el Comité Intersectorial haya establecido una visión de MCS y definido metas y prioridades para esta iniciativa. Revisen estos elementos con el Subcomité de Evaluación para que este pueda incorporar estos elementos en la planificación de la evaluación y la orientación de sus trabajos. Utilicen el ejercicio 18 para establecer una visión común de MCS. Aunque sea un proceso prolongado, una vez realizado servirá de base para el trabajo de los comités. El Anexo C proporciona mayores informaciones sobre el proceso de planificación de las iniciativas de MCS.

EJERCICIO 18. Actividad de creación de una visión Piensen en el futuro. Imaginen su MCS en 10 o 15 años. Imaginense caminando por la calles, mirando las casas y las personas y observando los diferentes entornos. ¿Cómo describiría este MCS? ¿Qué ha cambiado? ¿Cómo se sienten respecto a este MCS? No piensen en las barreras, como el dinero o la política. Piensen en GRANDE, usen su imaginación y crean que todo es posible.

¿Cómo sería el MCS ideal?

¿Cómo describirían el bienestar de los miembros de este MCS?

67

¿Qué sucede después que el Subcomité de Evaluación esté formado y orientado? Llegado este momento, el Subcomité de Evaluación deberá estar listo para empezar a trabajar por su cuenta. Una buena estrategia para dar inicio a sus trabajos es convocar una primera reunión del grupo para organizarse y definir las funciones y responsabilidades de cada uno de los integrantes. Elijan un coordinador mediante un proceso de elección o solicitando voluntarios. Aunque es posible que tengan un investigador en el Subcomité, no es necesario este los coordine. El coordinador podrá ser cualquier miembro con buenas aptitudes de formación de grupos, capacidad para mantener el empuje del grupo y celebrar debates de seguimiento. Es importante que sean personas capaces de convocar regularmente las reuniones del Subcomité y asistir a las mismas. Debatan las contribuciones y responsabilidades de cada miembro Como actividad inicial realizen un debate abierto y franco donde los participantes reflexionen sobre sus similitudes y diferencias, y reconozcan lo que “ponen sobre la mesa”. Consideren las preguntas del ejercicio 19 desde esta primera fase del proceso de evaluación para evitar conflictos más adelante, especialmente cuando llegue la

Para que la orientación del Subcomité de Evaluación resulte productiva, observen los puntos abajo: 1. Si se está realizando un taller o reunión de orientación, elijan un facilitador

para moderar la discusión. 2. Decidan con anterioridad el horario, el local, qué documentos tienen para

compartir y quién deberá ser invitado. 3. Presenten claramente los objetivos de la orientación y que se espera del

Subcomité de Evaluación. 4. Definan en conjunto que se espera de la evaluación y porqué esta debe ser

participativa. 5. Definan cómo se involucrará el Comité Intersectorial en el proceso de

evaluación. 6. Establezcan claramente las responsabilidades y rol de cada Comité. 7. Seleccionen un miembro de cada Comité responsable para servir de enlace

con el otro Comité.

68

hora de tomar decisiones difíciles. Dediquen el tiempo necesario en las sesiones iniciales para estos debates.

Establezcan normas para el trabajo en grupo Para facilitar el trabajo del Subcomité de Evaluación, establezcan normas para trabajar en conjunto. Estas directrices favorecen un entorno propicio para que todos los miembros del Subcomité sientan que pueden contribuir al grupo y ser respetados.

EJERCICIO 19. Contesten a estas preguntas individualmente y después compartan sus respuestas con el grupo. 1. ¿Cuáles son sus prioridades para la iniciativa de MCS y para la evaluación? 2. ¿Por qué se ha involucrado en el proceso de evaluación? 3. ¿Qué aporta al proceso (experiencia en evaluación, representación de la comunidad, aptitudes para la facilitación o la resolución de conflictos, etc.)?

69

EJERCICIO 20. Estableciendo normas de trabajo

Una actividad útil para establecer normas para el trabajo conjunto es que cada miembro del Subcomité defina una norma básica que desee que sea tomada en cuenta para guiar en el trabajo del Subcomité de Evaluación. Algunos ejemplos pueden ser escuchar con respeto, asumir responsabilidad por lo que cada uno dice iniciando frases con “Yo creo que…” o “En mi opinión…”, o usar una lista de ponentes (lista de miembros que han pedido intervenir durante la reunión).

Examinen la lista de reglas y debatan los puntos surgidos hasta alcanzar consenso sobre las normas básicas para el proceso de grupo. Utilícelas para seguir la evolución del proceso en posteriores reuniones. El reconocimiento abierto y franco de estos factores evitará posibles malos entendidos sobre la perspectiva que cada miembro aporta al proceso y permitirá el desarrollo de una colaboración saludable.

Para que el trabajo del Subcomité de Evaluación resulte productivo, observen los puntos abajo:

1. Revisen el plan estratégico de comunicación con el Comité Intersectorial. 2. Elaboren un listado de preguntas que necesitan aclaración por parte del

Comité Intersectorial. 3. Debatan las contribuciones de cada miembro al grupo y al proceso de

evaluación. 4. Debatan los posibles puntos de conflicto y cómo van a manejarlos. 5. Revisen las metas, actividades, resultados de la iniciativa de MCS y de otras

evaluaciones que se han realizado anteriormente. 6. Definan la audiencia para los resultados e los intereses de cada actor clave. 7. Elijan un coordinador del grupo. 8. Definan plan de trabajo preliminar (peridiocidad de las reuniones, tareas,

etc.)

70

Observen estos puntos para que los debates de grupo de los Comités sean eficaces:

• Mantengan la actitud de buscar una solución, de encontrar la mejor respuesta y no de convencer a otras personas.

• Prevéngase contra sus propios prejuicios.

• Hablen cuando se sientan motivados, y sea su turno, aunque sus

ideas parezcan incompletas.

• Escuchen con atención. Formulen en su propia mente la esencia de lo que el último participante ha dicho antes de comunicar su aportación.

• Actúen con cercanía al grupo. Las discusiones muy alejadas del

contexto actual hacen demasiado difícil centrarse en el tema objeto de debate. Eviten introducir nuevos temas hasta que el actual sea analizado completamente.

• Expresen sus ideas de manera concreta, precisa y breve. Ideas,

implicaciones y la comprensión de puntos son la esencia del debate. Escuchar historias de varios participantes de “lo que me pasó fue que...” acaba rápidamente con una buena discusión.

• Sean solidarios y comprensivos con los puntos de vista de todos los

participantes. Si no están de acuerdo, dígalo, pero eviten usar un tono agresivo o intimidatorio.

Para más información sobre cómo facilitar los procesos de grupo, véan el Anexo A.

71

La Experiencia de Miraflores, Perú: Evaluación Participativa del

Programa de Tai Chi en los Parques

En Miraflores, Perú, se planeó realizar una evaluación participativa para evaluar el programa de Tai Chi en los parques, dirigido a los adultos mayores. El término “Subcomité de evaluación” fue cambiado por el de “grupo de evaluación”, debido a que es la terminología que mas se adecuaba a una experiencia compartida no formal y que expresa cierta independencia de los ejecutores del Programa. Los criterios para definir los integrantes del grupo de evaluación eran incorporar al beneficiario del programa, al usuario potencial y las autoridades que tengan capacidad de decisión sobre el programa y que asegure la utilización de los resultados. También fue definido que la experiencia de evaluación tendría que acentuar más un sentido de vigilancia y empoderamiento ciudadano que ser parte de una mejora en la gestión. El grupo de evaluación fue conformado por dos funcionarios de la Municipalidad, el coordinador del Programa de Adultos Mayores, dos adultos mayores que participan en el programa de Tai Chi y dos adultos mayores que no participan en el programa. El proceso de selección fue bajo la modalidad de invitación y comunicación interpersonal. Luego hube una discusión grupal con todos sobre el significado de la evaluación participativa. Se seleccionó el tema de Tai Chi en los parques de Miraflores, debido a que se trata de una actividad emblemática con un fuerte componente participativo en el distrito. Además se puede abordarlo como prueba piloto de la experiencia de evaluación participativa, lo que facilitaría un proceso de aprendizaje en el terreno. De esta forma, luego podrá extenderse a otros ámbitos del Programa de adultos Mayores. Un factor interesante de la experiencia de Miraflores es que los participantes no eran profesionales de salud, a excepción de la encargada del programa que era psicóloga. Esto permitió explorar preguntas relacionadas a los beneficios sociales y psicológicos del programa y no se observo un sesgo por abordar la salud como ausencia de enfermedad.

72

Fase de Preparación para la Evaluación en Villa Linda El Comité Intersectorial de Villa Linda conformó un Subcomité de Evaluación compuesto por representantes de organizaciones comunitarias, ONGs que organizarán los talleres, formuladores de política, grupos de vendedores y consumidores, inspectores de salud y de la secretaria de salud y de la universidad. El Comité Intersectorial organizó un taller para orientar el Subcomité de Evaluación sobre sus metas, objetivos y visión para la estrategia y para la evaluación. Al planear la evaluación de esta estrategia, el Subcomité de Evaluación tiene en cuenta que más que determinar los cambios en el área prioritaria (mejora de los alimentos), es central determinar lo que pasó en: 1. Pilares MCS (¿Cómo ha participado la comunidad en el proceso de MCS?, ¿Cuáles políticas públicas saludables resultaron del proceso?) 2. Condicionantes/Determinantes (¿Cómo han cambiado las normas comunitarias, y los condicionantes físicos, materiales, e individuales de Villa Linda?) 3. Medidas específicas del área prioritaria (¿Ha mejorado la calidad de los alimentos? ¿Los talleres cambiaron el comportamiento de los vendedores?) 4. Contextos y procesos (¿Cómo se llevaran a cabo las actividades planificadas? ¿Que factores facilitaran o dificultaran el logro del resultado esperado? Como han funcionado los grupos de vendedores y consumidores?) El Subcomité de Evaluación definió un plan de trabajo que incluye una reunión del grupo a cada dos semanas y otra reunión mensual entre el representante del Subcomité y el Comité Intersectorial. Para apoyar la comunicación y el flujo de información el Subcomité también decidió: 1. Preparar un informe de avance a cada 3 meses que será compartido con todos los actores clave y con la comunidad. 2. Crear una dirección electrónica y un buzón de sugerencias para recibir comentarios y preguntas sobre el trabajo desarrollado.

73

PASOS DEL PROCESO

74

¿Cómo empieza la evaluación participativa? Una vez realizada la etapa de preparación para la evaluación, revisada en el Capitulo 5, el Subcomité de Evaluación estará listo para empezar la evaluación participativa. En el Capitulo 6 se describirán los 7 pasos de este proceso. Para empezar la planificación de la evaluación, es útil que comprendan claramente los diferentes componentes de la iniciativa (metas, objetivos, actividades, etc.) y el proceso transcurrido en su desarrollo (fases de planificación, gestión, etc.). Un buen punto de partida para la evaluación es realizar una revisión de estos componentes y de lo que pasó en las diversas fases hasta este momento. Comunidades utilizan diversas herramientas para planificar su estrategia y definir sus objetivos, metas y actividades. Métodos comunes incluyen la elaboración de modelos de lógica1 o el desarrollo de planos de acción. Cualquiera que haya sido el método de planificación utilizado por su Comité Intersectorial, este es un momento excelente para revisarlo. Trabajen con el Comité Intersectorial en esta tarea para que todos tengan una idea bien fundamentada de estos componentes. Esto les ayudará a definir como proseguir con la evaluación y donde buscar cambios y resultados.

1 El Anexo D describe cómo aplicar modelos de lógica, también conocidos como marcos visuales, en la planificación de la evaluación de una iniciativa de MCS.

Capítulo 6. Pasos del Proceso de Evaluación Participativa

Para ayudarles a centrar la evaluación, revisen: • El marco de la evaluación participativa de MCS (Capitulo 2). • Los objetivos y las audiencias de la evaluación participativa y el Ejercicio 1

(Capitulo 1). • Los planes de trabajo o modelos de lógica preparados en la planificación de la

iniciativa. • La documentación disponible sobre la ejecución de las actividades de la

iniciativa.

75





Paso 1. Desarrollar Preguntas

de Evaluación









76

Paso 1. Centrar la evaluación ¿Que es el Paso 1? El Paso 1 consiste en: • Definir el alcance y los temas o áreas de interés de la evaluación. • Elaborar preguntas de evaluación que dirigirán el ciclo de evaluación. • Definir que información necesitán y cómo contestarán estas preguntas. Definiendo el alcance y los temas o áreas de interés El primer paso para centrar la evaluación implica la definición de uno o más temas o áreas de interés de los miembros del Subcomité de Evaluación. La mejor manera de hacer esto es realizar una reunión para acordar el tema y el alcance de la evaluación. Mantengan la comunicación lo más abierta posible para garantizar que todos sientan que tienen suficientes oportunidades para expresar sus opiniones (Vea Consejos para la formación de consenso, Anexo A). Consideren los siguientes aspectos: 1. Consenso. No se sorprendan si surgen ideas distintas sobre qué áreas deben evaluarse. Participen en ejercicios de grupo para animar a sus integrantes a compartir todos los puntos de vista o ideas relacionadas con el tema objeto de discusión. Debatan siempre estos puntos de vista con respeto y consideración. 2. Estado de avance de las actividades. Por ejemplo, en Villa Linda, no tiene sentido evaluar la capacidad de los inspectores de salud en hacer cumplir los reglamentos si todavía no se ha aprobado una política de inocuidad de los alimentos. Sin embargo, recuerden que cambios pueden ocurrir aunque no sean planificados. Un brote de enfermedades transmitidas por los alimentos pudo haber motivado a los inspectores a actuar con mayor rigor. Esto sería un cambio positivo, aunque no previsto, y como tal debe ser documentado. 3. Alcance adecuado. Es posible que una actividad haya tenido repercusión en personas que no han participado directamente en ella. En Villa Linda, vendedores que no participaron en el taller pueden percibir que los clientes buscan a los vendedores que practican técnicas seguras de manipulación de alimentos y deciden adoptar estas mismas prácticas para atraer a los clientes. 4. Claridad en el proposito. Definan cuál es el propósito de evaluar un tema especifico o si un resultado se ha logrado o no. ¿Qué les dirá esto realmente? ¿Están interesados en saber lo que ha sucedido o cómo ha pasado?

1

77

Elaboración de preguntas de evaluación La elaboración de preguntas de evaluación tal vez sea la parte más difícil de la evaluación. Estas preguntas dirijirán las decisiones posteriores que se tomen, incluidos los métodos seleccionados y el tipo de información que se generará. El punto clave sobre lo cual deben reflexionar es:

¿Qué queremos realmente saber?

Consideren sobre cuales aspectos quieren obtener más datos en el contexto de los distintos tipos de preguntas de evaluación: • Preguntas sobre el proceso de realizar la iniciativa o sus actividades. Estas

examinan cómo y hasta qué punto se llevaron a cabo las actividades según lo previsto. Esto es muy importante ya que puede influir de manera significativa en el logro de los resultados.

• Preguntas para determinar si se lograron los resultados esperados y cual

fue la contribución de las actividades o de la iniciativa en obtenerlos. • Preguntas para determinar cual fue el impacto de la iniciativa o de las

actividades sobre la población o la comunidad. • Preguntas que buscan determinar las influencias (esperadas o no; positivas

o negativas) de los componentes de la iniciativa así como los hechos ocurridos en la comunidad que ayudan a provocar cambios.

Es importante también enfocar las preguntas dentro del marco de evaluación de MCS, o sea, determinar que cambios están tomando llugar en: • Los pilares y elementos fundamentales de un MCS. No es necesario elaborar

preguntas de evaluación para cada pilar. • Los condicionantes/determinantes que ayudan a captar los cambios

inmediatos y a más corto plazo ocurridos durante la vida de la iniciativa. • Las áreas prioritarias que ayudarán a valorar medidas específicas tomadas

para construir MCS. • Los valores centrales sobre los cuales se basan iniciativa. Por ejemplo, para

saber si se contempla la diversidad, investiguen si la mayoría de las actividades de la iniciativa se dirigen o incluyen a los grupos de población vulnerables o insuficientemente representados.

78

Definiendo Preguntas de Evaluación en Villa Linda El Subcomité de Evaluación de Villa Linda quiere saber cómo se llevaron a cabo las actividades y lo que pudo haber afectado el resultado esperado. Para evaluar estos procesos el Subcomité considera varios aspectos como, por ejemplo, la calidad de los talleres. Es posible que profesores con pocas aptitudes de comunicación o la falta de materiales de apoyo dificulten que los participantes comprendan y apliquen la información del taller. El Subcomité también considera que factores inesperados o fuera del control de la initiativa hayan influido en el logro de los resultados. Tal vez los vendedores encontraron difícil o costoso aplicar las nuevas conductas de manipulación de alimentos, o el mercado fue cerrado. El Subcomité se acuerda del reciente brote de intoxicación alimentaria y considera si esto movió los inspectores a supervisar con mayor rigor las conductas de manipulación de alimentos en los mercados. A través de una lluvia de ideas el Subcomité elabora estas preguntas de evaluacíón: 1. ¿Cuál fue la calidad de la participación social en el proceso? (Participación social) 2. ¿De qué manera han influido las políticas públicas en la calidad de los alimentos en Villa Linda? (Política pública saludable) 3. ¿Cuál ha sido la contribución de los sectores que han participado? (Colaboración intersectorial) 4. ¿Qué conocimiento, aptitudes y actitudes han cambiado con respecto a la inocuidad de los alimentos en Villa Linda? (Condicionantes individuales) 5. ¿Cómo ha cambiado la inocuidad de los alimentos en Villa Linda? ¿Cómo perciben los ciudadanos estos cambios? (Area prioritaria - Resultados) 6. ¿De qué manera fueron las actividades adecuadas o no para asegurar la inocuidad de los alimentos? (Proceso) 7. ¿Cómo se llevaron a cabo las actividades planificadas? (Proceso) 8. ¿Qué factores facilitaron o limitaron el logro de los resultados esperados? (Contexto comunitario)

79

Definan sus preguntas de evaluación completando el ejercicio 21. La finalidad de este ejercicio es que empiecen a pensar en preguntas que sean pertinentes a su iniciativa de MCS. No es necesario que respondan a todas las preguntas que generen. Si las preguntas de evaluación resultan muy amplias o complejas, generen preguntas secundárias, como está detallado más adelante.

Consejos para la elaboración de preguntas de evaluación

1. Consideren qué tipo de acciones contribuyen a conseguir los resultados de la iniciativa de MCS. ¿Hay acciones particulares que susciten más interés o preocupación? ¿Qué resultados fueron los más difíciles de alcanzar? 2. Elaboren preguntas capaces de captar factores o cambios no previstos, inesperados, o no tenidos en cuenta.

3. Eviten utilizar preguntas que puedan ser respondidas simplemente con un “sí” o un “no”. Este tipo de preguntas limitan automáticamente las respuestas. Complementen este tipo de pregunta con el “¿Por qué?” o “Cómo”.

4. Definan claramente el significado de los términos que utilizan en sus preguntas (participación, consumidor, etc.). Esto es central para decidir lo que necesitan ver o documentar y cómo hacerlo.

5. Atenten para no elaborar preguntas de evaluación para las cuales ya tienen respuesta. Esto lleva a que queden bloqueados tratando de demostrar un punto en lugar de aclarar algo útil. Pregunténsese continuamente “¿Qué es lo que no sabemos?”

80

EJERCICIO 21 – Desarrolando Preguntas: Lluvia de ideas A través de una lluvia de ideas, elaboren una lista con posibles preguntas de evaluación. Definan cómo van ha seleccionar no más que 3 preguntas de esta lista. Definan también que hacer con las preguntas restantes. Pueden crear un “banco de preguntas” al cual se retornará posteriormente. 1. 2. 3. 4. 5. 6.

7.

8.

Seleccionen las preguntas en las cuales van a centrarse en este momento (no más que 3):

1. 2. 3.

¿Qué vamos hacer con las preguntas que no fueran seleccionadas?

81

¿Cómo seleccionar preguntas de la lluvia de ideas? Es muy probable que al realizar la lluvia de ideas, se generen muchas preguntas interesantes e relevantes para la evaluación. Todavía, consideren que es muy difícil –y nada aconsejable - evaluar todos los aspectos de la iniciativa a un mismo tiempo. De la lluvia de ideas seleccionen no más de 3 preguntas en las cuales van ha centrarse en este momento. Esto no significa que las preguntas restantes serán ignoradas. Siempre se puede volver a ellas en otros momentos. Sean realistas en la selección final de preguntas, tomando en cuenta la cantidad de datos que cada una generará y su capacidad de contestarlas. Existen algunas técnicas para seleccionar preguntas de la lluvia de ideas: 1. Definan criterios para determinar que preguntas son más adecuadas en este momento y los utilicen para la selección. Ejemplos de criterios incluyen: • que haya consenso que las preguntas sean posibles de ser contestadas. • la disponibilidad de datos, la población, los costos, el tiempo requerido, etc. • Relevancia de la pregunta para el proceso de MCS y para esta etapa. • La utilidad de los datos que la pregunta va a generar para la iniciativa. • Estado de avance de los proyectos y actividades.

2. Examinen las preguntas para definir cuales son similares y puedan ser combinadas en una pregunta. Revisen el enunciado de acuerdo. De esta forma, se disminuyen el número de preguntas facilitando el proceso de selección. 3. Examinen las preguntas para encontrar los 2 o 3 temas que resalten con más frecuencia (por ejemplo, el tema de la participación o de los procesos). Eliminen las preguntas que no están relacionadas con estos temas. 4. Examinen cada pregunta separadamente y las clasifique entre “alta

prioridad” o “baja prioridad” en este momento. Decidan entre las preguntas de “alta prioridad” en cuales van ha centrarse en este momento.

Eviten seleccionar preguntas que sean muy sencillas, o las que sean más fáciles de contestar. Recuerden que los objetivos de la evaluación participativa son generar información que sea relevante y útil para la planificación y gestión de la iniciativa y que contribuya al empoderamiento y al desarrollo de capacidades en la comunidad.

82

Antes de continuar, verifique si cada pregunta respuende a estos criterios: Criterios Sí No Forma La pregunta es bien formulada: contiene un topico específico y busca una respuesta (no es sólo el enunciado de un problema)

La pregunta esta escrita de manera clara y comprensible Todos los términos utilizados en la pregunta fueran operacionalizados o definidos por escrito.

Apropriada La pregunta alude a algo que es posible medir o observar La pregunta se puede contestar con una evaluación participativa La pregunta toma en cuenta el marco de evaluación participativa (pilares, condicionantes/determinantes, valores, etc.)

Utilidad La pregunta generará información util para la toma de decisiones sobre la iniciativa

La pregunta es relevante para la iniciativa y para los actores clave Es oportuno contestar a esta pregunta en este momento Apoyo a los objetivos de la evaluación participativa La pregunta requiere que el proceso de contestarla contribuya al empoderamiento de los involucrados y de la comunidad

El proceso de contestar a la pregunta tiene el potencial de generar capacidades en el grupo y en la comunidad.

Paso 1. Preguntas de evaluación seleccionadas en Villa Linda: 1. ¿Qué calidad tuvo la participación social en el proceso de desarrollo de la iniciativa? 2. ¿De qué manera han influido las políticas públicas generadas por la iniciativa de MCS en la calidad de los alimentos en Villa Linda? 3. ¿Cómo han cambiado en Villa Linda los conocimientos, las habilidades y actitudes con respecto a la inocuidad de los alimentos?

83

Si la respuesta a uno de estos criterios es “no”, vuelvan y revisen la pregunta en cuestión. Si no es posible cumplir con todos estos criterios, consideren eliminar esta pregunta de su proceso de evaluación por ahora. Desglosando Preguntas de Evaluación: ¿qué información necesitan para contestarlas? El próximo paso es pensar que información necesitan para responder a estas preguntas. Esto puede ser hecho de varias maneras. Pueden desglosar las preguntas de evaluación en preguntas o temas secundarios, o hacer un listado de informaciones necesarias para responderlas. El objetivo en este momento es transformar cada pregunta de evaluación en algo que sea más comprensible y manejable. Vean el ejemplo de Villa Linda abajo:

PREGUNTA DE EVALUACIÓN ¿Cómo han cambiado en Villa Linda los conocimientos, las habilidades y actitudes con respecto a la inocuidad de los alimentos?

Preguntas secundarias (que información necesitan para responder a la pregunta de evaluación):

a. ¿Cuáles conocimientos, habilidades y actitudes han cambiado? b. ¿Cuáles fueron las estrategias empleadas y como han

funcionado?

c. ¿Cómo percibe y valora la población estos cambios?

d. ¿Cuáles factores han influenciado estos cambios?

84

EJERCICIO 22. Desglosando las preguntas de evaluación.

Debatan cada una de sus preguntas de evaluación separadamente y piensen en que necesitan saber para poder responderlas. Anoten el resultado abajo. Pregunta de Evaluación 1:

________________________________________________

Preguntas secundarias o información necesaria para responderla:

a.

b.

c.

Pregunta de Evaluación 2:

________________________________________________


a.

b.

c.

Pregunta de Evaluación 3:

________________________________________________


a.

b.

c.

85

¿Cómo responder las preguntas de evaluación? Después de decidir sobre cuales preguntas de evaluación van a centrarse, y que información necesitan para contestarlas, el siguiente paso es determinar CÓMO responderán a las preguntas. Este es el momento de concretar el diseño de su evaluación. Una actividad útil para responder sus preguntas es identificar cómo van a medir o proveer datos para cada una. En las secciones que siguen, describiremos dos opciones comúnmente utilizadas en esta tarea: (1) desarrollar indicadores y/o (2) definir metas o “expectativas” que sean medibles/observables. Tanto los indicadores cómo las metas/“expectativas” deben ser específicos, cuantificables, factibles e incluir un componente cronológico. Ambos pueden ser cualitativos o cuantitativos. Cada Subcomité deberá decidir si quiere utilizar uno, ambos o ninguno de estos recursos para responder a sus preguntas. Basen su decisión en lo que haga más sentido en relación a lo que quieren saber. Un buen punto de partida es revisar lo que fue definido en la planificación de las actividades de la estrategia. Es probable que el Comité Intersectorial haya definido ciertos objetivos, metas o indicadores al principio que puedan ser revisados en este momento.

NOTA SOBRE EL USO DE INDICADORES Entendemos que el uso de indicadores no es un paso obligatorio para conducir una evaluación. El Subcomité puede utilizar otros métodos para documentar y analizar la repercusión de la iniciativa como entrevistas, grupos de discusión, relatos personales, observaciones de participantes, y técnicas de sistematización de experiencias (Vea Capitulo 7). Este enfoque puede ser apropiado cuando la respuesta a la pregunta de evaluación requiere una comprensión subjetiva de un tema o situación, y no necesariamente una comparación o valoración de resultados.

86

Estableciendo Expectativas o Metas Durante la etapa de planificación de la iniciativa de MCS el Comité Intersectorial puede haber definido algunos resultados o repercusiones previstas que generará la iniciativa. Por ejemplo, el Comité Intersectorial esperaba que las actividades de la iniciativa resultarian en una mayor colaboración intersectorial, mayor participación comunitaria y el aumento de ciertas aptitudes en la población. Estos resultados esperados, o “expectativas” sobre lo que se esperaba lograr, pueden ser revisados de forma que sea posible determinar si se han cumplido. Esto consiste en complementarlos con componentes como la CANTIDAD o CALIDAD de cambio esperado, la MEDIDA utilizada y para CUANDO se espera que sea alcanzado. Sean realistas sobre los cambios que esperan observar. Expectativas = “que se espera haber logrado en este punto” Un punto a tener claro, es que las “expectativas” no necesariamente tienen que basarse en metas u objetivos planteados en la planificación de la iniciativa. Es posible que, en su iniciativa, no se hayan definidos objetivos o metas especificos al princípio, o que no tengan pasado por una etapa formal de planificación. También es posible que la pregunta de evaluación seleccionada no se relacione directamente con los objetivos y metas propuestos en la planificación. En estos casos es posible identificar o definir “expectativas” ahora, basados en lo que esperan tener alcanzado u observar en este momento. Una buena manera de realizar esta tarea es considerar los siguientes aspectos:

1. El “qué” se espera encontrar en este momento que les demostraría que se está logrando la “expectativa”, o lo que se quiere observar.

2. El “cuánto” es necesario observar para aceptar cómo prueba de que los

cambios están tomando llugar.

La definición del componente medible (el “cuánto”) talvez sea el mayor desafío de este ejercicio. Consideren que el “cuánto” no necesita ser espeficamente cuantitativo (un número o porcentaje); también puede expresarse de manera cualitativa utilizando palabras cómo “muchos”, “la mayoría”, “algunos”, etc. De la misma forma, el “cuánto” puede ser definido en términos relativos cómo “al menos 10 personas”, “un mínimo de 2/3”, “todos los participantes”, etc.

87

Analicemos la conversión de un resultado esperado en una expectativa:

RESULTADO ESPERADO: “AUMENTAR LA COLABORACIÓN INTERSECTORIAL”

1. Introducir el componente de calidad preguntando cuál es el cambio

esperado.

“Aumentar la colaboración intersectorial obteniendo la participación de sectores nuevos en el Comité Intersectorial de MCS”.

2. Introducir el componente MEDIBLE preguntando cuanto o cómo se medirán los cambios. Tengan en cuenta que cambios pueden ser cuantitativos o cualitativos.

“Aumentar la colaboración intersectorial obteniendo la participación de 2 sectores nuevos en el Comité Intersectorial”

3. Introducir la calidad cronológica:

“Aumentar la colaboración intersectorial obteniendo la participación de dos sectores nuevos en el Comité Intersectorial en un año”.

Definan claramente los términos o denominaciones empleadas y cómo medirán si algo ha aumentado, disminuido, o permanecido invariable. Escriban sus definiciones y guarden para futura referencia.

El Subcomité de Evaluación de Villa Linda decidió que el término “participación” implica más que un aumento de representantes o sectores en el Comité Intersectorial. El objetivo es aumentar la calidad de la participación asegurando que todos tengan voz en procesos de toma de decisiones, contribuyan activamente y estén presentes en las reuniones.

88

EJERCICIO 23. Construyendo una Expectativa Definan un resultado o cambio esperado (planteado en la planificación de la iniciativa de MCS o definido en una fase posterior) y conviértalos en una expectativa: Resultado o cambio esperado: _________________________________________________________ Revisen este resultado adicionando estos componentes: ¿QUÉ y POR QUIÉN o DEBIDO A QUÉ? ¿Qué TIPO de cambio o CUÁNTO? ¿Para CUÁNDO (calidad cronológica)?

EXPECTATIVA: _________________________________________________________ _________________________________________________________

89

Elaborando indicadores de cambio o éxito Indicadores son marcadores que indican en que medida se ha logrado un resultado o un cambio. Hay muchas listas de indicadores que se incluyen en diversas categorías económicas, de salud y calidad de vida (Vea Anexo F). No apoyamos ninguna lista en particular pero sugerimos que desarrollen sus indicadores basados en el contexto de su iniciativa y área prioritaria. Elaboren sus indicadores en conjunto con el Comité Intersectorial y otros actores clave. Indicadores pueden ser cuantitativos o cualitativos. Indicadores cualitativos utilizan percepciones y criterios y se describen mediante palabras. Indicadores cualitativos pueden presentarse en forma cuantificable o numérica, (por ejemplo, la mitad de los encuestados estuvieron de acuerdo en que las normas de inocuidad de los alimentos han mejorado). Indicadores cuantitativos incluyen números, porcentajes, variables y se expresan en cantidades. Formas de expresar indicadores Ejemplo Números Número de vendedores capaces de

nombrar 5 estrategias adecuadas de manipulación de alimentos.

Proporciones, Porcentajes o Indices Número de vendedores que asistieron a los talleres dividido por el número total de vendedores en Villa Linda.

Promedios Promedio de enfermedades transmitidas por los alimentos vinculadas a los mercados por mes.

Si hay o no cambios Presencia o no de políticas municipales que brinden oportunidades a todos de participar en la toma de decisiones.

Palabras o textos descriptivos “la mayoría de la comunidad cree que su calidad de vida está mejorando.”

Es posible que hayan definido algunos indicadores en la fase de planificación de la iniciativa de MCS. Si es así, este es el momento de revisarlos y analizarlos. Al desarrollar indicadores, identifiquen los logros o cambios específicos que podrían proveer datos para responder sus preguntas, mostrar si un resultado se ha logrado, o si se están produciendo cambios. Consideren, por ejemplo: ¿Cómo expresar si un resultado se ha logrado, o si los cambios están en marcha? ¿Cómo se reconocerá cuando un resultado o cambio ocurra? ¿Esto se puede observar y medir? ¿Cómo? ¿Realmente nos indica si se ha conseguido un resultado concreto?

90

Será fácil determinar los indicadores si se han formulado “expectativas”, puesto que estas expresan el resultado o cambio deseado y el indicador demuestra la medida en que esto se logró. Por ejemplo, el indicador para la expectativa “aumentar la colaboración intersectorial obteniendo la participación de dos sectores nuevos en el Comité Intersectorial en un año”, sería el número de sectores nuevos sumados al Comité Intersectorial en un año.

Una nota sobre los datos de partida Si pretenden comparar la situación existente antes de que se inicie la actividad o iniciativa, tendrán que recopilar información específica antes de empezar las mismas, para contar con un punto de partida para la comparación. Esta es una de las maneras de documentar si sus actividades han contribuido al cambio.

EJERCICIO 24. Elaborando indicadores Enumere aquí los resultados o cambios esperados: _____________________________________________________ Califique el indicador en términos de cantidad mediante %, #, escalas, etc.: Sean específicos sobre quién y qué se está ‘midiendo’: Especifiquen el periodo de tiempo que deseen que transcurra para ver el indicador Describan el indicador (por ejemplo, % de vendedores que listan correctamente 5 prácticas adecuadas de manipular alimentos 1 año después del taller): _____________________________________________________

91

EJERCICIO 25 – Resuma el proceso realizado hasta ahora (PASO 1) Pregunta de Evaluación

Preguntas Secundaria

Expectativa (“que esperan haber logrado”)

Indicador (si los han elaborado) Si no han elaborado indicador o expectativa, ¿cómo van medir o prover información para contestar la pregunta?

Ejemplo ¿Qué habilidades, conocimientos y actitudes han cambiado

Ejemplo Después de un año del taller, 80% de los vendedores conocen formas seguras de preparar y manipular los alimentos

Ejemplo % de vendedores que participaron en el taller y que después de un año pueden enumerar 5 maneras correctas de manipular los alimentos.

Ejemplo ¿Cómo han cambiado en Villa Linda los conocimientos, habilidades y actitudes con respecto a la inocuidad de los alimentos?

¿Cómo percibe y valora la población estos cambios?

Después de un año de la implementación de la iniciativa, una gran parte de la población conoce y apoya la iniciativa de MCS

No se utilizará indicadores Pregunta de tipo exploratoria con objetivo de comprender mejor el tema. Información vendrá de entrevistas y grupos focales.

1. a. b. c.

2. a. b. c.

3. a. b. c.

92














93

Paso 2.Seleccionar fuentes de información y métodos apropiados de recopilación de datos

¿Que es el Paso 2? En el Paso 2 se definen cuales métodos y fuentes de información van a utilizar para proveer la información necesaria para responder sus preguntas de evaluación. Puede usarse cualquier combinación de métodos y herramientas en el curso de la evaluación, y es bastante probable que así lo hagan. En la medida que recopilan y reflexionan sobre los datos pueden surgir nuevas ideas y preguntas que exijan hacer ajustes en el proceso de evaluación. Tengan en cuenta que esta es una de las finalidades de este tipo de evaluación: provocar el pensamiento constante y crítico entre los implicados en el proceso. Formulen las siguientes preguntas para determinar los métodos adecuados: 1. ¿Cuáles son las fuentes de información? Las fuentes de datos serán aquellas que van ha fornecer la información que permitirá responder a las preguntas de evaluación, expectativas y/o indicadores en cuestión. Para identificar las fuentes de información, preguntense “quién” o “o qué” tiene los datos o puede proverlos. Ejemplos de fuentes de información incluyen documentos, personas, etc. El uso de una combinación de fuentes reforzará sus resultados. La evaluación será más convincente si demuestran que sus conclusiones se apoyan en más de una fuente de información y método de recopilación de información (como entrevistar y observar a vendedores de mercado).

Seleccionando fuentes de información en Villa Linda Para documentar las prácticas de manipulación de alimentos en Villa Linda, se observarán a los vendedores para determinar si las conductas de manipulación de alimentos que emplean son apropiadas (los vendedores son la fuente de información). Para documentar cómo los consumidores perciben los cambios en las prácticas de manipulación de alimentos se realizarán entrevistas y grupos de discusión con ellos (los consumidores son la fuente de información)

2

94

La información puede ser tanto cualitativa como cuantitativa y ambos tipos son útiles para comprender las situaciones complejas. La información cualitativa ayuda a comprender el significado de una estrategia y sus efectos desde la perspectiva de la comunidad (percepciones y criterios). La información cualitativa proporciona descripciones detalladas de las actividades, el contexto y los comportamientos que por lo general se captan mediante el examen de las narrativas, las observaciones y las entrevistas. La información cuantitativa se mide y expresa mediante cifras y cantidades (registros de asistencia de los talleres, cantidad pagada en multas después del establecimiento de las normas para la inocuidad de alimentos, etc.). Es posible expresar la información cualitativa en números. Por ejemplo, puede sumarse las respuestas de entrevistas para conocer cuántas personas respondieron de cierta manera (cuántos consumidores se sienten más seguros al comprar los alimentos en el mercado). De manera análoga, un observador puede informar cuántas personas de un grupo adoptaron un cierto comportamiento (cuántos consumidores reprendieron a los vendedores que no siguieron procedimientos de manipulación de alimentos adecuados en un día de mercado). 2. ¿Cómo se recopilará la información? La respuesta a esta pregunta requiere que se seleccionen los métodos que utilizarán para recopilar la información. Hay muchas maneras de recopilar la información: examen de documentos o registros disponibles, observaciones, entrevistas, encuestas, pruebas. Varios factores influyen en esta decisión: • La finalidad y la naturaleza de la evaluación. • El nivel de educación de la población de interés. • Capacidad de los actores clave en aplicar el método elegido y analizar la

información resultante. • Naturaleza de la información requerida (cualitativa o cuantitativa). • Información disponible sobre actitudes, aptitudes, percepciones,

conocimientos, características sociales y comportamientos. • Existencia de herramientas apropiadas para la población de interés y la

iniciativa de MCS. • Disponibilidad de las fuentes de información. • Calidad y accesibilidad de información disponible. • Recursos disponibles (financieros y humanos). • Factores de tiempo y costo. • Limitaciones físicas (por ejemplo: espacio).

95

Cuando se escogen los métodos de recopilación de datos tengan en cuenta los elementos de compensación. Algunas consideraciones tienen que ver con el tiempo y el nivel de esfuerzo necesarios para recopilar y analizar los datos. Por ejemplo, la realización de entrevistas individuales dura más que entrevistar a un grupo de personas a un mismo tiempo, pero en un entorno de grupo las preguntas potencialmente sensibles no deben formularse.

A continuación presentamos un breve resumen de los métodos comunes de recopilación de datos y un ejercicio para ayudarles a organizar sus métodos y fuentes de información. Para más información sobre los puntos fuertes y débiles de cada método, revisen el Anexo E.

Consejos para seleccionar los métodos de recopilación y fuentes de información • Consideren la posibilidad de que la información necesaria ya haya sido

recopilada y que les corresponde averiguar la manera de acceder a la misma.

• Busquen herramientas breves y sencillas (es decir, utilicen formatos que

sean fáciles de leer y completar, eviten tecnicismos, reconozcan los niveles de alfabetismo). Desarrollen herramientas en colaboración con representantes de las personas de quienes recabarán la información.

• Calculen el costo de los distintos métodos de recopilación de datos que

traten las mismas cuestiones y consideren la mezcla de información cualitativa y cuantitativa que puede ayudar en la selección del método menos costoso.

• Consideren trabajar con una muestra de participantes cuando no disponen

de muchos recursos (financiero, humano y de tiempo). • Tengan en cuenta las cuestiones éticas que implican la utilización de cada

método de recopilación de datos (Vean el Capitulo 4 y el Paso 4).

96

Ejercicio 26. Rellenen la tabla para cada una de sus preguntas de evaluación. Asegúrense de hacerlo tanto para la información cualitativa como para la cuantitativa. Indicador, Expectativa o Pregunta de Evaluación

¿Cuáles son las fuentes de información?

¿Información esta disponible y es acesible? Si no, ¿cual es la alternativa?

¿Información es de calidad? Si no, cómo reforzarla?

¿Información es completa? Si no, cómo se puede complementar?

¿Cómo se recopilará y analizará la información?

¿Cuánta información es necesaria?

Ejemplo 1 % de vendedores que participarán en el taller que pueden enumerar 5 maneras seguras de preparar y manipular los alimentos.

1. Vendedores que participaron en el taller

2. Registro de vendedores de mercado

3. Hoja de asistencias del taller

Hay que verificar si los vendedores siguen en el mercado y si las direcciones son correctas. Alternativa: entrevistar una muestra de vendedores.

Registro de vendedores de mercado y hojas de asistencia están incompletas y desactualizadas. Vendedores y organizadores del taller ayudarán a localizar participantes.

El aumento del conocimiento medido a través de la encuesta será complementado con la observación de la prácticas empleadas por los vendedores (cambio de comportamiento)

Encuestas Observaciones

Encuesta con todos los vendedores que participaron del taller. Si no es posible localizar a todos, se entrevistará una muestra de vendedores. 5 días de observación en el mercado.

Ejemplo 2 ¿Cómo percibe y valora la población estos cambios?

Consumidores que frecuentan el mercado

Si. Alternativa: Entrevistar una muestra de la población en general o que frecuentan otros mercados

La información será reforzada utilizando 3 métodos distintos: entrevistas, grupos focales y observaciones

La información se vá complementar con vários métodos: entrevistas, grupos focales y observaciones

Entrevistas Grupos Focales Observaciones

Entrevista con 50 consumidores. 2 Grupos focales 5 días de observación en el mercado.

97

EJERCICIO 26. Rellenen la tabla para cada una de sus preguntas de evaluación. Asegúrense de hacerlo tanto para la información cualitativa como para la cuantitativa. Indicador, Expectativa o Pregunta de Evaluación

¿Cuáles son las fuentes de información?

¿Información esta disponible y es acesible? Si no, ¿cual es la alternativa?

¿Información es de calidad? Si no, cómo reforzarla?

¿Información es completa? Si no, cómo se puede complementar?

¿Cómo se recopilará y analizará la información?

¿Cuánta información es necesaria?

98

MÉTODOS COMUNES DE RECOPILACIÓN DE DATOS

Estudios de documentos Los registros de información existentes aportan datos sobre un entorno o un grupo de personas que no pueden ser observadas de otra manera. Los estudios de documentos analizan registros públicos, materiales para comprobar un hecho (partidas de nacimiento y defunción, registro de matrimonios, archivos de periódico, informes anuales de empresas, etc.) y documentos personales, explicaciones en primera persona de hechos y experiencias (cartas, fotografías, diarios, etc.). Hojas de asistencias también ayudan a medir el progreso de una actividad indicando la participación en hechos relacionados. Usar registros existentes puede ser una tarea sencilla. El análisis puede consistir solamente en sumar resultados. Sin embargo, los registros y los documentos sólo proporcionan un fragmento de la imagen completa de la evaluación. Son medidas indirectas; sólo indican conclusiones posibles. Complementen la imagen con otros tipos de información como encuestas, observaciones y entrevistas para prevenir conclusiones incorrectas o inapropiadas. La utilidad de las fuentes existentes depende de su accesibilidad y exactitud. Es importante informarse acerca de la disponibilidad de los registros y asegurarse bien del contenido antes de decidir si va a basarse en estos para realizar la evaluación. Observación Este método implica observar como personas desarrollan una actividad. La observación permite reunir información de primera mano sobre actividades, procesos o comportamientos de interés, proporcionando una mejor comprensión del contexto donde operan las actividades de MCS. Es normal que al emplear técnicas de observación ya se tenga una idea clara sobre que información necesitan registrar y describir. Pero también es importante mirar y captar lo que está sucediendo antes de empezar a buscar algo concreto; intenten no dejarse influir o limitar por lo que crea que va a suceder. Prepárense para:

• Describir el entorno físico dónde tuvo lugar la observación. • Identificar y describir las personas que participan en las actividades. • Describir lo que está sucediendo, actividades y mensajes transmitidas. • Documentar las interacciones entre los participantes. • Estar atento para registrar hechos no previstos que podrían influenciar y

explicar lo que se observa.

99

Las cualidades más importantes del observador son: • capacidad para captar lo que ve, oye y siente durante el desarrollo de un

hecho • registrar claramente por escrito esas impresiones y detalles.

A pesar de sus puntos fuertes, las observaciones por sí solas no son pruebas suficientes de que una actividad o estrategia ha provocado un cambio duradero. Busquen varias fuentes que apoyen los cambios que crean haber ocurrido. Entrevistas Las entrevistas permiten captar las perspectivas de los participantes sobre la actividad, la comunidad y la estrategia, proporcionando información en profundidad acerca de comportamientos, actitudes, valores y conocimientos. El uso de las entrevistas como un método de recopilación de datos empieza con la suposición de que las perspectivas de los participantes son significativas, susceptibles de ser captadas, y afectan al éxito de la actividad o la estrategia. Se opta por entrevistas cuando el contacto interpersonal es importante. Así como las observaciones, es fundamental ser claro sobre que información desean. Pueden hacerse muchas preguntas; el reto es formular las que mejor cubren las necesidades de la evaluación y logran una variedad de perspectivas. Las entrevistas ofrecen una gama amplia de formatos: formales o informales, estructurados o no estructurados, individuales o en grupos, en persona o por teléfono. Dado que las entrevistas requieren que las personas revelen sus pensamientos, es importante mantener una perfecta sintonía entre el entrevistador y los participantes. Velar por que las respuestas sean confidenciales (ver Consideraciones Éticas, capítulo 4) también facilita que las personas respondan abiertamente.

Entrevistas estructuradas frente a entrevistas en profundidad Entrevistas estructuradas: céntrase en obtener respuestas a preguntas pré-elaboradas. Los entrevistadores son capacitados a ceñirse a una redacción específica de preguntas para que todas entrevistas se realicen de la misma manera. Entrevistas en profundidad: los entrevistadores permiten respuestas libres y abiertas. Puede haber un elemento de compensación entre cubrir una variedad de temas y conseguir información en profundidad. Entrevistas en profundidad animan a captar las percepciones de los entrevistados en sus propias palabras, una estrategia muy aconsejable en la recopilación de datos cualitativos.

100

Las entrevistas requieren tiempo y trabajo, pero compensan por la información detallada que se obtiene. Ellas aclaran respuestas que no se pudieron obtener a través de otros métodos de recopilación. Es posible conseguir suficiente información acerca de un tema entrevistando una muestra o subconjunto de participantes, en lugar de muchas o todas las personas pertinentes.

Grupo de discusión Grupos de discusión es un método de recopilación de datos en que un grupo de participantes, representantes de un grupo de interés, se reúne para tratar de manera informal ciertos temas. Los grupos de discusión suelen reunir de 8 a 12 personas que comparten algunas características pertinentes. Los grupos de discusión posibilitan el uso de la interacción de grupo para generar información y captar percepciones con pocas probabilidades de surgir en otros contextos. La técnica permite observar la dinámica del grupo, y apreciar de primera mano las conductas, actitudes, lenguajes, etc. de los entrevistados. Preparen de antemano una "guía de entrevista" o un conjunto de preguntas predeterminado: esto ayudará a mantener la conversación en torno al tema y proporcionará preguntas de partida si la discusión empieza a decaer. Seleccione un entrevistador hábil para mantener al grupo concentrado en el tema objeto de debate y asegurarse de que todos sus miembros participan. Para captar los puntos importantes que surgen, los entrevistadores toman notas o graban una cinta (si el grupo acuerda). Traten de captar las palabras exactas

Consejos para las entrevistas • Hagan que el entorno de entrevistas sea amistoso y cómodo. • Usen sus propias palabras para sonar más natural y familiar. • Sean pacientes. Permitan que las personas tomen su tiempo para pensar y

responder. • Cuiden de no dar pistas verbales o faciales a las respuestas. Al hacerlo,

pueden conducir a respuestas erróneas o hacer creer a los entrevistados que han dicho algo equivocado.

• Al final de la entrevista, permitan que las personas añadan comentarios variados o formulen cualquier pregunta que tengan.

101

que emplean las personas al referirse a los puntos clave. Citas directas aportan valiosas informaciones sobre los efectos de la actividad o iniciativa.

Estudios de casos Los estudios de casos dependen de métodos de observación participativa. Son en gran parte exámenes descriptivos de lugares específicos (pueblos, hospitales, escuelas). La persona que realiza el estudio está inmersa en la vida comunitaria o en la institución, examina documentos disponibles, mantiene conversaciones formales e informales con los actores clave, observa las actividades en curso y elabora un análisis de experiencias tanto individuales como múltiples. Los estudios de casos proporcionan exploraciones detalladas de un proyecto o experiencia que se desarrolla en un entorno real. Sin embargo, los evaluadores deben ser conscientes de que la tarea es compleja y no puede materializarse haciendo visitas breves y ocasionales al lugar, lo mismo se aplica en estudios de casos ilustrativos y de relativa pequeña escala. Las exigencias con respecto al diseño, la recopilación de datos y la notificación pueden ser considerables. Cuestionarios escritos y encuestas Una encuesta o cuestionario es un documento escrito que debe rellenar un grupo de personas. Las encuestas pueden ser cortas o largas y administrarse en una variedad de entornos. Las preguntas pueden requerir que el encuestado seleccione su respuesta entre varias opciones, o pueden ser muy abiertas pidiendo su opinión sobre una cuestión concreta.

Cuando emplear los grupos de discusiones Los grupos de discusión son útiles para contestar al mismo tipo de preguntas que las entrevistas en profundidad, excepto en un contexto social. Aplicaciones específicas de los grupos de discusión incluyen: • identificar y definir problemas en la ejecución de las actividades. • identificar puntos fuertes, puntos débiles y recomendaciones al

proyecto. • ayudar en la interpretación de los resultados (cuantitativos y

cualitativos). • obtener percepciones de resultados y cambios del proyecto. • generar ideas nuevas.

102

Los cuestionarios resultan especialmente útiles si el mismo conjunto de preguntas se formula al comienzo de la estrategia o la actividad y se repiten posteriormente para mostrar cambios del conocimiento, actitudes o comportamientos. Aunque de naturaleza cuantitativa, las encuestas que piden al entrevistado que responda con sus propias palabras producen información cualitativa. La decisión sobre el tamaño de la muestra de encuestados depende del presupuesto y del tamaño que tengan los subgrupos de los que quieran obtener información. Si el grupo de interés es grande, talvez resulte más económico aplicar la encuesta a un subconjunto o muestra pequeña. Sin embargo, cuiden para que la muestra sea representativa del grupo.2 Asegúrense de que hayan tomado muestras de un número suficiente de personas a fin de obtener un número significativo de entrevistados y así poder extraer conclusiones precisas. Pruebas y valoraciones Las pruebas y las valoraciones generan informaciones muy importantes. Algunos ejemplos son medidas del estado de salud (presión arterial, colesterol, peso al nacer); pruebas de conocimiento, logro o actitud (prueba de inteligencia normalizado, detección de la depresión, prueba de personalidad) y pruebas ambientales (contaminación del agua y del aire, calidad del suelo, etc.). Consideren que ciertas pruebas requieren aptitudes y capacitación especiales para diseñar, llevar a cabo y analizar muchas de las mediciones.

2 Introduction to Survey Sampling, Graham Kalton. Series: Quantitative Applications in the Social Sciences. 1983, Sage Publications, Inc. Pedidos: [email protected]

103







Paso 3. Preparar el Plan

de Trabajo







104

Paso 3. Elaborar el plan de trabajo ¿Que es el Paso 3? El Paso 3 consiste en elaborar un plan de trabajo detallado que resuma la estrategia para recopilar y analizar la información y que defina claramente: • Asignación de responsabilidades • Quién recopilará la información y cómo • Quién coordinará el grupo de personas que recolecta informaciones • Quién manejará los datos recolectados (ver Paso 4 para más informaciones) • Cronograma (desarrollar y probar las herramientas, capacitar entrevistadores,

definir la regularidad de las reuniones del grupo, etc.) • Actividades específicas (localizar participantes para entrevistas, elaborar

herramientas, realizar encuestas, etc.) • Recursos (papeles, copias, computadoras, teléfonos, transporte, etc.) A menos que tengan acceso a un investigador o experto en el análisis de datos, hagan que el plan de trabajo sea sencillo. Si el análisis de datos se complica demasiado, puede bloquear seriamente la iniciativa. Recuerden que cada pregunta de evaluación, indicador o expectativa requiere una série de actividades, como demuestra el ejemplo en la página siguiente. La Tabla 2 ilustra un plan de trabajo simplificado para un indicador de Villa Linda. Con base en este ejemplo, finalicen su plan de trabajo en el ejercicio 27. Recuérdense de hacer copias del plan de trabajo completo para todos los miembros del Subcomité de Evaluación y de compartirlo con el Comité Intersectorial. Revisen el plan de trabajo periódicamente para garantizar que se mantenga adecuado y pertinente a lo que se busca en la evaluación. Hagan ajustes y modificaciones al plan siempre que sea necesario. Antes de pasar al Paso 4 respondan a estas preguntas para garantizar que el plan de trabajo sea útil, factible y ético: • ¿Cómo han tomado en cuenta los intereses políticos y las necesidades de los

actores clave al planificar la evaluación? • ¿Son las actividades de evaluación prácticas y hacen uso de los recursos

disponibles? Explique. • ¿Se usará toda la información que recopilen? ¿Cómo? • Revisen el cálculo de tiempo y costos. ¿Disponen de un cálculo realista?

¿Cuáles medidas han adoptado para asegurar que se sigan procedimientos éticos?

3

105

Elaborando el Plan de Trabajo para un indicador Indicador de ejemplos: % de vendedores que pueden enumerar 5 maneras correctas de manipular los alimentos después de un año del taller. Dónde obtendrá la información: Los vendedores que asistieron al taller, hojas de asistencia del taller con los organizadores del taller, registros publicos de vendedores del mercado. Quién recopilará la información: Miembros capacitados del Subcomité de Evaluación, estudiantes Información requerida: Listado de participantes del taller y su dirección actual; registro público de vendedores del mercado. Cómo se recopilará: Entrevistando vendedores que participaron en talleres de inocuidad de los alimentos. Recursos requeridos: Tiempo del entrevistador para realizar entrevistas y localizar vendedores Formatos de entrevista para registrar la información recabada Tiempo del personal para capturar datos en la computadora Computadora Gastos de transporte Gastos administrativos (teléfono, copias, materiales de oficina, etc.) Actividades Localizar los vendedores (o una muestra) que asistieron al taller Elaborar y probar un cuestionario o guía de entrevista Identificar y capacitar entrevistadores Entrar datos en la computadora Definir quién y cómo se interpretará y analizará la información Cronograma: Entrevistas se realizaran por 4 semanas un año después del taller.

106

EJERCICIO 27. Completen esta actividad con base en un indicador, expectativa o pregunta de evaluación: Indicador, Expectativa o Pregunta de Evaluación: Dónde obtendrán la información: Quién recopilará la información (incluyan nombres): Información requerida: Cómo se recopilará: Recursos requeridos: Actividades: Cronograma:

107

Figura 5. RESUMEN DEL PLAN DE TRABAJO PARA UN INDICADOR DE VILLA LINDA Pregunta de Evaluación: ¿Cómo han cambiado en Villa Linda los conocimientos, habilidades y actitudes con respecto a la inocuidad de los alimentos? Pregunta Secundaria: ¿Qué habilidades, conocimientos y actitudes han cambiado? Expectati

va Indicador (si hay)

Información requerida

Fuente de información

Método para recopilar la información

Recursos necesarios (tiempo, dinero, material)

Quién completará cada actividade

Cuándo se recopilará la información

Cantidad de Información

Después de un año del taller, 80% de los vendedores conocen métodos seguros de preparar y manipular alimentos

% de vendedores que participarán en el taller que pueden enumerar 5 maneras seguras de preparar y manipular los alimentos.

Listado de vendedores que participaron en el taller y informaciones de contacto actualizadas

Documentos públicos de registro de vendedores de mercado y callejeros en Villa Linda Hojas de asistencia a los talleres Vendedores participantes de los talleres

Entrevista de vendedores participantes después de los talleres de inocuidad de los alimentos. Observación

- Localizar registros y resumir datos sobre vendedores - Localizar vendedores - Preparar y someter a prueba previa guía de entrevista - Imprimir la guía - Realizar entrevistas. - Recoger entrevistas y analizar la información. - Preparar un informe.

Preparar y someter a prueba previa la guía de entrevista (estudiante de postgrado). Imprimir la Guía (Subcomité de Evaluación). Realizar entrevista (personal de la iniciativa). Recoger las entrevista y analizar la información (personal de la iniciativa). Preparar un informe (Subcomité de Evaluación).

1 año después de los talleres de inocuidad alimentaría

Entrevista con todos los vendedores que participaron del taller que sea posible localizar 5 días de observación en el mercado

108

EJERCÍCIO 28. Finalicen el plan de trabajo, llenando la tabla abajo mencionada detallando el proceso de recopilación de datos para cada pregunta de evaluación. Preguntas de Evaluación: Pregunta Secundária Expectati

vas Indicador (si hay)

Información requerida

Fuente de información

Método para recopilar la información

Recursos necesarios (tiempo, dinero, material)

Quién recopilará la información

Cuándo se recopilará la información

Cantidad de información

109














110

Paso 4. Recopilar información

¿Que es el Paso 4? En este momento ya estarán en condiciones de empezar a recopilar información. Recuerden que deben recopilar sólo la información que van a usar y utilizar toda la información que recopilen. Durante este proceso deben: • Reflexionar continuamente si el plan y métodos de recopilación son

adecuados y hacer ajustes siempre que sea necesario. • Incentivar a las personas involucradas a pensar continuamente sobre cómo

van aplicar esta información, como van ha relacionarla con la iniciativa, y como les ayudará a responder las preguntas de evaluación.

• Examinar cómo es recibido el proceso de evaluación por los Comités, actores clave, y personas de quién se recopila la información.

• Valorar la utilidad de la información recabada. • Trabajar con los miembros de la comunidad siempre que sea posible.

La comunidad es una fuente rica de conocimientos culturales y locales. Garanticen la calidad de la información recopilada Recopilen y manejen información de una manera fidedigna, que les permita dotar de una base sólida para hacer recomendaciones para la acción futura. Si los actores clave creen que la información que recopilen es veraz o confiable, se mostrarán más proclives a aceptar los resultados de la evaluación, aumentado la probabilidad de que actúen en función de los resultados. Recopilen datos de manera uniforme Una manera de asegurar que la información sea precisa y confiable es garantizar que la recopilación se haga de forma estandarizada o uniforme. Un modo de hacer esto es capacitar a los recopiladores de datos a un mismo tiempo, mostrándoles cómo obtener la información y el protocolo sobre cómo hacerlo. Así se minimizan las equivocaciones durante la aplicación de los procedimientos y se asegura que todos recopiladores reúnan los datos de la misma manera. Otra forma de asegurarse la uniformidad de los datos es garantizar que todos utilicen los mismos formularios, documentos y guías de entrevistas. Cuando varias personas recogen el mismo tipo de información a partir de diferentes fuentes, o una persona recopila datos de muchas fuentes, aseguren que diferentes maneras de proceder no influyan en la recopilación o notificación de la información. También es importante ler e interpretar la información de forma uniforme. Esto significa que el mismo fragmento de información, por 4

111

ejemplo, la respuesta a una pregunta, debe ser interpretada de la misma manera, siempre que aparezca. Garanticen el anonimato, confidencialidad y privacidad de la información Consideren debidamente los principios éticos que guiarán el proceso de evaluación. Estos son especialmente importantes si datos personales u observaciones pueden identificarse fácilmente. Describan a los participantes las estrategias que se usarán para asegurar que los principios éticos sean cumplidos.

Confidencialidad significa mantener en secreto determinada información. La información recopilada sólo se comparte con aquellos de quien el “comunicante” de la información ha sido informado y ha consentido.

Anonimato se refiere a mantener en secreto la identidad de los participantes. Una de las estrategias más comunes para hacerlo es eliminar los nombres o identificaciones personales de los datos.

Carácter voluntario se refiere al derecho del participante a retirarse del proceso de evaluación en cualquier momento.

Consejos para garantizar que se cumplan los principios éticos: • No reúnan información de identificación personal, como el nombre, la

dirección y otros datos similares si no es necesario (encuesta anónima). • Si es necesario recopilar información personal, mantengan los datos en

estricto secreto (encuesta confidencial). • Comuniquen a los entrevistados, que la información es anónima y

confidencial, y cómo será utilizarda ANTES de iniciar la recopilación de datos. • Establezcan los mecanismos apropiados para asegurar la

confidencialidad de la información y de los que la proporcionan (formularios de consentimiento, examen de comités de ética, etc.).

• Protejan la privacidad de las personas. Esto resulta especialmente

importante para los municipios o grupos de personas pequeños. • Guarden documentos en un lugar seguro donde sólo tengan acceso las

personas responsables. Si es necesario, guárdelos bajo llave.

112

Prueben Herramientas de antemano Prueben previamente las encuestas y las listas de preguntas para identificar problemas y equivocaciones antes de que ocurran realmente. Las preguntas no deben cambiarse a la mitad de la actividad de recopilación de datos. Preparen los formularios de recopilación de datos en un formato que resulte fácil de rellenar y analizar. Para someter a prueba una herramienta, la misma debe ser administrada a un grupo pequeño de personas similares a las que se dirigirá en realidad, y en las mismas circunstancias que cuando se realice en el futuro. Así pueden detectar problemas de duración u ordenación, e identificar preguntas que resulten difíciles de comprender o no aporten la información que estén buscando. Manejen adecuadamente la información recopilada Es importante organizarse para garantizar la integridad de los datos y que o proceso ocurra sin mayores problemas. Elijan desde el principio quienes serán los responsables del manejo de los datos en la medida que son recopilados. Tareas que deben ser completas continuamente por estas personas incluyen: • La recolección regular de los formularios, encuestas, entrevistas, etc.,

completadas por los recopiladores de datos. • La revisión de los formularios para garantizar que se están llenando

completamente y de manera uniforme. Cuando utilicen los datos cualitativos, asegúrense que las personas que proporcionan la información escriban con claridad y usando oraciones completas.

• Guardar los datos recopilados en un lugar seguro, privado y confidencial y

mantener copias actualizadas de archivos y formularios. • Reunirse regularmente con los recopiladores de datos para resolver cualquier

cuestión pendiente. • Si se graban entrevistas y grupos de discusión, enviar cintas para trascripción. • Si las entrevistas se hacen en una lengua distinta, enviar para traducción. • Garantizar que los recopiladores de datos tengan el material necesario. • Ser accesible en todo el periodo de recopilación de datos (teléfono, Internet,

etc.).

113

Procesamiento de la información recopilada Procesar la información significa preparar y convertir la información recopilada en un formato que permita fácilmente su lectura, resumen y análisis. Muchas personas usan una computadora para esta operación ya que pueden "procesar" sin dificultad una gran cantidad de información (por ejemplo, los resultados de una encuesta), pero no siempre es necesario utilizar una computadora. Si utilizan una computadora, recuerden que es fácil cometer errores durante el proceso de introducción de datos. Para evitar estos errores: • Garanticen que los datos al ser introducidos sean legibles y completos (por

ejemplo, revisando antes los formularios)

• Asegúrense que los datos sean introducidos de manera uniforme (por ejemplo, asignando a una persona a esta tarea)

• Revisen regularmente una muestra (por ejemplo, 10%) de la información en

la computadora para asegurarse bien de su exactitud. • Mantengan copias actualizadas de todos los archivos creados. Reflexionar sobre la experiencia de recopilar datos Es importante que durante este paso, el grupo reflexione sobre esta misma experiencia. Celebren reuniones periódicas y contesten preguntas como: • ¿Estamos cumpliendo los objetivos con los datos recopilados hasta ahora? • ¿La información recopilada es completa? ¿Nos ayudará a responder las

preguntas de evaluación? Nos proporciona una imagen completa de la estrategia y de los factores que influyen en los cambios observados?

• Si no, ¿que falta? ¿Que necesitamos cambiar en el plan de evaluacióny de

trabajo para completar la información que falta? • ¿Que estamos aprendiendo con esta experiencia, sobre la comunidad, la

estrategia de MCS, y el grupo?

114

Continuous monitoring, data collection and reflection









Paso 5. Analisar,

interpreter y reflexionar sobre los resultados

Paso 6. Disseminar Resultados




115

Paso 5. Analizar, interpretar y reflexionar sobre la información recopilada y los resultados

¿Que es el Paso 5? El Paso 5 es el momendo donde se organizan y se analizan los resultados de los datos recopilados en los pasos anteriores. Esto se hace en 3 procesos distintos: • El análisis, que hace referencia a organizar los datos recopilados en

modelos, categorías y descripciones básicas. • La interpretación, que implica asignar significado o importancia al análisis,

o sea, explicar lo que los modelos o categorías revelan de la experiencia. • La reflexión, que implica pensar sobre los resultados y llegar a un consenso

sobre qué significado tiene para la estrategia. Muchos libros tratan justamente este tema; no está dentro de la finalidad de esta Guía explicar en detalle las técnicas de análisis e interpretación de datos. Para ayudarles a ponerse en marcha, resumimos algunas de las técnicas básicas. Centrar el análisis Antes de que empiecen a organizar y analizar la información que han reunido, revisen la finalidad y las preguntas específicas de la evaluación. De este modo podrán centrar el análisis en los temas pertinentes a la iniciativa. Revisen también las distintas categorías de evaluación: • Pilares de MCS (Capítulo 2) • Determinantes/Condicionantes de MCS (Capitulo 2) • Área prioritaria • Contextos y Procesos de MCS • Valores de MCS (Capitulo 2) • Otras categorías como relaciones de poder y construcción de capacidad

5Recuerden que, más que juzgar el suceso o fracaso de una iniciativa, en

el contexto de una evaluación participativa, sus objetivos en este paso son: • Comprender la relación entre una intervención y sus resultados.

• Identificar fortalezas, debilidades, limitaciones y facilitadores.

• Comprender la influencia de condiciones y contextos.

• Devolver información a la comunidad y actores clave.

116

Más que lograr resultados, acuérdense que es muy importante comprender qué pasó y por qué. Concéntrense en identificar, comprender y explicar cuales factores, condiciones y contextos influyeron en los cambios demostrados (o la falta de) por los datos recopilados.

¿Que es el análisis cuantitativo? Por lo general, la información cuantitativa se resume en forma de porcentajes, cantidades y promedios. Esta información procede de encuestas, registros, entrevistas, registros de observación, etc. Calcular estas estadísticas descriptivas sencillas es a menudo todo lo que se necesitan para analizar la información cuantitativa; para hacer estos cálculos, no precisan tener habilidades de evaluación especializadas. El analisis cuantitativo puede ser hecho manualmente o con el auxilio de una computadora3. Esta decisión debe basarse en la cantidad y el tipo de información que han recopilado, así cómo su familiaridad con el uso de computadoras. Podemos calcular y mostrar información muy sencilla de manera atractiva empleando herramientas como gráficos y tablas. Por ejemplo, una encuesta de elección múltiple a un grupo aleatorio de 60 miembros de la comunidad para determinar si confían en su gobierno local, arrojó los resultados siguientes:

3. Existen varios programas de computadora especificos para análisis estadísticas (EPI Info, SPSS, etc.). Otros softwares como Lótus y Excel pueden ser utilies para la organización y analisis de datos cuantitativos. Si están interesados en aprender cómo usar estas técnicas, contacten una universidad o centro de investigación local.

Para orientar el Paso 5, analicen, interpreten y reflexionen sobre los datos tomando en cuenta estas estas preguntas: 1. ¿Qué esperaban que iba ocurrir? 2. ¿Qué ocurrió en realidad? 3. ¿Hay una diferencia entre el esperado y el logrado? ¿Por qué? 4. ¿Qué podemos aprender de esto?

117

Un 30% seleccionó “mi gobierno local es honrado y trabaja duro para mejorar la vida de toda la comunidad”. Un 65% seleccionó “mi gobierno local es corrupto y no se preocupa por mejorar las cosas en la comunidad”. Un 5% seleccionó “no sé”.

Figura 6. Ejemplo de una gráfica circular No obstante, es muy fácil presentar información engañosa usando estadísticas y gráficos. Por ejemplo, si la gráfica se basa en resultados que representan sólo a diez personas, no la presenten como si correspondieran a toda la comunidad. Incluyan el número de encuestados, para que aquellos que vean la información dispongan de todos los hechos en que basar su interpretación. En las secciones que siguen se describe un plan sencillo para analisar datos cuantitativos manualmente. Preparando la información para el análise cuantitativo • Organicen la información en tablas o listas, de manera que su lectura sea

clara, objetiva, y minimize la posibilidad de errores. La figura 7 muestra un ejemplo sencillo de una tabla utilizada para organizar los datos de la encuesta realizada en Villa Linda. Prepare una tabla para cada herramienta utilizada en la recopilación de los datos.

• Asigne una persona para revisar estas tablas y asegurar la exactitud de la información

• Definan cómo van a lidar con datos incompletos o no existentes (por ejemplo, cuando participantes no contestan todas las preguntas de una encuesta). Esto tiene consecuencias importantes para la calidad de la información que utilizan. Por ejemplo, si más de 10% de los participantes no contestaron una pregunta especifica, consideren excluirla del análisis.

5%

Actitudes de la comunidad hacia su gobierno local (60 encuestados)

Gobierno local es honrado y trabaja duro (30%)

Gobierno local es corrupto y no se preocupa (65%)No sé (5%)

118

Figura 7. Datos Recopilados de los Vendedores del Mercado de Villa Linda Herramienta de recopilación de datos: encuesta Cantidad: 10 encuestas completadas Vendedor Pregunta 1.

¿Sigue trabajando en el mercado un año después del taller?

Pregunta 2. ¿Enumera 5 técnicas correctas de manipular alimentos?

Pregunta 3. ¿Emplea las técnicas aprendidas en el taller?

1 Sí No Algunas 2 Sí No No 3 No Sí No 4 Si Sí Sí 5 Si Sí Sí 6 No No No 7 Si Sí Si 8 Si Sí Algunas 9 Si Sí Algunas 10 Si Sí Si Analizando los datos cuantitativos Una vez preparadas las tablas, resuma las respuestas en otra tabla y realice los calculos necesarios para llegar a los resultados. La Figura 8 muestra un ejemplo basado en la encuesta de los vendedores de Villa Linda. Figura 8. Análisis de los datos recopilados de los vendedores del mercado de Villa Linda. Herramienta de recopilación de datos: encuesta Cantidad: 10 encuestas completadas Pregunta Resultado Total Percentual 1. ¿Sigue trabajando en el mercado un año después del taller?

Sí 8

No 2

10 Si 80% (8/10*100)

No 20% (2/10*100)

2. Enumera 5 técnicas correctas de manipular

Sí 7

No 3

10 Sí 70% (7/10*100)

No 30% (3/10*100)

119

alimentos? 3. ¿Emplea las técnicas aprendidas en el taller?

Sí 4

No 3

Algunas 3

10 Sí 40%

No 30%

Algunas 30%

Calculemos el porcentaje (%) de vendedores que asistieron a los talleres de formación y que, después de un año, fueron capaces de enumerar correctamente 5 técnicas apropiadas de manipulación de alimentos (Pregunta 2 de la Figura 8). Los resultados del cuestionario administrado son: 7 vendedores de los 10 encuestados enumeraron 5 técnicas correctas de manipulación de alimentos. Vamos convertir este dato en un porcentaje: 7 ÷ 10 x 100 = 70%. Por lo tanto, el 70% de los vendedores pudieron enumerar 5 técnicas apropiadas de manipulación de alimentos un año después de asistir al taller. Al interpretar la información, el Subcomité decidirá si este resultado es un éxito o no. ¿Que es el análisis cualitativo? La información cualitativa permite buscar coincidencias en una serie de observaciones, entrevistas o documentos y puede ser analizada por técnicas distintas. Análisis de datos cualitativos también pueden ser realizados manualmente o con el auxilio de la computadora. 4 Existen varias técnicas de analisis cualitativas, como las descriptas abajo. Clasificación o Análisis del Contenido Esta es una técnica para organizar su información en categorías claras y sencillas y áreas temáticas (Vean Centrar Análisis). Eso facilita examinar, compartir con otros y tratar de comprender el significado de la información. Lean toda la información para identificar los temas y los patrones. Pueden escribir notas al margen describiendo diferentes temas, o dividir la información en distintas partes y clasificarlas por los temas o categorías principales que hayan reconocido. Al final, anoten los temas y categorías en una hoja de papel a parte. Es algo similar a preparar un índice para un libro. Analisis de redes sociales

4 Softwares para análise de datos cualitativo incluyen QSR Nudist y Ethnograph.

120

Las redes sociales son vehiculos de poder e influencia en todas las sociedades. Todos pertenecemos a una o más de ellas (por ejemplo, familia, vecinos, trabajo, organizaciones comunitarias, escuelas, etc). El análisis de redes sociales es un método que permite estudiar el comportamiento de estas redes y conocer su estructura y propiedades. Los elementos básicos de las redes sociales incluyen la presencia e identidad de los participantes, su interación y comunicación. En las secciones que siguen se describe un plan sencillo para analisar datos cualitativos manualmente. Preparando para analisar datos cualitativos • Definan un codigo para identificar cada categoría de analisis o tipo de

información que buscan en los datos (por ejemplo, un código de colores, símbolos, o palabras clave).

• Reúnan todas las notas, diários, transcripciones, cuestionarios, formularios y notas de observaciones que contienen la información a ser analisada.

• Preparen una tabla de analisis como el ejemplo de la figura 9 para cada pregunta de evaluación o código de análisis.

• Definan un lugar donde puedan trabajar sin interrupciones por varias horas.

Realizando la análisis cualitativa 1. Lean los materiales e identifiquen las partes de interés de acuerdo con el código de color, símbolo o palabras definidos. Subrayan estos fragmentos en el texto con su respectivo color o símbolo, o escribiendo la palabra clave el las margenes del papel. Escuche a las cintas grabadas, si hay, e identifique los fragmentos de interés. 2. Reúna todos los fragmentos identificados bajo el mismo código (por ejemplo, todos marcados con el color verde). Utilizando la tabla, transcriba aparte la opinión, sentimento, o idea expresada relacionada con el código y con la pregunta o categoría de analisis en cuestión. Sume la cantidad de veces que cada idea, opinión o sentimento fue expresado. Separe algunas citaciones que mejor expresen la idea, sentimiento u opinión (en la columna “citación”). 3. Utilice los codigos que aparecen con más frecuencia para definir los resultados del análisis. Debido a la naturaleza de este tipo de datos, ni siempre es posible, o necesario determinar el número de respuestas similares. Una opción es describir los resultados utilizando frases cómo: “La mayoria de los participantes expresó que…”, o “muchas personas creen que…”.

121

4. No descarten las opiniones expresadas por un número pequeño de participantes, pues muchas veces apuntan a tendencias importantes o a expresiones de un grupo especifico de la población. Figura 9. Tabla para Análisis de Datos Cualitativos Pregunta de Evaluación: “ ¿Cómo percibe y valora la población los cambios de comportamiento de los vendedores del mercado?” Herramienta de recopilación de datos: entrevistas con consumidores del mercado Cantidad: 10 entrevistas Código: Color verde Pontos principales, ideas, opiniones, sentimientos

Citación Resultados

Consumidores perciben que algunos vendedores están empleando técnicas diferentes de manipulación de alimentos (7) Algunos consumidores atribuyen el cambio a la iniciativa de MCS (4) Expresan que el mercado está más limpio (5) Reconocen que el olor de las tiendas de algunos vendedores esta mejor (8) Algunos temen que esto resulte en un alimento más caro (3)

“Me gustó ver que un vendedor lavó las manos antes y después de cortar el pescado” “El mercado está más chic, algunos vendedores hasta utilizan guantes” “Yo vi un símbolo de la iniciativa de Municipios en unas tiendas. Creo que es esto que esta provocando este cambio” “Ahora está mejor, hasta se ve el color del suelo del mercado. Antes, estaba lleno de basura y restos de alimentos.” “Todo está bien, pero yo no se que va a pasar con los precios. Claro, si necesita hacer más cosas para mejorar la comida, entonces va a costar más, no?

La mayoria de los consumidores percibe los cambios de actitudes de algunos vendedores del mercado. Los consumidores están contentos con los cambios que perciben. Existe un receo de las consecuencias economicas de estas medidas para mejorar la calidad de los alimentos

122

¿Qué significa interpretar los datos? Interpretar implica asignar significado o importancia al análisis, o sea, definir lo que estos resultados revelan de las actividades y experiencias evaluadas. Esta tarea implica en parte revisar o repensar los criterios sobre lo que constituyen que algo (por ejemplo, una actividad o un resultado) sea considerado “éxitoso”, o “aceptable” para la iniciativa de MCS. La interpretación proporcionará la base para la toma de decisiones sobre las acciones a emprender para mejorar la iniciativa y sus actividades. Para interpretar los resultados: 1. Revisen la finalidad de la evaluación, los objetivos y las expectativas que se

establecieron para la iniciativa. Comparen con los resultados de la evaluación y definan si estos si cumplieron o no.

2. Consideren las expectativas u objetivos que no se cumplieron. Piensen en las

explicaciones más plausibles para este resultado y que aspectos de la iniciativa deben ser reconsideradas.

3. Consideren las expectativas y objetivos que se cumplieron. Definan cuales

fueron los factores que contribuyeron para estos logros/sucesos. 4. Consideren los resultados inesperados, por qué estos sucedieron y que se

puede aprender de ellos.

Al considerar las explicaciones más plausibles para explicar un resultado, tomen en cuesta estos consejos: • Tengan en cuenta las limitaciones de la evaluación. Estas pueden incluir

factores contextuales con repercusión en lo que se esté evaluando, en la confiabilidad de los resultados y la posibilidad de generalizarlos.

• Consideren si hay explicaciones alternativas para sus resultados. • Consideren los factores internos y externos que puedan impactar (positiva o

negativamente) en la iniciativa. • Examinen si todos los métodos de recopilación de datos usados para

analizar un resultado o actividad particular muestran resultados similares. • Piensen en que factores influiran en el resultado y a través de que

mecanismos.

123

Sean lo más objetivo posible. Al sugerir una interpretación de la información, intenten pensar en otras explicaciones para lo que está observando y averigüen si éstas alternativas son respaldadas por la información recopilada. Si les parece difícil encontrar datos que apoyen a otras explicaciones, pueden sentirse más seguros en sus explicaciones originales. Si observan que los datos apoyan diferentes explicaciones, exploren el tema más a fondo y discutan cuál es la explicación más probable para lo que hayan descubierto. Existe la posibilidad de que los datos recopilados no muestren cambio alguno, o revelen cambios negativos. Es importante no maquillar los datos y mantener la integridad aunque se sientan presionados para malinterpretar u omitir conclusiones. Esta presión puede venir de cualquier actor clave involucrado en el proceso de evaluación: utilicen el proceso de resolución de conflictos y traten de hallar una solución (veán el Anexo A sobre resolución de conflictos).

Consejos mientras analizan e interpreten los datos: • No supongan que las actividades o la estrategia de MCS son la única causa

de los cambios positivos o negativos que documenten. • No olviden que el mismo método de evaluación puede aportar diferentes

resultados cuando es utilizado por distintas personas. Las personas que respondan a una entrevista pueden decirle lo que crean que desean oír.

• No afirmen que los resultados de una evaluación en pequeña escala son

aplicables a una zona geográfica o grupo mayor. Por ejemplo, al evaluar las actividades en un barrio, no generalice diciendo que los resultados son válidos para toda la comunidad o municipio.

124

¿Por qué es importante reflexionar sobre los resultados? La reflexión sobre los resultados es FUNDAMENTAL en el proceso de la evaluación participativa para: • Lograr una comprensión más profunda de la iniciativa y la comunidad • Incentivar a un proceso continuo y evolutivo • Animar a los involucrados en la iniciativa a estar alertas, abiertos a reconocer y explorar las cuestiones que surgen

• Crear una imagen de la iniciativa de MCS y del proceso que los ha conducido hasta aquí.

Comparen los resultados y analicen los aspectos positivos que permitan proseguir con ciertas actividades o diseñar otras. Este es el momento de hacer recomendaciones o declaraciones acerca de los resultados. Esto no significa que deban limitarse a definir si algo fue un “fracaso” o “éxito,” pero obtener conclusiones sobre si los resultados son los esperados, y si son aceptables para la iniciativa. Concéntrense en QUÉ aspectos funcionaron bien o mal, POR QUÉ y qué partes pueden necesitar una mayor aclaración.

125

Interpretando y Reflexionando sobre los Resultados

En Villa Linda, los datos recopilados a través de observaciones de y encuestas con vendedores que participaron del taller, después de un año muestran que: - 80% de los vendedores pueden enumerar 5 maneras de manipular adecuadamente los alimentos correctamente - En práctica, sólo 10% de los vendedores lo hacen después del taller, ¿Qué conclusión puede extraerse en cuanto al éxito o fracaso del taller? ¿Cuál fue la contribución del taller para lograr los objetivos de la iniciativa? El Subcomité de Evaluación puede decidir que: 1. un resultado del 80% de participantes capaces de identificar técnicas adecuadas de manipulación de los alimentos es suficiente para continuar con el taller. Basados en esta decisión, el grupo recomenda planificar nuevos talleres. y 2. que sólo 10% de vendedores manipulando los alimentos de forma salubre después del taller, no es suficiente o aceptable. Así, la recomendación será revisar el taller para centrarlo menos en el conocimiento y más en generar y mantener cambios en la conducta de los vendedores. El Subcomité de Evaluación también decide centrar esfuerzos en aumentar inspecciones de mercados por inspectores de salud y en hacer cumplir la ley.

126

Ejercicio 29. Examinen y debatan este ejemplo de Villa Linda El Subcomité de Evaluación de Villa Linda deseaba determinar si y cómo el “empoderamiento” de los consumidores se ha visto afectado por las nuevas normas de manipulación de alimentos. Han recopilado datos a través de: Entrevistas en profundidad Grupos de discusión Número de multas impuestas en el último año para sancionar el incumplimiento de las normas de inocuidad de alimentos Número de quejas presentadas por consumidores Número de quejas y multas a vendedores que participaron en el taller Los resultados demuestran que: 1. Algunos consumidores se sienten más “empoderados”, y otros no. Los que tienen ingresos, mayor nivel de educación y acceso a medios de transporte alternativos, creen desempeñar un papel en hacer cumplir las normas (presentando quejas contra los vendedores que no observan las normas de inocuidad de los alimentos). Pueden también desplazarse a otros mercados donde la inocuidad de los alimentos se respeta escrupulosamente. 2. Los consumidores con bajos ingresos, menor nivel de educación, y sin medios de transporte alternativo, no creen en: - su poder de influir en cómo los vendedores manipulan los alimentos; - tener otras opciones puesto que no pueden acceder a otros mercados. - que sus quejas sean tenidas en cuenta. Tampoco presentan quejas porque les resulta engorroso, exige tiempo y no pueden tomarse el día libre para hacerlo. 3. Se ha documentado un resultado inesperado. Hubo una subida de los precios alimentarios porqué los vendedores tienen más gastos (guantes, desinfectante, contratar más empleados, etc.). La población afirma la necesidad que los alimentos sean seguros y confirma que los vendedores están en su mayoría cumpliendo con las nuevas normas. Sin embargo, factores económicos influyen en la decisión: consumidores siguen comprando a los vendedores que no cumplen las nuevas normas pero que ofrecen un mejor precio. Basados en estos resultados, ¿cómo debería proseguir el Subcomité de Evaluación de Villa Linda?

127

EJERCICIO 30. Reflexionando sobre su iniciativa. Basados en los resultados e interpretación de su evaluación, contesten en grupo: ¿Que SUCEDIÓ en la iniciativa, en la comunidad, en el grupo? ¿Cómo ha cambiado el CONTEXTO de la iniciativa, la comunidad, el grupo? ¿Que les llevó a definir que estos cambios se han producido? ¿Qué han aprendido con esta experiencia? ¿Qué cambios son necesarios para mejorar la iniciativa? ¿Qué relaciones pueden establecer entre los cambios observados, la iniciativa y actividades implementadas? Examinen estas relaciones a fondo.

128

EJERCICIO 31. Resuman el plan de análisis, interpretación y reflexión en esta hoja de trabajo

Análisis Interpretación Reflexión Información recopilada

¿Cómo fue analizada?

¿Cuáles fueron los Resultados?

¿Cuál fue la interpretación del grupo sobre estos resultados?

¿Cuáles son las recomendaciones para mejorar y modificar la iniciativa?

1. 2. 3. 4. 5.

129










Paso 5. Analisar, interpreter y reflexionar sobre los resultados

Paso 6. Disseminar Resultados




130

Paso 6. Comunicar los Resultados5

¿Que es el Paso 6? El Paso 6 consiste en definir e implementar una estrategia de comunicación para disseminar los resultados de la evaluación a todos los actores clave de la iniciativa de MCS. Este paso está muy relacionado con el Paso 7 (Actuar sobre la información) y es bien posible que se trabajen los dos pasos al mismo tiempo. Los resultados de la evaluación deben compartirse en diferentes puntos a lo largo del proceso, no sólo al final. A menudo se gasta mucho tiempo, energía y recursos en la evaluación pero se olvida de “correr la voz” sobre lo que se descubre. Se comparte demasiado tarde o con muy pocas personas. La comunicación es fundamental para que las medidas necesarias se concreticen y los grupos e individuos participantes mantengan o aumenten su apoyo a la iniciativa. Las audiencias para los resultados de la evaluación incluyen: • Miembros involucrados en de la iniciativa de MCS (del pasado y del presente) • Líderes políticos y de la comunidad • Grupos comunitarios (en particular grupos con los que hayan trabajado) • Programas e instituciones locales (iglesias, escuelas, etc.) • Programas e instituciones estatales y de distrito • Fuentes de financiamiento (los que financiaron sus actividades y los que quizá

las financien en el futuro) • Medios o la prensa local

¿Por qué es importante compartir las lecciones que han aprendido? • Facilita la replicación de sucesos y permite que otros aprendan de los errores,

de los problemas encontrados y de las maneras empleadas para resolverlos. • Utiliza la repercusión positiva que el diseño y la ejecución de la estrategia ha

tenido para influir en las políticas y en las organizaciones. • Promociona el trabajo a través de redes y del intercambio de conocimiento e

información, reforzando la cooperación entre las organizaciones y sectores actuales o que potencialmente se involucren en la iniciativa de MCS.

¿Qué información debe compartirse? Seleccionen la información que consideren más pertinente y útil para el público destinatario. Esta información puede dividirse en dos categorías: 5 Parte del material en este capitulo se ha extraído de la publicación Municipios y Comunidades Saludables, por Ligia de Salazar, Constanza Díaz y Adalgusa Magaña, CEDETES, 2002

6

131

• Información relacionada con la iniciativa de MCS (lecciones aprendidas,

resultados e impactos, cambios y procesos, debilidades y fortalezas) • Información relacionada con la recopilación de datos y el proceso de análisis

(lecciones aprendidas, qué fue útil, que no fue, porqué, fortalezas, debilidades, tipos de información generada y su aplicación)

Al diseñar la estrategia de comunicación, definan estos elementos claves: • Audiencia (personas o grupos a quién se destina la información) • Objetivos (por qué se esta comunicando esta información a esta audiencia) • Mensajes Clave (cuales son los puntos clave que se pretende comunicar) • Canales (de que manera se va a compartir la información) • Costos (asociados con los diversos canales, formatos, audiencias, etc.) • Plazo (cuando, con qué frecuencia, en qué momentos) • Socios (quién colaborará en la tarea de comunicar la información) • Actividades de evaluación de la estrategia de comunicación DEFINAN AUDIENCIAS El tipo de información y la manera como se comparte depende de lo que se comunique, a quien se dirige (el público destinatario o audiencia), con qué objetivo y el momento del proceso escogido. Audiencias potenciales incluyen: • Encargados de adoptar decisiones que repercuten sobre la estrategia • Representantes del Gobierno (gerentes, proveedores de servicios) • El sector privado • La comunidad • ONGs e instituciones académicas Reconozcan las necesidades de información de cada audiencia así como los formatos de comunicación que mejor respondan a estas necesidades. Compartan los resultados con la mayor cantidad posible de audiencias. DEFINAN OBJETIVOS DE COMUNICACIÓN Determinar lo que quieren conseguir con la comunicación de los resultados de la evaluación les ayudará a centrarse en las audiencias adecuadas y en los mensajes que quieren transmitir. Para definir objetivos de comunicación específicos para cada audiencia, piensen como cada una de ellas han afectado las actividades y la iniciativa hasta este momento y como podrán apoyarlos en el futuro. Determinen cuales son los incentivos para que continúen dedicando tiempo y recursos a la iniciativa de

132

MCS. Siempre que posible, enfaticen los beneficios que resultaran de su colaboración, en términos de resultados directos (mejores practicas de manipulación de alimentos, mejor salud pública). También procuren desarrollar la fundación para la creación de relaciones de colaboración con otros socios.

Definiendo audiencias y objetivos de comunicación ¿Cuales son las audiencias para los resultados de la evaluación en Villa Linda? En Villa Linda, la evaluación muestra que algunas personas continúan comprando a los vendedores que utilizan prácticas insalubres porque estos ofrecen un bajo precio. El Subcomité de Evaluación acuerda que dos audiencias clave en su estrategia de comunicación son: los vendedores y los consumidores. ¿Cuál es el objetivo de comunicar los resultados a los vendedores? El objetivo de comunicar los resultados a los vendedores es reforzar las buenas prácticas entre los vendedores que las practican y desarrollar incentivos para capacitar y reforzar a los otros vendedores a adoptar las mismas prácticas. Para esto, deciden informar a los vendedores de mercado, cuales son las recompensas, sanciones y repercusiones para adoptar o no las practicas de manipulación de alimentos recomendados. ¿Cuál es el objetivo de comunicar los resultados a los consumidores? El Subcomité acuerda que el objetivo de comunicar los resultados a los consumidores es hacer que comprendan que si se enferman por consumir alimentos manipulados de manera inadecuada, de hecho les costará más por el tiempo perdido en actividades productivas, medicamentos y por no sentirse bien. Por esto deciden comunicarles los beneficios de comprar alimentos de vendedores que adoptan buenas prácticas de manipulación y definen incentivos para pagar más caro por alimentos más seguros.

133

MENSAJES CLAVES Resuman las lecciones aprendidas de la evaluación en unos pocos y concretos resultados. Estos serán la base sobre la cual definirán cual es el mensaje clave que quieren comunicar a sus audiencias para aumentar la posibilidad de lograr los objetivos de comunicación. Mismo que los resultados sean negativos, los presenten de manera que respondan a los objetivos para que su comunicación contribuya a compartir la información.

Compartiendo resultados con la comunidad Es fundamental que la difusión de resultados entre la comunidad se de a la par con un proceso de comunicación educativa y participativa, para que la población pueda utilizar la información de forma práctica. Es decir que la comunidad adquiera aptitudes y capacidades de seleccionar, comprender, discernir y usar la información que es útil para su desarrollo integral. Comunicar lo que emerge de la evaluación, es fundamental para que las comunidades se conviertan en fuerzas vivas que actúen para lograr cambios sociales que influyan en su calidad de vida y compartir la toma de decisiones.

Definiendo mensajes claves a audiencias especificas En Villa Linda, los formuladores de políticas son una audiencia clave para que se fortalezcan las políticas que regulan el sector alimentario. Es central demostrarles porqué es de interés publico, y les será beneficioso, cambiar estas políticas. Un mensaje clave para ellos es que una población más saludable, con menores cuidados médicos, da lugar a reducir los gastos de los recursos municipales. El Subcomité procura demostrar cómo los talleres son una manera costo-efectiva de apoyar la adopción de nuevas prácticas que por su vez contribuyen a mejorar la salud pública. Para los vendedores, el mensaje clave es que eventualmente más clientes comprarán de vendedores que manipulan alimentos de manera segura, cuando sea claro que menos enfermedades son asociadas con los alimentos que venden. Por esto, es de su interés participar de los talleres, aprender y adoptar nuevas prácticas de manipulación de alimentos.

134

CANALES DE COMUNICACIÓN Los canales de comunicación consisten en las diversas maneras que se puede utilizar para transmitir la información. Estos deben ser compatibles con las audiencias y los objetivos de la estrategia de comunicación. Ejemplos de canales de comunicación incluyen: foros comunitarios, reuniones de grupos de trabajo, conferencias, seminarios, talleres de capacitación, visitas de intercambio entre comunidades, redes informales, medios de comunicación de masas, diapositivas, carteles, publicaciones, informes, fiestas populares, teatros, arte, musica, etc. Es común asociar canales de comunicación a medios de comunicación masivos. La difusión de información a través de radio, televisión, periódicos, etc. es una manera eficaz de influir en las autoridades políticas, la opinión pública, la acción colectiva, los sectores influyentes y presionar a los tomadores de decisiones. Todavía, tengan en cuenta que no siempre los medios de comunicación masivos son el canal más compatible con su audiencia y con sus objetivos de comunicación. Consideren también los costos asociados con los distintos canales. Es posible que tengan que escoger unos canales basados en los recursos humanos y financieros, la experiencia y oportunidad disponible.

MOMENTO OPORTUNO Compartan la información con su audiencia cuando estos están receptivos a recibir el mensaje que quieran transmitir, o cuando sea una buena oportunidad para difundir la información (por ejemplo, periodos de elección). El momento adecuado también se refiere a aprovechar otras actividades y eventos para

Utilizando canales de comunicación En Villa Linda se diseñó un símbolo o certificado para que los vendedores dispongan en su tienda demostrando que fueron capacitados y que los inspectores de salud han confirmado que adoptan las prácticas recomendadas. Esto transmite el mensaje a otros vendedores y a los consumidores de la importancia de adoptar nuevas prácticas y de apoyar a aquellos que lo hacen. Para reforzar la diseminación de información sobre este tema, también se organizan debates interactivos y presentaciones en el mercado para los vendedores y consumidores.

135

difundir su mensaje. Por ejemplo, una fiesta en la comunidad, son buenas oportunidades para celebrar conferencias sobre las actividades de evaluación.

EVALUACIÓN DE LA ESTRATEGIA DE COMUNICACIÓN Recuerden que es importante saber si están siendo efectivos en comunicar los resultados de la evaluación, así como cual es el impacto de esta información en actividades y comportamientos futuros. Por esto, al reflexionar sobre los resultados de la evaluación consideren cuales objetivos de comunicación, mensajes y canales fueran los más efectivos. Para más informaciones sobre comunicación en todo el proceso de la estrategia de MCS vean el Capitulo 3. Para redactar un informe vean el Anexo G.

El momento oportuno en Villa Linda El brote de enfermedades transmitida por alimentos ofrece una excelente oportunidad para demostrar los beneficios de comprar alimentos a los vendedores “certificados”. Al enfrentar una resistencia a adoptar nuevas prácticas, el Subcomité reforzó su mensaje a los vendedores de mercado y al público en general demostrando los resultados positivos alcanzados por aquellos vendedores que adoptan las prácticas recomendadas.

136

Consejos para una estrategia de comunicación efectiva Transmitan claramente la información de contacto: asegúrense de poner nombre, dirección y número de teléfono de la persona de contacto.

Conviertan el informe en un relato de una historia interesante sobre la repercusión de los indicadores en la comunidad. A los medios les interesan el peligro, el conflicto y los elementos de bienestar.

Destaquen las cuestiones y los indicadores más urgentes (aumento de muertes debido a conducir bajo la influencia del alcohol), pero no se centren sólo en lo negativo. Incluyan ejemplos de lo que podría suceder si cambiara esta situación.

Elijan a un portavoz: Identifiquen a uno o dos individuos que representen la diversidad del grupo y remitan los medios de comunicación a esas personas para que conozcan sus perspectivas.

Utilicen a socios y relaciones: si miembros del Subcomité de Evaluación tienen relaciones directas o indirectas con los medios, pidan que establezcan conexiones. Periodistas son más propensos a confiar en alguien que conozcan.

Traten de conseguir respaldos de alto nivel: Esfuércense para que el informe sea presentado por una persona conocida en el gobierno municipal, del distrito, estatal o federal.

137

La estrategia de comunicación en Villa Linda

Estrategia de Comunicación Información a ser compartida Audiencia Objetivo Mensaje Canales Momento Oportuno 1. 80% de los vendedores que participaron del taller pueden citar 5 técnicas apropiadas de manipular alimentos. Todavía, sólo 10% de los vendedores aplican este conocimiento. 2. Taller fue eficaz en aumentar conocimiento pero no en cambiar comportamiento. 3. Consumidores declaran apoyo a la iniciativa pero siguen comprando de los vendedores que no aplican prácticas apropiadas porque estos ofrecen mejor precio.

Organizadores del taller Grupos Comunitarios Autoridades Locales Comité Intersectorial Agencia Financiadora Vendedores Consumidores

Revisar el taller para enfocar en el cambio de comportamiento Garantizar apoyo para actividades futuras Reforzar apoyo de la población para incentivar cambio de comportamiento Reunir recursos Apoyar vendedores que adoptan practicas recomendadas

Menos personas enfermas resultarán en menor costo de cuidados médicos. Taller funcionó para aumentar conocimiento. Importante que población exija cumplimiento de las reglas. Alimentos más baratos pero menos seguros pueden resultar en mayor costo personal (enfermedades, pérdida de ingresos, gastos con medicamentos, no sentirse bien, etc.)

Reuniones Entrevistas Personales Redacción de informe Presentación en evento público Periodicos Carteles en el mercado Fiestas populares

Elecciones Fiesta popular Aumento de incidencia de enfermedades Visita de representantes de agencia financiadora

138

EJERCÍCIO 32. Definan su estrategia de comunicación en la tabla abajo.

Estrategia de Comunicación Información a ser compartida Audiencia Objetivo Mensaje Canales Momento Oportuno

139












Paso 7. Actuar sobre

los resultados



140

Paso 7. Actuar en función de los resultados

¿Que es el Paso 7? El Paso 7 es el momento para tomar decisiones sobre que acciones van a emprender para mejorar y dar continuidad a la iniciativa de MCS y sus actividades. Los objetivos de este paso incluyen:

• Articular los resultados de la iniciativa con la planificación y gestión de la iniciativa de MCS.

• Establecer un plan de acción para implementar los ajustes necesarios a la iniciativa de MCS.

• Repensar la iniciativa, sus objetivos y expectativas con base en los resultados de la evaluación.

• Reflexionar sobre el trabajo realizados por los Comités y por los distintos actores clave y realizar cualquier ajuste necesario.

• Definir cómo darán continuidad al proceso de evaluación participativa y cual es el rol de los Comités en esta nueva fase.

¿Cómo decidir qué acciones conviene emprender? La actuación en función de los resultados y de la reflexión debe apoyar la planificación en curso, la ejecución, las mejoras y las modificaciones en el intento de lograr un MCS. Estos cambios no se producen de forma inmediata, así que deben decidir qué áreas tienen prioridad a la hora de emprender acciones. • Involucren actores clave en la tomada de decisiones. Pueden tener

necesidades únicas y nuevas ideas sobre cómo poner cambios en práctica. • Revisen los objetivos originales de la evaluación y de la estrategia,

averiguando dónde han llegado y dónde son necesarios los cambios o ajustes. • Escriban una lista de las acciones recomendadas en función de los

resultados y de la reflexión de la evaluación. Tenga en cuenta los pilares de MCS, las condiciones y el área prioritaria, según corresponda.

• Prioricen los cambios más importantes y factibles de ejecutar. Estas

decisiones pueden basarse en el tiempo y los recursos disponibles, la necesidad o gravedad del tema, el clima político o aspectos de interés para los Comités.

• Establezcan un plan de acción para ejecutar los cambios recomendados,

que puede ser similar al redactado en el Paso 3 (Elaborar un plan de trabajo).

7

141

• Ejecuten los cambios cuando sea factible. Realicen los cambios con la participación del mayor número posible de actores clave. Estos deben comprender lo que se están recomendando y por qué son necesarios.

• Demuestren que la evaluación es importante y que se proponen actuar

de acuerdo con los resultados siempre que sea posible. La manera más eficaz de hacerlo es cumplir con sus compromisos, fomentar la comunicación constante y estar abiertos a nuevas aportaciones.

Cómo la evaluación conduce a cambios y a la acción Durante una evaluación de las actividades de Villa Linda, se descubrió que esfuerzos de abogacía destinados a presionar a los formuladores de políticas para que cambien las leyes que regulan el sector alimentarlo no obtienen éxito porque otro grupo (más influyente políticamente) ejerce presión sobre estos mismos formuladores para reducir los requisitos para que los vendedores obtengan la licencia para operar. Presionados por este grupo más poderoso, los formuladores de políticas están reticentes a promulgar leyes más estrictas sobre inocuidad de los alimentos. Al conocer esta situación gracias a la evaluación, el Comité Intersectorial de Villa Linda se reunió con este otro grupo para llegar a un acuerdo sobre como trabajar juntos para permitir la autorización de licencias a los vendedores al mismo tiempo que se garantizan prácticas mínimas de inocuidad de los alimentos. Los dos grupos reúnen esfuerzos para presionar formuladores de política a formular una nueva reglamentación que logra este objetivo común. Conocer otros hechos ocurridos en la comunidad que afectan al éxito de la iniciativa permitió al Comité Intersectorial introducir cambios en sus actividades de promoción y asegurar de modo más fehaciente los resultados positivos de la estrategia. Este es un ejemplo de cómo la evaluación permite el aprendizaje continuo y cómo la información obtenida debe ser aprovechada de inmediato para mejorar la iniciativa.

142

Actuando en función de los resultados Pregunta de evaluación: ¿Cómo han cambiado en Villa Linda los conocimientos, habilidades y actitudes con respecto a la inocuidad de los alimentos?

Pregunta Secundaria: ¿Qué habilidades, conocimientos y actitudes han cambiado?

Información recopilada • 80% de los participantes fueron capaces de enumerar al menos 5 métodos

de adecuada manipulación de alimentos. (encuesta) • 20% de los vendedores que no asistieron al taller pudieron enumerar al

menos tres métodos de manipulación adecuada de alimentos (encuesta) • Muchos vendedores de alimentos no tienen acceso al abastecimiento de

agua salubre en los lugares de venta de alimentos. (entrevistas) • Cuatro de cada cinco (80%) vendedores de alimentos observaron que quien

participó en el taller empleó técnicas de manipulación adecuada de alimentos en los tres días posteriores al taller (observaciones)

• Sólo 10% de los vendedores que participaron en el taller emplean las técnicas adecuadas un año después del taller (encuesta y observaciones).

Interpretación El taller impartió conocimiento a los vendedores que necesitaban cambiar su comportamiento con respecto a la práctica de manipulación adecuada de alimentos, pero no fue muy efectivo en modificar comportamientos. La falta de agua limpia es un obstáculo a la conducta, aun entre los que conocen técnicas de manipulación inocua de alimentos. Recomendaciones: (1) Revisar taller, impartir y evaluar más talleres para los vendedores que no participaron en el primer taller; (2) mantener reuniones con el gobierno y las empresas locales para que los mercados tengan acceso a agua limpia. Acciones: • Revisar taller y los métodos de enseñanza (enfocar en cambios de

comportamiento) • Planificar y llevar a cabo cada dos meses talleres sobre manipulación de

alimentos dirigidos a los vendedores de alimentos. • Recopilar información sobre la disponibilidad de agua salubre y preparar una

hoja informativa sobre su importancia para la inocuidad de los alimentos. • Programar una reunión con funcionarios locales de medio ambiente e

invitarlos a una reunión del Comité Intersectorial.

143

EJERCÍCIO 33. Definan las acciones que van a poner en práctica como resultado de su evaluación: Pregunta de evaluación: Pregunta secundaria: Información recopilada: Interpretación: Recomendaciones: Acciones:

144

EJERCÍCIO 33. Dando continuidad al proceso de evaluación participativa. Definan cómo darán proseguimiento al proceso de evaluación participativa, contestando en grupo a las siguientes preguntas:

1. ¿Cómo darán seguimiento y garantizarán la implementación del plan de acción definido con base en los resultados de la evaluación (ejercicio 32)?

2. ¿Cómo se articularán los resultados de esta evaluación con la planificación y gestión de la iniciativa de MCS?

3. ¿Cómo los resultados de esta evaluación cambian los objetivos, metas y visión de la iniciativa de MCS? Discutan estos aspectos con el Comité Intersectorial.

4. Reflexionen sobre el trabajo realizado por los Comités. ¿Cómo funcionaron cómo grupo? Que ajustes son necesários?

5. La evaluación participativa es un proceso ciclico e continuo. ¿Cómo pretenden dar seguimiento a este proceso, ahora que se encierra un ciclo de evaluación?

145















146

(6) ¿Que es el proceso continuo de monitoreo, reflexión y acción? Cómo se ha resaltado varias veces en esta Guía, la evaluacíon participativa ocurren en ciclos reiterativos y continuos de planificación, gestión y evaluación. Un componente importante e intrínseco de este proceso es el establecimiento de un sistema de sistematización de la información que promueva la reflexión y la acción continua sobre la iniciativa y sus actividades. El proceso de monitoreo, reflexión y acción continua puede ser definido como un esfuerzo permanente para comprender, ordenar y transformar la practica. Esto implica relacionar los procesos con su contexto, comprender como se llevaron a cabo las distintas etapas de los MCS, analizar los cambios que se produjeron y los elementos y factores determinantes de estas experiencias. Esto contribuye a hacer de la evaluación una actividad efectiva, relevante y eficiente, y que genere continuamente información confiable y oportuna para tomar decisiones. Esto permite el aprendizaje para ejecutar y evaluar cambios al mismo tiempo que se mejora la ejecución de las actividades de los MCS. El proceso monitoreo continuo, reflexión y acción tiene dos objetivos principales: (1) Construir una base de información que permita una mirada retrospectiva de lo que ha pasado con el fin de reconstruir las experiencias y utilizar sus resultados para reorientar la estrategia (2) Ser generador de empoderamiento al brindar la oportunidad de aprendizaje colectivo, de profundización y de construcción de conocimiento relevantes, tanto para los actores clave como para la estrategia. ¿Porque es importante establecer un proceso de monitoreo continuo, reflexión y acción?

6 6 Parte del material en este capitulo se ha adaptado de la publicación Municipios y Comunidades Saludables, por Ligia de Salazar, Constanza Díaz y Adalgusa Magaña, CEDETES, 2002

Capitulo 7. Proceso de Monitoreo Continuo, Recopilación de Información, Reflexión y Acción

147

• Permite conocimiento actualizado de las actividades de MCS y otros

factores (nacionales, locales, internacionales) que influyen en la iniciativa. • Promueve el aprendizaje sobre como la comunidad influye en la iniciativa. • Garantiza que el tiempo y recursos sean empleados de manera efectiva. • Es empoderador. Dinamiza el fortalecimiento de capacidades locales. • Aumenta la relevancia, confiabilidad y utilidad de la información

pues esta es identificada y recogida en diferentes momentos del proceso. • Fortalece los principios de la promoción de la salud, como el

aumento de la participación social. • Da cuenta de los cambios, las razones y factores que influyen entre lo

esperado, lo realizado y los resultados. • Promueve la reflexión colectiva y la acción transformadora.

¿Cómo establecer un proceso contínuo de monitoreo, reflexión y acción? Hay diferentes técnicas y metodologías disponibles para establecer este proceso; estas se complementan y que ni todas son participativas. Tenga en cuenta que lo importante es que el PROCESO como un todo sea participativo, y que las decisiones, la reflexión y la acción sobre la información que se recopila y las experiencias vividas sean construidas de manera democrática y participativa. Revisen este proceso regularmente para garantizar la utilidad de sus resultados. ¿Qué monitorear y documentar? Para decidir sobre qué monitorear consideren la utilidad de los productos que van a generar en el proceso, en términos políticos, sociales, económicos e institucionales. Observen su entorno, su comunidad, su estrategia, y piensen en cuáles son sus expectativas, inquietudes y desafíos, actuales y futuros. Consideren lo qué información necesitan de forma contínua para mejorar la iniciativa y/o para enfrentar un problema específico.

148

¿Se pueden utilizar preguntas de evaluación para orientar el proceso de monitoreo, reflexión y acción? Así como utilizamos preguntas de evaluación en el proceso de evaluación participativa descrito en esta Guía, se puede formular preguntas sobre qué monitorear y para qué. El proceso es similar al seguido en el Paso 1, por lo tanto, pueden aplicarlo aquí. Utilicen este proceso y las preguntas que surgen, como base sobre que monitorear. Es muy importante organizarse para garantizar la integridad de los datos recopilados. Elijan una o dos personas responsables por el manejo de los datos en la medida que son recopilados. Vean el Paso 4 del la Guía Metodológica para más detalles sobre como manejar datos adecuadamente. Consulten el Anexo H para ejemplos de técnicas de monitoreo y recopilación continua de información. ¿Cómo utilizar la información recopilada? El momento de la reflexión crea un espacio integrador, donde se relacionan y se articulan los procesos inmediatos con su contexto, y se presenta al grupo el desafío y la oportunidad de comprender y repensar el quehacer práctico, con el fin de generar capacidades y conocimientos, y reorientar la iniciativa. Más que saber qué funciona, es central entender cómo y por qué ha funcionado para que este conocimiento pueda ser aprovechado en otras experiencias. Céntrense en generar debates que posibiliten:

Para orientar la organización del proceso de monitoreo continuo, consideren las siguientes preguntas:

1. ¿Qué queremos o necesitamos saber de forma contínua? 2. ¿Qué métodos y herramientas podríamos utilizar? 3. ¿Cómo debemos realizar este monitoreo? 4. ¿Con qué periodicidad? 5. ¿A quién involucrar? 6. ¿Cómo se analizará y reflexionará sobre la información recopilada? 7. ¿Cómo se diseminará y utilizará esta información? 8. ¿Cómo se dará la integración entre los datos recopilados y la

planificación, gestión y evaluación de la iniciativa de MCS?

149

(1) profundizar la compresión de las experiencias vividas (2) analizar críticamente los cambios generados (3) aportar al mejoramiento de las actividades (4) reconstruir conocimientos de la comunidad (5) poner en relieve supuestos básicos (6) articular la teoría (lo esperado) con la practica (lo que pasó en realidad) El proceso es similar al descrito en el Paso 5. Concéntrense en responder estas preguntas:

1. ¿Qué cambios observamos? Cuales fueron los factores que determinaran estos cambios? Son cambios permanentes u ocasionales?

2. ¿Qué pasó en la comunidad? ¿Por qué? ¿Que factores afectaran estos eventos? ¿De que manera afectan a la iniciativa?

3. ¿Cuál y cómo fue la participación de la comunidad en los distintos momentos? ¿Cuáles factores influenciaran la participación en cada uno?

4. ¿Que lecciones aprendimos de esta información? ¿Como utilizarla? 5. ¿Cuál debe ser el nuevo curso de acción en términos de la iniciativa, y de

la evaluación? ¿Qué debe cambiar y como hacerlo? Ordenen y definan en categorías sus reflexiones, hallazgos, y lecciones aprendidas y decidan como van a proseguir. Garanticen que el proceso sea colectivo y que tenga un propósito, un objetivo, y un rigor metodológico.

150

El proceso continuo de monitoreo, reflexión y acción en Villa Linda El Subcomité de Evaluación de Villa Linda se reunió con el Comité Intersectorial para definir y planificar el proceso contínuo de monitoreo, reflexión y acción de la iniciativa de MCS. Todos los miembros concordaran que estas actividades deberían estar a cargo del Subcomité de Evaluación. Para esto, se definió que el Subcomité de Evaluación sería incorporado de forma definitiva y permanente en la iniciativa de MCS, para garantizar la sostenibilidad del proceso. En conjunto con el Comité Intersectorial, se definieron los temas y las informaciones que serían útiles acompañar de forma continuada para garantizar una mejor la gestión y planificación de la iniciativa de MCS. Se estableció un sistema para recopilar información mensual sobre la calidad de los alimentos en los mercados, vigilar la incidencia de enfermedades causadas por alimentos insalubres, monitorar el trabajo de los inspectores de salud y medir el conocimiento, comportamiento, percepciones y satisfacción de los vendedores y consumidores acerca de la calidad de los alimentos. Los Comités acordaron que se reunirán a cada dos meses para revisar la información recopilada y tomar decisiones sobre cómo incorporarla en la planificación y gestión de las actividades de la iniciativa de MCS. De la misma forma, los comités entienden que el proceso de monitoreo continuo ofrece una oportunidad única para fortalecer las capacidades locales, el empoderamiento y la acción transformadora por parte de los involucrados en el proceso y de la comunidad. Con base en esto, se incorporaron representantes de los vendedores, consumidores e inspectores de salud en el Subcomité de Evaluación. El grupo decidió acompañar los hechos comunitarios a través de Registros de Supervisión completados semanalmente y de la preparación de minitarjetas informativas para compartir la información con la comunidad (Ver Anexo H para más detalles sobre estas técnicas). El Subcomité realiza reuniones a cada 4 semanas para reflexionar sobre el conocimiento generado a través de este proceso y sobre su actuación cómo grupo.

151

Consideraciones Finales: La importancia de estandarizar y generalizar experiencias sobre las iniciativas de MCS en las Américas Existen numerosas experiencias en la región de las Américas que han desarrollado acciones importantes en el marco de la iniciativa de MCS. En cada municipio y país se han adoptado los elementos de la iniciativa de MCS de forma diferente. Esta riqueza de posibilidades en la busca del mejoramiento de la calidad de vida y de la salud a nivel local es precisamente la esencia de la iniciativa. Es fundamental ordenar estas experiencias locales de manera que se posibilite el intercambio y la replicación de experiencias exitosas entre los MCS. Al emprender una evaluación participativa, consideren qué aspectos son importantes que otros conozcan, para que puedan reproducir su experiencia en otro contexto. Una documentación cuidadosa del desarrollo conceptual de las actividades y de la estrategia provee valiosa información para los interesados en reconstruir un proceso similar. Describan y documenten sus experiencias lo más detallado posible. Así, su experiencia podrá ser generalizada y aplicada en otros espacios. Una documentación metódica y pormenorizada posibilita a otros que decidan basar sus trabajos en experiencias existentes, para entender lo que pasó y decidir qué aspectos son aplicables a su contexto, cuáles no, y qué necesitan adaptar. Otro beneficio central que surge de la generalización de experiencias es la posibilidad de establecer el conocimiento y generar modelos de intervención y gestión. Cuando se replican experiencias de manera exitosa, se confirman los logros y las hipótesis generadas. Una teoría establecida construye un mecanismo para demostrar la utilidad y la aplicación de la estrategia, promoviendo el movimiento de MCS en general.

152

Glosario de términos utilizados en esta Guía. Para más definiciones de términos utilizados en la Promoción de la Salud, consulte la página electrónica de la Organización Mundial de la Salud: http://www.who.int/hpr/ncp/support.documents.shtml Abogacía (Advogacy en inglés): abogacía para la salud significa una combinación de acciones individuales y sociales destinadas a conseguir compromisos politicos, apoyo para las politicas de salud, aceptación social y apoyo de los sistemas para un determinado objetivo o programa de salud (OMS, 1998). La abogacia también puede ser entendida como acciones dirigidas a promocionar y buscar apoyo a una causa especifica. Alianza: colaboración entre dos o más partes que buscan en conjunto lograr los objetivos acordados entre las partes. Calidad de Vida: la percepción del individuo sobre su posición en la vida dentro del contexto cultural y el sistema de valores en el que vive y con respecto a sus metas, expectativas, normas y preocupaciones. Es un concepto extenso y complejo que engloba la salud fisica, el estado psicológico, el nivel de independencia, las relaciones sociales, las creencias personales y la relación con las caracteristicas sobresalientes del entorno (OMS, 1998). Capital Social: el grado de cohesión social que existe en las comunidades. Sse refiere a los procesos entre personas que establecen redes, normas y compromisos sociales y facilitan la coordinación y cooperación para su beneficio mutuo (OMS, 1998). Comunidad: Grupo especifico de personas, que a menudo viven en una zona geográfica definida, comparten la misma cultura, valores y normas, y están organizadas en una estructura social conforme al tipo de relaciones que la comunidad ha desarrollado a lo largo del tiempo. Los miembros de una comunidad adquieren su identidad personal y social al compartir creencias, valores y normas comunes que la comunidad ha desarrollado en el pasado y que pueden modificarse en el futuro. Sus miembros tienen conciencia de su identidad como grupo y comparten necesidades comunes y el compromiso de satisfacerlas (OMS, 1998). Descentralización: Proceso de traspaso de atribuciones de un organismo central a otro periférico (con criterios fundamentalmente geográficos, aunque también pudieran ser funcionales). No supone sólo desconcentración, sino autoridad y legitimidad del nuevo organismo descentralizado para tomar decisiones de carácter estratégico, con atribuciones políticas, legales y recursos propios para ello (OPS/OMS, 2002).

153

Determinantes de la salud: conjunto de factores personales, sociales, económicos y ambientales que determinan el estado de salud de los individuos y poblaciones (OMS, 1998) Estilos de Vida: forma de vida que se basa en patrones de comportamiento identificables, determinado por la interacción entre las características personales individuales, las interacciones sociales y las condiciones de vida, socioeconómicas y ambientales. (OMS, 1998) Lluvia de ideas (brainstorming en inglés): proceso mediante el cual se pide a los participantes que generen el mayor numero posible de opciones de aproximación a un tema o problema determinado. Se anima a los participantes a que piensen de manera creativa y valoren las ideas de los demás sin analizarlas con espíritu crítico hasta una fase posterior. El objetivo es proponer nuevas formas de abordar un tema o problema que se diferencien de las identificadas con anterioridad a la sesión. Reorientación de los servicios de salud: preocupación explícita en lograr resultados para la salud para la población, reflejados en la forma de organización y financiación del sistema de salud. Esto debe llevar a un cambio de actitud y de organización de los servicios sanitarios que se centre en las necesidades del individuo como una persona completa, en equilibrio con las necesidades de grupos de la población (OMS, 1998). Responsabilidad frente a la ciudadanía (accountability en inglés): la habilidad de hacer con que las autoridades del gobierno, funcionarios públicos y otros actores del sector público y privado asuman la responsabilidad y respondan por sus acciones, políticas y utilización de recursos.

154

Recursos en la Internet de interés a la Estrategia de MCS

Centros de Investigación CEDETES (Centro para el Desarrollo de Politicas y Tecnologia en Salud Pública) COLOMBIA http://www.cedetes.org CEPEDOC (Centro de Estudos, Pesquisas e documentação em Cidades Saudáveis) BRAZIL http://www.cidadessaudaveis.org.br/index.htm Instituto Desarrollo de Capacitación y Estudios PARAGUAY www.desarrollo.edu.py Iniciativas relacionadas en América Latina CARMEN (PAHO) - Non-communicable disease intervention program http://http://www.paho.org/english/hcp/hcn/hcncarmen_1.htm Instituciones por países Argentina Federación Argentina de Municipios http://www.fam-online.org/ Ministerio de Salud http://www.msal.gov.ar/htm/default.asp Brazil Associação Brasileira de Municípios http://www.abm.org.br/ Conselho Nacional de Saúde http://conselho.saude.gov.br/ Fundação Nacional de Saúde http://www.funasa.gov.br/ Fundação Oswaldo Cruz http://www.fiocruz.br/ Ministério das Cidades http://www.cidades.gov.br/ Ministério de Saúde http://portal.saude.gov.br/saude/ CANADA Federation of Canadian Municipalities http://www.fcm.ca COLOMBIA

155

Federación Colombiana de Municipios http://www.fcm.org.co Organización Panamericana de la Salud - Colombia http://www.col.ops-oms.org/ ECUADOR Asociación de Municipalidades de Ecuador http://www.ame.gov.ec GUATEMALA Instituto Nacional de Estadística Guatemala http://www.ine.gob.gt HONDURAS Cámara de Comércio e Industrias de Cortes http://www.ccichonduras.org/index2.html MEXICO Asociación de Municipios de México http://www.ammac.org.mx PARAGUAY OPACI (Organización Paraguaya de Cooperación Intermunicipal) http://www.opaci.org.py PERU Ministerio de Comércio Exterior y Turismo http://www.mincetur.gob.pe USA Center for Disease Control (Centro para el Control de Enfermedades) http://www.cdc.gov USAID (Agencia de los Estados Unidos para el Desarrollo Internacional) http://www.usaid.gov Red Nacionales o Regionales de MCS Asociación Chilena de Municipalidades http://www.munitel.cl/Default.asp Ontario Healthy Communities Coalition (CANADA) http://opc.on.ca/ohcc Red Argentina de Municipios y Comunidades Saludables http://www.msal.gov.ar/htm/site/red_mun_sal._pres.asp Red Colombiana de Municipios Saludables http://www.col.ops-oms.org/municipios/ Red Mexicana de Municipios Saludables http://www.municipio-saludable.gob.mx/

156

Réseau québécois de Villes et Villages en santé (Quebec, CANADA) http://www.rqvvs.qc.ca Sustainable Communities Network (USA) - Red de Comunidades Sostenibles (USA) http://www.sustainable.org The Coalition for Healthier Cities and Communities (USA) La Coalición para Cidades y Comunidades Saludables (USA) http://www.healthycommunities.org WHO-Healthy Cities and Urban Governance (OMS-Cidades Saludables y Gobernabilidad Urbana) http://www.euro.who.int/healthy-cities Monitoreo y Evaluación Guide to Project Evaluation: A Participatory Approach Guía de Evaluación de Programas: un Enfoque Participativo (En Inglés) http://www.hc-sc.gc.ca/hppb/phdd/resources/guide/index.htm United Nations Development Program Evaluation Office Oficina de Evaluación de Programa de las Naciones Unidas http://www.undp.org/com W.K. Kellogg Foundation Evaluation Handbook Livreto de Evaluación de la Fundación W.K. Kellogg Foundation (Inglés) http://www.wkkf.org/pubs/tools/evaluation/pub770.pdf World Bank Poverty Program Impact Evaluation Evaluación de Impacto de Programas de Pobreza del Banco Mundial http://www.worldbank.org/impact/index.htm Organizaciones Internacionales Banco Interamericano de Desarrollo (Inter-American Development Bank) Español http://www.iadb.org/exr/ESPANOL/index_espanol.htm Banco Mundial (World Bank) Español http://www.bancomundial.org/ Organización Mundial de la Salud (World Health Organization) Español http://www.who.int/es/index.html Organización Panamericana de la Salud Español http://www.paho.org/default_spa.htm UN – Metas de Desarrollo del Milenio Development Gateway (English/Español) http://www.developmentgateway.org/node/403452/

157

Millenium Project (English) http://www.unmillenniumproject.org/html/about.shtm UN - Metas de Desenvolvimento do Milênio (Português) http://www.undp.org.br/milenio/default.asp United Cities and Local Government (IULA Mundial) Ciudades y Gobiernos Locales Unidos (IULA Mundial) Español http://www.cities-localgovernments.org/uclg/web/espanol.asp International City/County Management Association Asociación Internacional de Gestión de Ciudades http://www.icma.org Organizaciones en América Latina DEMUCA Fundación para el Desarrollo Local y el Fortalecimiento Municipal e Institucional de Centroamérica y el Caribe http://www.demuca.org.cr EMS-SEMA (Secretariado de Manejo del Medio Ambiente para América Latina y el Caribe) http://www.ems-sema.org Federación Latinoamericana de Ciudades, Municipios y Asociaciones http://www.iula.net FEMICA (Federación de Municipios del Istmo Centroamericano) http://www.femica.org/ Paginas Electrónicas de Municipios Saludables por Países BRAZIL Bertioga, São Paulo http://www.bertioga.sp.gov.br/ Motuca, São Paulo http://www.motuca.sp.gov.br/ São Paulo, SP http://www.prefeitura.sp.gov.br/ Colombia BOGOTÁ http://www.bogota.gov.co República Dominicana Constanza http://www.constanza.net Recursos y Banco de Datos para Investigación en línea Best Practices Database Banco de Dados de Mejores Prácticas (En Inglés) www.bestpractices.org

158

BIREME (Biblioteca Virtual em Saúde) - BRAZIL http://www.bireme.br Community Guide to Preventive Services Guía Comunitario para los Servicios Preventivos (En Inglés) www.thecommunityguide.org Indicadores Básicos de Saúde (BRAZIL) http://tabnet.datasus.gov.br/cgi/idb2002/matriz.htm Sistema de Informação em Saúde do Mercosul http://www.mercosulsaude.org Técnicas y Herramientas/ Community Tool Box (University of Kansas) Caja de Herramientas Comunitarias (Universidad de Kansas) (En Inglés) http://http://ctb.ku.edu/ Empowering Communities - Participatory Techniques for Community-based Program Development (Trainer's and Participant's Manual) , AED Empoderando Comunidades - Técnicas Participativas para Desarrollo de Programas Comunitarios (Guía del Facilitador y Participante en Inglés) , AED http://pcs.aed.org/empowering.htm International Program for Development Evaluation Training (Ottawa, CANADA) Programa Internacional de Capacitación en Evaluación de Desarrollo: Módulos del taller (En Inglés) http://www.worldbank.org/oed/ipdet Participation and Social Assessment: Tools and Techniques Participación y Diagnóstico Social: Herramientas y Técnicas (Inglés) http://www.worldbank.org/participation/pmewebfiles/Toolkit.pdf Tools for Life/Herramientas para la vida (Center for Communication Program, Johns Hopkins University) Materiales de comunicación en Salud para personal de salud comunitaria (En Inglés) http://www.jhuccp.org/africa/tools/ Universidades Colaboradoras Faculdade de Saúde Publica - Universidade de São Paulo (BRASIL) http://http://www.fsp.usp.br/ Kansas University (USA) http://www.ku.edu Universidad del Valle (COLOMBIA) http://www.univalle.edu.co University of Toronto (CANADA) http://www.utoronto.ca/chp

guia de evaluacion particpativa 2

Documents