gestión e implementación de una...

MONITOREO & EVALUACIN

Gestin e Implementacin de una Evaluacin

Directrices y Herramientas para Gerentes de Evaluacin

por Alice Willard, PhD

Desde 1943, Catholic Relief Services (CRS) ha tenido el privilegio de servir a los pobres y desfavorecidos en el extranjero. Sin distincin de raza, credo o nacionalidad, CRS brinda ayuda de emergencia ante desastres naturales o provocados por el hombre. A travs de proyectos de desarrollo en reas como educacin, paz y justicia, agricultura, microfinanzas, salud y VIH/SIDA, CRS trabaja para defender la dignidad humana y promover una mejor calidad de vida. CRS tambin trabaja en los Estados Unidos para ampliar el conocimiento y la accin de los catlicos y otras personas interesadas en temas de paz y justicia a nivel internacional. Nuestros programas y recursos responden al llamado de los Obispos de los Estados Unidos de vivir en solidaridad como una sola familia humana entre fronteras, a lo largo de los ocanos, e independientemente de las diferencias de idioma, cultura y condicin econmica.

La Cruz Roja Americana ayuda a las personas en situacin de vulnerabilidad en todo el mundo a prevenir, prepararse y responder ante desastres, emergencias humanitarias complejas, y condiciones de salud que ponen en riesgo la vida, a travs de iniciativas globales y programas basados en la comunidad. Con un enfoque en salud global, preparacin y respuesta ante desastres, restablecimiento de vnculos familiares y difusin del derecho humanitario internacional, la Cruz Roja Americana proporciona asistencia humanitaria rpida, eficaz y a gran escala a quienes lo necesitan. Para lograr nuestros objetivos, la Cruz Roja Americana trabaja con nuestros socios de la Cruz Roja Internacional y el Movimiento de la Media Luna Roja y otras organizaciones internacionales de asistencia y desarrollo para construir capacidades locales, movilizar y empoderar a las comunidades, y establecer asocios. Nuestro programa ms grande en la actualidad es el Programa de Recuperacin del Tsunami, el cual est mejorando la salud de la comunidad y previniendo el brote de enfermedades, apoyando a las comunidades mientras reconstruyen sus vidas y restablecen sus medios de subsistencia, y ayudando a que las organizaciones de la Cruz Roja, la Media Luna Roja y sus comunidades que fueron afectadas, desarrollen capacidades para prepararse ante desastres.

Publicado en el 2008 por:

Catholic Relief Services American Red Cross 228 W. Lexington Street 2025 E Street, NW Baltimore, MD 21201-3413 USA Washington, DC 20006 USA

Autor: Alice Willard, PhD Editor de las Series: Guy Sharrock (CRS) Lector/Editor: Dina Towbin Diseador Grfico: Jeanne Ivy Foto de la Portada: Jim Stipe

Este modulo fue producido por CRS y la Cruz Roja Americana con el apoyo financiero de las donaciones de Alimentos para la Paz (FFP) de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID): Donacin para el Fortalecimiento de las Capacidades Institucionales de CRS (AFP-A-00-03-00015-00) y Donacin para el Fortalecimiento de las Capacidades Institucionales de la Cruz Roja Americana (AFP-A-00-00007-00). Las opiniones expresadas en este documento pertenecen a los autores y no necesariamente representan las opiniones de USAID o FFP.

Para acceder a las series completas, por favor visite: www.crs.org www.redcross.org.
http:www.redcross.orghttp:www.crs.org

Tabla de Contenidos

iii Prefacio

v Agradecimientos

vi Siglas


1 Perspectiva General

8 Aspectos Relevantes

27 Detalles Especficos

29 Gestin de la Evaluacin

38 Interacciones de los Gerentes de Evaluacin con los Actores Interesados y el Equipo de Evaluacin

42 Contratos, Comunicacin y Productos a Entregarse

46 Organizacin de la Evaluacin

47 Tratar con lo Inesperado

54 Habilidades Gerenciales

60 Despus del Trabajo de Campo y Reporte del Informe: Revisiones post Accin

Herramientas y Recursos Anexos

63 Anexo I Herramienta para Gestin de la Evaluacin

63 Anexo II Sistema de Monitoreo y Evaluacin del Presupuesto para Gerentes de Evaluacin

65 Anexo III Bibliografa

67 Anexo IV Principios Rectores de la Asociacin Americana de Evaluacin

Prefacio El monitoreo y evaluacin (M&E) son responsabilidades fundamentales de los gerentes de programa de la Cruz Roja Americana y de CRS, y ayudan a garantizar la calidad de nuestra programacin. Gestin e Implementacin de una Evaluacin es una de las publicaciones de una serie de mdulos de capacitacin y fortalecimiento de capacidades en M&E que la Cruz Roja Americana y CRS han acordado desarrollar en el marco de sus respectivas donaciones para el Fortalecimiento de su Capacidad Institucional. Estos mdulos han sido diseados para responder a la necesidad identificada desde el terreno de contar con una gua y herramientas especficas que no se han encontrado disponibles en las publicaciones existentes. Aunque los ejemplos en los mdulos se centran en programas Ttulo II, la gua y las herramientas proporcionadas tienen utilidad ms all del mbito de la seguridad alimentaria.

Nuestra intencin al escribir este mdulo es proporcionar a los gerentes de evaluacin soluciones sobre cmo implementar evaluaciones. El o la gerente de evaluacin, descrito/a en el mdulo Preparndose para una Evaluacin, generalmente es un miembro del personal en el pas de operacin a quien se le ha asignado la responsabilidad adicional de garantizar que una evaluacin sobre el terreno avance sin problemas desde sus trminos de referencia iniciales hasta la difusin de los hallazgos del informe. El mdulo se centra en lo que se debe hacer a lo largo de todo el proceso de evaluacin para dirigir al equipo de evaluacin y minimizar las inevitables interrupciones al propio plan de implementacin del proyecto. El mdulo, por lo tanto, proporciona ejemplos y estrategias para mejorar la comunicacin y coordinacin, junto con algn vocabulario bsico sobre las alternativas metodolgicas para comprender por qu las evaluaciones pueden requerir diferentes enfoques. El mdulo resalta las similitudes en la gestin de las evaluaciones, en lugar de las diferencias. Sin embargo, es probable que la gestin del proceso de evaluacin sea ms o menos la misma, sin importar en que momento se produce la evaluacin dentro del ciclo de un proyecto o programa.

Este mdulo forma parte de un grupo de tres dentro de la serie global de publicaciones, debido principalmente a que los tres temas discurren cuidadosamente dentro del mismo proceso global de evaluacin. Este grupo est conformado por los mdulos: Preparndose para una Evaluacin; Gestin e Implementacin de una Evaluacin; y, Comunicacin y Reporte de Informes de una Evaluacin.

Gestin e Implementacin de una Evaluacin iii

Prefacio

Estos tres mdulos deben utilizarse conjuntamente para generar un minucioso y serio informe de evaluacin. Si bien los mdulos son documentos independientes, existen importantes similitudes en sus enfoques, segn lo analiza la tabla 1, a continuacin. Los tpicos que generalmente se discuten en ms detalle dentro de un mdulo se resaltan en negrilla (bajo el ttulo de la columna de ese mdulo), mientras que aquellos que se abordan ligeramente dentro del mdulo se resaltan en cursiva. Aquellos que no tienen ningn tipo de formato adicional son temas exclusivos de ese mdulo. La seccin sobre propsito sombreada es idntica para los tres mdulos, como una forma de brindar gua adicional para la localizacin de temas entre los tres mdulos.

Tabla 1: Comparacin entre los Mdulos de las Series de Evaluacin

Preparndose para una Evaluacin


Comunicacin y Reporte de Informes de una Evaluacin

Propsito y posibles usuarios de este mdulo



Identificar y empoderar al gerente de evaluacin

Temas comunes en la gestin de la evaluacin

Comunicar y reportar las evaluaciones para promover su uso

Clarificar la gua del donante y de la organizacin

Funcin de la gerencia Rol del evaluador externo y del gerente de evaluacin

Elaborar el borrador de los trminos de referencia y el plan de trabajo de la evaluacin

Importancia de la preevaluacin

Prcticas exitosas de comunicacin y reporte de informes

Identificar al equipo de evaluacin y finalizar los trminos de referencia

Mtodos: sesgo, validez, rigor, eficacia, utilizacin y fortalecimiento de las capacidades de evaluacin

Desafos para comunicar y reportar informes

Organizar la documentacin del proyecto

Gestin de la evaluacin: personal, financiera y logstica

tica de la evaluacin y comunicacin y reporte de informes

Organizar la informacin del proyecto

Relaciones de la evaluacin: donantes, colegas, comunidad; y desgaste y deterioro psicolgico

Cuatro pasos para planificar, comunicar y reportar informes

Planificar la logstica de la evaluacin

Requisitos de la evaluacin: contractuales, productos a entregarse y comunicacin

Continuar comunicando y reportando durante la evaluacin

Programar los pasos de la evaluacin

Organizacin de la evaluacin: cronograma, calendario y plan de trabajo

Promover el uso de la evaluacin a travs de la comunicacin y el reporte de informes

Por qu una pre-evaluacin no puede ser parte de la evaluacin?

Lo inesperado (clima, salud, etc.)

Promover el aprendizaje a travs de la difusin

Herramientas Competencias del Gerente

Revisar peridicamente las evaluaciones

Revisin post Accin Directrices y herramientas

Gestin e Implementacin de una Evaluacin iv

Agradecimientos

Algunos de los conceptos analticos y matrices utilizadas en este mdulo fueron extrados de un borrador elaborado durante una contratacin anterior del autor con el Programa de Donaciones con Contrapartida de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), en la Oficina de Cooperacin Privada y Voluntaria. El autor desea agradecer esta contribucin y acotar que su uso ha contado con el respectivo permiso. Adems, la versin actual se ha beneficiado de la revisin y comentarios detallados de Guy Sharrock y Della McMillan-Wilson, as como de una lluvia de ideas en una isla en la Baha de Penobscot, en Maine. Por ltimo, queremos reconocer el trabajo de Dina Towbin (consultora), cuyo trabajo de edicin contribuy a llevar al documento a su fase final, y Joe Schultz y Jeanne Ivy, responsable del trabajo de diseo grfico.

Citas Recomendadas: Willard, Alice, PhD. 2008. Gestin e Implementacin de una Evaluacin. Serie de Mdulos de M&E de la Cruz Roja Americana/CRS. La Cruz Roja Americana y Catholic Relief Services (CRS), Washington, DC y Baltimore, Maryland.

Gestin e Implementacin de una Evaluacin v

Siglas

AEA Asociacin Americana de Evaluacin

CIDA Agencia Canadiense de Desarrollo Internacional

CRS Catholic Relief Services

DIP Plan de Implementacin Detallado

HQ Sede

IFRC Federacin Internacional de la Cruz Roja y Sociedades de la Media Luna Roja

M&E Monitoreo y Evaluacin

Medevac Evacuacin Mdica

NGO Organizacin No Gubernamental

OECD Organizacin para la Cooperacin y Desarrollo Econmico

PVO Organizacin Voluntaria Privada

SOW o TOR Trminos de Referencia

UNDP Programa de Desarrollo de las Naciones Unidas - PNUD

USAID Agencia de los Estados Unidos para el Desarrollo Internacional

Gestin e Implementacin de una Evaluacin vi

El gerente de evaluacin

es la audiencia prevista

para este mdulo, el

gerente de evaluacin

es un miembro del

personal de campo o

de la sede responsable

de la supervisin de la

evaluacin.

Perspectiva General

Uno de los elementos clave en el mdulo Preparndose para una Evaluacin fue la identificacin y empoderamiento del gerente de evaluacin. El gerente de evaluacin es clave para conducir la evaluacin a travs de su fase de planificacin inicial; y an ms importante, en la implementacin de la evaluacin, puesto que el gerente de evaluacin es el principal vnculo entre el equipo de evaluacin y el proyecto que est siendo evaluado. El gerente de evaluacin tiene una serie de tareas especficas, pero tambin puede no tener todas las aptitudes necesarias para llevarlas a cabo con confianza (ya que el gerente de evaluacin es por lo general un miembro de nivel junior en la organizacin).

Este mdulo le proporcionar al gerente de evaluacin tres competencias clave:

1. El vocabulario y comprensin bsicos para trabajar con el consultor para determinar la mejor combinacin de mtodos para la evaluacin y la organizacin.

2. Ms detalles sobre las tareas gerenciales especficas que se requieren durante una evaluacin.

3. Una mejor comprensin del rol de la evaluacin para el aprendizaje organizacional.

El gerente de evaluacin es la audiencia prevista de este mdulo, el gerente de evaluacin es un miembro del personal de campo o de la sede responsable de la supervisin de la evaluacin. Este funcionario puede o no tener experiencia en evaluacin o gerencia, pero es responsable de esta tarea. El mdulo tambin ayudar a los gerentes senior a determinar a quin se le debe asignar el rol de gerente de evaluacin y proporcionar una forma de medir el desempeo del individuo en esta tarea.

Este mdulo no proporciona destrezas detalladas para monitoreo y evaluacin (M&E) tales como llevar a cabo encuestas, dirigir grupos focales, etc. ni tampoco utiliza terminologa especfica de una organizacin voluntaria privada (PVO). Sin embargo, este mdulo ayudar a las organizaciones a garantizar que:

1 La organizacin obtenga los resultados que desea de una evaluacin

1 La evaluacin cree una oportunidad de aprendizaje para la organizacin.

1 Existan directrices claras para una buena relacin de trabajo entre el equipo de evaluacin y el gerente de evaluacin.

1 El principio rector de no hacer dao aplique por igual al personal, consultores y beneficiarios durante el proceso de evaluacin.

Gestin e Implementacin de una Evaluacin 1

Perspectiva General

Gestin e Implementacin de una Evaluacin: Similitudes a lo largo del Tiempo Las evaluaciones, valoraciones y revisiones, todas recaen en la categora general de eventos que suelen ser conducidos por personas externas, a menudo con la participacin de personal del proyecto. Las evaluaciones pueden y deben ser consideradas como importantes oportunidades de aprendizaje para todos los actores interesados. Las razones para realizar una evaluacin nunca han cambiado, pero los requerimientos de los donantes s; la PVO debe conocer estos requerimientos antes de iniciar cualquier evaluacin y an as proceder con las evaluaciones si existe inters interno y/u oportunidades de aprendizaje a partir de los resultados. La mayora de evaluaciones estn incorporadas en el presupuesto del proyecto, aunque en algunos casos, puede ser que la evaluacin se financie con otros recursos de la organizacin. La intencin para una evaluacin es algo diferente si se generan coincidencias tanto para el donante como para la organizacin implementadora, como lo ilustra la tabla 2, a continuacin.

Tabla 2: Preguntas y Audiencia de la Evaluacin

Preguntas Audiencia

(PRIVADO) PVO Misin Agencia de los Estados Unidos para el Desarrollo Internacional (USAID)

Qu ocurri? x x x

Qu estuvo bien? x x x

Qu estuvo mal? x x x

Cmo lo sabemos? x x

Qu sabemos ahora? x x x

Cules son los resultados? x x x

Dnde encajan estos resultados en nuestro plan estratgico?

x x x

Cmo podemos analizar estos resultados desde el punto de vista del programa?

x x

Cmo ha cambiado esto la capacidad y sostenibilidad de la organizacin?

x x

Fuente: Willard 1998, pg. 26.

Las evaluaciones de medio trmino y final son las dos principales evaluaciones de los proyectos.

1 Las evaluaciones de medio trmino tienden a enfocarse en el proceso y proporcionan indicaciones del probable xito del proyecto y


Perspectiva General

recomendaciones para mejorar tanto los resultados como la gestin interna.

1 Las evaluaciones finales se enfocan en logros y resultados, y proporcionan una comparacin a lo largo del tiempo. Por lo general incluyen un anlisis estadstico de los cambios en los indicadores de desempeo.

Con frecuencia los donantes tienen diferentes requerimientos para estos dos productos y las organizaciones experimentan diferentes oportunidades de aprendizaje como parte del proceso de evaluacin. Adems, tambin se pueden conducir evaluaciones en diferentes momentos dentro del ciclo del proyecto, ya sea a peticin del donante o para indagar ms sobre un aspecto particular del proceso de implementacin. Estas a menudo pueden ocurrir como parte de una revisin programtica ms amplia, por ejemplo, de todos los proyectos de agua y saneamiento a nivel mundial.

El propsito bsico de toda evaluacin es responder a una serie de preguntas clave y, conforme las organizaciones se vuelven ms sofisticadas, encontrar las mejores formas de utilizar los hallazgos de la evaluacin para mejorar el desempeo en mltiples reas y presentarlos a los actores interesados. Si bien el cronograma de estos eventos en el ciclo del proyecto a menudo requiere de mtodos diferentes, hay muchas ms similitudes que diferencias en las preguntas de evaluacin, segn lo muestra la tabla 2 antes descrita. Tome en cuenta que la audiencia cambiar dependiendo de la fuente de financiamiento del proyecto. Estos mdulos operan en el mundo de los programas Ttulo II, donde los proyectos son financiados por la oficina central (Washington) y posteriormente supervisados conjuntamente por la oficina de campo y central. Los proyectos financiados por una oficina de campo (o no financiados por USAID) probablemente necesitarn plantear el mismo tipo de preguntas, pero su audiencia cambiar.

De forma general, la eleccin de los mtodos de evaluacin es un proceso acordado entre el donante, la agencia implementadora, el evaluador y el personal del proyecto. Este proceso debe ser resuelto durante la elaboracin del borrador y finalizacin de los trminos de referencia (vea el mdulo Preparndose para una Evaluacin para un anlisis ms amplio sobre este tema). El proceso de mejoramiento de los trminos de referencia tambin incluir el tipo de productos a entregarse; los mtodos; los consultores; la composicin de los equipos; los requerimientos de los donantes; y, los requerimientos de financiamiento interno y externo. Lo que puede no incluir pero debera es una descripcin de cmo la organizacin utilizar el informe de evaluacin, tanto para el reporte interno como para una difusin ms amplia (vea el mdulo Comunicacin y Reporte de Informes de una Evaluacin para un debate ms amplio sobre este tema). Por lo general, se deja que el gerente de evaluacin analice estos elementos con el evaluador. Dado que la mayora de gerentes de evaluacin no tendrn las mismas destrezas que un evaluador,


Perspectiva General

esta seccin del mdulo contribuir a crear un vocabulario comn al determinar el mejor ajuste de los mtodos y los presupuestos.

Elementos Comunes de Gestin Existen ciertas destrezas bsicas de gestin que aplican para gerenciar una evaluacin, en lo relacionado a administracin de personal y logstica. Donde la gestin de evaluacin difiere ms es en el contenido (lo cual sera real para el gerente de cualquier intervencin diferente), de modo que el gerente de evaluacin debe tener un entendimiento bsico del mecanismo de la evaluacin para ayudar al equipo de evaluacin a tomar las mejores decisiones sobre la ubicacin, mtodos, formato, etc. Piense en conducir un auto, el conductor probablemente no entiende todas las complejidades del motor, pero necesita saber cmo poner gasolina en el tanque. Un gerente debe ser capaz de recargar combustible a cualquier tipo de vehculo tcnico, pero los mejores gerentes son aquellos que tambin entienden un poco ms acerca del mecanismo implicado. De la siguiente hasta la ltima seccin de este mdulo se proporcionan ms detalles sobre las caractersticas de un buen gerente de evaluacin. El gerente de evaluacin por lo general no es parte de la estructura gerencial de una organizacin, y, de hecho, puede ser personal junior elegido ms por su disponibilidad e inters que por su experiencia especfica. En ese caso, la forma en la que el gerente de evaluacin demuestre competencia para concluir exitosamente la consultora de la evaluacin a menudo sirve como prueba para la asignacin de nuevas responsabilidades.

El Rol del Gerente del Proyecto versus el Rol del Gerente de Evaluacin El gerente del proyecto y el gerente de evaluacin con frecuencia no son la misma persona. El gerente de evaluacin debe solicitar un tipo especfico de requerimiento de reportes al gerente del proyecto y, posiblemente, al director del programa de pas de la PVO para el perodo de duracin de la evaluacin. Dependiendo de la estructura organizacional, el gerente de evaluacin tambin puede necesitar contactar a funcionarios o asesores tcnicos de la organizacin, as como a los actores interesados externos. Se debe enviar un correo electrnico inicial desde la oficina del personal de nivel jerrquico ms alto posible de la PVO (director

El PNUD utiliza

una evaluacin

fundamentalmente como una

herramienta de gestin. Ayuda en

la toma de decisiones, evaluando

el desempeo y proporcionando

la experiencia adquirida. Debera

proporcionar los fundamentos

para mejorar la manera en que los

proyectos financiados por el PNUD

son diseados e implementados.

(Programa de las Naciones Unidas

para el Desarrollo [PNUD] n.d., pg.

3).


Perspectiva General

de programa pas o patrocinador autorizado) notificando a los actores interesados tanto internos como externos quin es el gerente de evaluacin y su rol, de manera que sea evidente desde el principio que la iniciativa responde a ese nivel de supervisin. Los directores del programa de pas no deben tener interaccin con la evaluacin ms all de las reuniones y sesiones informativas iniciales, aunque deben formar parte de la rutina del estado de situacin del proceso de reporte. Contar con una introduccin inicial de un nivel jerrquico de mayor responsabilidad en la organizacin ayudar al gerente de evaluacin a obtener las entrevistas y/o cooperacin necesarias de los otros actores interesados.

El gerente de evaluacin tambin debe entender los alcances de su nivel de autoridad y saber qu puede decidir, o cuando requiere autorizacin. Y, quizs lo ms importante, el gerente de evaluacin tiene que saber cundo pedir ayuda.

Las diferentes organizaciones ubicarn un equipo de evaluacin en diferentes maneras. Los tres formatos ms comunes son:

1. Una oficina de proyecto especfica, generalmente bajo la supervisin del gerente del proyecto.

2. Una oficina en el pas, por lo general bajo la supervisin general del lder del sector, el director de pas, o un asesor tcnico regional.

3. Una oficina particular de la sede (HQ) cuyo trabajo se focalice en un sector programtico o zona geogrfica especfica, que reporte ya sea a un funcionario o un asesor tcnico sectorial.

En cada uno de estos casos, el gerente de evaluacin es el responsable del proceso de evaluacin en general; el rol del gerente de evaluacin aumenta a medida que su distancia del lugar de la evaluacin es mayor.

Parte del desafo de un gerente de evaluacin es estar atento a los posibles aspectos de difusin y fortalecimiento de capacidades durante una evaluacin, al mismo tiempo que est consciente de que el informe de evaluacin es el producto clave. Una manera de mantener un vista desde la cima de la montaa es a travs de una comunicacin regular con el evaluador, en contraposicin a acompaar al evaluador en toda la evaluacin. Esto permite que el gerente de evaluacin supervise mltiples y diferentes resultados deseados de la evaluacin, sin poner toda la carga de desempeo en el


evaluador, la oficina anfitriona, o el gerente de evaluacin.

Perspectiva General

Rol del Gerente de Evaluacin

Las evaluaciones exigen un alto grado de flexibilidad, tiempo

suficiente y una buena comunicacin entre el gerente de evaluacin y

el equipo. Aparte de la preparacin de los trminos de referencia, el rol

principal del gerente de evaluacin durante la misin de evaluacin es:

1 Facilitar la labor del equipo

1 Asegurar que se pasa el tiempo suficiente con el personal clave

1 Actuar como enlace entre el equipo y los diversos organismos participantes.

1 Organizar y facilitar los permisos y logstica necesarios para el personal de campo.

1 Proporcionar asesoramiento al equipo sobre temas de poltica actual

1 Identificar otros informantes clave, segn sea necesario

1 Negociar y acordar modificaciones de los trminos de referencia e itinerarios, segn se requiera.

1 Reunirse regularmente con el equipo para asegurar que el trabajo est en marcha.

1 Evaluar el desempeo del equipo y del lder del equipo y, si es necesario, tomar accin.

1 Facilitar el debate sobre las conclusiones entre un grupo potencialmente grande de actores interesados.

Fuente: Federacin Internacional de la Cruz Roja y Sociedades de Media

Luna Roja 2002, Mdulo 6, pgs. 16-17.

Comunicacin durante la Pre-Evaluacin Planificar de antemano es esencial (vea el mdulo de Preparacin para una Evaluacin para razonamientos y herramientas), ya que ayuda a organizar el proceso de evaluacin, es especialmente crucial para el gerente novato, crear una lista de verificacin de lo que hay que hacer. Dar inicio al proceso de comunicacin tan pronto como sea posible contribuir tambin al uso de las conclusiones (positivas y negativas) para los actores interesados dentro y fuera de la organizacin implementadora (vea el ltimo mdulo en esta secuencia). Adems planificar las comunicaciones es esencial para el gerente de evaluacin durante la evaluacin, - con el equipo de gestin para el proyecto, con el evaluador y el resto del equipo de evaluacin, y entre el equipo de evaluacin y a quienes se est entrevistando.


Perspectiva General

Existen tres funciones que un evaluador puede adoptar para la

evaluacin: operativo, consultor y facilitador del aprendizaje. . . el

facilitador de aprendizaje tiene el mandato ms amplio de los tres. En este

rol, el evaluador hace todo lo que hacen los otros dos al mismo tiempo que

trata de vincular el aprendizaje del proyecto tanto en la organizacin en su

conjunto como en el desarrollo de la prxima fase del proyecto. Esto puede

incluir:

1 Desarrollo de lecciones o preguntas que son aplicables ms all del proyecto.

1 Presentacin de los resultados a la sede

1 Elaboracin de un sistema de aprendizaje permanente para el equipo del proyecto.

1 Asistencia en el desarrollo de un nuevo programa. (Church y Rogers, 2006, pg. 112)


Utilizar la terminologa

correcta es algo ms que

simple atencin a los

detalles, sino que por el

contrario es importante

para la claridad de la

comunicacin.

Aspectos Relevantes

Si bien la mayora de estos temas se discuten a fondo en los recursos de M&E, a continuacin, esta seccin proporciona al gerente de evaluacin informacin sobre los trminos en suficiente detalle para que sea capaz de comprender las razones, ms all de las opciones a las que podra optar un consultor de evaluacin, especialmente en relacin a las variaciones en el alcance del trabajo original.

Vocabulario para Medicin La tabla 3, a continuacin, enumera algunos de los trminos ms comunes en la metodologa de la investigacin y sus definiciones. La medicin puede ser complicada cuando hay confusin sobre los trminos. Las definiciones que figuran a continuacin son a la vez precisas y simples, y se pueden encontrar en ms detalles en cualquier libro de estadstica. De forma general, estos trminos se utilizan inconsistentemente (por ejemplo, diferencia en lugar de varianza) y puede causar una gran confusin tanto para el usuario experto (quien asumir una definicin), como para el novato (que no se est seguro de cul es la definicin correcta).

Utilizar la terminologa correcta es algo ms que simple atencin a los detalles, sino que por el contrario es importante para la claridad de la comunicacin. Los ejemplos tratan de hacer la traduccin tan concreta y correcta como sea posible, la palabra metodolgica puede referirse a una herramienta que es mucho ms abstracta.


Aspectos Relevantes

Tabla 3: Palabras Metodolgicas Clave, Traducciones y Ejemplos

Palabra Clave Traduccin Ejemplo Validez Una herramienta para determinar

si la evaluacin o criterios de implementacin son adecuados y medir lo que se supone es su funcin.

Una balanza es una medida vlida de peso (suponiendo que la balanza se utilice correctamente).

Replicabilidad Determina si las aplicaciones repetidas generan el mismo resultado, incluso cuando diferentes personas utilizan la herramienta.

La misma balanza mostrar el mismo peso en un nio en un da especfico de control del nio sano (de no ser as, la balanza o la capacitacin de sus usuarios necesita ser ajustada).

Verificabilidad Determina si la medicin se puede comprobar, incluso cuando diferentes personas utilizan la herramienta.

La misma balanza producir el mismo peso replicabilidad es si se produce el mismo resultado, y verificabilidad es cuando se puede comprobar o verificar si el resultado es correcto. Una de ellas es una prueba de fiabilidad de la herramienta y la otra del proceso de uso de la herramienta.

Bondad de ajuste Cun bien la medicin mide los criterios pertinentes.

Diferentes balanzas miden en mejor o peor forma el peso, pero todas ellas miden nicamente el peso. Utilizar la mejor y ms precisa balanza constantemente aumentar la bondad del ajuste. Para prendas de vestir, una cinta mtrica medir la longitud y ancho, de modo que la ropa se ajuste ms adecuadamente al usuario.

Estadsticamente significativo

Relacin significativa de medicin o nivel de cambio.

Los nios que sufren desnutricin severa (ej. prdida de peso) estn considerablemente por debajo del peso para su estatura. El peso y talla son medidas vlidas de estado nutricional, y por tanto, los nios cuya circunferencia del brazo est en la zona roja de la cinta de medicin se encuentran en peligro. La zona roja generalmente muestra un resultado de medicin que est a ms de dos desviaciones estndar de distancia de lo normal; esto sera un resultado estadsticamente significativo para el individuo, y ms an si ste se ha encontrado como muestra de la poblacin en general.

Desviacin estndar Valor aproximado del grado de certeza de que la diferencia existe.

Al mirar la mano de una persona, cada dedo es una desviacin estndar de distancia desde el dedo medio. Los dedos puede estirarse o juntarse ms entre ellos, y de igual forma lo hace el tamao de las desviaciones estndar para cualquier estudio, pero siempre sern de un tamao consecuente.

Unidireccional Cambio en una direccin (ya sea positivo o negativo, pero no ambos).

El aumento de peso es en general una medida positiva del estado de salud, mientras que la disminucin de peso es en general negativa para los nios. Por supuesto, lo inverso sera correcto para personas que se encuentran en dieta.

Unidimensional Cambio a lo largo de un solo eje: mayor o menor, aumento versus disminucin.

El retraso en el crecimiento por s mismo no es unidimensional (ya que puede existir tanto aumento como disminucin en el retraso del crecimiento). El porcentaje de reduccin en el retraso del crecimiento, por el contrario, es unidimensional slo el decrecimiento en las mediciones son la meta.

Univariante Slo un cambio medible (una variable).

El peso es una sola variable (univariable).

Multivariante Ms de un cambio es medible (ms de una variable).

El crecimiento es multivariante, ya que incluye peso, talla y edad (y con frecuencia otros factores, como gnero o variacin propia de la poblacin del pas).


Aspectos Relevantes

Tabla 3 (continuacin)

Palabra Clave Traduccin Ejemplo Media Valor promedio A una persona se le toma cinco pruebas y tiene los siguientes

resultados: 80, 80, 100, 70 y 90. Sume los resultados de las pruebas en conjunto y divida por el nmero de pruebas para determinar que el promedio de puntuacin es de 84. En una distribucin normal, este ser el punto ms alto en la curva del grfico. La media dar un valor promedio, pero puede ser extrado, ya sea en una direccin positiva o negativa por puntajes muy altos o muy bajos.

Mediana Valor situado en el centro de un rango determinado.

Al observar los mismos resultados de las pruebas antes mencionadas (en "media"), la mediana es 85 (porque es el valor en el medio del rango entre 100 y 70). La mediana proporcionar el valor del punto medio de todas las calificaciones de la poblacin, por lo que pueden ayudar a compensar valores de puntuacin muy altos o muy bajos.

Modo Valor ms frecuente Utilizando los mismos resultados de las pruebas antes mencionadas (en "media"), el modo es de 80, ya que la puntuacin fue la ms frecuente.

Hiptesis Instrumento mediante el cual los actores interesados imaginan (antes de tiempo) lo que este proceso dar como resultado y cmo planean demostrarlo

Esto generalmente es el si entonces frase que sirve como la declaracin general de la organizacin que precede al desarrollo de un modelo lgico. Por ejemplo, si a las mujeres que tienen hijos se les ensea la manera de mejorar la alimentacin, entonces habr menos nios desnutridos.

Causalidad El efecto directo de un evento en uno nuevo.

Al observar la hiptesis en el ejemplo anterior (en "hiptesis"), existe un supuesto efecto directo entre el conocimiento de las madres y un cambio en la condicin de sus hijos. Sabemos que la educacin por s sola no cambiar la conducta, sin embargo, esta es la razn por la que generalmente se incluyen mltiples conexiones e hiptesis mucho ms complejas en nuestro trabajo.

Regresin Herramienta para determinar si dos (o ms) variables estn relacionadas a lo largo del tiempo.

Esta es una prueba estadstica especfica que se puede ejecutar sobre los datos de la encuesta. Por ejemplo, existe una fuerte relacin entre el nivel educativo de las madres y la salud de sus hijos (por ejemplo, son multivariante pero unidireccional, mientras ms educadas sean las mujeres, ms saludables sern sus hijos).

Distribucin de Frecuencia

Nmero de veces que ocurren los distintos factores.

En el ejemplo de prueba que se proporciona ms adelante, existe una frecuencia de distribucin 5:10:20:10:5. Al graficar este patrn se mostrar que ambas mitades son idnticas entre s (una distribucin normal). Cuando las mitades no son iguales entre s, debe haber una explicacin.

Distribucin normal o curva de campana

Grfico para mostrar el rango de variacin distribuida uniformemente alrededor de la media.

En una prueba regular en la escuela en una clase con 50 alumnos, 5 personas tienen la calificacin ms alta, 5 la ms baja, 10 en la prxima escala ms alta y ms baja respectivamente, y los 20 restantes tienen puntuaciones medias.

Censo Una pregunta o conjunto de preguntas para cada miembro de toda la poblacin.

El gobierno realiza un censo cada cinco aos de todas las personas que viven en ese pas. El proyecto mantiene una lista de todas las personas elegibles para recibir los paquetes de ayuda (un censo). Tome en cuenta que aqu toda la poblacin elegible para recibir los paquetes de asistencia no es necesariamente la totalidad de la poblacin en la zona meta del proyecto.


Aspectos Relevantes

Tabla 3 (continuacin)

Palabra Clave Traduccin Ejemplo Encuesta Un conjunto de preguntas para

obtener respuestas acerca de toda una poblacin de un grupo ms pequeo dentro de la poblacin.

Para saber el nivel general de satisfaccin con los paquetes de ayuda distribuidos despus de la ltima inundacin, el proyecto hace preguntas cada diez personas que recogen sus paquetes. Se presume que todas las personas estn en igualdad de condiciones (para ser elegibles para la entrega de paquetes de ayuda), y por lo tanto se realiza un muestreo de un nmero menor y se extraen conclusiones acerca del total de la poblacin. Las encuestas son el mejor instrumento para medir los cambios a travs del tiempo, razn por la cual la mayora de los proyectos llevan a cabo encuestas de lnea de base y finales.

Muestra Miembros representativos de toda la base de clientes para la actividad.

Se aplica un nmero ms pequeo de mujeres en la zona meta, tales como mujeres en edad reproductiva (por lo general, en edades de 15 a 45 aos). Si existen 30.000 personas en la zona meta, habr alrededor de 15.000 mujeres. De ese nmero, slo unas 6.000 estarn en edad reproductiva (casi la mitad sern menores de 15 aos, y algunas sern mayores de 45). El equipo de encuesta seleccionar un porcentaje ms pequeo de estas 6.000 para aplicar la encuesta, o ser un censo en lugar de una encuesta por muestreo.

Poblacin Toda la base de clientes para la actividad.

La poblacin es toda la gente en las comunidades de la zona meta del proyecto, incluyendo hombres, mujeres y nios. El reto es que el trmino "poblacin" tambin puede referirse slo a las mujeres en edad reproductiva en la zona meta. Es importante ser especfico en la terminologa utilizada.

Muestra estratificada Miembros representativos especficos de toda la base de clientes para la actividad

Podran ser slo las mujeres en edad reproductiva en la poblacin que han tenido un hijo en los dos ltimos aos (la muestra es las mujeres en edad reproductiva, y la muestra estratificada es un grupo ms pequeo dentro de la muestra). Dependiendo del crecimiento de la poblacin en la zona, esto puede ser slo dos de cada cinco mujeres (o 2400 segn la muestra anterior). Se puede necesitar un nmero ms pequeo de esta muestra para realizar una encuesta, pero estas mujeres puede ser escogidas de forma aleatoria a partir de esta muestra, sabiendo que todas ellas son igualmente susceptibles de ser elegidas y tendrn las mismas caractersticas necesarias para ser examinadas.

Variable Un factor medible, pero no siempre controlable.

Las nias que asisten a la escuela es una variable especfica en un proyecto de educacin. Es eminentemente medible, pero no siempre dentro del control del proyecto (por ejemplo, si los padres necesitan que las nias trabajen en la finca de la familia ms de lo que necesitan incentivos para mantener a sus hijas en la escuela).

Sesgo Cambio en la herramienta de medicin, ya sea deliberada o involuntaria.

La medicin de la asistencia de las nias a las escuelas slo en las comunidades ms cercanas a la carretera principal (en lugar de todas las comunidades de la zona meta) introducir un sesgo en la medicin confiable y vlida de la asistencia a la escuela, puesto que las familias tienen ms probabilidades de enviar a sus hijas a la escuela que aquellas familias que viven ms lejos.

Rigor Qu tan estrictamente se miden la(s) variable(s).

Pesar bebs es una medida vlida, pero su rigor puede verse comprometido si no se controla lo siguiente: la precisin de la balanza, el movimiento del nio, o el hecho de que la partera mantenga su mano sobre el nio.


Aspectos Relevantes

Palabra Clave Traduccin Ejemplo Triangulacin Proviene de un trmino utilizado

en encuestas, que significa utilizar ms de una medicin (y por lo general al menos tres) para aumentar la validez de cada medicin.

Durante una evaluacin, el equipo desea revisar los documentos, visitar los lugares y entrevistar a los participantes. Slo la lectura de documentos no transmitir las dificultades que enfrentan los capacitadores para llegar a los sitios remotos, y visitar los sitios por s solos no revela los puntos de vista de las comunidades acerca de la capacitacin. Se debe realizar una combinacin de los mtodos lo ms apegada a la realidad posible, porque una sola fuente, aunque vlida, no es completa.

Fuente: Basado en Willard (1998, pg. 14).


Aspectos Relevantes

Objetividad

Figura 1: Equilibrio entre la Objetividad y el Conocimiento Interno en las Evaluaciones

Personal

del

Proyecto

Personal de la

Organizacin

Interno Externo Equipo de Evaluacin

Mixto

Evaluador habitual

(mdico de cabecera)

de la institucin

Profesional Externo

Existen buenos argumentos para llevar a cabo evaluaciones con evaluadores internos, con equipos mixtos, y con evaluadores externos. Dado el relativo gran nmero de implementadores y el relativo pequeo grupo de evaluadores, a veces la lnea divisoria entre lo interno y externo es difusa (como la figura 1, antes ilustrada). El anlisis presenta un balance entre la objetividad y el conocimiento. Un evaluador externo no puede ser influido por las relaciones anteriores (o por la necesidad de mantener su puesto de trabajo), mientras que un evaluador interno tendr un conocimiento ms detallado de cmo funciona la organizacin para entender el proyecto. Tambin existen niveles de contacto que pueden desempear un rol para lograr equilibrio entre la objetividad y el conocimiento, y parte de ese balance estar determinado por los requerimientos de los donantes. En el grfico anterior, el evaluador habitual o mdico de cabecera es alguien que ha realizado otros trabajos para la organizacin y con frecuencia se lo llama para otras asignaciones; existen algunos intereses creados para continuar generando relaciones laborales desde la agencia implementadora. Las evaluaciones de medio trmino tienden a utilizar ms al personal interno, ya que son los impulsadores del proceso (es decir, se enfocan en los temas de implementacin y gestin), y sus recomendaciones tienen ms probabilidades de ser adoptadas, si provienen de personas que tienen particular inters en impulsar su implementacin. Las evaluaciones finales son a menudo dirigidas por evaluadores externos para producir algo de distancia de contenido1 entre que sucedi y por qu sucedi. En muchos casos, el equipo de evaluacin se conforma por personal mixto interno y externo para ayudar a equilibrar la objetividad y el conocimiento. Estos pueden ser equipos de evaluacin muy fuertes, aunque encontrar la combinacin adecuada puede ser difcil: por un lado, el personal interno competente puede estar disponible ms fcilmente

1 La Distancia de contenido se refiere cuando el evaluador conoce el sector y/o metodologa tcnica, pero no conoce el mtodo particular de implementacin del proyecto para ese metodologa. Esto le brinda al evaluador una muy amplia base sobre la cual juzgar la manera en que el enfoque especfico del proyecto se ajusta al conjunto ms amplio de las mejores prcticas para el sector. Los proyectos multisectoriales suelen tener equipos de evaluacin compuestos por varios expertos de diferentes sectores (salud, agricultura, etc.)


Aspectos Relevantes

en un momento determinado y puede desplegarse ms fcilmente; en cambio, el gerente de evaluacin puede necesitar un fuerte equipo de evaluacin externo que examine un proyecto sin sesgo, y con ms facilidad para plantear preguntas difciles.

Existen negociaciones especficas involucradas en la seleccin de un evaluador lder y la composicin del resto del equipo de evaluacin (vea la tabla 4, a continuacin). Por lo general, los criterios de seleccin del equipo son establecidos por el donante, sin embargo, estos son tambin objeto de negociacin. El gerente de evaluacin puede no ser la persona que lidere estas negociaciones, aunque se debe solicitar sus insumos cuando las relaciones con el donante es de magnitud tal que una comunicacin ms fluida ser de mucha utilidad. En particular, el cundo se llevar a cabo la evaluacin puede ayudar a negociar la composicin del equipo de evaluacin, qu consultor(es) y qu miembros del personal estn disponibles en un determinado momento puede establecer un parmetro clave en la seleccin de un equipo, en lugar de enfocarse nicamente en la disponibilidad del evaluador clave.

Tabla 4: Negociaciones entre evaluadores internos y externos

Evaluadores Internos: Ventajas Evaluadores externos: Ventajas Conoce la organizacin, su programa y operaciones.

Puede estar libre de prejuicios organizacionales.

No es un adversario Puede aportar nuevas perspectivas, conocimientos, experiencia ms amplia y conocimientos de ltima tecnologa.

Tiene mayor posibilidad de adaptarse/ dar seguimiento a las recomendaciones.

Es contratado ms fcilmente para trabajo intensivo.

Est familiarizado con los procedimientos de evaluacin del donante.

Puede servir como rbitro o facilitador entre los actores interesados.

Por lo general es meno costoso

No requiere negociaciones que consumen tiempo para su vinculacin al proceso.

Tiene ms oportunidad de fortalecer la capacidad en destrezas evaluacin del pas anfitrin.

Evaluadores Internos: Desventajas Evaluadores Externos: Desventajas Puede no conocer la organizacin, sus polticas y procedimientos o reglamentos.

Tiende a aceptar los supuestos de la organizacin.

Puede no conocer las limitaciones sobre la viabilidad de las recomendaciones.

Suele estar demasiado ocupado para participar a tiempo completo.

Puede ser percibido como adversario, despertando ansiedad innecesaria.

Puede verse limitado por conflictos de roles en la organizacin.

Puede ser costoso (a menos que se lo contrate a nivel local).


Aspectos Relevantes

Evaluadores Internos: Ventajas Evaluadores externos: Ventajas Requiere ms inversin de tiempo para la negociacin del contrato, proceso de orientacin y supervisin.

Puede no seguir las recomendaciones

Puede no estar familiarizado con los entornos polticos, culturales y econmicos locales.

Fuente: Basado en Appleby y Zarfonetis (1991, p. 21).

Validez La validez significa si una prueba mide lo que se supone debe medir. En un contexto de evaluacin, este es con frecuencia el ms subjetivo de los temas de diseo experimental, ya que est moderado por la objetividad y el acceso. La objetividad y el acceso con frecuencia varan al mismo tiempo; por ejemplo, si el equipo de evaluacin conversa slo con aquellas comunidades pre- calificadas como las de ms alto desempeo en la zona del proyecto, la evaluacin iniciar sin validez (y se necesitar una muy buena razn que explique por qu el gerente del proyecto, el gerente de evaluacin y el evaluador estuvieron dispuestos a dejar que ste sea el principal criterio de inclusin).

La Asociacin Americana de Evaluacin (AEA) tiene un conjunto de principios rectores para los evaluadores que pueden ayudar a aterrizar una evaluacin y pueden dar una buena idea de cundo los mtodos y enfoques se combinarn para proporcionar informacin que sea suficientemente vlida (vea el cuadro 1, a continuacin). La validez tiende a seguir tanto los principios de sesgo como de rigor; resuelva ambos y la validez contina, siempre y cuando exista suficiente informacin completa del proyecto para crear una imagen global del proceso y los resultados. Por lo general, esto puede resultar cuando el mismo hallazgo proviene de mltiples fuentes de recoleccin de datos.


Aspectos Relevantes

Recuadro 1: Principios Rectores de la AEA, Abreviados

A. Investigacin sistemtica: Los evaluadores llevan a cabo investigaciones sistemticas, basadas en los datos.

B. Competencia: Los evaluadores proporcionan desempeo competente a los actores interesados.

C. Integridad/ Honestidad: Los evaluadores muestran honestidad e integridad en su propio comportamiento y tratan de garantizar la honestidad e integridad de todo el proceso de evaluacin.

D. Respeto a las personas: Los evaluadores respetan la seguridad, dignidad y valor propio de los encuestados, los participantes del programa, clientes y otros actores interesados en la evaluacin.

E. Responsabilidades para el Bienestar Pblico y General: Los evaluadores articulan y toman en cuenta la diversidad de los intereses y valores pblicos y generales.

Fuente: Asociacin Americana de Evaluacin 2004. Nota: Vea el anexo IV para una versin completa de los principios de la AEA.

Rigor Existe un movimiento creciente hacia una mayor rigurosidad en las evaluaciones (diseos experimentales, etc.) y en el diseo bsico del proyecto. Existe ms inters e mpetu de la comunidad de donantes en la rendicin de cuentas y un debate permanente en cuanto a la dificultad para evaluar sistemas complejos sobre los cuales un programa de desarrollo tiene control limitado (o causalidad). Las mejores prcticas o prcticas suficientemente buenas en materia de evaluacin a menudo confunden rigor por algo limitado a un programa acadmico, y muchos programas acadmicos asumen equivocadamente que los proyectos de desarrollo son incapaces de alcanzar el rigor. En consecuencia, hay una tendencia creciente hacia alianzas entre instituciones de investigacin, universidades y PVOs para corregir las dos percepciones erradas. Este tipo de alianzas, especialmente con las universidades locales, es una conexin til para recordar al momento de formar el equipo de evaluacin y para la realizacin de las investigaciones operativas durante el ciclo del proyecto.

Para alcanzar suficiente rigor en la evaluacin, el gerente de evaluacin debe lograr un equilibrio entre:

1. La capacidad del proyecto para satisfacer los estndares de informacin.

2. La intencin de la organizacin para utilizar los resultados de la evaluacin en escenarios externos.

3. El presupuesto para todo el sistema de M&E (incluidas las evaluaciones).

Las opciones para recoleccin y anlisis de datos por lo general son ms abiertas a discusin con el evaluador en funcin de estas tres variables: costo, tiempo y eficacia (que puede incluir rigor, sesgo y validez). Dado que el


Aspectos Relevantes

gerente de evaluacin no suele ser un experto en mtodos, la tabla 5, a continuacin, proporciona informacin sobre las ventajas y desventajas de los mtodos comunes en diferentes circunstancias.

Esta eleccin de los mtodos puede dar a la evaluacin una razn justificable defendible para el estudio. En consecuencia proporciona a los evaluadores (y gerentes) la posibilidad de hacer un tipo similar de recoleccin de datos en el futuro. Y deja una autopista de documentos (no slo un sendero), de modo que las variables puedan ser comparables ms all de los parmetros de la evaluacin. Varias PVOs llevan a cabo de forma rutinaria las meta-evaluaciones,2

y USAID lo ha hecho como una forma de determinar los principales patrones en los resultados de la evaluacin.

La siguiente seccin examina varias cuestiones principalmente para la gestin de los datos de la evaluacin, incluyendo:

1 Los tipos de datos que necesitan los equipos de evaluacin.

En el pasado, las

evaluaciones de la

asistencia humanitaria tendan

a enfocarse en los proyectos y

el uso convencional de tcnicas

de evaluacin de proyectos. Sin

embargo, el pensamiento ha

cambiado, y ahora se cree que

la evaluacin de la asistencia

humanitaria requiere de un

mayor nfasis en tcnicas de

polticas de evaluacin que a

menudo es el caso de evaluacin

de asistencia convencional.

Las razones para esto son varias.

En primer lugar, la fluidez del

contexto y la complejidad y falta

de interrelacin del sistema de

respuesta reduce (aunque no

elimina) el valor y eficacia de

las tcnicas de evaluacin de

proyectos, que exige la separacin

de la causa y efecto. De forma

general, proporcionar una

explicacin en funcin de la

separacin de la causa y efecto no

es posible en sistemas complejos

compuestos de numerosas

relaciones interdependientes,

donde la direccin de la influencia

puede ser circular en lugar de

lineal. (OCDE, 1999, pg. 12).

1 El nivel de detalle y estructura de los trminos de referencia de la evaluacin.

1 Qu debe informar la administracin al equipo de evaluacin

1 Opciones de recoleccin y anlisis de datos

Establecer Prioridades de Informacin Los equipos de gestin y evaluacin deben decidir qu informacin vale la

2 Una meta-evaluacin es una evaluacin de un conjunto de evaluaciones. Puede ser realizada en una PVO, por la agencia donante, o entre las diferentes organizaciones participantes. Por lo general, segn un estudio terico, la meta-evaluacin puede enfocarse en los mtodos, resultados, recomendaciones sectoriales, entre otros.


Aspectos Relevantes

pena, en funcin de las dificultades en la recoleccin de datos y las exigencias particulares de cada actividad financiada. Los equipos deben, por lo tanto, dividir la informacin estratgicamente. Los tres criterios determinantes son:

Importantes y necesarios para el programa y actividad.

til y enriquecedor para un programa y/o actividad, pero no necesario.

Interesante, pero no es necesario.

El parmetro clave para el diseo de la evaluacin es qu informacin es vital. El costo de la recoleccin de datos es un factor importante, pero no el principal, en la determinacin de los mtodos utilizados en una evaluacin. Puede ayudar al grupo y ordenar el proceso en trminos de eleccin de mtodos. Si la informacin se puede obtener directamente en un determinado plazo, pero es de ms fcil acceso mediante un proxy, el costo podra ser el factor decisivo.

Cuadro 5: Ventajas y desventajas de los mtodos comunes Mtodos Ventajas Desventajas Revisin de Fcilmente disponibles en El volumen puede ser difcil documentos formato electrnico.

Especfico a la organizacin Bien dirigido al pblico

meta. Muestra el progreso o

problema a travs del tiempo. Muestra el desarrollo de

la actividad (sensibilidad al cambio, por ejemplo) a travs del tiempo.

Ilustra los vnculos de causalidad.

de manejar. Especfico a la organizacin No presenta contexto, ni

ilustra el impacto individual (o grupal) de manera muy eficaz.

Puede exagerar

Encuesta Si est bien diseada, muestra con mayor rigurosidad las relaciones, causalidad, e impacto.

Objetivamente verificable y replicable.

Requiere de personal. capacitado y toma mucho ms tiempo que otros mtodos.

Puede generar conflictos dependiendo de muchas variables externas.

Evaluacin rpida Ilustra las diferencias visibles.

Rpida y sucia Bajo costo Resultados rpidos

Requiere un alto nivel de sensibilidad cultural.

Difcil de atribuir causalidad directa.

Puede socavar la naturaleza participativa de la actividad.


3 4

Aspectos Relevantes

Mtodos Ventajas Desventajas Grupos focales Puede ser la estrategia ms

participativa. Minimiza los puntos de

vista extremos a travs de la interaccin del grupo.

Bajo costo Resultados rpidos Puede ser objetiva, vlida y

verificable.

El sesgo del facilitador puede afectar los resultados.

La intimidacin de un individuo en el grupo puede limitar la plena expresin de las opiniones.

Las barreras del idioma a menudo requieren traductores, desacelerando y filtrando las impresiones.

Entrevista No se requiere mucha preparacin.

Posibilidad de fuerte compenetracin interpersonal.

Puede ser objetiva, vlida y verificable.

Sujeto a la disponibilidad de los individuos.

Depende de las habilidades del evaluador durante la entrevista para evaluar el sesgo de los individuos.

Efecto Hawthorne3

Fuertemente subjetivo Observacin directa Se requiere mnima

preparacin. Bajo costo Resultados rpidos Puede ser objetiva, vlida y

verificable.

Puede ser intimidante para las comunidades.

Depende en gran medida de las habilidades del observador.

Efecto Hawthorne Orientacin presente4

Fuentes: Basado en Willard (1998); vea tambin Jones, Young, y Stanley (2004, pgs. 49-51) para una versin ligeramente distinta; Banco Mundial (2002, pgs. 12-23); o Guijt y Woodhill. (2002, pgs. 6.8-10, 16-17, 20-21).

Los datos son los elementos bsicos de la informacin. Existen dos grandes tipos de datos, cuantitativos y cualitativos. Hay una percepcin popular errnea de que lo cuantitativo es ms preciso y ms cientfico que lo de carcter cualitativo. La forma en que el equipo construye el estudio de evaluacin, la forma en que analizan los datos, y la forma en que redactan un informe creble que examine crticamente los resultados de la actividad (o la falta de ello) deben ser los indicadores para juzgar si una evaluacin se ha realizado correctamente. Los directivos y el equipo de evaluacin deben escoger el mtodo que mejor responda a sus preguntas y ser capaces de justificar sus decisiones.

3 El efecto Hawthorne es la diferencia entre cmo se comporta alguien cuando no es observado y cmo lo hace cuando s lo es. Por ejemplo, piense en las diferencias en una comunidad cuando un funcionario del gobierno los visita se barren los caminos, se retira la basura, la gente usa mejores vestimentas, etc.

4 Una orientacin presente significa que la observacin se lleva a cabo slo en el presente y hace poca referencia a la conducta pasada o futura. Esta es la razn por la que la observacin directa por s sola, a menos que se haga con alguien con experiencia y conocimientos especializados, puede ser muy engaosa, sobre todo cuando es multiplicada por el efecto Hawthorne. La observacin directa es ms eficaz cuando se la lleva a cabo en diversos momentos durante un proyecto, tales como en visitas de supervisin de rutina, as como tambin en los eventos de evaluacin de ms alto perfil para ayudar a reducir la orientacin presente y reducir al mnimo los efectos Hawthorne.


Aspectos Relevantes

Efectos Interactivos de las Metodologas Cuantitativas y Cualitativas

No hay razn para que un equipo de evaluacin no pueda utilizar ms de un tipo de recoleccin de datos, ya que la combinacin de mtodos puede enriquecer mucho ms una evaluacin. Las observaciones, historias cortas y estudios de caso contribuyen al contexto de la evaluacin cuantitativa an ms rgida. Por ejemplo, un anlisis agronmico de la produccin del cultivo de fruta es suficiente para mostrar el aumento por variedad y tipo de suelo en Tnez. Tiene una relevancia ms inmediata, si existe tambin una explicacin narrativa sobre el impacto que estos aumentos tienen en la vida de las familias campesinas de Tnez.

El argumento de que los datos cuantitativos son ms fciles de analizar por ser numricos pasa por alto tres puntos cientficos:

1. Cualquier estudio, cualitativo o cuantitativo, debe establecerse en similares normas de rigor metodolgico.

2. Cualquier variable puede ser codificada de manera que pueda ser estadsticamente analizada.

3. Las cifras por s solas rara vez responder a las preguntas relativas a preferencias sociales.

Los anlisis ms valiosos son aquellos que combinan las metodologas. Esto permite que el equipo de evaluacin logre lo siguiente:

Hacer una comprobacin cruzada de datos

Dividir el trabajo de manera ms eficaz

Lograr una evaluacin ms detallada de la actividad

La combinacin de tcnicas incrementa tambin el fortalecimiento de las capacidades y la participacin. Muchas personas pueden estar involucradas en diferentes aspectos de un conjunto de tcnicas. Tambin desva el riesgo para los individuos y grupos (Willard, 1998, pgs. 36-46). Muchas de las sociedades donde los evaluadores trabajan operan ms con dinmicas de grupo que con el concepto occidental del individualismo. Cuando se realiza una encuesta, es una prctica habitual entrevistar a una persona a la vez. Tambin es normal tener entre 5 y 10 miembros de la familia, vecinos, entre otros, todos escuchando la conversacin de la encuesta. Los grupos focales, por el contrario, comienzan con la idea de utilizar dinmicas grupales. Se promueve la participacin en lugar de desalentarla (es decir, si la discusin del grupo focal se maneja correctamente), y el grupo puede mantener un interlocutor honesto. Ms all de entender las variaciones en las situaciones sociales locales, hay tambin efectos ms graves para empezar a seleccionar a un individuo, tales como revelar inadvertidamente un estado de VIH (debido a los criterios de seleccin para la entrevista) o sealar que la persona


Aspectos Relevantes

ha tomado posicin en un conflicto. Estos efectos pueden tener enormes consecuencias negativas, incluyendo la muerte. Los encuestados en Irak, por ejemplo, han recibido disparos por participar abiertamente en evaluaciones.

En general, sin embargo la informacin de gestin es ms

orientada al proceso y producto, mientras que la evaluacin

(y gestin por resultados) necesita tanto ese nivel de detalle como

obtener ms informacin acerca de los efectos e impactos. El plan

de evaluacin bosquejado en el DIP puede o no abordar todas estas

preocupaciones (muchas de las cuales tambin pueden haber cambiado

en el transcurso de la actividad). El equipo de evaluacin y el equipo

de gestin de la actividad necesitan determinar qu indicador se puede

utilizar tal cual, cules podran ser mejor combinados y analizados de

forma amplia, qu preguntas adicionales necesitan responderse, y cmo

combinar las fuentes de datos y disponibilidad de tiempo y costo. Parte

de este proceso podra incluir un ejercicio donde el marco de resultados

para la actividad en s y las de sus diversos socios de financiamiento. . . Esto

podra determinar la disponibilidad y utilidad de los indicadores existentes

para la actividad, programa y audiencias responsables de la emisin de

polticas, al igual que cmo se evaluarn y/o mejorarn los indicadores en

el curso de la evaluacin. (Willard 1998, pg. 15)

Eficacia El propsito del informe debe ser el principio rector para la negociacin sobre recoleccin y anlisis de datos sealados anteriormente: Se requiere la informacin para tomar decisiones sobre el proyecto actual, acerca de los otros proyectos en el mismo pas o sector, o para buscar financiamiento adicional en este pas o sector? Esto habla tanto del rigor interno como de la validez de los mtodos elegidos (y la honestidad con la que esos resultados son reportados), y tambin de la forma en que la organizacin va a utilizar el informe. Este es el tema principal del mdulo Comunicacin y Reporte de Informes de una Evaluacin. El gerente de evaluacin debe estar consciente de lo que se puede hacer con los resultados de la evaluacin y trabajar con el evaluador para garantizar que los miembros y actores interesados en el proyecto quienes forman parte del equipo de evaluacin entiendan las razones para la seleccin del mtodo de recoleccin de datos. El gerente de evaluacin tambin debe, de ser posible, proporcionar oportunidades de aprendizaje para el personal durante el proceso de recoleccin de datos.

Opciones Estratgicas El equipo de evaluacin, la PVO/ONG (organizacin no gubernamental), los directivos y el donante son todos socios en una evaluacin. El diseo es, por lo


Aspectos Relevantes

tanto, la mejor oportunidad para que los diferentes actores hagan hincapi en las necesidades particulares (polticas, programas) y resalten las limitaciones especficas (de personal, tiempo y costo). Dado que estas particularidades afectan la forma en que el equipo de evaluacin disea y/o elige sus instrumentos de anlisis, es importante que estos sean claramente definidos al inicio. Tambin es importante para el equipo de evaluacin reconocer que algunos de los sesgos (del cliente, de la PVO/ONG y otros actores interesados) no sern evidentes hasta que el equipo est en el campo (si fuera el caso) y que el equipo deber [ser] lo suficientemente flexible para modificar su metodologa de evaluacin para compensar los problemas no reconocidos.

Cada equipo de evaluacin debe decidir cmo utilizar los datos de manera ms eficaz y qu tipos de anlisis se adaptan mejor tanto a los datos como a la situacin. El equipo de evaluacin necesita documentar estas opciones cuidadosamente, ilustrando las negociaciones e interacciones entre las metodologas, situaciones y factores de tiempo/costo. Si la reingeniera est administrando los resultados vlidos, replicables y completos, entonces la evaluacin es la herramienta ms fuerte disponible para valorar la validez, replicabilidad y finalizacin de esos resultados. (Willard, 1998, pgs. 56-58)

Mejorar la eficacia en el proceso de evaluacin puede conducir a un mayor uso de los resultados, generar fortalecimiento de capacidades en el proceso hace que los socios se fortalezcan y produce relaciones de asocio ms fuertes en el campo (y a veces asocios an ms fuertes con la red del personal de la sede). La eleccin de la metodologa correcta para encontrar el equilibrio justo entre el rigor, la validez, y los sesgos, as como utilizar una variedad de mtodos mixtos, no es para personas temerosas. Esto a menudo significa que el gerente de evaluacin debe dar seguimiento a estas cuatro tareas fundamentales para la evaluacin (y ya sea gestionando estos temas directamente o encontrando a la persona adecuada que puede hacerlo):

Programar suficiente tiempo y recursos en el proceso de evaluacin

1 Garantizar que las aptitudes y experiencia requeridas estn en el equipo de evaluacin.

1 Facilitar la participacin significativa de los actores interesados y beneficiarios a travs de las entrevistas individuales y grupales y, a travs del uso del RRA (evaluacin rural rpida) y PRA(tcnicas de evaluacin rural participativa).

El ltimo tercio del

proceso de evaluacin

se enfoca en el uso de las

recomendaciones y conclusiones.

Esta fase por lo general se

refiere a la retroalimentacin y

generalmente tiene dos facetas:

el aprendizaje interno y la

contribucin externa.

(Church y Rogers 2006, pg. 179).


Aspectos Relevantes

1 Facilitar el desempeo crtico y la reflexin de los resultados por parte de los implementadores y beneficiarios. (IFRC, Mdulo 6, 2002, pg. 13).

Mtodos Participativos, Participacin de los Beneficiarios y Rol del Gerente de Evaluacin La PVO que organiza la evaluacin puede tener una marcada preferencia por los mtodos participativos y por garantizar que los beneficiarios sean parte vital del proceso de evaluacin. Estas tcnicas y la inclusin de los beneficiarios de las diferentes intervenciones son de vital importancia y una fuente dinmica de informacin. Por lo general, este tipo de preferencia debe aclararse desde el SOW inicial de la evaluacin, y le corresponde al gerente de evaluacin (como la voz de la PVO en el equipo de evaluacin) garantizar que este tipo de mtodos se puedan incorporar a la combinacin desarrollada para la evaluacin especfica. Los mtodos (y el incremento de la participacin de la comunidad) requieren algunos compromisos adicionales de tiempo para el diseo inicial de la evaluacin y para el posterior anlisis de la informacin. Muchas de las comunidades donde trabajamos son ms fuertes en cuanto a representacin visual (tal como un calendario de seguridad alimentaria) o la interaccin verbal en lugar de formatos escritos. Utilizar una institucin de investigacin local puede ayudar con los desafos bsicos de traduccin, pero podra empeorar el problema debido al estado cultural interno. En algunos casos, las formas en que el proyecto ya ha estado recolectando este tipo de informacin a nivel comunitario se debe examinar para realizar las respectivas modificaciones para utilizarla con las preguntas especficas de la evaluacin. Por ejemplo, los apoyos visuales para la capacitacin de madres acerca de las prcticas saludables para bebs se pueden utilizar para liderar debates de los grupos focales sobre qu prcticas conoce la comunidad y qu cambios han observado. Algunos de los mejores lderes de los grupos focales han sido los conductores del equipo de evaluacin, ellos hablan el idioma, conocen las comunidades, y tienen un rango similar con los miembros de la comunidad, adems que quieren estar ms involucrados en el proceso de evaluacin. Lo mejor es que no estn personalmente involucrados como otro personal del proyecto, de tal forma que pueden ser ms objetivos en relacin a los resultados.

Los mtodos participativo e incluyente tienden a tomar ms tiempo que las otras opciones metodolgicas. Toma tiempo ponerlos en operacin, capacitar a la gente y analizar los resultados. El gerente de evaluacin debe estar consciente de las limitaciones de tiempo del equipo de evaluacin y trabajar con el lder del equipo durante las discusiones del SOW inicial, as como a travs de la gestin permanente durante la evaluacin para asegurar que existe una combinacin adecuada de mtodos dentro de los parmetros de tiempo y presupuesto.


Aspectos Relevantes

Uso El mdulo de Comunicacin y Reporte de Informes de Evaluacin aborda con mucho ms detalle el cmo asegurar que el informe de evaluacin sea una herramienta til para el aprendizaje en la organizacin. Sin embargo, desde el punto de vista del gerente de evaluacin, hay elementos clave que requieren la gestin gerencial durante el proceso de evaluacin tanto desde el inicio de la planificacin de una evaluacin como posteriormente cuando se realiza la difusin de los resultados. Aunque el evaluador puede ser responsable de algunos de los siguientes productos a entregarse, rara vez es responsable de todos ellos, y puede corresponderle a los departamentos de comunicaciones o reporte de informes extraer los resultados particulares o crear formatos especficos (estos se analizan con ms detalle en el mdulo de Comunicacin y Reporte de Informes de Evaluacin). Estos varan un poco segn la organizacin y la audiencia, mientras ms estandarizado sea un formato para reportar informes, ms fcil ser que los productos resultantes sean utilizados para crear anlisis secundarios. Estos anlisis podran incluso corresponder a un orden superior, tales como una revisin de todas las evaluaciones de proyectos de agua y saneamiento para determinar las mejores prcticas, en lugar de resaltar uno o dos resultados crticos de una sola evaluacin.

El gerente de evaluacin debe asegurar que la estructura y contenido del informe sean lo suficientemente flexibles para que puedan presentarse en diferentes formatos. Esto puede significar que el informe de evaluacin incluya tanto un resumen ejecutivo como un abstracto (casi un comunicado de prensa). Determinar desde el inicio los diferentes productos de la evaluacin en los que estaran interesadas las diferentes audiencias ayudar a crear un alcance del trabajo ms completo para el consultor y determinar tempranamente que los resultados no permanecern en el archivador del gerente del proyecto (vea la tabla 6, a continuacin).

Cuadro 6: Productos de la Evaluacin Producto de la Evaluacin

Audiencia Uso Previsto de la Informacin

Informe de Gerente de proyectos, Gestin del cambio, determinar el evaluacin final oficial alterno, avance de los resultados previstos/ con anexos posiblemente, otros

lectores de nivel tcnico o gerencial en la organizacin.

reales, revisar los procesos de gestin, extraer lecciones aprendidas para proyectos subsiguientes, identificar y documentar problemas y soluciones, y proporcionar orientacin sobre cmo instaurar cambios en base a las evidencias.

Resumen ejecutivo Director de pas, niveles gerenciales en la organizacional, y actores interesados.

Proporcionar informacin resumida sobre el estado y recomendaciones del proyecto, y vincularlos al informe completo para exposicin y anlisis adicional.


Aspectos Relevantes

Producto de la Evaluacin

Audiencia Uso Previsto de la Informacin

Nota tcnica Partes interesadas en la organizacin, actores involucrados, donantes y comunidad evaluada.

Producto de extensin media que examina uno o dos aspectos de la evaluacin, ya sean procesos o resultados, con suficiente detalle como para ser comparable con otros resultados tcnicos. A menudo parte de un conjunto de productos para donaciones institucionales o la base para difusin organizacional a redes de colegas afines.

Abstracto o Actores interesados y Formulario corto que incluye los comunicado de pblico en general. principales resultados, adecuado para prensa la mayora de gerentes senior y/o la

prensa. Presentacin Redes de evaluadores Resultados y metodologas clave de la profesional / y de donantes, y evaluacin en ms detalle (y a menudo informe breves almuerzos

organizacionales. con fotos o mtodos de aprendizaje ms activos).

Retroalimentacin Comunidades en el "Voz" ms informal para presentacin del participante campo. de resultados, puede presentarse

durante las reuniones de la comunidad o como parte de la retroalimentacin comunitaria regular para mostrar los resultados de sus entrevistas y potencialmente clasificarlos con otras comunidades; puede incorporarse en los planes de accin comunitaria.

Fuente: Autor.

Es muy til que el gerente de evaluacin conozca la audiencia (y el tipo de lenguaje o formato necesario) an si no es el responsable de la elaboracin de estos elementos. Identificar los productos que se requieren contribuir con la gestin del equipo de evaluacin, an cuando la mayora de evaluadores no sern responsables del desarrollo de todos estos productos de evaluacin.

Fortalecimiento de las Capacidades de Evaluacin Uno de los elementos que deben incluirse en el alcance del trabajo es la intencin de generar oportunidades de aprendizaje para el personal del proyecto durante el proceso de evaluacin. Estas oportunidades de aprendizaje a menudo se suman al tiempo dedicado a la realizacin de la evaluacin, por tanto los factores de tiempo y costo dependern de en qu medida el desarrollo profesional ser parte del trabajo del consultor. Existen claros beneficios al incluir tutoras o modelos a seguir en una evaluacin, como:

1 El personal estar ms activamente involucrado en la evaluacin y, por tanto, se apropiar de los resultados.

1 El aumento de la capacidad del personal y su contribucin en futuras evaluaciones puede incrementar tanto el alcance como el uso de la evaluacin.


Aspectos Relevantes

1 El personal conforma equipos ms preparados y puede reducir cualquier temor en cuanto a la evaluacin cuando aprende ms sobre el proceso.

Cuando el personal sirve como traductor durante una evaluacin, los beneficios de capacitar al personal durante la evaluacin son an ms evidentes. Las discusiones de los grupos focales son mucho ms activas cuando se llevan a cabo en el idioma local en lugar de cuando son traducidas de ida y vuelta. Capacitar al personal local para llevar a cabo los debates de grupos focales implica que el evaluador puede observar el lenguaje corporal o la dinmica de grupo, en lugar de escuchar la traduccin. Tambin significa que el personal local, durante la reunin informativa diaria al final de la jornada de entrevistas, puede proporcionar ms informacin sobre el contexto, confirmar las observaciones del evaluador sobre la dinmica de grupo y advertir la importancia de lo que se dijo y no se dijo. Apoyarse en dos funcionarios para llevar a cabo las discusiones de los grupos focales, con un funcionario grabando las conversaciones con el debido permiso (en un reproductor de MP3, por ejemplo) tambin permite enriquecer el anlisis de la terminologa y proporciona una voz ms autntica al informe de evaluacin. En muchos casos, esto tambin puede ampliar el alcance de las discusiones de los grupos focales, que rpidamente pueden llegar a ser difciles de manejar. Las discusiones de los grupos focales son mejores cuando participan menos de 20 personas y, en la mayora de comunidades, el factor jirafa5 crea grupos mucho ms grandes e impiden la recoleccin de datos. Tener varias personas capacitadas en el manejo de discusiones de grupos focales puede permitir que existan dos o ms grupos focales simultneamente (preferentemente donde uno no escuche al otro) e introduce una forma adicional de comprobar la informacin.

Mientras se lleva a cabo la evaluacin, los evaluadores suelen

proporcionar:

Aprendizaje prctico sobre cmo evaluar a funcionarios nacionales;

Directrices sobre planificacin, gestin y monitoreo de proyectos;

Sugerencias para una mejor focalizacin de los proyectos;

Bosquejo de lineamientos para proyectos futuros. (PNUD n.d., pg. 5)

5 El factor jirafa es similar al efecto Hawthorne las personas se comportan de diferente manera cuando son observadaspero analiza cmo un evaluador extranjero ser percibido en un entorno comunitario. Todo el mundo quiere saber qu est haciendo el extranjero y, aunque el inters disminuir, cuando sea evidente que no est haciendo nada particularmente emocionante, an existe inters en el extrao. La mayora de evaluadores narran experiencias relacionadas a un grupo pequeo de nios siguindolos cuando han volteado repentinamente, o verse rodeados de nios en edad escolare durante el recreo, mientras se sentaron a registrar informacin. Este es otro ejemplo que evidencia que tener personal local que dirija uno o dos grupos focales en otro sitio significa que el factor jirafa puede ser controlado al ubicar al evaluador fsicamente en otro lugar. Sin intencin, tambin puede proporcionar al evaluador un muy necesario descanso o la oportunidad de comprobar los avances con el gerente de evaluacin.


El gerente de evaluacin

debe tener en mente que

generar un sentimiento

de apropiacin frente a

una tarea es diferente

que coordinarla: la

diplomacia es necesaria

cuando se contacta

con otras oficinas

(contratos, finanzas)

que desempean un

rol al determinar si la

evaluacin se realiza o

no, an cuando no se

trate del personal directo

del proyecto.

Detalles Especficos

Este es la esencia del mdulo e incluye un anlisis de cada uno de los principales encabezamientos sobre las opciones, ventajas y desventajas, y su razonamiento. El anexo I tambin incluye una herramienta para lista de verificacin que el gerente de evaluacin puede utilizar para dar seguimiento a las fechas de cumplimiento de las diferentes tareas.

Las pocas secciones siguientes del mdulo siguen los titulares listados en la tabla 7 que se muestra ms adelante, examinando las diferentes responsabilidades del gerente de evaluacin. Afortunadamente, con frecuencia existen otros miembros del personal que cumplen roles de liderazgo en la realizacin de estas tareas, pero es importante que el gerente de evaluacin est consciente de la necesidad de revisar cada tarea y asegurarse que nada se escape. El gerente de evaluacin debe tener en mente que generar un sentimiento de apropiacin frente a una tarea es diferente que coordinarla: la diplomacia es necesaria cuando se contacta con otras oficinas (contratos, finanzas) que desempean un rol al determinar si la evaluacin se realiza o no, an cuando no se trate del personal directo del proyecto. Lograr su inters y atencin significa que el gerente de evaluacin debe averiguar, con antelacin, cules sern los requerimientos para el consultor (formatos, plazos, etc.) de tal forma que el gerente de evaluacin pueda coordinar con xito entre las oficinas de apoyo y el equipo de consultores.

Tabla 7: Secciones Restantes del Mdulo

Herramientas y Recursos

Gestin de una Herramienta de Evaluacin

Secciones Principales Titulares Temas Gestin de la Evaluacin Personal Detalles del personal, personal

visitante, socios visitantes y consultores.

Financiero Presupuesto, viticos, personal, logstica, M&E, y gestin de los recursos.

Logstico Arreglos de viaje (internacionales y locales), alojamiento, acceso a la comunidad, traductores, editores, y personal de apoyo.

Tamao y Asocios Escala de evaluacin, evaluaciones en colaboracin o compartidas, y evaluaciones de proyectos versus programas.


Detalles Especficos

Secciones Principales Titulares Temas Interacciones del Gerente de Evaluacin con los Actores Interesados y el Equipo de Evaluacin.

Relaciones Con el lder del equipo de evaluacin, donantes, comunidades, socios, la organizacin (en especial los gerentes), otros proyectos en el pas, PVOs colegas, el gobierno; y apoyo al gerente de evaluacin.

Elementos psicolgicos

Desgaste y deterioro del personal, factor miedo, reaccin de la comunidad, y bienestar del consultor.

Contratos, Comunicacin y Productos a Entregarse.

Contractuales Convenio estndar para consultora, das, funciones, sanciones, interaccin con el alcance del trabajo, y negociaciones del consultor.

Productos a entregarse y comunicacin

Esquema, informe de situacin/ calendario de actualizacin, borrador, informe final revisado, factura, e informes de gastos.

Organizacin de la Evaluacin.

Organizacin de la evaluacin

Plan de trabajo y calendario, y cronograma de visitas de campo.

Plan de trabajo y calendario, y cronograma de visitas de campo.

Lo inesperado Cuando reprogramar una evaluacin y lo que podra causar.


Los tres componentes

principales para

la gestin de una

evaluacin son: personal,

financiero y logstico

Gestin de la Evaluacin

Los tres componentes principales para la gestin de una evaluacin son: personal, financiero y logstico. La buena noticia para el gerente de evaluacin es que generalmente los dos primeros son trabajo de otras personas en la organizacin, aunque es responsabilidad del gerente de evaluacin asegurarse que exista comunicacin entre esas personas y el equipo de evaluacin, as como garantizar que no se descuiden los asuntos especficos de dinero y tiempo.

Gestin de Personal Dentro de la gestin de personal, el gerente de evaluacin tiene dos preocupaciones principales. La primera es la composicin bsica del equipo de evaluacin, y la segunda es asegurar que cualquier tema sobre personal relacionado con el equipo de evaluacin se aborde con prontitud.

Los tres elementos clave en la composicin de un equipo de evaluacin son los siguientes:

1 Credibilidad

1 Planificacin del Equipo

1 Conflicto de intereses

Credibilidad se refiere al equilibrio entre habilidades/capacitacin con el conocimiento de la actividad y la organizacin. Por ejemplo:

1 Se encargarn estas personas de hacer el trabajo, compensando sus propios sesgos (sobre el tipo de actividades o el tipo de PVO) con suficiente rigor metodolgico y experticia?

1 Qu criterios de seleccin se utilizarn para garantizar que los actores interesados tengan confianza en los resultados de la evaluacin?

En cierta medida, esto nos remite al sesgo (descrito anteriormente), pero tambin nos remite al nivel ms general de creencia en los resultados de la evaluacin. Por ejemplo, alguien con mucha experiencia en el trato con personas en la India es probable que dude de los resultados de un grupo focal mixto (hombres-mujeres) en Gujarat que indique que las mujeres hablaron libremente delante de los hombres en el grupo. Esto generar la duda del resto de resultados en el lector, ya que representa una anomala (un caso inusual) segn su experiencia.



La planificacin del equipo requiere combinar diferentes tipos de experticias en un todo coherente, equilibrando las capacidades individuales con los requerimientos de la evaluacin. La experticia puede ser desde tcnica a regional o lingstica, y todas estas capacidades deben sopesarse cuando se conforma el equipo. Identificar los grupos de habilidades necesarias para llevar a cabo la evaluacin debe servir para identificar los consultores, no al contrario, y es responsabilidad de la gerencia determinar quien se ajusta mejor a este perfil. El grado de coordinacin necesaria tambin significa que se debe encontrar un equilibrio entre las fortalezas de los evaluadores internos y externos. La planificacin del equipo requiere la mayor coordinacin posible entre los diferentes actores interesados y los miembros del equipo de evaluacin.

Las reuniones de planificacin del equipo son un buen mecanismo para determinar si los miembros del equipo se las arreglarn durante la evaluacin. Es preferible que estas reuniones se lleven a cabo en la sede de la PVO, donde se pueden realizar algunas entrevistas adicionales, obtener documentacin, y finalizar el alcance del trabajo. Uno puede proponer candidatos para el equipo, pero por lo general es slo durante la reunin de planificacin del equipo que la capacidad de los miembros del mismo empieza a surgir, y puede ser posible cambiar de asocio en los diferentes componentes de evaluacin para manejar la combinacin de diferentes personalidades. Incluso con la mejor reunin de planificacin de equipo, pueden darse an relaciones candentes entre miembros del equipo de evaluacin (tales como enemistadas de larga data) y le corresponder al gerente de evaluacin proporcionar un odo que escuche y modere. Esto no quiere decir que los evaluadores no sean profesionales, pero a veces el estrs de trabajar en el campo o de una experiencia previa puede causar problemas en el proceso de evaluacin.

Una limitacin adicional es que un grupo de pocas personas es mucho ms manejable que un grupo ms grande y tambin es mucho menos intimidante. Con frecuencia esto significa comprometer el nivel de competencias en la matriz de competencias. Alguien que puede manejar un nmero de contenidos o reas especializadas ser ms valioso que un solo individuo que haga una sola cosa excelentemente. Una vez ms, es una cuestin de equilibrio y prioridades, atenuado por la disponibilidad de los consultores y el personal interno.

El conflicto de intereses se ha convertido en un tema espinoso para USAID en los ltimos aos, en parte debido a la permeabilidad de las posiciones en el mbito del desarrollo internacional. Si bien no existe una regla inamovible, los miembros del equipo de diseo y las personas que han tenido contratos y/o supervisin tcnica de la actividad, generalmente son excluidos de la evaluacin de estas actividades. Este puede ser un elemento que el equipo de planificadores debe considerar cuando conforma el equipo de evaluacin.



Esto resalta una sutileza adicional sobre los evaluadores externos e internos, sin embargo, estas categoras no

gestión e implementación de una...

Documents