evaluación final de proyecto experiencia scout, listos para la vida
TRANSCRIPT
[Month Year]
Este reporte fue elaborado de manera independiente por Jaime López-Aranda, Antia Mendoza, Lilian Chapa y Leonel
Fernández a solicitud de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) y la Asociación de
Scouts de México (ASMAC).
Evaluación Final de Proyecto
Experiencia Scout, Listos para la Vida
2
EVALUACIÓN FINAL DEL
PROYECTO
EXPERIENCIA SCOUT,
LISTOS PARA LA VIDA UNA EVALUACIÓN DE LA PRESTACIÓN DE SERVICIOS DE
EDUCACIÓN NO-FORMAL PARA JOVENES EN SITUACIÓN DE
RIESGO EN TIJUANA, MÉXICO
OCTUBRE, 2015
Las opiniones expresadas en esta publicación son responsabilidad de los autores y no necesariamente
reflejan los puntos de vista de la Agencia de los Estados Unidos para el Desarrollo Internacional o el
Gobierno de los Estados Unidos.
3
ÍNDICE Resumen Ejecutivo ....................................................................................................................................... 5
Objetivo y preguntas de la evaluación .......................................................................................................... 7
Objetivo de la evaluación .......................................................................................................................... 7
Preguntas de la evaluación ....................................................................................................................... 7
Características del proyecto.......................................................................................................................... 8
Métodología y alcances de la evaluación ................................................................................................... 11
Metodología ............................................................................................................................................ 11
Alcances .................................................................................................................................................. 12
Hallazgos, conclusiones y recomendaciones ..................................................................................................... 14
Hallazgos................................................................................................................................................. 14
1. Evaluación del diseño del proyecto ................................................................................................. 14
2. Análisis cuantitativo de los resultados observados ............................................................................ 17
3. Análisis cualitativo de los resultados observados .............................................................................. 18
4. Resultados de las observaciones estructuradas ................................................................................ 22
5. Contribución a la Estrategia de Cooperación para el Desarrollo del País de USAID/México ............... 23
6. Contribución a los esfuerzos del Gobierno de México para prevenir la violencia y el delito ................ 24
7. Externalidades positivas/negativas ................................................................................................... 25
8. Sustentabilidad y potencial de replicación del proyecto..................................................................... 25
Conclusiones ........................................................................................................................................... 27
Recomendaciones .................................................................................................................................. 28
Anexos ........................................................................................................................................................ 30
Anexo I: Términos de referencia ............................................................................................................. 31
Anexo II: Cuestionario guía de los grupos de enfoque ........................................................................... 36
Anexo III: Referencias ............................................................................................................................. 38
4
SIGLAS
ASMAC Asociación de Scouts de México A.C.
CDCS Estrategia de Cooperación para el Desarrollo del País de USAID/México
(USAID/Mexico Country Development Cooperation Strategy) 2014-2018
EFP Evaluación Final del Proyecto
GDM Gobierno de México
M&E Monitoreo y Evaluación
PRUEBA ENLACE Evaluación Nacional de Logro Académico en Centros Escolares
RTP Reporte Trimestral del Proyecto
GBR Gestión Basada en Resultados
ESLV Experiencia Scout, Listos para la Vida
TDR Términos de Referencia
USAID Agencia de los Estados Unidos para el Desarrollo Internacional
5
RESUMEN EJECUTIVO
CARACTERÍSTICAS DEL PROYECTO, OBJETIVO DE LA EVALUACIÓN Y
METODOLOGÍA
El proyecto Experiencia Scout, Listos para la Vida (ESLV) fue un esfuerzo conjunto de USAID y la
Asociación de Scouts de México A. C. (ASMAC) destinado a desarrollar, implementar y probar modelos
de educación no-formal para jóvenes en situación de riesgo con el objetivo de mejorar su capacidad para
desempeñar un papel productivo en sus comunidades. El proyecto estuvo basado en el sistema de
valores y el método de educación no-formal del Movimiento Scout; y fue implementado en tres
polígonos1 en Tijuana, Baja California, de agosto 2012 a agosto 2015.
Este documento es la evaluación final de desempeño del proyecto y como tal, tuvo el objetivo de
evaluar sus resultados y formular recomendaciones para futuros esfuerzos de replicación del mismo. La
evaluación empleó una metodología mixta para proporcionar una comprensión más completa de los
resultados del proyecto y su potencial de replicación, que incluye una evaluación de diseño del proyecto
así como un análisis cuantitativo y cualitativo de los resultados observados. Para los aspectos
cuantitativos del análisis, el equipo de evaluación optó por utilizar exclusivamente los datos recolectados
por el personal del proyecto a través de su proceso de monitoreo y evaluación (M & E) por
consideraciones de tiempo y disponibilidad de los beneficiarios. Para los aspectos cualitativos, el equipo
de evaluación se basó en entrevistas semiestructuradas y grupos de enfoque, así como métodos de
observación estructurada. El análisis cuantitativo y cualitativo se llevó a cabo en paralelo para maximizar
la capacidad del equipo de evaluación para formular sus conclusiones y recomendaciones dentro del
plazo de tiempo asignado.
HALLAZGOS, CONCLUSIONES Y RECOMENDACIONES
Los principales hallazgos y conclusiones de la evaluación se pueden resumir de la siguiente manera:
El proyecto ESLV logró identificar y atender de manera continua a jóvenes en situación de riesgo en
los tres polígonos así como transferir el liderazgo y operación de los grupos scouts que creó
durante su operación a las comunidades. Estos grupos continuarán proporcionando algunos de los
servicios que proveía el programa a la población objetivo. Por último, se desarrolló una importante
base de conocimiento que podría contribuir al desarrollo institucional de la Asociación de Scouts de
México y de otras organizaciones.
Conforme al análisis cualitativo realizado, hay mejoras notables en el desarrollo personal de los
beneficiarios y sus habilidades interpersonales, así como en sus competencias académicas y de
liderazgo. Sin embargo, no fue posible medir cuantitativamente estas mejoras ni vincularlas a
componentes específicos del programa, debido a que la tasa de respuesta de las diferentes encuestas
realizadas por el personal del proyecto resultó demasiado baja.
1 Un polígono es un territorio delimitado cuya población tiene características socio-demográficas similares. Éste
puede comprender una o varias colonias y en un municipio puede haber uno o más polígonos, como es el caso de
Tijuana.
6
El proyecto tuvo externalidades positivas significativas, tanto en lo que concierne a la dinámica
familiar de los beneficiarios como al desarrollo de habilidades de liderazgo de los voluntarios2. Se
encontró también que el proyecto promueve la equidad de género y el empoderamiento de las
mujeres, además de que fortaleció al menos a una organización comunitaria local.
Varias de las experiencias y lecciones aprendidas del proyecto ESLV pueden ser útiles para los
esfuerzos actuales del Gobierno de México (GDM) en materia de prevención de la violencia y la
delincuencia.
El proyecto se puede replicar en otras comunidades en situación de riesgo a un costo mucho más
bajo que el del ESLV original. La flexibilidad inherente del proyecto, en tanto que se basa en el
método scout, representa una apuesta relativamente más segura que otros métodos que aún no se
han probado en campo.
Las recomendaciones del equipo de la evaluación se pueden resumir de la siguiente manera:
1. Establecer un mecanismo de seguimiento. No es aconsejable asumir que los grupos scouts creados por
el proyecto deben operar como cualquier otro grupo scout, ya que hay riesgos y desafíos
significativos asociados con el trabajo con jóvenes en situación de riesgo. Se recomienda que tanto la
Provincia Scout de Baja California como los grupos scouts de Tijuana designados como
patrocinadores, den seguimiento a los niveles de membresía, financiamiento y capacitación de los
líderes de los nuevos grupos, así como a las amenazas que puedan enfrentar. El objetivo de este
seguimiento es garantizar que los nuevos grupos cuenten con una red de apoyo formal y un sistema
de "alerta temprana" en caso de que necesiten asistencia.
2. Simplificar los objetivos e indicadores del proyecto. Cualquier implementación futura debe tener en
cuenta las dificultades inherentes a establecer indicadores cuantitativos para una población
beneficiaria que puede variar significativamente a lo largo de la vida del proyecto, así como la falta de
disponibilidad de herramientas estandarizadas para medir el rendimiento académico y el desarrollo
psicológico. Se recomienda que en futuras implementaciones se adopten indicadores básicos de
desempeño como los introducidos después de la evaluación intermedia de ESLV y evalúen la
conveniencia de introducir indicadores adicionales.
3. Fortalecer el proceso de M&E y ampliar su alcance. Es necesario asegurar que futuras ediciones del
proyecto reúnan información sobre los beneficiarios desde el principio y que sea posible darle
seguimiento a estos a través del tiempo. En caso de que sea posible establecer una línea base para la
evaluación de cada beneficiario, las pruebas o evaluaciones que se apliquen más adelante deben
limitarse a aquellas personas que han participado regularmente en las actividades del mismo.
Además, debe considerarse un enfoque mixto para la evaluación a fin de proporcionar una
representación más precisa de los resultados del proyecto, incorporando análisis cualitativos en
lugar de adoptar una perspectiva puramente cuantitativa.
4. Fomentar más cooperación con otras organizaciones no gubernamentales y autoridades locales. Es
recomendable identificar posibles sinergias con programas gubernamentales y no gubernamentales
pre-existentes, así como promover mecanismos de cooperación formales con autoridades locales y
organizaciones no gubernamentales que trabajen en la misma zona. Sin embargo, debe tenerse en
cuenta que esto no es un proceso simple y debe ser examinado y acordado previamente con
ASMAC y las autoridades a nivel provincia.
2 Los voluntarios no eran en términos generales jóvenes en situación de riesgo, pero en su mayor parte procedían
de otros grupos de scouts de Tijuana y, por lo tanto, deben ser considerados como actores interesados. Debe
destacarse también que el desarrollo de estas habilidades de liderazgo es un objetivo general del Movimiento Scout
a nivel internacional.
7
OBJETIVO Y PREGUNTAS DE LA
EVALUACIÓN
OBJETIVO DE LA EVALUACIÓN
Este documento corresponde a la Evaluación Final del Proyecto (EFP) para el proyecto Experiencia
Scout, Listos para la Vida (ESLV), implementado en Tijuana, Baja California, México, de agosto de 2012
hasta agosto de 2015, la cual forma parte del proceso de elaboración del informe final del proyecto. La
evaluación puede clasificarse como una de desempeño y no de impacto, cuestión que se discute en la
sección de metodología. Como tal, el objetivo principal de la EFP es evaluar los resultados del proyecto
y hacer recomendaciones tanto a USAID como al implementador, la Asociación de Scouts de México
A.C. (ASMAC) en los ámbitos de diseño e implementación de proyectos en el futuro.
PREGUNTAS DE LA EVALUACIÓN
De acuerdo con los Términos de Referencia (TDR) proporcionados por la ASMAC (véase Anexo I), la
evaluación tiene una pregunta principal y tres preguntas secundarias. Se añadió también una pregunta
adicional solicitada por USAID durante la fase exploratoria de la evaluación con respecto al potencial de
replicación del proyecto así como sobre su posible contribución a otros esfuerzos de prevención del
delito y la violencia, en el contexto de la Estrategia de Cooperación para el Desarrollo del País de
USAID/México (Country Development Cooperation Strategy, CDCS) 2014-2018.
Pregunta Principal de la Evaluación (TDR)
1. ¿El diseño del proyecto tiene los elementos necesarios para lograr los resultados esperados en
términos de carácter, educación y liderazgo en el grupo de intervención?
Preguntas Secundarias de la Evaluación (TDR)
2. ¿El diseño del proyecto tiene los elementos necesarios para medir los indicadores relacionados con
los resultados (outcomes) esperados en carácter, educación y liderazgo en el grupo de intervención?
3. ¿Cuál es la magnitud de los resultados obtenidos para cada indicador de producto o servicio (output)
y resultado (outcome), así como su contribución a la consecución de los resultados comunes de
USAID?
4. ¿La implementación del proyecto fomenta otros resultados o externalidades positivas, distintos a
aquellos reflejados en los indicadores oficiales, ya sea para los participantes o para terceros en las
zonas de intervención?
Preguntas Adicionales (CDCS)
5. ¿El modelo puede ser replicado en otras comunidades? ¿Cómo se puede fortalecer?
8
CARACTERÍSTICAS DEL
PROYECTO
El proyecto Experiencia Scout, Listos para la Vida (ESLV) fue un esfuerzo conjunto de USAID y la
Asociación de Scouts de México (ASMAC) destinado a fortalecer la capacidad de los jóvenes (7 a 29
años) en situación de riesgo para desempeñar un papel productivo en sus comunidades. El proyecto fue
diseñado e implementado durante un período de tres años (desde agosto 2012 hasta agosto 2015) en la
ciudad de Tijuana, Baja California, y forma parte del Pilar IV de la Iniciativa Mérida: Construir
comunidades fuertes y resilientes. En términos generales, los proyectos ejecutados bajo el mandato del
Pilar mencionado tienen la tarea de promover la capacidad de las comunidades para resistir los efectos
de la delincuencia y la violencia y, en el caso de los proyectos destinados a los jóvenes en situación
riesgo tales como Experiencia Scout, los objetivos específicos son prevenir que dichos jóvenes se unan a
organizaciones criminales, así como promover su participación constructiva en sus comunidades3. Esto,
tal como se señala en la Estrategia de Cooperación para el Desarrollo del País de USAID/México
(CDCS) 2014-2018, citando la política de USAID sobre Juventud en el Desarrollo (USAID, 2012):
[…]la violencia, las tasas de deserción escolar y los desafíos de la transición de la escuela al
trabajo pueden crear condiciones para que los jóvenes en situación de riesgo sean reclutados
por redes criminales, grupos armados, pandillas juveniles y el narcotráfico. Como resultado, las
actividades están orientadas a mantener a los jóvenes en la escuela, el auto empleo o empleo
remunerado, y la mejora de la integración social y el liderazgo cívico. (USAID/México, 2014, p.
23)
La CDCS actual también hace hincapié en la participación de los actores locales y el potencial de
replicación los modelos implementados, así como la incorporación de una perspectiva de género. Por lo
tanto, se espera que los proyectos exitosos sean adoptados por las comunidades y otros actores locales
relevantes después de que concluya el financiamiento de USAID. También se espera que complementen
otros proyectos existentes, que contribuyan a los esfuerzos del Gobierno de México (GDM) para
prevenir la violencia y la delincuencia y, lo que es más importante, que puedan ser replicados en otras
comunidades que no fueron identificadas en el esfuerzo inicial4.
Desde su concepción el proyecto ESLV tenía un carácter dual sirviendo, por un lado, como un
"laboratorio de innovación educativa" con el objetivo de desarrollar y probar modelos de educación no-
formal para los jóvenes en situación de riesgo y fomentar el desarrollo institucional, y, por el otro,
realizar una intervención focalizada en tres polígonos en Tijuana: Camino Verde, Granjas Familiares y
Mariano Matamoros. Ambos componentes del proyecto se ejecutaron en paralelo y se retroalimentaron
3 Véase Objetivo de Desarrollo 1, Resultados Intermediarios 1.3 de la Estrategia de Cooperación para el
Desarrollo del País de USAID/México 2014 – 2018 (USAID/Mexico, 2014) para una descripción más detallada de
los objetivos, resultados esperados y estrategias con respecto a jóvenes en situaciones de riesgo. 4 Aunque el proyecto ESLV precede a la CDCS 2014-2018, USAID y la dirección del proyecto solicitaron que la
evaluación incorporara estos criterios. Debe destacarse también que la dirección del proyecto hizo ajustes para
alinearlo mejor con la CDCS 2014-2018 como se discute más adelante.
9
entre sí: las actividades de la intervención sirvieron como campo de prueba y desarrollo para las
hipótesis y metodologías del laboratorio. Se espera que algunas de las actividades de ambos
componentes continúen de una forma semiautónoma después de la conclusión formal del proyecto,
como se explica más adelante.
El componente de laboratorio educativo del proyecto se centró en el desarrollo de métodos y
herramientas para complementar el programa educativo de los Scouts, fomentar el desarrollo
institucional de ASMAC y fortalecer las capacidades de los voluntarios del proyecto para continuar
desarrollando soluciones innovadoras para comunidades en situación de riesgo. Los métodos y las
herramientas creadas durante el proyecto fueron integrados en una plataforma de aprendizaje
colaborativo en línea, también conocido como “caja de herramientas de replicación”. Se espera que esta
“caja de herramientas” se convierta en una plataforma integral de gestión del conocimiento que permita
la replicación del componente de intervención del proyecto, contribuya a la recaudación de fondos y
promueva la colaboración con otras organizaciones scouts, el gobierno mexicano y otros actores
interesados. ASMAC sería directamente responsable de la operación y el financiamiento de la
plataforma.
El componente de intervención del proyecto se concentró principalmente en la prestación de servicios
educativos no-formales derivados de los principios y el método del Movimiento Scout internacional, así
como del proyecto educativo de Scouts de México, que se adaptó a las circunstancias especiales de los
jóvenes en situación de riesgo en los tres polígonos5. Estos servicios se proporcionaron a través de tres
Centros Juveniles y, después del segundo año del proyecto, a través de la creación de tres Grupos Scout
afiliados a ASMAC—un centro juvenil y un grupo scout por cada polígono6. Los servicios específicos
proporcionados variaron de un centro a otro a lo largo del tiempo y eran la responsabilidad, tanto del
personal del proyecto, como de un grupo rotativo de voluntarios locales, nacionales e internacionales—
la mayoría de ellos miembros del Movimiento Scout y, en las etapas finales del proyecto, algunos de ellos
provenientes de las propias comunidades. Cabe señalar que aunque el financiamiento de los Centros
Juveniles acabó con el proyecto, se espera que los tres grupos scouts continúen operando de manera
semiautónoma afiliados a ASMAC y que desarrollen sus propias fuentes de financiamiento, como el
resto de grupos scouts del país7. Por otra parte, se espera que los grupos scouts continúen prestando
algunos de los servicios proporcionados por el proyecto bajo la dirección de líderes reclutados en las
propias comunidades, aunque a una menor escala.
La prestación de servicios de educación no-formal y el desarrollo de capacidades personales e
interpersonales están vinculados a través de un marco estratégico que identifica tres aspectos claves de
desarrollo—que comprenden diferentes áreas de desarrollo de los beneficiarios—y cuatro enfoques
educativos correspondientes a cada uno de estos aspectos (Ilustración 1). Los tres aspectos clave del
desarrollo de los beneficiarios se pueden resumir de la siguiente manera:
5 Más información acerca de los principios y el método del Movimiento Scout se pueden ver en la página web de la
Organización Mundial del Movimiento (http://www.scout.org/) y la página web de la Asociación de Scouts de
México (http://www.scouts.org.mx/). 6 Un grupo scout es la unidad más pequeña del movimiento scout. Está compuesta por diferentes secciones
agrupadas por edades. Se espera que opere de manera semiautónoma y que siga las políticas del Movimiento Scout
y la asociación nacional correspondiente. 7 Cabe destacar que el centro de Granjas Familiares permanece abierto bajo el liderazgo de la comunidad pero los
otros dos se cerraron a la conclusión del proyecto.
10
Carácter. Desarrollo de habilidades personales e interpersonales ("aprender a ser y estar juntos")
y la adopción del sistema de valores del Movimiento Scout, generalmente conocido como la
Promesa y la Ley Scout, como base para la resiliencia psicológica.
Educación. Desarrollo de habilidades de lenguaje, matemáticas y razonamiento lógico, así como
habilidades “suaves” de empleabilidad a través de "aprender haciendo."
Liderazgo. Educación para la ciudadanía global y el liderazgo social; desarrollo de competencias
relacionadas con el diseño y la gestión de proyectos sociales—también aplica para los
voluntarios.
Los cuatro enfoques educativos asociados a cada aspecto de desarrollo se pueden resumir de la
siguiente manera:
a) Brújula (relacionado con Carácter). Proporciona herramientas para la identificación de factores
de riesgo y de protección, y las necesidades de apoyo psicosocial de los beneficiarios en lo
individual, así como protocolos para referir a terceros a aquellos individuos que requieren
apoyo especializado o asistencia legal.
b) Linterna (relacionado con Educación). Se enfoca en la reducción de la tasa de deserción escolar
de los beneficiarios, promoviendo transiciones escolares efectivas y mayor alfabetismo.
c) Insignia (relacionado con la Educación). Se centra en el desarrollo de habilidades “suaves” de
empleabilidad, llevando a cabo actividades asociadas con la obtención de insignias de mérito
scout y el enfoque de inteligencias múltiples.
d) Jóvenes Ciudadanos (relacionado con Liderazgo). Proporciona oportunidades para el desarrollo
de habilidades de liderazgo social, tanto para los beneficiarios como los voluntarios. Se basa en
programa Scouts del Mundo.
Ilustración 1: Aspectos clave del desarrollo y enfoques educativos
Enfoques educativos (desarrollo de las habilidades de los
voluntarios)
Aspectos clave del desarrollo de beneficiarios
Proposito
Fortalecimiento de capacidades de jóvenes en
riesgo
Carácter
Brújula
Educación
Linterna Insignia
Liderazgo
Ciudadanos Jóvenes
11
MÉTODOLOGÍA Y ALCANCES DE
LA EVALUACIÓN
METODOLOGÍA
La evaluación empleó una metodología mixta para proporcionar una visión más completa de los
resultados del proyecto y su potencial de replicación, incluyendo una evaluación de diseño así como un
análisis cuantitativo y cualitativo de los resultados del proyecto. Para los aspectos cuantitativos del
análisis, el equipo de evaluación optó por utilizar exclusivamente los datos recabados por el personal del
proyecto a través de su proceso de monitoreo y evaluación (M&E) por consideraciones de tiempo y
disponibilidad de los beneficiarios. Para los aspectos cualitativos, el equipo de evaluación se basó en
entrevistas semiestructuradas y grupos de enfoque, así como técnicas de observación estructurada.
Ambos componentes de la evaluación se llevaron a cabo en paralelo con el objetivo de maximizar la
capacidad del equipo de evaluación para formular sus conclusiones y recomendaciones dentro del
tiempo asignado. (Véase la Tabla 1 para un desglose de los distintos aspectos de la metodología y cómo
se relacionan con las preguntas de evaluación; se incluye información más detallada acerca de los
instrumentos y protocolos de la recolección de datos en el anexo 2).
Tabla 1: Preguntas de la evaluación y metodología (N/A = No aplica)
Preguntas de la Evaluación
Recolección de
datos / métodos
de análisis
Fuente de datos
Tamaño de la
muestra / Número
de participantes
1. ¿El diseño del proyecto tiene los
elementos necesarios para lograr
los resultados esperados en
carácter, educación y liderazgo en el
grupo de intervención?
Evaluación de diseño Documentación del
proyecto N/A
Entrevistas
Personal del
proyecto
Autoridades locales
Actores no-
gubernamentales
locales
12 entrevistas
Grupos de enfoque Voluntarios del
proyecto 7 voluntarios
2. ¿El diseño del proyecto tiene los
elementos necesarios para medir
los indicadores relacionados con los
resultados (outcomes) esperados en
carácter, educación y liderazgo en el
grupo de intervención??
Evaluación de diseño Documentación del
proyecto N/A
3. ¿Cuál es la magnitud de los
resultados obtenidos para cada
indicador de servicio (output) y
Análisis estadístico
de los datos M&E del
proyecto
Datos M&E del
proyecto N/A
12
Preguntas de la Evaluación
Recolección de
datos / métodos
de análisis
Fuente de datos
Tamaño de la
muestra / Número
de participantes
resultado (outcome), así como su
contribución a la consecución de los
resultados comunes de USAID?
Grupos de enfoque
Beneficiarios
Jefes de familia
Voluntarios
26 beneficiarios
(divididos por edades en
3 grupos de enfoque,
selección aleatoria de
participantes)
7 jefes de familia
7 voluntarios
4. ¿Se fomentan otros resultados de
desarrollo o externalidades a través
de la implementación del proyecto,
distintos a aquellos reflejados en los
indicadores oficiales, ya sea para los
participantes o terceros en las
zonas de intervención?
Observación
estructurada
Base de datos geo-
referenciados del
proyecto
Visitas al sitio
N/A
Grupos de enfoque Padres 7 jefes de familia (todas
mujeres)
Entrevistas
Autoridades locales
Actores no
gubernamentales
locales
8 entrevistas
5. ¿El modelo puede ser replicado en
otras comunidades? ¿Cómo se
puede fortalecer?
Entrevistas
semiestructuradas
Grupos de enfoque
Estudio de gabinete
Personal del
proyecto
Voluntarios
Padres
Actores no
gubernamentales
locales
Autoridades locales
N/A
ALCANCES
El proyecto puso en marcha un plan ambicioso de M&E que cubre la mayor parte de las actividades del
proyecto y produjo una cantidad significativa de datos sobre las características y la evolución de algunos
de los beneficiarios. Cabe señalar, sin embargo, que el personal del proyecto se vio obligado a hacer
ajustes y revisiones significativas a su plan de M&E durante la fase de ejecución y encontró problemas
importantes para llevar a cabo las pruebas estandarizadas de habilidades de lenguaje y matemáticas, así
como pruebas de resiliencia. Esto se debió en parte debido a que se descontinuó la Evaluación Nacional
de Logro Académico en Centros Escolares (Prueba Enlace8) –la principal fuente de datos estandarizados
sobre desempeño escolar–, así como a otros problemas de recolección de datos derivados de la falta de
recursos humanos y tecnológicos adecuados. El área de M&E del proyecto fue capaz de atender estos
problemas eventualmente y fortalecer sus procesos, pero las bases de datos resultantes están
incompletas y por tanto no fue posible realizar un análisis estadísticamente válido de la población
8 La Prueba Enlace era una evaluación nacional de rendimiento académico estandarizada, administrada a estudiantes
de primaria y secundaria entre 2006 y 2014. Medía el desempeño de los alumnos en español, comunicación y
matemáticas. La prueba será reemplazada en 2015 por una nueva batería de pruebas llamada Planea, o Plan
Nacional de Evaluación de Aprendizajes, que abarca un conjunto de habilidades más amplio.
13
beneficiaria en su conjunto, a pesar de que permiten analizar algunas de las características y la evolución
de un subconjunto pequeño de los beneficiarios.
Dadas las limitaciones mencionadas de los datos cuantitativos disponibles, la evaluación final se basó de
manera principal en el análisis cualitativo para llegar a sus conclusiones. Esto se considera apropiado
dado que se trata de una evaluación de desempeño y no una de impacto; además de que se hicieron
esfuerzos para reducir los sesgos inherentes a los métodos cualitativos y mejorar la representatividad de
los resultados. Con el fin de reducir el sesgo inherente a los grupos de enfoque y entrevistas semi-
estructuradas, se garantizó el anonimato de todos los participantes y ningún directivo del proyecto
observó o participó en las entrevistas, a menos que ellos mismos estuvieran siendo entrevistados. Se
informó también a los encuestados que el equipo de evaluación no formaba parte del proyecto y que la
evaluación y el reporte se elaboraría de manera independiente. Por otra parte, los beneficiarios que
participaron en los grupos de enfoque se seleccionaron a través de un método de muestreo aleatorio
estratificado que consideró el género, sección (grupo de edad) y polígono de origen—el resto de los
entrevistados fueron propuestos por el personal del proyecto y aprobados por el equipo de evaluación.
Asimismo, los evaluadores están satisfechos respecto de que ninguna de las personas entrevistadas tenía
un interés personal o institucional en la replicación del proyecto.
Finalmente, la observación estructurada se realizó solamente en Camino Verde y Granjas Familiares y se
complementó con los datos geo-referenciados recolectados por el personal del proyecto. No se realizó
observación estructurada de Mariano Matamoros por falta de tiempo y de personal. Sin embargo, un
miembro del equipo de evaluación había visitado la comunidad previamente y su experiencia, así como
las respuestas de los beneficiarios y otras fuentes secundarias disponibles, permitieron confirmar que
tiene características similares a las de los otros dos polígonos.
El equipo de evaluación también considera relevante señalar que el personal del proyecto proporcionó
material de entrevistas en video con los beneficiarios que resultaron en su mayoría consistentes con los
resultados de los grupos de enfoque. Se determinó, sin embargo, que no era adecuado incluir estos
videos en el análisis final debido a que las entrevistas:
Fueron realizadas por el personal del proyecto y el criterio de selección de los entrevistados no
fue definido claramente, lo que podría haber introducido un sesgo en las respuestas de los
beneficiarios.
No reflejan interacciones regulares.
Hacen referencia a procesos, comportamiento, rendimiento y actitudes, pero no profundizan en
estos aspectos. Tampoco hacen referencia a periodos de tiempo específicos, lo cual dificulta
determinar si el progreso de los beneficiarios ocurrió dentro del período de la intervención.
14
HALLAZGOS, CONCLUSIONES Y
RECOMENDACIONES
HALLAZGOS
El proyecto Experiencia Scout fue diseñado desde un enfoque de gestión basada en resultados (GBR) en
lugar de uno de marco lógico. El enfoque de gestión basada en resultados tiene la ventaja de que
proporciona mayor flexibilidad para adaptarse a las condiciones en el terreno, incorporando la
experiencia de implementación—lo cual es particularmente útil cuando hay poca o nula información
disponible en la etapa de diseño del proyecto, como es el caso de los polígonos de Tijuana. El diseño del
proyecto privilegiaba por tanto la capacidad de adaptación y otorgaba prioridad a incorporar la
información recabada por el personal y los voluntarios durante el transcurso de sus actividades y las
herramientas desarrolladas por el componente de laboratorio de innovación educativa. Esto condujo a
ajustes significativos a lo largo del proyecto, lo que por otra parte, hace difícil realizar una evaluación
simple de su diseño o de sus productos y resultados.
Con el fin de ofrecer una visión más comprensiva del proyecto y sus resultados, la sección de hallazgos
se organiza en función de los diferentes aspectos del análisis realizado por el equipo de evaluación y se
concentra en los aspectos específicos que se estima tienen mayor impacto sobre los resultados,
sustentabilidad y potencial de replicación del proyecto. Una descripción detallada de las actividades
realizadas se puede encontrar en la sección de antecedentes de este informe y en la página web del
proyecto9.
1. Evaluación del diseño del proyecto
Mientras que la población potencial beneficiaria está relativamente bien definida en toda la
documentación del proyecto, no queda claro cómo se define el grupo de intervención. Tanto los
indicadores del proyecto como los indicadores comunes de USAID se refieren solamente a los jóvenes
en situación de riesgo que participaron en las actividades del proyecto, pero no distinguen el nivel y la
regularidad de esta participación. Esto es, los indicadores asumen que los beneficiarios que participaron
de forma esporádica en las actividades del proyecto son funcionalmente equivalentes a aquellos que
recibieron servicios de educación no-formal y apoyo continuo a lo largo del proyecto, incluyendo
aquellos que eventualmente se convirtieron en miembros de uno de los grupos scouts.
Esto es particularmente problemático dadas las diferencias que podrían esperarse entre los resultados
observables en los participantes esporádicos y los regulares. Es posible que un beneficiario que participó
sólo esporádicamente en las actividades del proyecto pudiera haber adquirido algunas habilidades y
recibido cierto nivel de apoyo. Sin embargo, la propia teoría de impacto del proyecto asume que los
cambios duraderos en carácter, educación y liderazgo requieren una participación regular, cuando no la
adopción formal del sistema de valores del Movimiento Scout. Por otra parte, los efectos del proyecto
en los participantes esporádicos no serían observables, ya que no hay manera de medir de manera
9 La página web del proyecto se puede ver en el siguiente enlace: http://www.experienciascout.org.mx/?lang=en
15
significativa su progreso a través del tiempo: no es posible evaluarlos a intervalos regulares, al igual que
no es posible que puedan participar en todos los ejercicios de evaluación cualitativa10.
El proyecto atendió parcialmente este problema mediante el desarrollo de un conjunto alternativo de
indicadores de desempeño, adicional al que se estableció en el Acuerdo de Cooperación (CA) entre
USAID y ASMAC y los indicadores comunes del Pilar IV. Este segundo conjunto de indicadores fue
diseñado a mediados del proyecto (mayo de 2014) e incorporado en el Plan de Monitoreo y Evaluación
(PME). Es considerablemente diferente al original, como se muestra en la Tabla 2, lo que evidencia los
problemas para recolectar los datos necesarios para los indicadores originales así como la propia
evolución del proyecto.
Tabla 2: Indicadores de resultados (outcomes) y prestación de servicios (outputs):
Experiencia Scout, Listos para la Vida (ESLV)
Resultados/Servicios
(Resumen narrativo) Indicadores Originales (CA)
Indicadores Adicionales
(PME)
Resultado (Outcome) 1: Aumentar la
capacidad de los Jóvenes
(Los jóvenes de 7 a 29 años de edad en
Tijuana aumentan su capacidad para
desempeñar una función productiva en
la comunidad.)
Porcentaje de jóvenes que
participa en las actividades de
ESLV que no ha terminado la
educación primaria, secundaria o
medio superior y se inscribe en un
sistema de educación formal. Número de beneficiarios en
la escuela que participan en
el programa de ESLV que
permanece en la escuela
primaria o secundaria.
Porcentaje de estudiantes que
participa en actividades ESLV que
logra una transición exitosa de
educación primaria a secundaria.
Porcentaje de jóvenes que
participan en actividades ESLV que
muestra mejoras en su calificación
de la evaluación de resiliencia
psicológica.
Servicio (Output) 1.1 Carácter
(Los jóvenes 7 a 29 años de edad
beneficiarios del proyecto tienen acceso
a las actividades de educación no-
formal que fortalecen sus habilidades y
capacidades relacionadas con la
sociabilidad, la afectividad, el carácter,
la creatividad y la corporalidad.)
Porcentaje de jóvenes de entre 7 y
29 años de edad que participan en
el proyecto ESLV que adquieren
los conocimientos, actitudes y
prácticas que promueve el
programa educativo del centro
juvenil.
Número de beneficiarios
Scouts que participan en el
programa de ESLV que han
recibido apoyo psicosocial y
educación preventiva para
aumentar su capacidad de
identificar comportamientos
anti-sociales o violentos
(violencia de género,
violencia intrafamiliar, acoso,
trata de personas.)
10 Todos los beneficiarios que participaron en las entrevistas de grupos de enfoque eran parte de un grupo scout y
como tal, beneficiarios regulares del proyecto, ya que la logística de localizar a los beneficiarios esporádicos para
tales ejercicios hacen inviable su inclusión.
16
Resultados/Servicios
(Resumen narrativo) Indicadores Originales (CA)
Indicadores Adicionales
(PME)
Número de jóvenes en
situación de riesgo entre los
7 y 22 años de edad que
adquieren los
conocimientos, actitudes y
prácticas orientadas por el
programa educativo del
centro juvenil.
Número de jóvenes en
situación de riesgo entre los
7 y 29 años de edad que han
recibido al menos una hora
de actividades del programa
educativo ESLV.
Servicio (Output) 1.2 Educación
(Los jóvenes de 7 a 29 años de edad
beneficiarios del proyecto tienen acceso
a las actividades de educación no-
formal que fortalecen sus habilidades y
capacidades de matemáticas, lenguaje y
razonamiento lógico, así como sus
competencias en ecología,
humanidades, comunicación, seguridad,
tecnología y deporte.)
Porcentaje de estudiantes inscritos
que participan en actividades ESLV
que muestran mejoras en su
evaluación de lenguaje.
Número de jóvenes en
situación de riesgo que
recibieron intervenciones de
lectura a nivel primaria y
secundaria.
Porcentaje de estudiantes inscritos
que participan en actividades ESLV
que muestran mejoras en su
evaluación de matemáticas.
Número de insignias de
mérito ganadas por
fortalecer su inventario de
habilidades para la vida
(ecología, humanidades,
comunicación, seguridad,
tecnología y deporte) de
jóvenes en situación de
riesgo que participan en
actividades ESLV.
Porcentaje de jóvenes entre 7 y 29
años de edad que participan en
actividades ESLV que muestran
mejoras en su evaluación de
habilidades para la vida.
Servicio (Output) 1.3 - Liderazgo
(Los jóvenes de 7 a 29 años de edad
beneficiarios del proyecto tienen acceso
a las actividades de educación no-
formal que fortalecen sus habilidades y
capacidades para diseñar e
implementar proyectos en los ámbitos
de la paz, el medio ambiente y el
desarrollo social.)
Porcentaje de jóvenes entre 7 y 29
años de edad que han sido o son
miembros de pandillas locales que
participan en el proyecto y que
han decidido reinscribirse en la
escuela o un programa de
capacitación para el trabajo.
Número de jóvenes en
situación de riesgo que
participan en el programa de
ESLV que se comprometen
voluntariamente a seguir los
valores y principios
específicos relacionados con
la ciudadanía positiva y el
liderazgo comunitario.
Número total de horas de
servicio comunitario
prestado por jóvenes en
situación de riesgo,
destinado a construir un
sentido de pertenencia a la
comunidad, orgullo,
responsabilidad y
preservación del medio
ambiente.
17
Resultados/Servicios
(Resumen narrativo) Indicadores Originales (CA)
Indicadores Adicionales
(PME)
USAID Indicadores Comunes del Pilar
IV
(Aplicable a todos los proyectos del
Pilar IV, como se discutió en la sección
de características del proyecto)
70% de los beneficiarios en
situación de riesgo de jóvenes
(16.6 años) que participan en los
programas financiados por USAID
que han continuado su formación
académica en la escuela.
No aplica.
2,500 jóvenes en situación de
riesgo (7-29 años) que participan
en las actividades del proyecto de
la comunidad de la USAID.
No aplica.
Fuente: Plan de Implementación 2014-2015, Plan de Monitoreo y Evaluación.
El conjunto adicional de indicadores tiene claras ventajas sobre el original. Los indicadores originales
eran más adecuados para medir resultados (outcomes) y eran por lo tanto inadecuados para medir el
nivel de prestación de servicios (outputs), mientras que los adicionales proveen una medición más precisa
en este sentido. Como se establece en el PME y se corroboró en las entrevistas al personal y
voluntarios, resultó ser muy difícil encontrar o desarrollar instrumentos adecuados para medir la
resiliencia psicológica y las habilidades de lenguaje y matemáticas; además de que la recolección de datos
era irregular o limitada en el mejor de los casos. Al enfocarse en los servicios específicos prestados, el
número de horas dedicadas a tareas específicas y los logros individualizados, los nuevos indicadores se
miden con mayor facilidad y más precisión.
La segunda ventaja del conjunto adicional de indicadores es que se alinea a una definición relativamente
más precisa del grupo de beneficiarios, distinguiendo entre los beneficiarios esporádicos y los
beneficiarios scouts, que constituyen el grupo beneficiario principal y por lo tanto podrían caracterizarse
como el grupo de intervención real. Los indicadores relacionados con insignias de mérito—que sólo se
conceden a los scouts—y la prestación de servicios de apoyo psicosocial para beneficiarios scout—en
lugar de los beneficiarios en general—proporcionan una medición más precisa del verdadero alcance del
proyecto y, más importante aún, se enfocan en los beneficiarios que en realidad podrían mostrar
resultados duraderos.
Cabe señalar, sin embargo, que mientras que los ajustes intermedios representan un avance significativo,
el diseño del proyecto original no previó adecuadamente los requerimientos del proceso de M&E. No se
establecieron ni una línea base para los beneficiarios, ni mecanismos para el seguimiento de su progreso
a través del tiempo. Tampoco se asignaron suficientes recursos humanos a estas tareas durante las
primeras etapas del proyecto. Como resultado, como se discute a continuación, no es posible
determinar cuantitativamente la magnitud de los resultados obtenidos.
2. Análisis cuantitativo de los resultados observados
El equipo de evaluación tuvo acceso a los resultados de tres encuestas aplicadas a través de los centros
juveniles en junio 2014, enero 2015 y junio 2015. También tuvo acceso a los resultados de las pruebas
de lenguaje, matemáticas y resiliencia administradas a algunos de los beneficiarios, así como a los
registros de asistencia elaborados por cada grupo scout y los resultados incluidos en el Reporte
Trimestral del Proyecto (RTP). Sin embargo, después de analizar los datos se determinó que no era
posible llevar a cabo un análisis estadístico de los resultados observados dado la tasa de respuesta de los
beneficiarios era demasiado baja (Gráfico 1).
18
Gráfico 1: Porcentaje de respuesta de las encuestas realizadas
3. Análisis cualitativo de los resultados observados
Los grupos de enfoque con los beneficiarios—quienes fueron agrupados por edades y seleccionados al
azar con el fin de evitar un sesgo de selección—proporcionaron información valiosa acerca de los
cuatro enfoques educativos y como provocaron cambios positivos en sus vidas. También fue posible
obtener información valiosa sobre externalidades positivas con respecto a sus familias y su rendimiento
escolar, lo que fue confirmado por los grupos de enfoque con padres de familia11 y voluntarios12, así
como las entrevistas con otros actores relevantes. Sin embargo, es necesario señalar que hubiera sido
deseable contar con un mejor conjunto de datos para complementar el análisis cualitativo.
Los hallazgos por aspecto de desarrollo y grupo de edad se describen a continuación:
Carácter
Grupo de edad 1 (7-11 años)
Los entrevistados participaron en el proyecto durante entre 3 y 12 meses antes de la realización
del grupo de enfoque. Dijeron que se interesaron en participar al escuchar comentarios al
respecto por parte de sus vecinos o al observar a otros participantes realizando actividades al
aire libre. No identificaron ni mencionaron cambios positivos en sus familias o interacciones
11 Todos los jefes de familia de los grupos de enfoque eran mujeres y al menos uno de sus hijos era miembro de
uno de los grupos scout. 12 Todos los voluntarios entrevistados eran scouts de otros grupos scout en Tijuana. Dos participantes de otras
ciudades participaron inicialmente a través de conferencia a distancia pero la conexión era inestable y finalmente
no fueron incluidos en la evaluación.
17% 15%
22% 22% 23%
15%
36% 36%
23%
15%
33% 33%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
GPS (Resiliencia) Lectura (Velocidad) Matemáticas Español
1era Evaluación
2da Evaluación
3ra Evaluación
19
escolares durante su participación en el programa, pero mencionaron que aprendieron que los
niños y niñas pueden participar por igual en todas las actividades, además de que las actividades
scout que disfrutan más son los juegos y campamentos. Los participantes dijeron tener confianza
en sus compañeros y se mostraron abiertos y receptivos a los comentarios compartidos durante
la sesión.
El grupo también exhibió la capacidad de detectar problemas en sus áreas de interacción
cotidiana, incluida la recolección de basura y conflictos vecinales. El aspecto más significativo, sin
embargo, fue que algunos de los niños expusieron los problemas que ocurren durante la
temporada de lluvias, mencionando inundaciones en sus casas, daños en sus muebles, ropa y
tener que dormir con sus padres en estas circunstancias.
Por último, la mayoría de los niños que participaron en el grupo de enfoque dijeron que sus
madres y uno de sus padres participaban en las actividades scout con ellos.
Grupo de edad 2 (11-14 años)
En términos de sociabilidad, los beneficiarios expresaron que tomaban en cuenta la opinión y
consejo de sus padres y maestros, pero también hicieron hincapié en la importancia de la
perspectiva de sus líderes scouts. Cuando se habló de cambios detectados en cuanto a la calidad
de sus relaciones con sus hermanos, vecinos o compañeros de clase, uno de los adolescentes
informó que había dejado de golpear a sus hermanas, lo que hacía frecuentemente antes de su
participación en el proyecto debido al ambiente negativo que imperaba en su familia. El mismo
joven dijo que está recibiendo apoyo psicológico ahora.
Además, el grupo declaró claramente que han aprendido durante las actividades del proyecto
que los niños y niñas son capaces de hacer las mismas cosas. En este sentido, uno de los jóvenes
dijo que ha transmitido lo que ha aprendido sobre la equidad de género a su familia, en la que el
machismo es muy prevaleciente. Por otra parte, los participantes expresaron que tienen
suficiente confianza en sus compañeros del grupo scout para compartir sus problemas y están
dispuestos a ofrecer apoyo si alguno de ellos tiene problemas personales, familiares o escolares.
Asimismo, expresaron que se sienten "como en familia" dentro del grupo y que pueden contar
con el si tienen problemas.
Grupo de edad 3 (14-21)
Los participantes mencionaron que sentían apoyo de la "hermandad" entre ellos: "Son de mi
edad, por lo que se enfrentan a los mismos problemas que yo." Uno de los participantes en el
grupo focal mencionó que ha mejorado la forma en que trata a sus compañeros de escuela
desde que se convirtió en un scout, mientras que otra señaló que solía faltarle el respeto a sus
padres, pero ahora se comunica mucho mejor con ellos, sobre todo con su madre. "Hoy soy
una persona que piensa antes de actuar", destacó uno de ellos. Finalmente, los participantes
manifestaron que para ellos es claro que los hombres y las mujeres valen lo mismo y ambos
géneros pueden tener éxito en cualquier actividad. Algunos de ellos dijeron que aprendieron
sobre la equidad de género en el programa, mientras que otros dijeron que ya la entendían
anteriormente.
20
Educación
Grupo de edad 1 (7-11 años)
Los niños declararon que tienen buen desempeño en la escuela, y expresaron su agradecimiento
por la oportunidad de aprender matemáticas, ciencias y lenguaje. Dijeron que a menudo deben
utilizar sus habilidades matemáticas durante los juegos que realizan como parte de las actividades
scout.
Cuando se les preguntó si conocían de casos de niños que no asisten a la escuela, todos los
participantes dijeron que todos sus compañeros ya asistían a la escuela antes de unirse al
programa. Afirmaron que los niños que requerían asistencia académica adicional recibieron
apoyo de los voluntarios.
Grupo de edad 2 (11-14 años)
El grupo mostró entusiasmo con algunas competencias específicas adquiridas durante las
actividades del proyecto, tales como idiomas, deportes, comunicación oral—que requiere
investigación—y otras relacionadas con el medio ambiente. También expresaron orgullo al
obtener insignias scout. Cuando se le preguntó sobre cambios en su rendimiento académico
desde su participación en el proyecto, uno de los participantes del grupo dijo que "cuando
estaba en la primaria, solía ausentarme muchos días y no entregaba tareas" porque no tenía
interés en la escuela, mientras que ahora que es estudiante de secundaria se considera
excepcional. Otro participante dijo que los scouts y voluntarios los ayudaban con las tareas
escolares. Sin embargo, el grupo también admitió, que algunos de sus compañeros scouts siguen
fuera del sistema de educación formal, principalmente a causa de dificultades económicas.
Grupo de edad 3 (14-21 años)
El grupo hizo hincapié en que se desenvuelven mejor en la escuela debido a la ayuda que reciben
como parte del programa de los Scouts. De particular interés es el caso de un joven que se
reinscribió en un sistema de educación formal para adultos con el apoyo del proyecto. Dijo que
había abandonado la escuela debido a dificultades económicas, pero quería volver a inscribirse
con el fin de conseguir un trabajo y obtuvo la ayuda y motivación necesarias de un voluntario.
Liderazgo
Grupo de edad 1 (7-11 años)
No aplica.
Grupo de edad 2 (11-14 años)
El grupo mencionó el vandalismo y la presencia de basura como los principales problemas de su
comunidad. Cuando se les preguntó qué podían hacer para abordar estos problemas, la mayoría
de ellos contestaron que invitarían a los vándalos a unirse a los Scouts. Sobre el problema de
recolección de basura en sus comunidades, señalaron que han participado en actividades de
limpieza.
21
Grupo de edad 3 (14-21 años)
Cuando se les preguntó acerca de las iniciativas que han emprendido como parte de los Scouts,
se habló de dos que eran particularmente significativas para ellos. La primera de ellas fue solicitar
a las autoridades municipales instalar contenedores de basura en un lugar problemático en
Mariano Matamoros, donde los vecinos tiran basura al aire libre. Cuando no recibieron
respuesta, plantaron árboles en el lugar y quedaron satisfechos al observar que los vecinos
dejaron de tirar la basura en el sitio. El segundo fue un proyecto con el fin de reclutar a más
jóvenes al programa Scout mediante visitas a escuelas y espacios públicos.
Los grupos de enfoque con los padres de familia y voluntarios y las entrevistas semi-estructuradas con
funcionarios del gobierno local y los actores no gubernamentales locales corroboraron los resultados de
los grupos de enfoque con beneficiarios. Las principales conclusiones se pueden resumir de la siguiente
manera:
Entrevistas de grupos de enfoque de padres de familia
Los padres de familia señalaron que el Grupo Scout es una alternativa saludable para sus hijos,
que de otra manera pasarían tiempo en la calle o en sus casas sin alguna actividad física. Algunos
afirmaron que habían considerado los scouts como una actividad para sus hijos previamente,
pero les pareció inaccesible debido a problemas financieros o logísticos. Otros señalaron que
habían inscrito a sus hijos en los scouts por la fuerza, pero que después de un tiempo, y sobre
todo después del primer viaje de campamento, estaban muy motivados para continuar.
Todos los padres de familia estuvieron de acuerdo en que llevan vidas muy estresantes y que
eso tiene un impacto negativo en sus dinámicas familiares. Las actividades scouts proporcionan
una forma de revertir algunas de esas dinámicas y mejorar la relación con sus hijos. Aquellos que
asumieron roles de liderazgo en los grupos scouts lo consideran como una experiencia de
aprendizaje extraordinaria.
Entrevistas de grupos de enfoque con los voluntarios
Los voluntarios señalaron que hubo una curva de aprendizaje considerable. Aunque ninguno de
ellos tenía experiencia pedagógica previa, todos sentían que podían confiar en su experiencia
scout y las herramientas puestas a su disposición con el fin de cumplir con su función. Algunos
señalaron que los beneficiarios más pequeños no tenían disciplina al principio, pero que el
método scout fue la clave para el desarrollo de la misma.
Todos coincidieron en que los beneficiarios respondieron favorablemente al método scout y
algunos de ellos señalaron que las diferencias socioeconómicas no fueron un problema después
de un tiempo, aunque sí al principio. Por último, hubo un consenso que el uniforme señaliza
confiabilidad y sirve tanto como protección como herramienta de reclutamiento.
22
Otras entrevistas
Todos los funcionarios locales y actores no-gubernamentales entrevistados destacaron que los
beneficiarios más destacados eran comunicadores excelentes y muy seguros de sí mismos. Los
funcionarios municipales señalaron que los beneficiarios eran muy educados y disciplinados,
mientras que algunos de los actores no gubernamentales declararon que los beneficiarios se
destacaban entre sus pares.
4. Resultados de las observaciones estructuradas
Como se mencionó previamente, las observaciones estructuradas se realizaron en Camino Verde y
Granjas Familiares, pero no en Mariano Matamoros. El equipo de evaluación también examinó informes
de las autoridades locales y federales con respecto a los tres polígonos y encontró que Mariano
Matamoros y Camino Verde se consideran como zonas de alto riesgo, mientras que Granjas Familiares
se considera como prioridad para el Gobierno Federal, pero los gobiernos estatales y municipales lo
consideran una zona de riesgo medio. El equipo de evaluación también examinó los datos recolectados
por el personal del proyecto en lo que se refiere a los factores de riesgo y de protección, y la ubicación
de los servicios de transporte y educación, utilizados para determinar la ubicación óptima de los centros
juveniles. Para un resumen de los resultados, consultar la Tabla 3.
Tabla 3: Resultados de las observaciones estructuradas
Polígono Factores de riesgo Factores positivos de la
comunidad
Camino Verde Gran extensión territorial.
Considerado una vecindad de
alto riesgo por las
autoridades estatales y
municipales.
Servicios públicos deficientes
(seguridad pública, salud,
educación, transporte,
recolección de basura).
Deslizamientos / riesgo de
inundación.
Actividades de pandillas.
Actividades de prostitución
infantil.
Narcomenudeo.
Presencia de varios
programas y proyectos de
desarrollo social no
gubernamentales y
gubernamentales.
Granjas Familiares Actividad de pandillas.
Narcomenudeo.
Deslizamientos / riesgo de
inundación.
Asociación de vecinos fuerte.
23
5. Contribución a la Estrategia de Cooperación para el Desarrollo del País de
USAID/México
El equipo de evaluación identificó una contribución potencialmente significativa a la Estrategia de
Cooperación para el Desarrollo del País de USAID/México (CDCS) en el marco del “Objetivo de
Desarrollo 1: Modelos de prevención del delito y la violencia replicados por actores locales", y
específicamente del "Resultado Intermedio 1.3: Aumentó la capacidad de jóvenes en situaciones de
riesgo para desempeñar un papel productivo en sus comunidades". También identificó una contribución
potencialmente significativa a la Política de Equidad de Género y Empoderamiento de la Mujer, en lo que
respecta al resultado esperado definido como: "Aumentar la capacidad de las mujeres y las niñas para
conocer y hacer valer sus derechos, determinar su proyecto de vida e incidir en los procesos de toma
de decisiones en sus hogares, comunidades y sociedades". Aunque evaluar la magnitud de estas
contribuciones requeriría una evaluación de impacto independiente, las aportaciones se pueden detallar
de la manera siguiente:
a) IR 1.3: Aumentó la capacidad de jóvenes en situaciones de riesgo para desempeñar un papel
productivo en sus comunidades
Como se mencionó previamente, el programa tuvo éxito en localizar y atender a jóvenes en
situación de riesgo en los tres polígonos. A pesar de que no es posible determinar en este momento
cual será el papel de los beneficiarios en sus comunidades en el futuro, se observó que estos han
participado en actividades destinadas a mejorar su entorno e incluso algunos han comenzado a
desarrollar iniciativas propias. Más importante aún, los tres grupos de scouts han desarrollado una
identidad colectiva positiva que sirve como contrapunto útil ante alternativas potencialmente
perniciosas o peligrosas, como las pandillas. Como scouts, parece que los beneficiarios se han vuelto
más conscientes de la necesidad de establecer un ejemplo para sus compañeros.
b) Aumentar la capacidad de las mujeres y las niñas para conocer y hacer valer sus derechos,
determinar su proyecto de vida e incidir en los procesos de toma de decisiones en sus hogares,
comunidades y sociedades.
Como se ha mencionado previamente, los grupos de enfoque permitieron al equipo de evaluación
identificar una tendencia clara y consistente a favor de la equidad de género entre los beneficiarios,
que en algunos casos puede atribuirse a su participación en el proyecto. Cabe señalar que en el
marco de los grupos scout se espera que los beneficiarios masculinos y femeninos participen en las
mismas actividades y, en su caso, asuman las mismas funciones de liderazgo. Lo mismo se observó
entre los voluntarios de los grupos de scouts regulares y entre los voluntarios adultos de la
comunidad. Por otra parte, en todos los grupos de edad, las mujeres representaron un promedio de
45% del número total de beneficiarios13, lo cual es un logro significativo, dado el contexto de la
juventud en situaciones de riesgo en México (Gráfico 2).
13 Tomando en cuenta únicamente los beneficiarios para los cuales se disponía información de edad y de género y
que participaron en las actividades del grupo de forma regular.
24
Gráfico 2: Distribución de genero de beneficiarios por grupos de edad*
6. Contribución a los esfuerzos del Gobierno de México para prevenir la violencia
y el delito
El proyecto Experiencia Scout: Listos para la Vida (ESLV) presenta dos contribuciones potenciales
importantes para los esfuerzos del Gobierno de México (GDM) en lo que concierne la prevención de la
la violencia y el delito en el marco del Programa Nacional para la Prevención Social de la Violencia y el
Delito (PNPSVD). La primera es el éxito de ESLV en localizar a jóvenes en situación de riesgo con un
enfoque de prevención a nivel de secundario14, que está alineado con el Objetivo 2 del PNPVSD:
"Reducir la vulnerabilidad de comunidades de atención prioritaria ante la delincuencia y la violencia"
(Secretaría de Gobernación, 2014). El segundo es el proceso de aprendizaje del proyecto en relación
con el diseño y la implementación de los procesos de M&E en los polígonos en situación de riesgo.
Como se ha establecido en estudios previos, la identificación y atención de la población objetivo ha
demostrado ser un desafío importante para las intervenciones implementadas bajo el marco del
PNPSVD (México Evalúa, 2015; México Evalúa, 2014). En este sentido, se debe destacar que el proyecto
ESLV tuvo una población objetiva relativamente bien definida—jóvenes en situación de riesgo de 7 a
29—y la capacidad para atenderla con eficacia, como se pudo observar en los grupos de enfoque, en los
que se determinó que los beneficiarios están expuestos a cuando menos un factor de riesgo reconocido,
incluyendo la deserción escolar y la violencia doméstica15. En este sentido, el equipo de evaluación pudo
comprobar que varios beneficiarios se reinscribieron en un sistema de educación formal como resultado
14 En un modelo de salud pública, la atención a nivel secundario se refiere a las acciones dirigidas a las comunidades
en las que hay factores de riesgo significativos para cualquiera de victimización o comportamiento criminal
(UNODC, 2010). 15 Véase Farrinton & Welsh (2007, p. 55) y Secretaría de Gobernación (2014, p. 24)
0 20 40 60
16 a 18 años
11 a 15 años
7 a 10 años
7
55
52
6
44
43
Mujeres
Hombres
Fuente: Registros de asistencia 2015. *Sólo incluye beneficiarios para los que había información de género y edad.
25
de su participación en el proyecto y varios otros reportaron una mejoría significativa en la dinámica de
sus familias, lo que constituye factores de protección contra la delincuencia y la violencia. El equipo de
evaluación también pudo observar un aumento en la empatía de los beneficiarios, demostrada por su
capacidad de preocuparse por otros scouts como resultado de su participación en el enfoque educativo
Brújula, lo que también es muy relevante en la prevención de futuras conductas antisociales o violentas
(Farrington y Welsh, 2007, p. 52). El enfoque de ESLV puede ser una referencia valiosa para otros
proyectos dirigidos a jóvenes en situaciones de riesgo en todo el país, en particular en lo que respecta a
la identificación y el reclutamiento de los beneficiarios, pero también con respecto a los servicios que se
les presta.
Por otra parte, el proceso de aprendizaje de M&E del proyecto puede servir como referencia para otros
proyectos dirigidos a jóvenes en situación de riesgo, en particular en relación con el establecimiento de
líneas base para evaluar el desarrollo de los beneficiarios y dar seguimiento a su progreso. Los
problemas encontrados con el uso de herramientas de pruebas estandarizadas y diseño de indicadores
son comunes a otros proyectos que el equipo de evaluación ha evaluado y por lo tanto la experiencia de
ESLV podría y debería ser tomada en cuenta en futuros esfuerzos de implementación
7. Externalidades positivas/negativas
El análisis de los grupos de enfoque de padres de familia y voluntarios, así como las entrevistas con otros
actores permiten suponer que la creación y el funcionamiento de los grupos scouts generaron
externalidades positivas significativas. Los padres de familia destacaron una mejora en su dinámica
familiar como resultado de un cambio de actitud tanto de los beneficiarios como de los propios padres
de familia, incluyendo una mejora en sus habilidades de comunicación y en la calidad de sus actividades
extraescolares. Los voluntarios observaron también un fortalecimiento significativo de sus capacidades
de liderazgo, y una mejor comprensión de los problemas que enfrentan las comunidades en situación de
riesgo en su ciudad—conocimiento que de otro modo hubiera sido inaccesible para ellos. A pesar de
que por lo general los voluntarios no eran jóvenes en situaciones de riesgo, esto se debería considerar
como una externalidad positiva.
Es menos claro cuál fue el impacto del programa sobre instituciones gubernamentales locales y otras
organizaciones no-gubernamentales que trabajan en los polígonos. En el caso de Granjas Familiares, la
presencia del Grupo Scout fortaleció las actividades de la organización comunitaria existente, pero esto
no es necesariamente el caso de Camino Verde y Mariano Matamoros. Además, como se discute a
continuación, hay algunas evidencias de que la inercia burocrática y la competencia entre organizaciones
pudieron haber limitado el alcance de los vínculos entre el proyecto y los actores gubernamentales y no
gubernamentales. En cualquier caso, no se encontraron externalidades negativas.
8. Sustentabilidad y potencial de replicación del proyecto
Como se ha comentado anteriormente, una vez que concluyó la fase de implementación del proyecto se
inició el proceso de transferencia de algunas de las actividades del laboratorio de innovación educativo a
ASMAC y de los grupos scouts a los líderes locales, con el apoyo de la Provincia Baja California y de
otros grupos scouts que ya operaban en Tijuana—designados como "grupos patrocinadores". En cuanto
al componente del laboratorio educativo del proyecto, el equipo de evaluación contó con la
documentación que se incluye en la Plataforma de Aprendizaje Colaborativo/Kit de Herramientas de
Replicación, los cuales serán administrados por ASMAC—el sistema en línea ya era accesible, pero no
26
plenamente funcional al momento de la evaluación. Por su parte, la transferencia del liderazgo de los
grupos de scouts, incluyendo las instalaciones que continuarían operando16, ya se había completado en el
momento en que este informe fue elaborado. Esta transferencia incluyó el establecimiento de un fondo
revolvente que permite financiar hasta 100 membresías para los miembros de cada grupo, así como la
configuración de cuentas de Facebook para facilitar comunicación interna y externa.
Como también se ha comentado anteriormente, se le pidió al equipo de evaluación evaluar la
sustentabilidad y el potencial de replicación del proyecto en otros polígonos. En este contexto, la
sustentabilidad de los resultados del proyecto debe entenderse estrictamente en términos de la
viabilidad de la plataforma de gestión de conocimiento y la de los grupos scouts creados por el
proyecto. Del mismo modo, el potencial de replicación del proyecto se refiere estrictamente a su
componente de intervención y no al esfuerzo del laboratorio de innovación educativa, el cual será
descontinuado como un esfuerzo centralizado y se transformará en un esfuerzo abierto y colaborativo.
A fin de evaluar el potencial de replicación y la sustentabilidad de los resultados del proyecto, el equipo
de evaluación desarrolló dos modelos. El primero es un modelo simple de los componentes de
intervención del proyecto que considera sólo las necesidades más básicas para el diseño e
implementación de cualquier esfuerzo de replicación en el futuro. El otro aproxima el funcionamiento de
un grupo scout básico y las condiciones mínimas de viabilidad de éste. Después, se solicitó la perspectiva
de los entrevistados sobre los diferentes aspectos de ambos modelos con el fin de establecer su validez.
A través de este proceso se determinó que para que cualquier esfuerzo de replicación tenga éxito, así
como para asegurar la sustentabilidad de los resultados del proyecto Experiencia Scout, se tiene que
cumplir con tres condiciones clave:
a) Reclutamiento y formación de líderes scout locales
Al igual que con cualquier otro grupo scout, la clave para la supervivencia de los grupos scouts
creados en comunidades en situación de riesgo depende de la capacidad de sus líderes para reclutar,
motivar y apoyar a sus miembros—más aún en un ambiente relativamente hostil. El reclutamiento y
formación de líderes de la comunidad es un paso crítico para lograr sustentabilidad a largo plazo. En
el caso del proyecto de ESLV, los entrevistados coincidieron en que los dirigentes actuales están
comprometidos, pero algunos de ellos expresaron preocupación por su capacidad técnica y para
colaborar de manera efectiva y productiva con otros líderes scouts.
b) Apoyo logístico y técnico de la asociación nacional scout y de al menos un grupo scout local, así como
fuentes adicionales de financiación
A través de entrevistas con el personal, los voluntarios, los padres de familia y otros actores locales,
se determinó que las comunidades destinatarias no hubieran sido capaces de iniciar un grupo scout
como los que resultaron de las intervenciones por cuenta propia. También se determinó que los
nuevos grupos no serán capaces de proporcionar el mismo nivel de servicios que el proyecto, lo que
es causa de preocupación para algunos de los entrevistados. Por otra parte, los propios líderes de
los nuevos grupos expresaron la necesidad de recibir asistencia técnica continua y capacitación por
parte otros grupos de scouts y ASMAC. También se determinó que aunque las autoridades locales y
16 Los grupos en Camino Verde y Mariano Matamoros operan en instalaciones o terrenos cedidos por el gobierno
local. Granjas Familiares opera en las instalaciones de la asociación vecinal local en virtud de un acuerdo con
ASMAC.
27
actores no gubernamentales aprecian los resultados del proyecto, no están dispuestos ni son
capaces de proporcionar apoyo a los nuevos grupos de scouts, aduciendo falta de conocimientos
técnicos y ausencia de recursos—y debe señalarse que tal apoyo podría infringir en las preferencias
de ASMAC con respecto a la participación de terceros.
c) Vinculación con la comunidad a través de los líderes y autoridades locales, así como organizaciones no-
gubernamentales que ya trabajan en la zona, si lo hay
El grupo scout de Granjas Familiares ha encontrado una base sólida en la comunidad a través del
patrocinio de la asociación de vecinos local, lo que permitió que el centro juvenil siga funcionando
sin interrupción. Por su parte, el grupo de Mariano Matamoros tiene acceso a 5,000 m2
proporcionados por el Gobierno del Estado a través de un acuerdo con ASMAC, así como a un
campo de deportes municipal local (Unidad Deportiva Mariano Matamoros) pero, al igual que el
grupo scout de Camino Verde, ya no tiene acceso al centro juvenil original. Además, el grupo de
Camino Verde ha encontrado alojamiento temporal en un centro de cultura local a cargo de una
organización local y tiene acceso a un parque público cercano (Parque Lineal), pero al menos dos de
los entrevistados expresaron su preocupación por la viabilidad a largo plazo de este arreglo.
Aunque por lo regular se espera que los grupos scouts hagan uso de las instalaciones públicas locales
disponibles para llevar a cabo sus actividades, la propia evaluación inicial del proyecto resalta el
hecho que hay consideraciones de logística y seguridad que podrían obstaculizar el desarrollo de
nuevos grupos de scouts en comunidades en situación de riesgo.
CONCLUSIONES
Está claro que la experiencia Scout tuvo éxito en localizar y atender a jóvenes en situación de riesgo en
Camino Verde, Mariano Matamoros y Granjas Familiares. También es claro que el proyecto tuvo efectos
positivos en los jóvenes en situación de riesgo en términos de carácter, educación y liderazgo, aunque
no fue posible determinar con exactitud en qué medida. Por otra parte, utilizar los principios, métodos y
reputación del Movimiento Scout demostró ser una estrategia eficaz.
Todavía es demasiado pronto, empero, para determinar si la estrategia de salida del proyecto se realizó
correctamente. Si bien la transferencia a los líderes comunitarios de los grupos scouts creados por el
proyecto se ejecutó sin problemas significativos, hay un cierto consenso de que los nuevos grupos y
nuevos líderes enfrentan importantes desafíos hacia adelante. Al igual que en el caso de la plataforma de
conocimiento, el apoyo continuo de ASMAC será crucial para el éxito a mediano y largo plazo del
proyecto. Es responsabilidad de la organización aprovechar al máximo el proceso de aprendizaje
institucional que se obtuvo y determinar qué prioridad se le dará a este tipo de iniciativas en el futuro.
Por último, se puede establecer que en las condiciones adecuadas, el proyecto es replicable en otras
comunidades en situaciones de riesgo a un costo mucho más bajo, aprovechando las herramientas y
métodos que fueron desarrollados y probados por ESLV. Sin embargo, se requerirá más información y
un seguimiento más preciso de los beneficiarios para determinar la utilidad y eficiencia relativas de
cualquier esfuerzo de replicación futura. Vale la pena destacar que la flexibilidad inherente del proyecto,
que se basa en los puntos fuertes del método scout, hace que sea una apuesta relativamente más segura
que otros métodos no probados.
28
RECOMENDACIONES
Con el fin de mejorar el potencial de replicación y sustentabilidad del proyecto Experiencia Scout, Listos
para la Vida, el equipo de evaluación hace las siguientes recomendaciones:
1) Establecer un mecanismo de seguimiento
Todavía hay muchas incógnitas sobre el futuro de los beneficiarios y la viabilidad de los nuevos grupos
de scouts. No se aconseja, en este momento, asumir que los grupos puedan operar como cualquier otro
grupo scout, ya que hay riesgos y desafíos significativos asociados con el trabajo con jóvenes en
situaciones de riesgo. Sin apoyo decidido y consistente, los resultados obtenidos pueden llegar a ser de
corta duración.
La responsabilidad principal de seguimiento debe ser asignada formalmente tanto a la Provincia Baja
California como a los grupos scouts de Tijuana que fueron designados como patrocinadores. Debe
llevarse a cabo de una manera trimestral y los resultados se deben compartir con la ASMAC en lo que
respecta a cuatro aspectos clave:
a. Niveles de membresía. ¿Ha sido capaz el grupo de continuar el reclutamiento de nuevos
miembros y mantener un nivel de membresía viable?
b. Formación. ¿Han recibido formación continua los líderes de los grupos? ¿Hay opciones de
formación disponibles que no se están aprovechando? ¿Por qué?
c. Financiamiento. ¿Ha sido capaz el grupo de mantener los niveles adecuados de
financiamiento para llevar a cabo un nivel mínimo aceptable de actividades?
d. Amenazas. ¿Existen nuevas amenazas para la continuación de las operaciones del grupo o se
han agudizado las amenazas previamente identificadas?
Cabe destacar que el equipo de evaluación no recomienda que los grupos scouts locales o la
Provincia realicen una evaluación de los resultados observados a nivel de beneficiario individual. El
objetivo del mecanismo de seguimiento es asegurarse de que los nuevos grupos tienen una red de
apoyo formal y un sistema de "alerta temprana" en caso de que necesiten asistencia. Los informes
resultantes pueden ser relativamente breves y no tienen por qué implicar un proceso de revisión
formal, pero se deben de tomar en cuenta en los esfuerzos de implementación futuros.
2) Simplificar los objetivos e indicadores del proyecto
La replicación del laboratorio de innovación educativa es innecesaria y no es aconsejable. Cualquier
intervención que se desarrolle en el futuro debe aprovechar los conocimientos adquiridos durante
el proceso actual y desarrollar nuevas soluciones en un espíritu de colaboración. Antes de diseñar
nuevas intervenciones, los implementadores deberían revisar los materiales con los que cuenta la
plataforma de aprendizaje colaborativo/caja de herramientas de replicación y determinar cuál será el
alcance de sus propios proyectos.
En concreto, las implementaciones futuras deberían tomar en cuenta las dificultades inherentes en el
establecimiento de indicadores cuantitativos para una población beneficiaria que puede variar
significativamente a lo largo del proyecto, ya que ésta es la naturaleza de los grupos scouts. También,
deben tener en cuenta la falta de disponibilidad de herramientas estandarizadas para medir el
rendimiento académico y el desarrollo psicológico, ya que el establecimiento de indicadores de
rendimiento vinculados a ambos aspectos puede resultar poco útil. Se recomienda además que los
nuevos proyectos adopten indicadores básicos de rendimiento, tales como los que ESLV introdujo
después de la revisión intermedia y determinen si es posible incluir más indicadores del desarrollo
29
individual de los beneficiarios en profundidad en función de sus circunstancias.
3) Fortalecer el proceso de M&E y ampliar su ámbito de aplicación
Se deben hacer esfuerzos para que cada nuevo proyecto reúna información sobre los beneficiarios
desde el principio, y sea capaz de realizar un seguimiento a través del tiempo. Esto implica
determinar si es o no es posible establecer valores de referencia para los indicadores sobre una base
individual, vinculados a un número de identificación único para cada beneficiario. Si no es posible
establecer estos valores de referencia, el número único de identificación aún debería ser utilizado
para fines de asistencia y participación. Esta debe ser considerada una responsabilidad clave de
personal y voluntarios.
El seguimiento de la asistencia de los beneficiarios puede ayudar a determinar quién podría ser
sometido a nuevas evaluaciones estandarizadas—aquellos beneficiarios que solo participaron
esporádicamente no deben ser sometidos a más pruebas o evaluaciones, como cualquier resultado
observado no sería necesariamente vinculado a las actividades del proyecto. Además, el área de
M&E debe ser capaz de determinar, después de una cantidad predeterminada de tiempo, si hay
suficientes individuos para llevar a cabo un análisis cuantitativo de las observaciones en los
resultados, suponiendo que haya sido posible establecer una línea de base individual para los
beneficiarios y que sea viable realizar más pruebas. En cualquier caso, el área de M&E debe
incorporar enfoques cualitativos para analizar la dinámica de grupo y de la comunidad. También hay
que tener en cuenta que aunque haya suficientes evaluaciones de referencia y progreso para analizar
una muestra representativa, complementar el análisis cuantitativo con un enfoque cualitativo
proporcionaría una representación más precisa de los resultados del proyecto.
Por último, si se utilizaran encuestas electrónicas para medir el progreso individual, es importante
reducir el uso de preguntas abiertas. Esto ahorrará tiempo al procesar los datos y hará que la
información resultante más fiable.
4) Fomentar mayor cooperación con otras organizaciones no gubernamentales y autoridades locales
Los proyectos serán más resistentes si están más integrados en el ecosistema de programas y
proyectos existente. Se debe poner más esfuerzo en la identificación de sinergias con los programas
gubernamentales y no-gubernamentales existentes, al igual que promover mecanismos de
cooperación formales. Sin embargo, como se observó en el caso de ESLV, esto no es un proceso
sencillo y debe ser consultado con la ASMAC y las autoridades de nivel provincia.
30
ANEXOS
31
ANEXO I: TÉRMINOS DE REFERENCIA
Terms of Reference – Final Project Evaluation
Scout Experience: Ready for life
Asociación de Scouts de México, A.C.
In cooperation with the United States Agency for International Development (USAID).
The purpose of this document is to provide general guidance to research and evaluation institutions
to perform a final program evaluation to the Scout Experience: Ready for life project implemented
in the city of Tijuana by Scouts of Mexico in cooperation with USAID. The elements to be assessed
in this evaluation consist primarily of: data quality, monitoring and evaluation system, program
performance, development results and contribution of the prevention model to the overall youth
and adolescent development environment. A combination of quantitative and qualitative elements is
expected as part of this work.
Context
The Scout Experience: Ready for Life project is a joint effort of Scouts of Mexico and the United
States Agency for International Development (USAID) to support the Mexican Government in
achieving the objectives of Pillar IV “Build strong and resilient communities” of the bilateral Merida
Security Initiative. After more than 30 months of implementation of this project in Tijuana, Mexico
an external program evaluation is required as part of the final reporting process.
Scouts of Mexico is a civil society organization with over 87 years of existence and more than
40,000 members across the country. It provides a non-formal educational program for boys and
girls aged 7 to 21 years of age and offers volunteering opportunities for adults 18 years and older.
The Scout Experience: Ready for life project is an Educational Innovation Lab focused on developing
innovative, replicable and sustainable solutions to strengthen the capacity of at-risk children and
youth in Mexico and around the world, to play an active role in their community. It supports young
people in the heart of Mexico’s most at-risk communities to strengthen their character, improve
their education and play an active role in society. Through the opening of Scout Groups with an
intensive youth program 3 days per week, we work to ensure every child and youth is socially
competent, capable of solving problems, autonomous and with a sense of purpose.
Evaluation Rationale
The main purpose of the final evaluation of this project is to document the results achieved by the
intervention, intended and unintended, established in the project framework and provide
recommendations to Scouts and USAID for future project design and implementation.
The final evaluation will also provide quantitative information regarding progress on the indicators
and targets established in the Monitoring and Evaluation Plan approved by USAID with particular
focus on USAID Common Outcomes and their associated indicator.
32
Primary Evaluation Question
Does the project design have the required elements to achieve the expected outcome level results
in character, education and leadership in the intervention group?
Secondary Evaluation Questions
Does the project design have the required elements to measure the indicators related to outcomes
and outputs on character, education and leadership in the intervention group?
What is the magnitude of the achieved results for each outcome and output level indicator, as well
as the contribution towards the achievement of USAID Common outcomes?
Does project implementation foster any other development results or externalities than those
reflected by official indicators, either for participants or non-participants in the intervention
zones?
Audience
The primary audience of this evaluation will be the USAID Mission in Mexico and Scouts of Mexico,
Scouts of Mexico and USAID Mexico will be responsible for sharing the main findings,
recommendations and lessons learned with key stakeholders and to use them as an input for future
projects.
Evaluation and Design Methodology
The consultant should use a mixed methods evaluation process. The final evaluation will report
quantitative and qualitative information to respond to primary and secondary questions. For the
quantitative part, USAID Mexico has approved a set of project indicators that provide information
about the progress of the expected results; these indicators are stated in the Monitoring and
Evaluation Plan. Scouts will provide to the consultant a database with all the information collected
for the indicators established in the M&E Plan. Additionally, Scouts of Mexico has additional
development indicators that will be included in the assessment.
For the qualitative section, Scouts suggests the consultant incorporates the following tools:
A desk review of the project proposal, project reports and other relevant documentation
related to the Project (i.e. USAID Sub-Award Agreement, USAID Program and Evaluation
Policies, Project Quarterly and Annual Reports, M&E Plan, USAID Strategic Plan for Mexico,
USAID Common Indicators for Crime Prevention Projects and Scouts of Mexico
Educational Objectives).
Interviews and focus groups with key beneficiaries and stakeholders to assess “civic
engagement and build of sense of community pride and responsibility” fostered by the
activities of the project among youth beneficiaries, volunteers, parents, community leaders,
local authorities and other stakeholders on the field. Potential key informants may include
(but are not limited to):
Relevant civil society organizations working in the same field (i.e. Crime and Violence
Prevention Program, International Youth Foundation, etc.)
Project beneficiaries (youth, parents and volunteers)
Project staff
Government counterparts
33
Stakeholders reached throughout the project cycle: local authorities, community leaders,
etc.
Qualitative analysis of video-recorded testimonials from beneficiaries covering areas such as
“character, education and leadership”.
Pre Assessment
The Evaluation Team, making use of their judgment, should decide (weighing collection time versus
reliability) if enough data is available to make statistical analysis or if more data collection is
required. For the qualitative analysis, the evaluation team must weight if available transcripts and
videos are adequate to cover the research topics broadly enough or if more data collection is
needed.
Scouts of Mexico will provide to the evaluation team all the available qualitative and quantitative
data previously collected as well as an exhaustive list of volunteers, community leaders and key
informants contact details.
The final evaluation team will require an undetermined number of field visits to the targeted zones
in Tijuana, Baja California to validate the results of the intervention.
Evaluation Products
The deliverables expected from the final project evaluation are:
Evaluation work plan and detailed methodology, including data collection tools to be
approved by USAID Mexico and Scouts of Mexico. Although the evaluation team may use
their own tailored tools for data collection they are encouraged to make use of previously
collected data in the field by Scouts of Mexico for their analysis (in both cases, the tools
should be presented in the annex).
Fieldwork report to be delivered at the end of the data collection stage (the evaluation
team should state if they decide to solely use previously collected data by Scouts of Mexico,
for such case no report is required).
Draft evaluation report (in Spanish and English) based on the approved Monitoring and
Evaluation Plan and including the statistical analysis of the database provided; to be
submitted electronically no later than September 14 2015. The format of the report should
follow the guidelines and policies listed in the annex.
Once the Draft Evaluation is delivered, Scouts of Mexico has 72 hours to comment on the
Draft Evaluation Report and provide feedback to the Evaluation Team (No later than
September 18, 2015).
Final Evaluation Report (in Spanish and English) that incorporates Scout’s responses to the
Draft Evaluation Report must be submitted no later than 5 days later (No later than
September 25, 2015).
All of the above deliverables should be in compliance with USAID Monitoring and Evaluation
guidelines and quality standards, as well as the policies of USAID TIPS Document series, ADS 252,
253, Annex for ADS 201 and 203.
34
Evaluation Team Composition and Desired Qualifications
Team size
A team of researchers and research assistants to conduct the evaluation with the following 3 key
roles and their corresponding research assistants:
Role 1: One Senior Researcher in charge of coordinating the Final Project Evaluation
Main Functions
Provide technical direction and overall guidance to the evaluation team for all activities
under the project.
Lead the evaluation (mixed method evaluation) and all data collection activities.
Desired qualifications
At least 15 years of experience conducting research on social sciences subjects.
Previous experience conducting participatory and quasi-experimental evaluation and the
ability to write convincing findings and recommendations is required.
Strong organizational, writing, and communications skills.
Fluent in both Spanish and English speaking, reading, and writing.
Previous experience in formal o non-formal education research is a plus.
Role 2: At least one researcher with experience in quantitative methods
Main Functions
Responsible for the design, quality development and production of all data quality
assessment reports.
Assist in the production of evaluations reports and any quantitative assessment.
Analyze quantitative data and the ability to translate key findings into wide written reports
for a broad audience.
Desired qualifications
At least 10 years of experience conducting quasi-experimental evaluations.
Strong skills in strategic analysis, data collection and analysis, identifying trends in data.
Experience writing findings and recommendations in assessment or evaluation reports.
Role 3: At least one researcher with experience in qualitative methods.
Main functions
Supports the Senior Researcher in the elaboration of the Final Report by collecting data via
qualitative approaches and incorporates the views of participants and different stakeholders
into the Evaluation Report.
Complement the Evaluation Report with study cases that support conclusions obtained via
quantitative methods.
Desired qualifications
Experience employing qualitative approaches (i.e. focus groups, interviews, participant
observation, etc.) in social science evaluations.
Experience with logic model or outcome mapping as means of participatory evaluation.
35
Experience conducting social studies with vulnerable populations (preferably with
communities of migrant origin) or experience in Youth Studies research is a plus.
Management of Evaluation Budget
Financial and human resources will be assigned and transferred to the Evaluation Team upon
agreement of these Terms of Reference prior the start of the Final Evaluation Report.
Background References
USAID policies, procedures and tools can be found at:
Education
http://www.usaid.gov/sites/default/files/documents/1870/Education%20Strategy.pdf
Evaluation
http://www.usaid.gov/evaluation
Youth Development
http://www.usaid.gov/policy/youth
Gender and Female Empowerment
http://www.usaid.gov/policy/gender-female-empowerment
Local Systems
http://www.usaid.gov/policy/local-systems-framework
Resilience http://www.usaid.gov/sites/default/files/documents/1870/USAIDResiliencePolicyGuid
anceDocument.pdf
Other useful references are:
Results Based Management – United Nations Development Group
https://undg.org/home/guidance-policies/country-programming-principles/results- based-
management-rbm/
Standards for Evaluation in the UN System – United Nations Evaluation Group
http://www.uneval.org/document/detail/22
Guidelines for Scouting with Children in Especially Difficult Circumstances –
World Organization of the Scout Movement http://scout.org/node/6033
36
ANEXO II: CUESTIONARIO GUÍA DE LOS GRUPOS DE ENFOQUE
Presentación: nombre y colonia, ¿en qué año están?
1. ¿Cómo están, cómo se sienten?
¿Cuáles son los problemas más importantes en su colonia? (Importante ver si identifican el crimen como uno de
los problemas importantes)
2. ¿Por qué entraron a Experiencia Scout?
CARÁCTER
En su grupo o sección o manada, ¿sienten confianza de decirle a sus compañeros cómo se sienten? (A)
Si ustedes ven o se enteran de que un compañero suyo tiene un problema, ¿qué hacen al respecto? (A)
¿Toman en cuenta la opinión o consejos que les dan sus papás, abuelos, o líderes en su grupo scout? (S)
¿Notan algún cambio en ustedes en la forma de llevarse con sus hermanos, vecinos o compañeros de escuela? (S)
¿Consideran que los niños y las niñas son iguales o hay cosas que sólo deben hacer los niños y cosas que solo
deben hacer las niñas? (S)
¿Pueden darme un ejemplo de algo que haya cambiado en ustedes desde que están en los Scouts? (groserías o
peleas) (C)
¿Pueden darme un ejemplo de cómo en su vida cumplen con la promesa Scout? (SOLO 2DO Y 3ER GRUPO) (C)
¿Les interesa aprender cosas nuevas? Por ejemplo, algún juego nuevo, algún deporte (CR)
¿Pueden contarme de algún proyecto o actividad que ustedes hayan propuesto y hayan hecho con los Scouts,
como algún invento, nudo? (CR)
¿Han cambiado hábitos o costumbres para mejorar su salud o para ser más fuertes? (CO)
EDUCACIÓN
¿Cómo van en la escuela desde que están en los Scouts?
¿Alguno de ustedes no estaba en la escuela cuando entró a los Scouts? ¿Qué los animó o qué fue lo que hizo que
decidieran regresar a la escuela?
37
LIDERAZGO
¿Pueden darme un ejemplo de ideas o proyectos que hayan tenido y propuesto en los Scouts? Y en su colonia o
escuela?
¿Cuáles son los principales problemas de su colonia? ¿Qué les gustaría hacer para solucionarlos o qué propondrían?
38
ANEXO III: REFERENCIAS
Farrington, D., & Welsh, B. (2007). Saving children from a life of crime: Early risk factors and effective
interventions. Oxford: Oxford University Press.
IEG. (2012). Designing a Results Framework for Achieving Results: A How to Guide . Obtenido de
http://siteresources.worldbank.org/EXTEVACAPDEV/Resources/designing_results_framework.p
df
México Evalúa. (2015). Prevención del Delito en México: ¿Cuáles son las prioridades? Mexico: Mexico Evalúa.
México Evalúa. (2015). Prevención del Delito: ¿Dónde quedó la evidencia? México: México Evalúa.
OECD. (2009). Measuring Government Activity. Paris: OECD.
Scouts of Mexico. (2015, May 15 ). The Project. Retrieved September 12, 2015, from Scout Experience:
Ready for Life: http://www.experienciascout.org.mx/?page_id=730&lang=en
Secretaría de Gobernación. (14 de Febrero de 2014). Programa Nacional de Prevención Social de la
Violencia y la Delincuencia. Diario Oficial de la Federación.
UNODC. (2010). Handbook on Crime Prevention Guidelines: Making them Work. NY: Criminal Justice
Handbook Series.
USAID. (October de 2012). Youth in Development Policy. Obtenido de
https://www.usaid.gov/sites/default/files/documents/1870/Youth_in_Development_Policy_0.pdf
USAID/Mexico. (April de 2014). Country Development Cooperation Strategy FY 2014 - FY 2018. Obtenido
de
https://www.usaid.gov/sites/default/files/documents/1869/Mexico%20CDCS%202014%202018.pdf