tdr evaluaciÓn de impacto pda consorcio
TRANSCRIPT
TDR EVALUACIÓN DE IMPACTO
PDA – CONSORCIO Apolinar Perdomo – 01802
Adonaí- 01803
El Tesoro - 01804
REPÚBLICA DOMINICANA
Pub l i cado en Santo Domingo , abr i l de 2019
Todos los Derechos reservados
©Wor ld V i s ion
TDR Evaluación Consorcio
2
ÍNDICE
1. ANTECEDENTES ........................................................................................................................................................... 3
2. PÚBLICO OBJETIVO..................................................................................................................................................... 4
3. TIPO DE EVALUACIÓN .............................................................................................................................................. 4
4. PLANTEAMIENTO DE LA EVALUACIÓN ............................................................................................................ 4
5. PROPÓSITO Y OBJETIVOS DE LA EVALUACIÓN ............................................................................................ 5
5.1 PROPÓSITO ...................................................................................................................................................... 5 5.2 OBJETIVOS ........................................................................................................................................................ 5 5.3 INDICADORES A SER EVALUADOS ................................................................................................... 5 5.4 CRITERIOS DE EVALUACIÓN ............................................................................................................... 8
6. METODOLOGÍA ........................................................................................................................................................... 9
6.1 ORGANIZACIÓN Y PREPARACIÓN DEL PROCESO DE EVALUACIÓN ..................... 9 6.2 DISEÑO DE LA MUESTRA ..................................................................................................................... 11 6.3 TAMAÑO DE LA MUESTRA .................................................................................................................. 12 6.4 TIPO DE MUESTREO Y HERRAMIENTAS QUE SE APLICARAN ...................................... 13 6.5 PROBABLE LIMITACIONES .................................................................................................................. 13 6.6 INFORMACIÓN NECESARIA ............................................................................................................... 14 6.7 AUTORIDADES Y RESPONSABILIDADES .................................................................................... 15 6.8 TRABAJO DE CAMPO Y PROCESAMIENTO DE DATOS .................................................... 16 6.9 PRODUCTOS A ENTREGAR ................................................................................................................ 17 6.10 FORMATO DEL INFORME FINAL ..................................................................................................... 17
7. CRONOGRAMA ......................................................................................................................................................... 17
8. MÉTODO DE PAGO………………...…………………………………………………………….……….18
9. ENTREGA DE PROPUESTAS Y PLAZOS………………………………………...…………………….….18
TDR Evaluación Consorcio
3
RECONOCIMIENTOS
Se reconoce el esfuerzo que hacen los líderes comunitarios, el personal de World Vision,
las familias y las niñas y niños para contribuir y ser parte del proceso de desarrollo en el
cual están involucrados dentro de sus comunidades. La presentación de este documento se
debe a ellos y a su participación integral en este proceso de evaluación. Se reconoce con
alto grado de agradecimiento a la comunidad, a los líderes, a las familias, a los centros
educativos y a las niñas y niños por ser la fuente principal de información. Así como el
aporte del personal de campo involucrado en las diferentes etapas del proceso de captura
y consulta de información.
AFIRMACIÓN
El aprendizaje, la información consultada, los documentos de apoyo, la base de datos
resultante y los informes entregados como resultado preliminar y final del proceso son
parte de los requisitos del sistema de Diseño, Monitoreo y Evaluación del departamento
de Operaciones y DME de World Vision República Dominicana; los datos levantados con
la participación de los socios, colaboradores y beneficiarios, permanecerán a la
disposición de las familias, grupos y comunidades que acompaña el programa según sus
documentos oficiales, con la observación de que los mismos no deben ser utilizados,
reproducidos o comercializados sin el consentimiento formal de World Vision.
1. ANTECEDENTES
World Vision fue creada en 1950. Es una organización internacional sin fines lucro, es
cristiana y humanitaria, su visión es que: “Para cada niño y niña, vida en toda su
plenitud, nuestra oración para cada corazón, la voluntad para hacerlo posible”.
Actualmente la intervención de esta organización se ha extendido aproximadamente a 100
países entre los que figura República Dominicana. En el país existen 12 programas de
desarrollo con presencia en 9 provincias y 22 municipios y distritos municipales. Los mismos
ejecutan un promedio de 3 proyectos cada uno. Los PDA se manejan sobre la base de
características comunes y diferenciadoras a la vez por las diferencias en contexto, con el
fin de promover el desarrollo humano y comunitario, por lo que son adaptados a las
necesidades del contexto.
Durante la implementación los programas pasan por varios procesos de rendición de
cuenta entre los que figuran: Reflexión comunitarias para el rediseño, estudios de líneas de
bases y monitoreo de las actividades y productos de los proyectos en este último se espera
que cada proyecto que compone el programa genere un reporte mensual de gestión,
pasado los primeros 6 meses de ejecución un informe de progreso semestral y al finalizar el año un reporte anual de progreso. En este sentido, la base de antecedentes basado en
proceso que conllevan reflexión e investigación está sustentada en lo anterior.
En estos términos se presentan las aproximaciones a las características históricas del
programa, formando las principales consideraciones en estos términos de referencia, para
que permitan hacer la adecuación y el abordaje al evaluar los siguientes tres programas
consolidados en uno a nivel estratégico:
El PDA Consorcio conformado por tres programas (Apolinar Perdomo, Adonaí y Tesoro),
inicio las operaciones de este ciclo el 1 de octubre del 2015 correspondiente al AF 16, la
TDR Evaluación Consorcio
4
programación se realizó para 3 años y en este sentido, el programa ha presentado los
siguientes antecedentes en relación a proceso de Diseño, Monitoreo y evaluación:
Realizo un levantamiento previo al rediseño que llamaron línea de base en el marco
metodológico, la captura de datos fue en el 2016 y presentó el informe de los resultados
en el mes de agosto del 2016.
Cada año el programa presenta dos reportes de rendición de cuenta y mensualmente
realizan reporte de seguimiento.
El programa cubre tres proyectos los mismos ubicados en los municipios Neiba, Galván,
Los Ríos y Villa Jaragua.
2. PÚBLICO OBJETIVO
La población que será el objeto de evaluación, el público desde donde se obtendrá la
información y al mismo tiempo a los que se les rendirá cuenta, con la excepción de las
oficinas de apoyo, y la oficina nacional de World Vision República Dominicana está dividida
entre las siguientes dos categorías:
La audiencia primaria o población principal:
Oficina de apoyo
Oficina Nacional de World Vision República Dominicana
Programa de Área
Los NNAJ, familias, comunidades y líderes comunitarios.
La audiencia secundaria:
Esta se refiere a socios del programa que por diferentes razones quieran conocer la
información resultante de la evaluación:
Población socia en general.
Instituciones Públicas y privadas que intervienen en beneficio de la población del
ámbito del PDA.
3. TIPO DE EVALUACIÓN
La evaluación a realizar es la establecida por los lineamientos y las normas de la
confraternidad y se planteó hacerse desde el diseño, es normativa con algunos
elementos de cambio e impacto, la misma se realiza cada vez que un programa
concluye un ciclo de implementación, con la misma se conocerán los avances de cada
indicador de meta y resultados de los proyectos implementado en la zona de impacto del
PDA. Esta evaluación será realizada por un evaluador interno de World Vision República
Dominicana, es decir un especialista un consultor externo bajo las directrices del presente
TDR y bajo los lineamientos y retroalimentación de DME.
4. PLANTEAMIENTO DE LA EVALUACIÓN
El equipo responsable de la evaluación siempre deberá estar enfocado a responder el
siguiente conjunto de preguntas planteadas para la evaluación:
¿Cuál es el nivel de avance real hacia la meta del programa y los proyectos? ¿Cuáles éxitos
y desafíos se pueden identificar con relación a la aplicación del PDD aprobado? ¿Cuáles
medidas producto de la reflexión de los implementadores y relacionados al programa
TDR Evaluación Consorcio
5
pueden incorporarse al desempeño futuro de los proyectos? ¿Guardan coherencia el
progreso logrado hacia el cumplimiento de los resultados de los proyectos con el nivel de
avance de la meta del programa? ¿Los beneficios evidenciados justifican con claridad la
inversión realizada por los proyectos? ¿Son realmente pertinentes las iniciativas
desarrolladas por los proyectos? ¿Responden las acciones de los proyectos a las
necesidades reales de la población objeto? ¿Cuáles son los riesgos que enfrentó el programa
durante su implementación? ¿Pueden ser los riesgos evitados en una intervención futura?
¿Evidencian las acciones del proyecto la promoción de los impulsores de la sostenibilidad
como la apropiación local, el asocio y la resiliencia comunitaria? Hacer mención del
impacto alcanzado, ¿Los procesos y las estrategias empleadas podrán mantener su impacto en un periodo de tiempo extendido luego del financiamiento de la organización?
¿Se ha implementado un el plan de transición? ¿Cuál es el avance del plan de transición con
relación a lo planificado? Incluir evidencias de impacto, ¿Puede haber sostenibilidad
para cuando el PDA ya no esté operando en la comunidad? ¿Se ejecutaron acciones
efectivamente para la transferencia de responsabilidad programática de los socios del PDA?
5. PROPÓSITO Y OBJETIVOS DE LA EVALUACIÓN
5.1 PROPÓSITO
Determinar el nivel de avance real hacia la meta del programa y los proyectos, identificando
los éxitos y los desafíos de acuerdo al PDD aprobado con la finalidad de que se produzca
la reflexión de aprendizaje y propuesta de mejora al desempeño futuro del programa.
5.2 OBJETIVOS
Analizar la relación costos beneficios de los objetivos alcanzados por las iniciativas
del programa.
Determinar la pertinencia de la meta y los resultados establecidos en el diseño y
alcanzado con la implementación.
Realizar un análisis de riesgos para la consecución de la meta y resultados del
programa y los proyectos.
Evaluar el cumplimiento del plan de transición de acuerdo a las metas plasmadas en
el rediseño (Ver marco de gestión estratégica de la transición).
Evaluar la viabilidad de la sostenibilidad de los proyectos, los procesos y las
estrategias empleadas.
Guiar a los encargados de la toma de decisiones en complementar o continuar
implementando acciones que son de éxito para los proyectos.
Medir el logro y el impacto del cumplimiento de los resultados de los proyectos y
cuáles son los elementos, evidencias e iniciativas de sostenibilidad (Ver tabla de
indicadores).
5.3 INDICADORES A SER EVALUADOS
Indicador Definición LB 2016 LB 2016 LB 2016 Adonaí Tesoro Apolinar
Porcentaje de
comunidades en
programa local en
Este indicador da seguimiento al nivel de
compromiso del gobierno y de la comunidad
a derechos de gobierno mutuamente
TDR Evaluación Consorcio
6
donde las
intervenciones de
advocacy han
contribuido a las
aspiraciones y
resultados de
bienestar infantil.
acordados. Para ser contado bajo este
indicador, es necesario que el acuerdo sea
formalmente reconocido por todos los
actores. Para el proceso de CVA, este
indicador puede ser un acuerdo reciproco
para diseñar y monitorear el Plan de Acción.
El convenio puede ser un documento oficial
en el que se estipulan los términos de los
acuerdos tales como cartas formales, correos
electrónicos o minutas de reuniones que
definen los términos del acuerdo. Algunos
acuerdos pueden ser más informales como
una carta en la que se reconoce el aporte de
la comunidad y el acuerdo para considerar e
implementar una respuesta – también sería
útil darle seguimiento también.
Porcentaje de los
accionistas
advocando por la
creación de medios
ambientes que son
favorables para el
bienestar y
protección de los
niños, especialmente
en la mejora de la
calidad de servicios
de salud.
Proporción de los
niños y niñas que son
alfabetos funcionales.
Porcentaje de niños y niñas, tanto dentro y
fuera de la escuela en las áreas de impacto del
programa que pueden leer entendiendo a
niveles funcionales a la edad en la que se
espera que hayan terminado un programa de
educación básica.
75.8%
62.6%
77.7%
Proporción de padres
o responsables que
creen que el castigo
físico es necesario
para Criar a un niño
correctamente.
Porcentaje de padres o responsables con
niños/as de 0- 17 años que creen que la única
manera de criar a un/a niño/a correctamente
es utilizando la violencia física como castigo
4.5%
10.5%
11.3%
Proporción de
adolescentes que se
clasifican a si mismos
como prósperos en la
escalera de la vida.
Porcentaje de adolescentes de 12-18 años de
edad que se clasifican a si mismos como
«Prósperos" en la "escalera de la vida"
19.6%
26.6%
29.3%
Proporción de
cumplimiento de
actividades
planificadas durante
el AF.
Se refiere en términos porcentuales al total
cumplimiento de las actividades que se
planifican en el proyecto durante el AF.
Variación de la
ejecución
presupuestaria del
proyecto.
Se refiere al porcentaje de sub o sobre
ejecución del presupuesto del proyecto.
Porcentaje de niños
de 6-9 años que se
pueden expresar con
confianza y participar
activamente en el
debate la mayor
parte del tiempo.
Porcentaje de niños de 6-9 años que se
pueden expresar con confianza y participar
activamente en el debate la mayor parte del
Tiempo.
TDR Evaluación Consorcio
7
Proporción de padres
o responsables que
sienten que su
comunidad es un
lugar seguro para
niños/as.
Porcentaje de padres o responsables con
niños/as de 0-18 años de edad que sienten que
sus hijos/as están a salvo del peligro o
violencia en la comunidad la "mayoría" o a
"todo" tiempo.
61.5%
56.0%
61.9%
La fortaleza de la
categoría de activos
de las competencias
sociales según lo
informado por los
adolescentes de 12-
18 años de edad.
La puntuación media en la categoría de activos
de las competencias sociales según lo
informado por los adolescentes de 12-18 años
de edad. Segregado por programa
Aumento de posición
en la herramienta de
reflexión de
patrocinio.
Se refiere al aumento de posición en la auto-
evaluación del equipo de voluntariado
comunitario referente a la categoría de
participación comunitaria de la herramienta
de reflexión de patrocinio.
Segregado por programa
Porcentaje de niños
que reportan que
vivieron libre de
violencia,
explotación y abuso
en el año pasado
Miembros de la comunidad, incluidos los/as
niños/as, informan que los sistemas de
protección formales o informales, o los
sistemas locales de justicia están funcionando
para proteger a niños y niñas, permitiendo a
las comunidades y socios para responder a
las violaciones de los derechos infantiles.
Incremento de la
capacidad de grupo
local CPA de
efectivamente
implementar
actividades locales
para la protección
infantil y cumplir su
rol
Miembros de la comunidad, incluidos los/as
niños/as, informan sobre los cambios en las
actitudes o el comportamiento de los
miembros de la familia y la comunidad en
general que han favorecido la protección de
niños/as del abuso o la explotación.
La fortaleza de la
categoría de activos
de las competencias
sociales según lo
informado por los
adolescentes de 12-
18 años de edad.
La puntuación media en la categoría de activos
de las competencias sociales según lo
informado por los adolescentes de 12-18 años
de edad.
40.0%
39.0%
35.0%
Porcentaje de
cuidadores que
afirman que ellos
reportarían si
sospechan de algún
caso de abuso infantil
y saben cómo
hacerlo.
Porcentaje de encuestados que afirman que
ellos reportarían si sospechan de algún caso
de abuso infantil y saben cómo hacerlo.
98.3%
96.3%
99.6%
NNAJ conocen las
señales de alerta
temprana y saben
que hacer en caso de
una emergencia o
desastre.
Los NNAJ pueden identificar correctamente
las señales de alerta temprana de probables
desastres en la zona, y conocen las acciones a
tomar, por ejemplo, en donde se encuentran
los lugares seguros en la comunidad y la forma
de buscar y rescatar a otros.
8.9%
12.0%
6.6%
Nota: Esta tabla corresponde a la lista de indicadores que se están reportando a nivel nacional así como aquellos indicadores cualitativos que
deben ser levantados.
TDR Evaluación Consorcio
8
5.4 CRITERIOS DE EVALUACIÓN
Criterio Definición y aplicación
Pertinencia Este criterio evalúa la medida en que los objetivos de los proyectos son
consistentes y compatibles con las necesidades y prioridades de la población
objetivo. En este sentido, la valoración de la pertinencia será la indagación
que proporcione información sobre la utilidad del programa en término del
desarrollo y para los intereses de las audiencias objeto de la intervención.
Eficiencia La evaluación en cumplimiento a este criterio estará midiendo el logro de
los resultados de los proyectos en relación a los recursos invertidos, se
medirá la utilización óptima de los recursos financieros, técnicos y humano.
Por razones de información, el método para medir este criterio será el
análisis de costo efectividad.
Los puntos a tomar en cuenta para este criterio serán:
Tipo de gasto (Directo e indirecto).
Niveles de ejecución (Presupuestado/Ejecutado).
Eficacia Se pide medir con este criterio el grado de cumplimiento de los resultados
y metas de los proyectos de los programas, en este criterio no es necesario
considerar los costos para alcanzarlo.
Se debe considerar para la medición de este criterio los siguientes puntos:
Desempeño de los proyectos a nivel de actividad.
Desempeño de los proyectos a nivel de productos.
Desempeño de los proyectos a nivel de resultado.
Desempeño de los proyectos en término de la satisfacción de los
beneficiarios.
Análisis general a nivel de PDA, aquí analizar el posicionamiento del
programa en la cobertura geográfica que interviene.
Sostenibilidad Aquí se presenta el nivel en que los efectos que proporciona la intervención
continuaran después que el programa retire su participación. Los aspectos
a tomar en cuenta en este criterio son:
El nivel de participación de instituciones públicas y privadas con
presencia en los municipios
Nivel de organización comunitaria proporcionada por la
intervención.
Fortalecimiento de las capacidades de grupos o redes locales.
Nivel de apropiación de la comunidad de la propuesta del programa.
Los factores claves que garantizaran la sostenibilidad de los logros
después de haber cumplido el ciclo de vida de la intervención.
Impacto Aquí se muestran los cambios producidos durante la ejecución de las
operaciones del PDA y del plan de transición, donde se evidencie mediante
dos aspectos: atribución y contribución.
Atribución: Cambios producidos positivamente en las comunidades
bajo estudio fruto del trabajo realizado por WV de forma exclusiva
o principal.
Contribución: Cambios producidos positivamente en adición a otras
organizaciones o entes que estaban operando en el tema de
desarrollo social.
TDR Evaluación Consorcio
9
Si los resultados de la evaluación indican que el programa muestra eficacia con relación a
los productos, pero ineficacia para alcanzar los resultados y metas de los proyectos; el
equipo evaluador debe hacer notar las causas probables de la situación.
6. METODOLOGÍA
En todo momento la evaluación estará enfocada en proporcionar aprendizaje entre las
partes involucradas, se buscará en la aplicación de cualquier instrumento de recaudación
de datos que los participantes no solo estén obteniendo información y datos, sino que
también mejoren su desempeño y capacidad de interpretación e investigación.
Se tomó en cuenta la metodología empleada en la línea de base.
Este constara de tres fases:
1. Organización y preparación
- Diseño Muestral
- Plan de análisis
- Reseña historia
- Marco Muestral
- Tamaño de Muestra
- Distribución Muestral
- Tipo de Muestra
2. Entrada de Datos y Tabulaciones
3. Análisis de Datos
6.1 ORGANIZACIÓN Y PREPARACIÓN DEL PROCESO DE
EVALUACIÓN
En la organización y preparación del proceso de construcción de esta evaluación se
seguirán los siguientes once pasos:
1. Revisar la documentación existente, tanto a nivel de PDA como de las
instituciones públicas y privadas que trabaja con NNAJ o con las familias,
relacionadas con los indicadores de meta y resultados de los proyectos.
2. Revisar cuidadosamente los indicadores de cada proyecto que fueron medidos
en la Línea Base.
3. Elaborar herramientas para el levantamiento de las informaciones necesarias
sobre los indicadores de metas y resultados (Cuestionarios y talleres)
Seleccionar la muestra y proceder a la aplicación de las herramientas (Las
mismas que fueron usadas en el estudio de línea de base) según el método de
muestreo usado en la LB.
4. Agotar un proceso de selección, capacitación y entrenamiento al personal que
va a participar en el trabajo de campo, así como la aplicación de pruebas, para
validar las preguntas del cuestionario y formularios de entrevistas. Esta tiene
que ser coherente con el estudio de LB realizado para permitir la
comparabilidad de los resultados obtenidos.
5. Realizar un taller con informantes claves a nivel de políticas públicas, en el
municipio, sobre la base de una metodología que permita segregar la
TDR Evaluación Consorcio
10
contribución a los resultados percibidos. Ejemplo el Rio o camino de la vida, El
árbol de cambio. Al realizar el evento la dinámica recomendada es cruzando el
rio.
6. Capturar los datos, revisión, codificación y limpieza e introducción de
información a la data.
7. Analizar información asegurando el cálculo de los intervalos de confianza según
la guía de LEAP.
8. Elaboración de informe preliminar (debe contener una tabla de comparación
de los resultados de la LB y la evaluación) según la plantilla de reporte de
WVRD.
9. Socializar las informaciones con los socios e interesados
10. Elaborar el informe final de la evaluación con los resultados de la socialización.
11. Asegurar la coherencia de los criterios del Check-List para las evaluaciones.
En la primera fase se espera que se realice una revisión detallada de los proyectos del
programa sobre los aspectos de sus indicadores de metas y resultados. Sobre la base de
ese análisis se identifiquen sus respectivas variables en cada proyecto. Tomando en cuenta
el estudio de LB se diseñe un sistema de cuestionarios con preguntas abiertas y cerradas
con la finalidad de obtener las informaciones precisas relacionadas con los indicadores y las
variables asegurando la comparabilidad de la misma.
En este punto el equipo de evaluación deberá proceder a identificar, seleccionar y entrenar
el equipo de personas de las comunidades con el fin de aplicar las distintas herramientas
con la población meta, el grupo de personas a seleccionar es 8 encuestadores para la
encuesta de jóvenes y 4 encuestadores para la encuesta FLAT. En cuanto a los supervisores
3 supervisores que se encargarían de realizar el trabajo de campo en la recolección de las
informaciones por medio de las encuestas.
En el proceso de elaboración de la evaluación participaran directamente el evaluador
designado por la oficina nacional, el personal del PDA, personal de la oficina nacional de
World Vision, Organizaciones comunitarias y entidades y un equipo de personas
contratadas para tales fines.
El rol del personal del PDA será apoyar en los contactos con la comunidad, pero sin
intervenir en el proceso de recogida de los datos. También se ocupará de garantizar el
espacio de trabajo durante el proceso de organización, preparación y levantamiento de las
informaciones para la construcción de la evaluación.
El equipo evaluador será responsable de producir un calendario de los eventos, producir la
muestra según el tipo de herramienta y por tipo de muestreo respecto a la LB, levantar los
datos cualitativos y cuantitativos, producir el reporte, socializar el reporte, integrar los
comentarios de la comunidad tanto como de la Oficina de Soporte, y asegurar el
cumplimiento de los estándares de calidad requerido, así como el respecto de las
comunidades en su vivencia cotidiana.
En cuanto a las organizaciones comunitarias su responsabilidad será observar y validar el
proceso de implementación de las actividades que se usaran para la recolección de las
informaciones, participar en las secciones de grupos focales, así como ayudar a la
identificación y movilización de los participantes. También será entes importantes en el
TDR Evaluación Consorcio
11
involucramiento y participación en la socialización de las informaciones con las
comunidades.
Con el equipo evaluador contratado se coordinarán, dirigirán y ejecutarán todas las
actividades programadas para el levantamiento, recopilación, ordenamiento y análisis de las
informaciones y la elaboración del informe final. (Ver especificaciones en la sección de
Autoridades y responsabilidades).
6.2 DISEÑO DE LA MUESTRA
La presente es la metodología propuesta para la selección de la muestra en el Estudio de
Evaluación de Visión Mundial en los PDA de la provincia Bahoruco en los municipios de:
Neyba, Galvan, Villa Jaragua y los Ríos. Para los fines del presente estudio se estableció un
tamaño de muestra inicial que permita estimaciones con un margen de error mínimo de un
3% y máximo de un 5% en las distintas muestras a nivel global en diferentes estratos y
poblaciones de actores.
El tamaño con promedio de 322 hogares (tal cual fue sugerido en la propuesta inicial); este
tamaño de muestra permitiría estimaciones generales a nivel de PDA con un margen de
error cercano al 4%, suponiendo la aplicación de un diseño estrictamente aleatorio, el
diseño propuesto originalmente sufriría ligeros cambios en la medida en que profundizamos
en el conocimiento de la estructura del Marco Muestral Maestro.-MMM, el cual aparece en
forma resumida en el cuadro siguiente:
Marco Muestral Maestro. -MMM de los Hogares y cantidad de estudiantes segmentados por población target
del Proyecto
Principal cuidador
(Mamá, Papá ó Tutor).-
Hogar
NNAJ de 12-17 años(8vo-4to
Bchto).-DAP/Comportamiento
Sano
NN de 6to a 8vo grado ó
de 11 a 13 años.-FLAT
Adonaí 1,741 1,204 1,128
El Tesoro 2,731 1,021 917
Apolinar Perdomo 1,741 2,422 2,098
Total 6,213 4,647 4,143
El diseño final aplicado fue el Muestro Aleatorio Estratificado por PDA, por conglomerados
a nivel de las comunidades y sistemático a nivel de los barrios que alojan las viviendas donde
residen los hogares intervenidos. El mismo arrojará niveles de error globales ligeramente
menor al establecido en la propuesta debido a los efectos producidos por el mismo y los
resultados observados.
TDR Evaluación Consorcio
12
DISTRIBUCIÓN MUESTRAL
Tamaños muéstrales por PDA y población meta según márgenes de error, confiabilidad y supuestos de P y Q
Principal cuidador (Mamá,
Papá o Tutor).-Hogar NNAJ de 12-17 años(6to-4to
Bchto).-DAP NNAJ de 12-17 años(6to-4to Bchto).-Comportamiento Sano
NN de 6to a 8vo grado o de 11 a 13 años.-FLAT
Car
acte
ríst
icas
Ado
naí
El T
esor
o
Apo
linar
Per
dom
o
Tot
al
Ado
naí
El T
esor
o
Apo
linar
Per
dom
o
Tot
al
Ado
naí
El T
esor
o
Apo
linar
Per
dom
o
Tot
al
Ado
naí
El T
esor
o
Apo
linar
Per
dom
o
Tot
al
n 315 337 315 362 291 279 332 355 291 279 332 355 287 271 325 352
N 1741 2731 1741 6213 1204 1021 2422 4647 1204 1021 2422 4647 1128 917 2098 4143
E 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
P 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50
Q 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50
Z 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96
B 95 95 95 95 95 95 95 95 95 95 95 95 95 95 95 95
Nota:
n.- tamaño de muestra
N.-tamaño de población
E.-margen de error
P.-probabilidad de valoración positiva
Q.-probabilidad de valoración negativa
Z.-percentil normal estándar B – Nivel de confianza
6.3 TAMAÑO DE LA MUESTRA
Para la definición del tamaño de la muestra a nivel de estrato se tomó en cuenta los
términos sugeridos en la propuesta original incorporando los cambios relacionados con la
nueva estratificación, condiciones de la evaluación, las necesidades de estimaciones a nivel
de estratos y comparación entre ellos, y a nivel de los PDA, con un margen de error mínimo
de 34% a nivel de estrato, por lo que se definió un tamaño de muestra a nivel de estrato aplicando la fórmula que aparece más abajo; donde:
Esta fórmula sirvió de guía para el cálculo de la muestra de hogares a nivel de cada estrato
en los distintos PDA tomando en cuenta su población N, los márgenes de errores
aceptables E (de 3% a nivel global y 5% máximo a nivel de cada estrato poblacional), la
Confiabilidad deseada (95%) y el supuesto de mayor varianza (P=Q), el margen de error a
nivel de las distintas poblaciones de actores es mucho menor debido a que la muestra a ese
nivel está por encima del mínimo necesario con relación a la situación real a estudiar.
TDR Evaluación Consorcio
13
6.4 TIPO DE MUESTREO Y HERRAMIENTAS QUE SE
APLICARAN
Para la selección de los casos en esta evaluación se hará por medio de un muestreo
aleatorio sistemático con tamaño proporcional al número de niños registrados por
comunidad. En el Cuadro siguiente se listan las herramientas donde se realizarán la
aplicación de las mismas con las precisiones de tamaño de muestra y proporción
poblacional.
Nota: Tomar en cuenta que estas son todas las herramientas a aplicar, debe ser los resultados segregados por programa.
6.5 PROBABLES LIMITACIONES
1. Los censos que se han utilizado como base para el muestreo y en la fase de aplicación
para el sorteo previo y selección de los hogares para la aplicación de la encuesta a
responsables de niños-as 0-5 años ha presentado varios problemas:
Herramienta Definición Tipo de
muestreo
Minuta de las reuniones ente
actores comunitarios, socios y
tomadores de decisiones.
Son las notas tomadas durante las
reuniones formales con socios que se
encuentren en los archivos del
Consorcio. Estos deben ser segregados
por programa.
Personal a Cargo.
Documentos de sustento de los
acuerdos formales
Son los documentos formales tipo
acuerdo que segregado por programa
están en los archivos del consorcio.
Personal a Cargo.
Encuesta para el responsable:
módulo de protección infantil
y participación.
Se entiende como el formulario
diseñado con preguntas abiertas y
cerradas sobre protección, ya la
organización dispone de este módulo.
Que se les aplica a los responsables de
los niños.
Aleatorio Simple.
Encuesta del comportamiento
Sano de los Jóvenes; módulo de
la Encuesta para los jóvenes.
Es una herramienta tipo encuesta que se
les aplica a los Jóvenes de 12 a 18 años.
Aleatorio Simple.
Herramienta para la observación
de las Técnicas de Vida.
Es una herramienta tipo encuesta que se
les aplica a los Jóvenes de 12 a 18 años.
Perfil de los Activos de
Desarrollo (DAP).
Es una herramienta tipo encuesta que se
les aplica a los Jóvenes de 12 a 18 años.
Aleatorio Simple.
Herramienta de reflexión de
patrocinio.
Esta herramienta se hace por medio de
GF con los voluntarios de patrocinio,
deben agruparse de forma
representativa y respetar los criterios
técnicos para el desarrollo de GF.
GF
Discusión del grupo de enfoque
de cuidados, protegidos y
participativos; DGE de sistemas
de protección infantil-Adultos,
DGE de sistemas de protección
infantil-Niños/as / ADAPT
Es el desarrollo de Grupo Focales con
los miembros del sistema de protección
Infantil, segregada por programa.
GF
TDR Evaluación Consorcio
14
- A pesar de ser recién el censo, las informaciones en muchas ocasiones no
correspondían a la realidad.
- Los datos reportados no eran suficientes para identificar los hogares (falta de
referencias, número de teléfono, cédula responsable del hogar etc. Adicional el
nombre del “jefe de hogar” se reportaba como nombre oficial, sin reportar el
apodo, con el cual las personas más se manejan y se conocen a nivel
comunitario).
En fase de aplicación de las encuestas, tras haberse identificado estas dificultades, se ha
procedido a asignar “hogares substitutos” y en varios casos a la selección al azar de los
hogares a encuestar, según criterios previamente establecidos.
2. En este PDA se aplicaron encuestas a jóvenes con edades no coherentes con el rango
previsto 12-18 y por lo tanto estos casos se han excluido del análisis, a pesar de que
están en las bases de datos asociadas al PDA.
Para mitigar estas limitaciones que se presentaron en la línea de base, en este levantamiento
se procederá a utilizar un sistema de captura de datos electrónicos ODK Collect a través
de teléfonos y tabletas. Con relación al muestreo se utilizará el mismo censo, pero solo
para tomar la primera unidad muestral de forma aleatoria y se dividirá el número de la
población de la localidad entre la proporción del número de muestra que les corresponde
de acuerdo al marco muestral y el resultado será el margen para seleccionar las siguientes
unidades de muestra. Esto para garantizar la aleatoriedad.
3. El proceso de evaluación puede interferir con las actividades de los diferentes
involucrados durante su desarrollo, en tal sentido, las actividades que involucren al
personal deberán ser planificada en acuerdo con el liderazgo local.
4. Los tiempos de realización de la LB no fue oportuno, es decir, no fue en el tiempo
normativo por la irregularidad en el inicio de todos los proyectos.
5. En la zona de incidencia se percibe una baja cultura de llevar estadísticas oficiales de las
acciones que realizan, en este sentido, el equipo evaluador tendrá que hacer un gran
esfuerzo en conseguirlas.
6.6 INFORMACIÓN NECESARIA
Fase Resultados Esperado Requerido de operaciones/ PDA
Pla
nific
ació
n
TDR de la Evaluación Rediseño del Programa Con sus Apéndices ML.
Estudio Línea de Base
Principales aprendizajes del ejercicio de la LB.
Diseño metodológico de
la evaluación
Diseño del estudio de Línea de Base.
Herramienta de Revisión del Diseño (la que envía OS para
aprobar diseño)
Antecedente del PDA en la zona.
Área Geográfica que cubre el PDA. (Lista de comunidades).
Población Beneficiaria
Listado de Voluntarios.
Lista de Socios y posible informante.
Organigrama
TDR Evaluación Consorcio
15
Lista posibles limitaciones y riesgo a tomar en cuenta para
esta evaluación
Socialización de los TDR Disponibilidad del personal actual del programa.
Socialización del Diseño Disponibilidad del personal actual del programa.
Eje
cuci
ón
Interacción y
coordinación con el
equipo del PDA.
Retroalimentación del plan de trabajo.
Disponibilidad del personal actual del programa.
Revisión documental y
elaboración de propuesta
metodológica preliminar.
Por proyecto y por año:
POA
Informe del programa y proyecto. (ITT y Narrativa)
Presupuesto y ejecución.
Sistematizaciones
Perfeccionamiento del
marco de evaluación,
diseño de las
herramientas y
preparación del trabajo
de campo.
Disponibilidad del equipo técnico actual del programa
Recogida de información Equipo técnico actual del programa
Anál
isis
y R
esu
ltad
os
Análisis e interpretación
de datos
Equipo técnico actual del programa
Redacción del borrador
de informe
Retroalimentación de informe borrador por parte del
equipo. Se requiere la aplicación de la ficha de Evaluación de
informe para el informe.
Socialización de los
resultados con la
comunidad y el PDA
Desarrollar un plan de comunicación para devolución de
datos (Metodología del Árbol con Socio) extraer insumos
para el rediseño).
Redacción del informe
final
6.7 AUTORIDADES Y RESPONSABILIDADES
Fase Rol Principal tarea
Planificación Líder del Programa Reclutar al personal para la evaluación.
Reclutar otros miembros del equipo, en
consulta con el encargado de la evaluación.
Asesorar al o los encargados de la evaluación
en las prioridades de evaluación desde la
perspectiva del programa.
Obtener el aporte a propósito y los objetivos
de los socios.
Supervisar la recolección y análisis de datos.
TDR Evaluación Consorcio
16
Especialista de monitoreo
y evaluación Elaborar los TDR.
Asesorar al líder de programa por escrito
sobre los términos de referencia
Preparar un plan detallado para la recolección
y análisis de datos para lograr los objetivos de
evaluación.
Apoyar la coordinación con el personal y las
actividades de evaluación en campo.
Recopilación y
análisis de datos
Especialistas de
monitoreo y evaluación Participar en la creación y aprobación de los
instrumentos de recolección de datos.
Participar en la recolección de datos.
Supervisar la recolección de información.
Participar en el análisis de datos.
Supervisión general de la evaluación.
Los expertos técnicos,
según sea necesario
Asegúrese de que la calidad de los datos es
aceptable
Supervisar el análisis y la interpretación de los
datos técnicos
El personal del programa
Proporcionar información sobre lo que
significan los resultados para ellos.
Desarrollar recomendaciones prácticas.
Participar como líderes de los grupos focales
con la comunidad.
Registrar y grabar espacios de reflexión según
sea necesario.
Preparar los resúmenes de las respuestas.
Presentación de
informes y
seguimiento
Líder del equipo Participar en la conformación del informe.
Incorporar la retroalimentación del informe
Coordinar la devolución de la información con
socios e implementadores.
El personal del programa
Proporcionar información sobre la
comprensibilidad del informe
Proporcionar información de qué tan bien se
han cumplido sus objetivos
Participar en los espacios de reflexión y
análisis en el proceso de evaluación
programado.
6.8 TRABAJO DE CAMPO Y PROCESAMIENTO DE DATOS
El equipo de evaluadores instruirá correctamente al equipo de encuestadores y
supervisores sobre los diferentes instrumentos a utilizar, cada pregunta debe estar
debidamente codificada de modo que el procesamiento de datos se facilite, en el caso de
los supervisores deben ser entrenados en la revisión correcta de cada formulario y la subida
rutinaria de los datos.
TDR Evaluación Consorcio
17
6.9 PRODUCTOS A ENTREGAR
Informe preliminar de la evaluación (Digital).
Socialización con la comunidad e integración de la retroalimentación de la ON y de
la OS. Las Características del informe preliminar y final debe desagregar las variables
claves.
La estadística descriptiva de las variables clave se presenta claramente en una tabla
al igual que los hallazgos deben estar articulados claramente a los resultados y
asegurar el cálculo de los intervalos de confianza por cada uno de los indicadores.
Informe final de la evaluación (Digital).
Devolución de los resultados a nivel del PDA
Paquete de herramientas utilizadas (Digital).
La responsabilidad de la impresión final del documento evaluación será asumida por
el programa.
6.10 FORMATO DEL INFORME FINAL
El producto de este ejercicio de evaluación es un informe de evaluación que incorporará
los comentarios de las partes interesadas, el informe incluirá conclusiones y recomendaciones. La información será compartida con la Oficina de Apoyo, Visión Mundial
Dominicana, representantes de la comunidad y otros grupos de interés.
7. CRONOGRAMA
Cronograma.xlsx
8. METODO DE PAGO
Para el pago, se procederá a dividir el mismo en tres (3) partidas a lo largo del proceso, las
cuales son:
1. 30% al inicio luego de firmar el contrato
2. 30% Intermedio luego de haber terminado el levantamiento y entrega de la base de
datos
3. 40% al cierre, luego de entrega de informe final aprobado, después de presentación
9. PLAZOS
Recepción de Propuestas en sobre cerrado que incluya: CV, propuesta técnica y oferta
económica en pesos dominicanos impuestos incluidos, e identificar con el concepto de
“EVALUACIÓN PA CONSORCIO” y depositarlo personalmente en las oficinas de World
Vision, ubicadas en la Calle Lea de Castro esq. José Joaquín Pérez, Gazcue, D.N., a más
tardar el miércoles 15 de mayo del 2019 a las 4:00pm.
Si tiene alguna Preguntas o para cualquier consulta sobre los términos de referencia, favor
enviar un correo a la dirección; [email protected].