1

PROGRAMA DE AGUA POTABLE Y SANEAMIENTO EN COMUNIDADES RURALES, BOLIVIA DISEÑO DE EVALUACIÓN DE IMPACTO EXPERIMENTAL

• Amado Rivas Bogado • Erland Romero • Julia Collado

• Asesor: Gastón Gertner • Fecha: 19 e abril de 2013 • Lugar: Santiago - Chile

Teoría del Cambio Insumos Actividades Productos Resultados Impactos

2 Implementación (Oferta) Resultados (Oferta + Demanda)

Recursos Humanos, Financieros, otros movilizados para apoyar actividades

Acciones tomadas o trabajo realizado para convertir insumos en productos especificos

Bienes y servicios producidos y entregados bajo control del implementador

Uso de productos por parte de poblacion de interes

Objetivos finales del programa o metas de largo plazo

Presupuesto asignado Personal técnico del Programa

Selección de comunidades Licitaciones Construcción de obras Talleres de capacitación

• Sistemas de agua y saneamiento construidos.

• Comunidad capacitada

• Personal de Operadores capacitados

• Utilización de servicios de agua:

- Los hogares consumen agua potable de manera continua, pagando por el servicio (consumo, higiene etc).

• Utilización de servicios de saneamiento:

- Los beneficiarios utilizan las soluciones sanitarias en la comunidad.

NINOS < 5 AÑOS • Reducción de

prevalencia de enfermedades de origen hídrico (diarreas, etc).

ADULTOS • Mejoras en el uso del

tiempo (aumento de productividad e ingresos).

• Mujeres participan en los operadores en un cargo de toma de decisión.

COMUNIDAD • Mejoras en el uso del

tiempo (genero y niños)

Preguntas de Evaluacion

• Aspectos del proyecto a evaluarse El Programa contribuye a: Disminuir la mortalidad infantil en niños menor a 5

años Contribuye a la mayor participación de la mujer en

toma de decisiones en el operador del agua Cambio del uso del tiempo dedicado a actividades que

mejoran a su ingreso Contribuye a incrementar las practicas saludables

3

Preguntas de Evaluacion

• Indicadores de resultado claves - % disminución en EDAS e IRAS en niños

menores de 5 años post programa al cabo de los tres años.

- X numero de mujeres son parte del directorio de los operadores (al menos en 3 puestos claves)

- Nro de horas adicionales destinadas a actividades productivas (generan ingreso)

4

Preguntas de Evaluacion

• Indicadores de resultado claves - X Bs de ingresos adicionales a nivel de hogar • Formulacion de preguntas: Cuál es el impacto

de PROGRAMA sobre RESULTADOS •Las familias utilizan de manera adecuada los servicios de agua y saneamiento a nivel de hogar?

•Las familias pagan oportunamente la tarifa en agua y saneamiento?

5

Diseño de Evaluación • Estrategia de Identificación:

– Experimental .- Beneficiarios: 372 Comunidades identificados con

población menor a 500 habitantes en 17 municipios priorizados por indicadores de pobreza y vulnerabilidad

Estratificados en dos grupos de población de 50 a 200 habitantes y 201 a 500 habitantes

Restricción presupuesto a nivel municipal Aleatorización de grupo de tratamiento y control por

sorteo público definiendo la orden de entrada con inversión en 17 municipios. (T1=180 comunidades)

6

Diseño de Evaluación en Genero • Estrategia de Identificación:

– Experimental .- Beneficiarios: T1=180 Comunidades de grupo de

tratamiento Aleatorización de grupo de tratamiento y control para la

evaluacion en genero (mitades) (T2=90 comunidades), por sorteo en escritorio, para identificar la contribución del Programa del empoderamiento de la mujeres en la administración del operador.

7

Resultados de Aleatorizacion • Comunidades de 50-200 Habitantes:

– Total de Comunidades: • 116 Comunidades T • 123 Comunidades C

– Pruebas de Balance • 110 Comunidades T • 108 Comunidades C

– Test De Balance: 74 caracteristicas; 3 diferentes a 10% de significancia o menos =4%

• Comunidades de 200+ Habitantes: – Total de Comunidades:

• 67 Comunidades T • 63 Comunidades C

– Pruebas de Balance • 64 Comunidades T • 58 Comunidades C

– Test De Balance: 74 caracteristicas; 5 diferentes a 10% de significancia o menos =6.7%

8

9

Sorteo Público en Campo

Aleatorización exitosa

10

Descripción Media GT Media GC Diferencia sig-level N (T) N (C) "=1 fuente de agua es subterránea" 0.71 0.78 -0.07 110 108

[0.044] [0.040] [0.059] "=1 si el color del agua es turbia" 0.29 0.27 0.02 109 107

[0.044] [0.043] [0.062] Edad del líder comunitarios 41.34 44.19 -2.85 109 108

[1.237] [1.219] [1.737] Número de sub-sectores dentro de la comunidad 2.56 2.45 0.11 104 104

[0.277] [0.201] [0.342] "=1 si la distribución de la población es dispersa" 0.69 0.62 0.07 109 108

[0.045] [0.047] [0.065] "=1 Material para caminos es Tierra" 0.79 0.70 0.09 109 106

[0.039] [0.045] [0.060] Distancia a la capital del municipio (km) 63.61 72.55 -8.93 107 105

[10.624] [10.861] [15.193] "=1 si existe Escuela" 0.50 0.51 0.00 109 108 [0.048] [0.048] [0.068] "=1 si acceso a Escuela es a Pie" 0.94 0.97 -0.03 108 107 [0.022] [0.016] [0.027] Número de hogares con Electricidad 12.35 11.44 0.91 97 94 [1.954] [1.897] [2.724] "=1 si llegó el Programa Bono Juana Azurudy" 0.66 0.61 0.05 108 108 [0.046] [0.047] [0.066]

• Balance en características observables de grupos de tratamiento y control; estrato 50-200 habitantes

Tamaño y Composición de Muestra Encuesta línea base: Inicio mayo 2013 183 comunidades de tratamiento (ambos

segmentos) 186 comunidades de control (ambos

segmentos)

11

Datos de muestra y potencia

• Resultado 9.4 puntos porcentuales es el mínimo efecto que de acuerdo a los niveles de confianza establecidos declararían que se tiene un efecto del Programa.

• Prevalencia: Datos de un estudio en Peru-Lima en lavado de manos (UNICEF) en los últimos 14 días.

12

Diseño del Cuestionario

• Esta diseñada con 16 secciones de acuerdo al siguiente resumen: – Portada

• A) Ubicación Geográfica de la vivienda • B) Dirección de la vivienda • C) Información sobre la entrevista

– SECCIÓN 1: CARACTERÍSTICAS GENERALES DEL HOGAR Y SUS MIEMBROS

– SECCIÓN 2: EDUCACIÓN (PERSONAS DE {x} AÑOS O MÁS) – SECCIÓN 3: LISTA DE EMPLEOS DURANTE LOS ÚLTIMOS 12 MESES

• SECCIÓN 3B: EMPLEO (PARA MAYORES DE 7 AÑOS DE EDAD)

13

Diseño del Cuestionario – SECCIÓN 4: SALUD (PARA TODOS LOS MIEMBROS DEL HOGAR) – SECCIÓN 5: VIVIENDA Y SERVICIOS BÁSICOS – SECCIÓN 6: EMPLEOS ASALARIADOS – SECCIÓN 7: ACTIVIDADES INDEPENDIENTES / NEGOCIOS FAMILIARES

FUERA DEL SECTOR AGRÍCOLA – SECCIÓN 8: INGRESOS NO LABORALES – SECCIÓN 9: USO DEL TIEMPO – SECCIÓN 10: CAPITAL FAMILIAR – SECCIÓN 11: SISTEMAS DE AGUA – SECCIÓN 12: AGUA E HIGIENE SOLO PARA (POZOS COMUNITARIOS,

VECINOS, TAJAMAR, PILAS PUBLICAS, ESCUELAS) – SECCIÓN 13: AGUA SOLO PARA QUIENES SE ABASTECEN DE CAÑERÍA

DE RED FUERA DEL LOTE O TERRENO

14

Diseño del Cuestionario – SECCIÓN 14: SANEAMIENTO – SECCIÓN 15: OBSERVACIONES DEL ENCUESTADOR – SECCIÓN 16: INFORMACIÓN DE RECONTACTO

• Situación Actual: Nos encontramos en la etapa de revisión del

cuestionario.

15

Plan de Trabajo en campo 4 DEPARTAMENTOS 17 MUNICIPIOS 370 COMUNIDADES 15 ENCUESTAS hogar por comunidad TOTAL 5610 encuestas

• EQUIPO CENTRAL DE FIRMA – Jefe de Proyecto – Jefe de operaciones de Campo – Jefe de Gestión de Datos

• SERVICIO DE ASEGURAMIENTO DE CALIDAD – Ingreso de datos inteligente en campo – Monitoreo centralizado de la brigadas – Supervisión humana por medio de revisitas de control

• SELECCIÓN DEL PERSONAL DE CAMPO

• ORGANIZACIÓN DEL TRABAJO DE CAMPO 10 BRIGADAS – Asignacion interpenetrable – 1 Supervisor – 3 encuestadores – 1 digitador – 1 chofer

• CAPACITACIÓN DEL PERSONAL DE CAMPO

16

Plan de Trabajo en campo

• PLAN DE TRABAJO EN PUNTO DE MUESTRA – pre contacto con lider comunitario – listado de hogares – Selección (seleccion aleatorio de hogares elegibles) – encuesta de hogares – Digitacion de la encuesta – Supervision y revisitas – Traslado a la proxima comunidad.

17

Dia Tareas 1 Pre-contacto con líder comunitario; listado de hogares;

selección aleatorio de hogares elegibles

2-3 Encuesta de hogares + digitación y validación en campo

4 Revisita (en caso necesario) y corrección. Traslado a la próxima comunidad

Plan de Trabajo Macro • Linea de Base:

– Licitación: Dic-Abril 2013 – Preparación de encuesta: Febrero-Marzo-Abril 2013 – Encuesta: Mayo-Octubre 2013 – Compatibilizar contenido de encuestas Linea Base y Pre-inversion: lograr un instrumento

comun para linea base evaluacion, evaluacion socio-economica y DESCOM. Analizar compatibilidad de muestras para las tres encuestas.

– Compatibilizar cronograma de trabajo entre encuesta Linea Base y Pre-inversion: lograr un cronograma de trabajo comun donde la encuesta entra en campo ANTES de la Pre-inversion

• Seguimiento – Licitación Dic-Enero 2016 – Preparación de encuesta: Febrero-Abril 2016 – Encuesta: Mayo-Oct 2016

• Finaliza Proyecto Diciembre 2016

18

Presupuesto

19

DESCRIPCIÓN Monto USDRemuneraciones 98.300,00 Viáticos 44.050,00 Trasporte 28.000,00 Materiales 14.155,00 Reproduccion de documentos 8.053,00 Capacitación 4.000,00 Comunicación 2.000,00 Otros 2.748,00 Contingencia 20.131,00 TOTAL 221.437,00

RESUMEN PRESUPUESTO

Lista de Próximos Pasos • Trabajo con Cuestionarios. • Evaluación de Aspectos de Género • Proteger el grupo de control de la entrada de intervenciones

de agua – Instalar sistema de monitoreo para proteger intervencion. Planilla con

comunidades de tratamiento y control por municipio. Monitorear actividades de APS en el control.

– Capacitación con 17 técnicos municipales y departamentales para proteger el diseño de evaluación (Mayo).

– Disenos de planillas para reportes apoyo del ET – Reportes periódicos (semanal (mayo); mensual (junio) de las

intensiones en inversiones en APS del GAM). – Planificación de inversiones de APS (3 a 5 anos) – Utilizar carta conjunta

20

21

GRACIAS