encuestas de evaluación de impacto la noción de...
TRANSCRIPT
Encuestas de evaluación de impactoLa noción de calidad total
2El producto final
Muestreo
Gestión
de datos
Instrumentos
Recolección
de datos
La integración de
el diseño muestral,el cuestionario y los instrumentos,el trabajo de campoy la gestión de los datos
con el fin de entregar a los analistasUna base de datos fiableEn tiempo oportuno
Los datos pierden valor si no representan la realidad del
momento
Las claves del diseño y la realización de
encuestas
4
Muestreo• Sólo el muestreo aleatorio permite definir errores estándares, y
estimar con intervalos de confianza• Las muestras por lo general no son MAS (muestras aleatorias
simples) sino complejas (con una o más etapas, y estratificadas)• En las muestras complejas, el error muestral se ve afectado por
el “efecto de diseño” (Deff)– En hogares, generalmente Deff>1– En establecimientos, generalmente Deff<1
• Los paneles pueden reducir el error de la medición de cambios en el tiempo, pero son vulnerables al envejecimiento, al desgaste y a la manipulación
• En Evaluación de Impacto, tenemos que estimar la diferencia entre grupos de tratamiento y control. La potencia es la probabilidad de no juzgar mal a un programa efectivo
Limitaciones del Muestreo Aleatorio Simple
• El MAS puede ser una opción en ciertos casos,
• pero no es práctico cuando– una Muestra Aleatoria Simple quedaría demasiado dispersa logística compleja y cara
– no disponemos de un marco muestral adecuado
– necesitamos estimaciones para subconjuntos de la población
• Sectores industriales
• Estados / Regiones / Provincias
• Por sexo de los empresarios / jefes de hogar
– Las unidades son de tamaño muy diverso
• Entonces debemos recurrir a otras técnicas– Estratificación
– Muestreo en etapas
5
Estratificación
• Dividimos la población en subconjuntos, llamados estratos
• Tomamos una muestra separada en cada estrato
• ¿Para qué sirve eso?
– Para controlar la composición de la muestra, para reducir el error total
– Para asegurar la representación de algunos subconjuntos
• Las probabilidades de selección pueden variar entre los estratos
6
Los dos objetivos se contradicen en la
práctica
Esto impone el uso de ponderaciones,
para asegurar la validez externa de nuestra evaluación
Estratificación por tamaño
• En las encuestas de hogares, el tamaño de las unidades no importa demasiado– La mayoría de los hogares tiene menos de 10 miembros
– Las encuestas suelen observar a todos los miembros, cualquiera sea el tamaño del hogar
• En las encuestas empresariales, el tamaño de las unidades puede importar mucho– Hay muchas pequeñas empresas y pocas grandes empresas
– Las grandes empresas son pocas, pero concentran una parte enorme de la producción, del empleo, del uso de energía, etc.
• Algunas encuestas nacionales necesitan estimar la producción total, el empleo total, etc.– Estas encuestas tendrán que dar a las firmas grandes mayor probabilidad de
ser observadas. Las más grandes tal vez deban incluso elegirse con certeza. Esto se llama “estratificación por tamaño”
• Otras encuestas empresariales se enfocan a empresas pequeñas y medianas.– La estratificación por tamaño puede ser útil, pero es menos crítica.
7
Las claves del diseño y la realización de encuestas
8
Diseño del cuestionario
• Proceso complejo y de larga duración
• Es un proceso con muchas fases y varios actores, a menudo iterativo
–Diseño, pre testeo, re diseño, piloto, versión final
• Debe ser confrontado con la realidad
Las claves del diseño y la realización de encuestas
9
Trabajo de campo / Gestión de datos
• Organizado con base en brigadas autónomas
• El entrenamiento es esencial y toma tiempo (semanas, no días)
• El Aseguramiento de la Calidad se apoya en tres pilares:
– Ingreso de datos inteligente en campo
–Monitoreo centralizado de las brigadas
–Supervisión humana por medio de re-visitas de control
Las claves del diseño y la realización de encuestas
10
Alta gestión
• Los TdRs de la firma deben especificar la calidad de los entregables
• Asimismo deben estar claramente especificadas las obligaciones de la empresa
• Equipo Central dedicado a la encuesta a tiempo completo
• Plan y presupuesto realistas
• Varios autores coinciden en afirmar que la elaboración
de un cuestionario es una compleja tarea que combina
arte y ciencia (Weiers, 1986; García Ferrando, 1990).
Además, no hay leyes que regulen como hacerlo, sino
que para ello es preciso contar con una amalgama de
sentido común, la propia experiencia y los resultados de
otros trabajos.
11
El diseño de cuestionarios NO es una actividad sencilla
Diseño de cuestionario
• Producir un buen cuestionario es una actividad
crítica en el diseño de una encuesta
• La calidad de los datos recogidos por la encuesta
esta directamente condicionada por el diseño del
cuestionario
• Pequeños errores o imprecisiones en la redacción
de una pregunta o en el flujo de éstas pueden
provocar sesgos indeseados
12
13
Co
nte
nid
oD
iseñ
oP
re-t
es
teo
Definición del contenido
¿Qué tenemos que medir?
Diseño
¿Cómo lo vamos a medir?
Pre-testeo
¿Funciona?
Las tres etapas del diseño de un cuestionario
14
Co
nte
nid
oD
ise
ño
Pre
-te
ste
o
• ¿Cuáles son los
efectos esperados
de la intervención?
• ¿En qué unidades
se pueden
observar estos
efectos?
• ¿Es necesario
relacionar estos
efectos con otros
factores?
• ¿Qué indicadores
explícitos pueden
ser usados para
medir los efectos y
los otros factores?
• ¿Existen otras
medidas impuestas
por la mecánica de
la encuesta?
• Reducción de la
deforestación, aumento de la
producción, adopción de
tecnología, …
• Industrias, explotaciones
agrícolas, comercio, fuentes
de agua …
• Niveles de tratamiento,
tamaño de la unidad,
ingresos, geografía, clima…
• Número de plantas por ha.,
puntajes estandarizados,
contenido de
microorganismos, región,
estación del año …
• Identificadores, condiciones
de la encuesta, IDs de
respondentes, IDs de
entrevistadores, datos de
seguimiento, comparabilidad
…
• El proceso incluye
– Extensas discusiones
con
• La unidad de
implementación del
proyecto
• El equipo de
evaluación de
impacto
• Expertos en
encuestas
• Expertos en QA
– Revisión de la
literatura
– Otros cuestionarios
(comparabilidad)
– Estudios cualitativos
• Debe haber un líder
• El producto final es un
listado de preguntas
Fase 1: Definiendo el Contenido
Fase 2: Diseño
• Fraseo
– Cómo hacer las preguntas
• Organización
– Cómo agrupar las preguntas en
módulos del cuestionario
• Formateo
– La apariencia física del cuestionario
• Otros temas
– Registro del consumo, Paneles,
Traducción, Software, Quién lo hace
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Co
nte
nid
oD
ise
ño
Pre
-te
ste
o
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Organización - Considere
• La naturaleza de las unidades estadísticas
– Empresas, sucursales, trabajadores
– Hogares, miembros de los hogares(todos ellos, responsables de unidades productivas, migrantes temporales, …)
– Granjas, cultivos, campos, …
– Artículos de consumo
• Número de visitas a realizar y que contenido se responde por visita
• Quién responde / Quién completa
– ¿Se permite que responda un “proxy”?
• Períodos de referencia
– Ayer, los últimos 7 días, los últimos tres meses, los últimos 12 meses, año agrícola, año fiscal
• Orden lógico de los tópicos
– Datos generales, directivos, personal, producción física, ventas, ingresos, …
– Si hay preguntas sobre temas sensibles, en general ubicarlas hacia el final
Formateo
• Tipos de pregunta
– Cuantitativas
– Cualitativas
(o “Categóricas”)
– Tipográfica
(o “Textual”)
• Disposición
– Lista
– Grilla
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Disposición – Listado y grilla
Si la grilla abarca varias
páginas, separe los
renglones en grupos de
tres
Si es posible use
códigos pre-impresos
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
sSECCIÓN 6: SALUDTODOS LOS MIEMBROS DEL HOGAR
SI 1
NO 2
► 6.05
ARTRITIS 1
ASMA 2
CANCER 3
COPD 4
DIABETES 5
OTRA 6
SIYES 1
NO 2
► 6.23Estuv o enfermo durante los últimos 28
6.04 AÑOSHace cuántos años tiene
esta discpacidad?
DISCAPACIDAD
MÁS ANTIGUA
6.02 Sufre usted de alguna discapacidad
continua diagnósticada que se espera
que continúe por seis meses o más?
6.05 ADEMÁS DE ESTA DISCAPIDAD
CRÓNICA
6.03 De qué tipo de discapacidad se
trata?
DISCAPACIDAD MÁS ANTIGUA
6.00
6.01 CÓDIGO ID DEL RESPONDENTE
CÓDIGO ID
ARTRITIS 1
ASMA 2
CANCER 3
COPD 4 SI 1
SI 1 DIABETES 5 NO 2
NO 2 ► 6,05 OTRA 6 ► 6.23
01
02
03
04
05
06
07
08
09
10
11
12
Có
dig
o I
D
TODOS LOS MIEMBROS DEL HOGAR
AÑOS
6.03De qué tipo de
discapacidad se trata?
6.04
DISCAPACIDAD MÁS
ANTIGUA
DISCAPACIDAD
MÁS ANTIGUA
Hace cuántos
años tiene esta
discpacidad?
6.02Sufre usted de alguna
discapacidad continua
diagnósticada que se
espera que continúe
por seis meses o
más?
CÓDIGO ID DEL
RESPONDENTE
ESCRIBA EL
CÓDIGO ID DE
LA PERSONA
QUE
RESPONDE
6.01
Estuv o enfermo
durante los
últimos 28 días?
ADEMÁS DE
ESTA
DISCAPIDAD
6.05
ARTRITIS 1
ASMA 2
CANCER 3
COPD 4 SI 1
SI 1 DIABETES 5 NO 2
NO 2 ► 6,05 OTRA 6 ► 6.23AÑOS
6.03De qué tipo de
discapacidad se trata?
6.04
DISCAPACIDAD MÁS
ANTIGUA
DISCAPACIDAD
MÁS ANTIGUA
Hace cuántos
años tiene esta
discpacidad?
6.02Sufre usted de alguna
discapacidad continua
diagnósticada que se
espera que continúe
por seis meses o
más?
CÓDIGO ID DEL
RESPONDENTE
ESCRIBA EL
CÓDIGO ID DE
LA PERSONA
QUE
RESPONDE
6.01
Estuv o enfermo
durante los
últimos 28 días?
ADEMÁS DE
ESTA
DISCAPIDAD
6.05
Las respuestas de
parte de un proxy
deben evitarse, pero
cuando no es
posible, registre
quién responde
Use reglas
consistentes
para la
numeración de
las preguntas
Use reglas explícitas de
pase. El entrevistador no
debe decidir cuándo y a
quién se hace cada
pregunta
Use siempre el mismo
tipo de letra para
distinguir lo que el
entrevistador debe leer
de las instrucciones
Precodifique
cuanto sea
posible,
idealmente con
códigos
numéricos
Use
unidades
de
medición
explícitas
No
olvide
los
“Otros”
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
SI 1
SI 1 NO 2
NO 2 ► 6,05 ► 6.23
6,01 6,02 6,03 6,04 6,05ESCRIBA EL
CÓDIGO ID DE
LA PERSONA
QUE
RESPONDE
Sufre usted de alguna
discapacidad continua
diagnósticada que se
espera que continúe
por seis meses o
más?
De qué tipo de discapacidad se
trata?
Hace cuántos
años tiene esta
discpacidad?
ADEMÁS DE
ESTA
DISCAPIDAD MARQUE TODO LO QUE
CORRESPONDA Estuv o enfermo
durante los
últimos 28 días?
CÓDIGO ID DEL
RESPONDENTE AÑOS
AR
TR
ITIS
AS
TH
MA
CA
NC
ER
CO
PD
DIA
BE
TE
S
OT
RA DISCAPACIDAD
MÁS ANTIGUA
Respuestas múltiples
Pueden usarse
ocasionalmente,
pero hágalo sólo
si es necesario
La multiplicidad siempre puede
evitarse con un fraseo adecuado (ej.
“la más antigua”, “la más
importante”, “su favorita”, …)
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
ARTRITIS 1
ASMA 2
CANCER 3
COPD 4 SI 1
SI 1 DIABETES 5 NO 2
NO 2 ► 6,05 OTRA 6 ► 6.23AÑOS
6.03De qué tipo de
discapacidad se trata?
6.04
DISCAPACIDAD MÁS
ANTIGUA
DISCAPACIDAD
MÁS ANTIGUA
Hace cuántos
años tiene esta
discpacidad?
6.02Sufre usted de alguna
discapacidad continua
diagnósticada que se
espera que continúe
por seis meses o
más?
CÓDIGO ID DEL
RESPONDENTE
ESCRIBA EL
CÓDIGO ID DE
LA PERSONA
QUE
RESPONDE
6.01
Estuv o enfermo
durante los
últimos 28 días?
ADEMÁS DE
ESTA
DISCAPIDAD
6.05
Con un buena
estructura de pases
“No aplica” no es
necesario
“No sabe”, “No aplica”, etc.
Al contrario de lo que se cree, estas son pocas veces una buena
idea
Los entrevistadores a menudo
interpretan un explícito “No
sabe” como una invitación a
usarlo a la ligera
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Incluya totalesC
en
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Los totales permiten
reducir los errores
tipográficos y de
digitación
Diseño – Formateo
• Software de diseño– Excel es mejor que Word, etc.
• Quién debería hacerlo – No cualquiera
• Elaboración de cuestionarios electrónicos (CAPI, WAPI, TAPI y otros)– Elija herramientas de software acorde a la
complejidad de la encuesta (Blaise, CSPro, Surveybe,
– No pierda tiempo en aplicaciones ad-hoc
– Hágase asesorar por expertos
– Un cuestionario de estas características requiere más tiempo que un cuestionario papel.
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Diseño – Otros tópicos
• Uso de panel
– Registre e ingrese tanta información de
seguimiento como sea posible
(coordenadas de GPS, teléfonos propios,
responsables de la firma, proveedores de
información, etc.)
– En segundas entrevistas hago uso de la
información colectada anteriormente
• Traducción
– No es sencilla, no es rápida, no es barata
– Pero es necesaria en ciertos casos
– Siempre corrobore mediante doble
traducción
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Diseño – Otros tópicos
• Período de referencia– Encuestas económicas: año económico o
contable (existencia del balance para ese período)
– Encuestas agrícolas año/temporada agrícola
• Determinación de la productividad o el beneficio de la actividad– Ingresos
– Gastos en: remuneraciones, inversiones, insumos, electricidad, combustibles, etc.
– Idealmente basarse en Balance
• Determinación de la producción agrícola– Chile por declaración de superficie sembrada y
producción
– Países de África por medición de superficie sembrada y parcelas para evaluar rendimiento
Cen
ten
ido
Dis
eñ
oP
re-t
es
teo
Fra
seo
Org
an
izac
ión
Fo
rmate
oO
tro
s
Co
nte
nid
oD
ise
ño
Pre
-te
ste
oPre-testeo del cuestionario
• Involucra a– El equipo de evaluación de impacto
– Expertos en encuestas
– Firma de campo
• Es un proceso iterativo– Se espera encontrar problemas
– La mayoría de los problemas se encuentran durante el primer o segundo día
• Muestra– Debe ser intencionada, no necesita ser aleatoria, ni
demasiado grande
• La medición de tiempos de aplicación es meramente referencial, ya que generalmente se sobreestimará el tiempo de entrevista
• No se debe confundir con– Prueba de campo o piloto
– Práctica de entrenamiento
26
Factores de calidad del trabajo en terreno
Selección de personal de
terreno y entrenamiento
Organización del trabajo en
terreno
Gestión de datos
Supervisión y Monitoreo
Selección de personal de
terreno y entrenamiento
Factores de calidad del trabajo en terreno
Selección de personal de
terreno y entrenamiento
Organización del trabajo en
terreno
Gestión de datos
Supervisión y Monitoreo
Selección de personal de terreno y entrenamiento
Llamado a candidatos
Pre-selecciónde
candidatoscon base en
perfiles
Entrena-miento
Selección de personal
Aprobación de la
selección de parte de la
entidad contratante
Contratación
29
Selección de personal de terreno y entrenamiento
Factores de calidad del trabajo en
terreno
30
Selección de personal de
terreno y entrenamiento
Organización del trabajo en
terrenoOrganización del trabajo en terreno
Esquemas de organización del terreno según forma de
aplicación y medio físico
31
Medio físico
Forma de aplicación
Con entrevistador Auto aplicado
Papel
• Equipos (jefe de quipo y entrevistadores)
• con punto muestra: muestreo en etapas - con conglomerados
• sin punto muestra: muestreo sin conglomerados
• Controles informáticos en terreno, supervisión en terreno, monitoreo informático
• No se requiere organización en equipos
• El entrevistador entrega elcuestionario, responde consultas sobre llenado y retira el cuestionario ya completo
• Mayor probabilidad de errores e inconsistencias
CAPI TAPISAPI
No aplica
WEB No aplica
• Sólo en encuestas a grandes unidades productivas
• Requieren apoyo online o telefónico (ejecutivo de cuenta)
• Validaciones online
Organización del trabajo en terreno
• Que tenga en cuenta las características del estudio:
– Forma de aplicación, medio físico, tipo de muestra, dispersión geográfica
• Un plan de trabajo
– Qué hace cada uno de los equipos o entrevistadores y cuánto tiempo requieren
• Un plan de encuesta
– Qué equipo o entrevistador visita cada lugar y cuándo
32
Curso de Evaluación de Impacto en la Práctica (CEIP)
Plan de trabajo
• Número de entrevistadores por equipo
• Unidades productivas por entrevistador
• Dispersión geográfica de la unidades productivas a ser relevadas
• Traslados
• Operativo de listado de unidades productivas (si resulta aplicable)
• Selección de unidades productivas (en terreno o centralmente)
• Duración de la entrevista, mediciones de área, otras mediciones (si resulta
aplicable)
• Número de visitas necesarias y revisitas de corrección
• Reposo
33
Escenario optimista Escenario pesimista
Qué hace cada equipo y cuánto tiempo requiere.
Es necesario considerar:
Evite los extremos!
Curso de Evaluación de Impacto en la Práctica (CEIP)
• Número de equipos de terreno, distribuidos equilibradamente
– Espacialmente
– Entre grupos tratamiento y control
• Número de unidades productivas asignadas a cada equipo
• Tiempo total disponible para el trabajo en terreno
• Distribución espacial y temporal de la muestra
• Restricciones externas
– Cronograma del proyecto evaluado
– Clima
– Vacaciones, fiestas, etc.
– Seguridad
34 Plan de encuesta
Qué equipo visita qué unidades productivas y cuándo.
Es necesario considerar:
Pocos equipos
Más tiempo
Muchos equipos
Menos tiempo
Curso de Evaluación de Impacto en la Práctica (CEIP)
Factores de calidad del trabajo en terreno
Selección de personal de
terreno y entrenamiento
Organización del trabajo en
terreno
Gestión de datos
Supervisión y Monitoreo
35
Gestión de datos
Curso de Evaluación de Impacto en la Práctica (CEIP)
Controles informáticos en terreno
Supervisión humana en terreno
Monitoreo central informático de los entrevistadores
Estos tres pilares de la calidad del trabajo en terreno
deben operar juntos
Uno sólo o dos no son suficiente
36 Los tres pilares del Aseguramiento de la Calidad
Curso de Evaluación de Impacto en la Práctica (CEIP)
Entrevista
Integrando controles de calidad por computador
al trabajo en terreno
Internet
Base de datosconsolidada
37
Entrada de datos con controles
informáticos
Informe de calidad
Revisióndel
supervisor
Revisita
Monitoreodel trabajo en
terreno
¿Qué sucede sin la integración?
• “Editores” humanos en terreno que no pueden controlar todas las posibilidades de error e inconsistencias
• El largo y frustrante proceso de “limpieza de datos” se vuelve inevitable
Los datos pierden su relevancia para la política
• La calidad de los datos no está garantizada
La “limpieza de datos” tiende, en el mejor de los casos, a una base que es consistente sólo internamente, pero que no representa necesariamente la realidad
• “La limpieza de datos” involucra una miríada de decisiones, generalmente indocumentadas
38
Programa de entrada de datos
• Chequeos de calidad necesarios:
– Chequeos de rango
– Saltos
– Inconsistencias entre datos del cuestionario
– Datos faltantes
– Errores tipográficos
• Evite la programación ad-hoc
• Hay disponibles muchas plataformas de programación (CS/Pro, LSD,
Blaise, Surveybe, Survey Solutions, etc.)
– Simplifican los chequeos– Automatizan la documentación– Automatizan la exportación a Stata, SPSS, etc.
• La adaptación/depuración son laboriosas
– Chequeos específicos por áreas temáticas– Chequeos contra tablas de referencia
• Todo debe ser hecho antes del trabajo en terreno40
Factores de calidad del trabajo en terreno
41
Selección de personal de
terreno y entrenamiento
Organización del trabajo en
terreno
Gestión de datos
Supervisión y Monitoreo
Supervisión y Monitoreo
Supervisión en terreno
• El jefe del equipo revisita o recontacta algunas unidades
encuestadas y repite algunas preguntas
• No demasiadas unidades, no demasiadas preguntas, pero
seleccionados aleatoriamente
• Esto es algo que los computadores no pueden hacer… aún
• El proceso debe ser formalizado y documentado
42
Controles de calidad centralizados
• Supervisión de supervisores
• Chequeos telefónicos
• Monitoreo informático de indicadores de calidad del
trabajo en terreno (sobre todos los datos disponibles
simultáneamente)
Tasas de rechazo
Tasas de “no responde” y “no sabe”
Preguntas vulnerables a incentivos perversos
Comportamiento descuidado
Otros que veremos más adelante
43
El ejecutordel programa de intervención
El escenario y los actores
44
El evaluador(Agencia de evaluación, nacional o
internacional)
Firma encuestadoraresponsable de levantar los datos
Finanzas
Gerente
Brigadas de campo
Equipo central
Jefe de proyecto
Jefede gestión
de datos
Jefede operaciones de campo
Aseguramiento de CalidadEspecialistas
en diseño y análisis de Evaluación de Impacto
Equipo de evaluación $
Personal de campo
Evaluación de Impacto – El guión
45
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
Gestión, logística y finanzas
46
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
• Acuerdos institucionales• Procedimientos de desembolso• Firma encuestadora
• TdRs• Selección• Contrato
• Adquisición• Vehículos• Computadores• Otros equipos
• Publicidad
Desarrollo del cuestionario
47
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
• Identificar los indicadores de Evaluación de Impacto
• Identificar otros temas relevantes• Cuestionario de hogares
Primer borrador• Preparación• Formateo• Solicitud de comentarios• Seminario
• Re-diseño• Traducción• Pre-test• Impresión
• Cuestionario de establecimientos• Cuestionario comunitario
Muestreo
48
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
• Diseño muestral• Desarrollo del marco de 1ra etapa
• Directorio de empresas• Lista / Mapas de Áreas Censales
• Selección de las UPMs• Aleatorización Tratamiento / Control
• Desarrollo del marco de 2da etapa• Listado de hogares / empresas
• Selección de hogares / empresas• Aleatorización Tratamiento / Control
• Cálculo de ponderadores• Cálculo de errores muestrales
Selección y capacitación
49
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
• Selección y capacitación para el pre-test
• Preparación de manuales• Supervisor• Encuestador• Operador de ingreso de datos
• Selección del personal de campo• Preparación de la capacitación
• Local/es, logística, etc.• Capacitación del personal de campo
• Semanas, no días• Plenarias, ejercicios en clase,
prácticas en campo• Capacitar más personal que lo
estrictamente necesario, después elegir
Trabajo de campo y Aseguramiento de Calidad
50
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
• Desarrollo del programa de ingreso de datos
• ¡ Puede o no ser CAPI !
• Preparar los procedimientos de supervisión humana
• Preparar los protocolos de trasmisión de datos
• Preparar los protocolos de consolidación de datos
• Definir los indicadores de calidad de campo
• Monitoreo del trabajo de campo
Tabulación y análisis
51
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
• Después de la encuesta de línea basal
• Informe de línea basal• Comparación tratamiento /
control• Después de la encuesta de
seguimiento• ¿Hubo impacto?• Otros temas relevantes
(derrame, focalización, costo-efectividad, etc.)
• Entonces• Monografías académicas
• Siempre• Documentar todo• Diseminar las bases de datos
Documentación – Un tema prioritario y transversal
52
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Diseño
Recolección de datos
Análisis
Línea basal
Seguimiento
Documentación
Evaluación de Impacto - Escenas culminantes (actividades críticas)
53
Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y Aseguramiento de Calidad
Tabulación y análisis
Línea basal
SeguimientoLínea basal Seguimiento
Elección del Equipo Central
Prueba piloto
Capacitación del personal
Evaluación de Impacto
Distribución del presupuesto
54
Remuneración del personal de campo
Viáticos
Transporte / Logística
Listado de hogaresOtrosEquipo Central
Overhead
Equipo de Evaluación
Equipo de QA (Aseguramiento de
Calidad)
Viajes internacionales Per diems internacionales
Recolección de datos
Diseño, Análisis y QA
Presupuestos típicos
• Es difícil hablar de un “presupuesto típico”, porque los presupuestos no siempre incluyen rubros importantes:– Tiempo y viajes del personal de agencias internacionales– Asistencia Técnica (Equipo de Evaluación, Equipo de
Aseguramiento de Calidad)
• Algunos presupuestos consideran gastos no vinculados a la evaluación– Viajes de estudio
• Algunos presupuestos incluyen bienes de capital que perduran después de la evaluación (computadores, vehículos)
• Hoy día, las encuestas de Evaluación de Impacto suelen fluctuar entre $100 y $300 por hogar o establecimiento
55