1/22 panorama de los mÉtodos cualitativos y cuantitativos reconocidos para la medición y la...
TRANSCRIPT
![Page 1: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/1.jpg)
1/22
Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo
Departamento Federal de Asuntos Exteriores DFAEAgencia Suiza para el Desarrollo y la Cooperación COSUDE
Simon Zbinden
Seminario sobre el MONITOREO DE EFECTOSLa Habana, Junio 2009
Una presentación basada en:DeGeVal, 2009. Verfahren der Wirkungsanalyse – Eine Landkarte für
die entwicklungspolitische Praxis. Arbeitskreis Evaluation von Entwiclungspolitik, Arbeitsgruppe Wirkungsanalyse. Berlin, Germany.
![Page 2: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/2.jpg)
2/22
Porqué un tal panorama - objetivos
Conocer los métodos existentes más reconocidos -> saber donde recoger mayor información
Métodos comprobados y reconocidos, todos con características y usos diferentes -> no hay solución "one-size-fits-all" -> hacer una selección à medida
Aplicar métodos comprobados y reconocidos versus desarrollar métodos propios -> crear mayor validad y credibilidad
Mezclar para optimizar evaluación -> seleccionar métodos cualitativos y cuantitativos
![Page 3: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/3.jpg)
3/22
Centros de recursos
Network of Networks on Impact Evaluation (NONIE)www.worldbank.org/ieg/nonie
International Initiative for Impact Evaluation (3ie)www.3ieimpact.org
DAC Network on Development Evaluation www.oecd.org/dac/evaluationnetwork
Poverty Action Labhttp://www.povertyactionlab.org/
Metodologías, ejemplos & casos
![Page 4: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/4.jpg)
4/22
DAC estándares de calidad1 para evaluaciones
1) Análisis del contexto socio-político-institucional y otros factores externos que influencian las intervenciones
2) Descripción detallada del método y técnica (incluso tomar la muestra) de la colección y el análisis de los datos / informaciones
3) Participación de todos los actores involucrados
4) Transparencia de todas las fuentes de información
5) Validación de los fuentes de información
exigen:
1 DAC Guidelines and Reference Series: Quality Standards for Development Evaluation.
![Page 5: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/5.jpg)
5/22
Un granito de teoría
![Page 6: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/6.jpg)
6/22
Dos preguntas fundamentales
1. Funciona?
2. Porqué funciona?
Ambas son crucial, pero raramente abordado simultáneamente
![Page 7: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/7.jpg)
7/22
"Curtis, necesito que me busques un método para echar toda la culpa de esto a el niño"
1era Pregunta: Funciona? -> atribución y causalidad
![Page 8: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/8.jpg)
8/22
1era Pregunta: Funciona?
Problema fundamental: la misma persona no puede ser observado simultáneamente "con" y "sin" la intervención
Conclusión: "evidencia" solo con lo contrafactual –> que hubiera pasado al grupo meta sin la intervención, politica o medida
el efecto netovalidad interna-> concluir que x causo y
![Page 9: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/9.jpg)
9/22
1era Pregunta: Funciona?
Perspectiva investigación social empíricatrabajar con grupo de control = comparación "sin y con" -> única manera para evidenciar causalidad, pero método de más alto valor informativo
En practica no siempre posible (25 – 40% de los casos)-> metodo alternativo: "antes-después"
![Page 10: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/10.jpg)
10/22
2nda Pregunta: Porqué y como funciona?
Dos formas para abordarlos
Enfoques con regresiones de datos cuantitativos -> comprobar un modelo teórica
Métodos cualitativos
![Page 11: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/11.jpg)
11/22
Conclusiones
comparación contrafactual "sin y con", combinado con "antes – después" (funciona?)
Idealmente aspirar a…
mezcla de métodos cuantitativos y cualitativos (porqué y como funciona?)
![Page 12: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/12.jpg)
12/22
Los métodos
"Carlito, puedes quitar tu método de orientación, el día laboral está terminado"
![Page 13: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/13.jpg)
13/22
Métodos cuantitativos - rigurosas-> Para generar información primaria
diseños cuantitativos experimentales diseños cuantitativos quasi-experimentales -> Feria
![Page 14: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/14.jpg)
14/22
-> Feria
Métodos cualitativos - participativos -> Para generar información primaria
Enfoque CeVal según Stockmann Do-No-Harm (DNH) e-Val® Drivers of Change (DoC) by DFID Impact Monitoring Assessment según Herweg&Steiner Impact Pathway KAP (Knowledge, Attitude and Practice) Method for Impact Assessment of Programs and Projects (MAPP) Most Significant Change (MSC) NGO-IDEA Toolbox Outcome Mapping (OM) Participatory Impact Monitoring / FAKT Participatory Impact Monitoring / SLE Participatory Livelihood System Analysis (PalSa) Participatory Methodology for Measuring the Contribution of Volunteering to Dev Peace and Conflict Assessment (PCA) Programm-integriertes Planungs-, Monitoring- und Evaluationssystem (PriMe) según InWent Real Time Evaluation RTE Tracer Study Monitoreo hacia efectos de la GTZ
![Page 15: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/15.jpg)
15/22
Most Significante Change Technique (MSC)
Método de monitoreo y evaluación participativo de efectos e impactos
Durante y al fin del ciclo de proyecto
Principio de base:
actores "identifican" posibles cambios por el proyecto (abierto, no hay indicadores pre-definidos)
coleccionar cuentos de cambios significativos
análisis sistemática participativa por los actores
selección del historia más significativo
Técnica acerca del cambio más significativo
![Page 16: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/16.jpg)
16/22
Most Significante Change Technique (MSC) Técnica acerca del cambio más significativo
![Page 17: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/17.jpg)
17/22
Tracer Studies Método para estudiar "rastros" en formación / capacitación
Método para monitorear formación y capacitación en los sectores educación, caplab, universidades
Autoevaluación de los graduados (abierto, sin indicadores predefinidos)
Medición antes, después y después + x años
Principio de base
establecer población de base
establecer indicadores, áreas de observación (cuestionarios semi-abiertos)
seleccionar muestra significativa (voluntaria) de graduados
antes, después y después + x años
triangulacion con evaluaciones de empleadores
![Page 18: 1/22 Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Departamento Federal](https://reader033.vdocumento.com/reader033/viewer/2022061305/54a6acec497959d95c8b486a/html5/thumbnails/18.jpg)
18/22
Gracias – ahora Sí, medimos!
MCR