Ministerio del Desarollo Social
y Lucha contra el Hambre
Sistema de Monitoreo y Evaluación de la
Política de Protección Social en Brasil
Romulo Paes de Sousa
Vice-Ministro
V Seminario Internacional - Transferencia Condicionada de Ingreso
Santiago, Chile
30 de Septiembre y 1 de Octubre de 2010
Ministerio del Desarollo Social
y Lucha contra el Hambre
� En que pese ser reciente en países como Brasil, la incorporación de instancias de E & M (Evaluación y Monitoreo) ha crecido rápidamente en la academia y en órganos gubernamentales.
� El esfuerzo de implementación de sistemas de E & M ha crecido en el sector público y, más recientemente, en el sector no-público.
Consideraciones Iniciales
Ministerio del Desarollo Social
y Lucha contra el Hambre
�El presupuesto del sector también aumentó, indicando aumento en la legitimidad.
�Las experiencias son heterogéneas en competencias y resultados.
�En Brasil, existe fuerte concentración de competencias a nivel federal y en unidades de la federación y municipalidades más ricas. En países más pobres, hay fuerte influencia de instituciones de financiación.
�Existe poca reflexión mundial sobre la política y sociología de E & M.
Consideraciones Iniciales
Ministerio del Desarollo Social
y Lucha contra el Hambre
�Consolidación de Experiencias:- Gobierno: MEC/INEP, TCU, MPO, ENAP, MDS, IPEA, y secretarias deplanificación en unidades de la federación especificas (MG, SP, CE y PE)- Academia: Cedeplar/UFMG, PUC RJ, escuelas de gobierno (FJP, Fundaj y otras)
�Convergencia conceptual•Apropiación del lenguaje
�Para más que las introducciones
•Convención interinstitucional en el uso de conceptos�Finalmente una lengua franca
•Uso de referencias comunes
�Rutinas de diseminación de contenidos (teóricos y empíricos)
Consideraciones Iniciales
Ministerio del Desarollo Social
y Lucha contra el Hambre
Organigrama MDS
Ministerio del Desarollo Social
y Lucha contra el Hambre
Evaluación Monitoreo
Realización de InvestigacionesDesarrollo de Sistemas
Operacionales
• Definición del objeto
• Diseño metodológico
• Contratación
• Coordinación e implementación
• Análisis de resultados
• Alimentación con datos de los programas
• Organización, hierarquización y proveimiento de informaciones
• Gestión de las bases de datos
• Elaboración de las variables e indicadores
Perfeccionamiento
de los programas- Publicaciones
- Seminarios
- Microdatos para
el Consorcio de
Informaciones
Sociales
Retroalimentación Diseminación
y transparencia
- Asesoría para alta dirección
- Preparación de informes y notas técnicas
- Apoyo a la toma de decisión
- Gestión de
políticas sociales
- Evaluación y
Monitoreo
- Control Social
Disponibilidad de
informaciones
estratégicas
Formación y
capacitación en
Ministerio del Desarollo Social
y Lucha contra el Hambre
Ciclo de Evaluación
1. Discusión 2. Término de Referencia 3. Contratación
SAGI/SF
•Definición de la evaluación a ser realizada
•Relevancia del estudio propuesto
SAGI/SF
•Elaboración del TOR por la SAGI
•Revisión del TOR por la SF
SAA y/o Órgano de Cooperación Internacional
•Aprobación del TOR
•Elaboración de regulación
•Contratación de la institución ejecutora (IE) que presenta mejor propuesta técnica y presupuestaria
4. Reunión/Definiciones importantes
5. Seguimiento 6. Resultados Finales
SAGI/SF/IE
•Definición de cuestiones relevantes para el estudio
•Disponibilidad de los datos necesarios para la realización de la encuesta
SAGI/IE
•Desarrollo de los instrumentos de investigación
•Visitas a campo
•Evaluación y aprobación de informes parciales y del informe final
SAGI/SF/IE
•Recomendaciones de la evaluación (IE)
•Reuniones con gestores
•Retroalimentación de los programas
7. Divulgación de los Resultados 8. Publicaciones 9. Microdatos
SAGI/SF/IE
•Presentación de los resultados finales al MDS
•Seminarios abiertos al público externo
SAGI
•Cuadernos de estudios
•Informes de investigación
•Libros
SAGI
•Envío de los archivos de microdatos y documentación de las investigaciones al CIS
SAGI = Secretaria de Evaluación y Gestión de la Información / SAA=Secretaría de Asuntos Administrativos
SF = Secretaría Finalística / IE= Institución Ejecutora / CIS = Consorcio de Informaciones Sociales
Adaptado de Vaitsman, J; Rodrigues, R.W. S.; Paes-Sousa, R. Brasília: UNESCO Management of Social Transformations, MDS, 2006. 77 p.
Ministerio del Desarollo Social
y Lucha contra el Hambre
Procesos de Evaluación 2005-2010SAGI/MDS (referencia febrero, 2010)
SecretaríasInvestigaciones en Contratación
Investigaciones en curso
Investigaciones Concluidas
Total
Bolsa Familia 3 2 12 17
Seguridad Alimentaria
2 3 25 30
Inclusión Productiva
- 1 3 4
Asistencia Social
1 3 21 25
MDS (General)
3 2 15 19
Total 09 11 75 96
Ministerio del Desarollo Social
y Lucha contra el Hambre
Recursos humanos de la Secretaría de Evaluación y Gestión de la Información, según carrera de licenciatura y la titulación más alta
Titulación
Carrera LicenciaturaEspecializació
nMáster
Doctorado
Total
Derecho 1 1 2
Historia 2 1 3
Servicio Social 1 2 3Geografía /Arquitectura 2 1 1 4
Antropología/Sociología/Ciencias Políticas 3 3 7 2 15
Economía 3 3
Pedagogía 1 1 2
Psicología 2 2 3 7
Nutrición/Odontología 2 2
Agronomía 2 2
Estadística 1 1 1 3
Tecnología de la Información * 10 3 4 17
Administración 2 3 5
Biblioteconomía 1 1
Secretariado Ejecutivo 1 1
Comunicación Social/ Lenguaje 2 2
Total 29 15 24 4 72
* Esta categoría incluye a las carreras de Administración de Sistemas de Información, Computación, Tecnología e Tecnología Telemática e Ingeniería.
Ministerio del Desarollo Social
y Lucha contra el Hambre
� Cisternas (FAGRO/EMBRAPA):
� Teniendo en cuenta que, de las 396 análisis de calidad realizadas, 177
fueron consideradas contaminadas (44,7%), el MDS estableció cooperación
con el Ministerio de Salud, que tiene como objetivo el seguimiento
regular de las familias beneficiarias del programa por los Agentes
Comunitarios de Salud (ACS);
� Los ACS prestan informaciones sobre el hipoclorito de sodio como agente
descontaminante del agua para consumo, así como orientan sobre el uso
y el acceso al mismo.
Algunos resultados de evaluaciones (ejemplos)
Ministerio del Desarollo Social
y Lucha contra el Hambre
• Evaluación desarrollada por el ‘Instituto Internacional de Pesquisa sobre Políticas Alimentares’ (IFPRI) para mensurar los impactos del Programa Bolsa Familia en la educación y en la salud.
Objetivo: Aislar a los efectos del Programa sobre su población y entender si los cambios identificados en la vida de la población tiene relación directa con el Programa.
Algunos resultados de evaluaciones (ejemplos)
� Programa Bolsa Familia (IFPRI):
Ministerio del Desarollo Social
y Lucha contra el Hambre
� Impactos identificados
• Aumento de la matrícula en 4,4 puntos porcentuales
• Aumento de la progresión escolar en 6,0 puntos porcentuales
• Efectos más intensos sobre la matrícula en el Nordeste, región en que el impacto del BF es de 11,7 puntos porcentuales
• Efectos importantes en retención escolar de niños de 15 años o más
• Aumento de la utilización de asistencia prenatal
• Mejora del estado nutricional de niños en edad preescolar (0 a 6 años) residentes en hogares beneficiarios del PBF entre 2005 e 2009 en relación a estándares internacionales, considerando su altura y peso
• La participación en el Programa Bolsa Familia aumentó en 15 puntos porcentuales la probabilidad de que un niño reciba todas las seis vacunas necesarias hasta los 6 meses de edad
Algunos resultados de evaluaciones (ejemplos)
� Programa Bolsa Familia (IFPRI):
Ministerio del Desarollo Social
y Lucha contra el Hambre
Sistemática de Monitoreo
� Cartografía preliminar y selección de programas que deben de ser monitoreados
� Construcción del modelo lógico
� Elaboración del flujo detallado de actividades de los programas seleccionados (detallar construcción, revisión, validación)
� Construcción de indicadores
� Alimentación de los indicadores: identificación y/o desarrollo de herramientas para la coleta de los datos estratégicos de los programas
� Elaboración de informes y publicaciones
Ministerio del Desarollo Social
y Lucha contra el Hambre
Paso a Paso de la Sistemática de Monitoreo
OBJETIVOALCANZADO
Ministerio del Desarollo Social
y Lucha contra el Hambre
• MI Social - una estratégia de organización de las informaciones para monitoreo de los programas sociales del Ministerio.
Disponibiliza informaciones e indicadores sociales específicos de las unidades de la federación, de las municipalidades y del Distrito Federal.
�Tablas Sociales
� Atlas Social
� MI Vector
� Reportes de Informaciones Sociales - RI
� MDS en Mapas
Formas de consultas
Disponible al público
Informaciones Estratégicas: Matriz de Información Social (familia de herramientas)
Ministerio del Desarollo Social
y Lucha contra el Hambre
Informaciones Gerenciales
http://www.mds.gov.br/gestaodainformacao
Acceso en línea: • Sociedad civil;• Unidades de la federación y
Municipalidades.
Ministerio del Desarollo Social
y Lucha contra el Hambre
http://www.mds.gov.br/gestaodainformacao/ferramentas/tipos-de-ferramentas/matriz-de-informacao-social/atlas-social
ATLAS SOCIAL
Ministerio del Desarollo Social
y Lucha contra el Hambre
34 publicaciones técnicas “físicas”
Realización de seminarios internacionales, nacionales y premiaciones
Público Objetivo:
Gestores, organismos de la administración pública e internacionales, instituciones de investigación, universidades, instituciones de control social, bibliotecas públicas, escuelas de gobierno
Distribución gratuita:
Mailing; disponibilización en línea (sitio web de MDS); CD interactivo
Diseminación
Ministerio del Desarollo Social
y Lucha contra el Hambre
Desafios
• Baja densidad de especialistas en los organos públicos
• Necesidad de cursos de formación
• Inestabilidad institucional (recursos humanos e infraestructura)
• Conflicto inter-corporativo (E & M contra todos)
– Gestión ineficiente de los resultados
– Riesgos institucionales de la transparencia (comunicación institucional)
Ministerio del Desarollo Social
y Lucha contra el Hambre
Desafios
• Contratación de investigaciones a largo plazo:
– Inconsistencia entre los tiempos legales y los tiempos de la investigación;
– Reestruturación del diseño frente a la idea inicial.
• Sobre el dumping, “aventureros” y otros problemas de los procesos de licitación:
– Cuando el mercado se despierta para la evaluación de programas.
Ministerio del Desarollo Social
y Lucha contra el Hambre
Institucionalización de los Sistemas
• Marco legal externo
– Ajuste a la legislación en las especificidades de E & M
• Marco legal interno
– Prestadores de servicios: formalización según demanda de E & M
– Definición de los temas y atribución de responsabilidades
• Formalidad contractual
• Financiamiento
Ministerio del Desarollo Social
y Lucha contra el Hambre
Institucionalización de los Sistemas
• Liderazgo y legitimidad
• Desarrollo de competencia en los diferentes niveles
• Formación de redes de cooperación
– Acciones coordinadas en red
•MPO
• IPEA o “Instituto Nacional de Avaliação de Políticas Públicas”
– Redes de intercambio técnico
Ministerio del Desarollo Social
y Lucha contra el Hambre
El papel de los órganos federales de control
• Participar de la red de diseminación de metodologias de E & M
• TAC para contratación de estudios de evaluación
– Legislación adecuada a P & D (riesgos asociados a la producción del conocimiento)
• Uso intensivo de las evaluaciones para evitar redundancia
Ministerio del Desarollo Social
y Lucha contra el Hambre
El nivel federal como inductor de metodologias de E & M
• Diseminación de metodologias de E & M a los niveles sub-nacionales de control
• Colaboración en la formación de redes de diseminación del conocimiento
– Producción de material didáctico aplicado
– Desarrollo de medios de diseminación de métodos y resultados
• Revista técnica, blog, congreso, etc
– Intercambio de herramientas