brasil - sistema de monitoreo y evaluación de la política de protección social en brasil

Ministerio del Desarollo Social

y Lucha contra el Hambre

Sistema de Monitoreo y Evaluación de la

Política de Protección Social en Brasil

Romulo Paes de Sousa

Vice-Ministro

V Seminario Internacional - Transferencia Condicionada de Ingreso

Santiago, Chile

30 de Septiembre y 1 de Octubre de 2010



� En que pese ser reciente en países como Brasil, la incorporación de instancias de E & M (Evaluación y Monitoreo) ha crecido rápidamente en la academia y en órganos gubernamentales.

� El esfuerzo de implementación de sistemas de E & M ha crecido en el sector público y, más recientemente, en el sector no-público.

Consideraciones Iniciales



�El presupuesto del sector también aumentó, indicando aumento en la legitimidad.

�Las experiencias son heterogéneas en competencias y resultados.

�En Brasil, existe fuerte concentración de competencias a nivel federal y en unidades de la federación y municipalidades más ricas. En países más pobres, hay fuerte influencia de instituciones de financiación.

�Existe poca reflexión mundial sobre la política y sociología de E & M.




�Consolidación de Experiencias:- Gobierno: MEC/INEP, TCU, MPO, ENAP, MDS, IPEA, y secretarias deplanificación en unidades de la federación especificas (MG, SP, CE y PE)- Academia: Cedeplar/UFMG, PUC RJ, escuelas de gobierno (FJP, Fundaj y otras)

�Convergencia conceptual•Apropiación del lenguaje

�Para más que las introducciones

•Convención interinstitucional en el uso de conceptos�Finalmente una lengua franca

•Uso de referencias comunes

�Rutinas de diseminación de contenidos (teóricos y empíricos)




Organigrama MDS



Evaluación Monitoreo

Realización de InvestigacionesDesarrollo de Sistemas

Operacionales

• Definición del objeto

• Diseño metodológico

• Contratación

• Coordinación e implementación

• Análisis de resultados

• Alimentación con datos de los programas

• Organización, hierarquización y proveimiento de informaciones

• Gestión de las bases de datos

• Elaboración de las variables e indicadores

Perfeccionamiento

de los programas- Publicaciones

- Seminarios

- Microdatos para

el Consorcio de

Informaciones

Sociales

Retroalimentación Diseminación

y transparencia

- Asesoría para alta dirección

- Preparación de informes y notas técnicas

- Apoyo a la toma de decisión

- Gestión de

políticas sociales

- Evaluación y

Monitoreo

- Control Social

Disponibilidad de

informaciones

estratégicas

Formación y

capacitación en



Ciclo de Evaluación

1. Discusión 2. Término de Referencia 3. Contratación

SAGI/SF

•Definición de la evaluación a ser realizada

•Relevancia del estudio propuesto

SAGI/SF

•Elaboración del TOR por la SAGI

•Revisión del TOR por la SF

SAA y/o Órgano de Cooperación Internacional

•Aprobación del TOR

•Elaboración de regulación

•Contratación de la institución ejecutora (IE) que presenta mejor propuesta técnica y presupuestaria

4. Reunión/Definiciones importantes

5. Seguimiento 6. Resultados Finales

SAGI/SF/IE

•Definición de cuestiones relevantes para el estudio

•Disponibilidad de los datos necesarios para la realización de la encuesta

SAGI/IE

•Desarrollo de los instrumentos de investigación

•Visitas a campo

•Evaluación y aprobación de informes parciales y del informe final

SAGI/SF/IE

•Recomendaciones de la evaluación (IE)

•Reuniones con gestores

•Retroalimentación de los programas

7. Divulgación de los Resultados 8. Publicaciones 9. Microdatos

SAGI/SF/IE

•Presentación de los resultados finales al MDS

•Seminarios abiertos al público externo

SAGI

•Cuadernos de estudios

•Informes de investigación

•Libros

SAGI

•Envío de los archivos de microdatos y documentación de las investigaciones al CIS

SAGI = Secretaria de Evaluación y Gestión de la Información / SAA=Secretaría de Asuntos Administrativos

SF = Secretaría Finalística / IE= Institución Ejecutora / CIS = Consorcio de Informaciones Sociales

Adaptado de Vaitsman, J; Rodrigues, R.W. S.; Paes-Sousa, R. Brasília: UNESCO Management of Social Transformations, MDS, 2006. 77 p.



Procesos de Evaluación 2005-2010SAGI/MDS (referencia febrero, 2010)

SecretaríasInvestigaciones en Contratación

Investigaciones en curso

Investigaciones Concluidas

Total

Bolsa Familia 3 2 12 17

Seguridad Alimentaria

2 3 25 30

Inclusión Productiva

- 1 3 4

Asistencia Social

1 3 21 25

MDS (General)

3 2 15 19

Total 09 11 75 96



Recursos humanos de la Secretaría de Evaluación y Gestión de la Información, según carrera de licenciatura y la titulación más alta

Titulación

Carrera LicenciaturaEspecializació

nMáster

Doctorado

Total

Derecho 1 1 2

Historia 2 1 3

Servicio Social 1 2 3Geografía /Arquitectura 2 1 1 4

Antropología/Sociología/Ciencias Políticas 3 3 7 2 15

Economía 3 3

Pedagogía 1 1 2

Psicología 2 2 3 7

Nutrición/Odontología 2 2

Agronomía 2 2

Estadística 1 1 1 3

Tecnología de la Información * 10 3 4 17

Administración 2 3 5

Biblioteconomía 1 1

Secretariado Ejecutivo 1 1

Comunicación Social/ Lenguaje 2 2

Total 29 15 24 4 72

* Esta categoría incluye a las carreras de Administración de Sistemas de Información, Computación, Tecnología e Tecnología Telemática e Ingeniería.



� Cisternas (FAGRO/EMBRAPA):

� Teniendo en cuenta que, de las 396 análisis de calidad realizadas, 177

fueron consideradas contaminadas (44,7%), el MDS estableció cooperación

con el Ministerio de Salud, que tiene como objetivo el seguimiento

regular de las familias beneficiarias del programa por los Agentes

Comunitarios de Salud (ACS);

� Los ACS prestan informaciones sobre el hipoclorito de sodio como agente

descontaminante del agua para consumo, así como orientan sobre el uso

y el acceso al mismo.

Algunos resultados de evaluaciones (ejemplos)



• Evaluación desarrollada por el ‘Instituto Internacional de Pesquisa sobre Políticas Alimentares’ (IFPRI) para mensurar los impactos del Programa Bolsa Familia en la educación y en la salud.

Objetivo: Aislar a los efectos del Programa sobre su población y entender si los cambios identificados en la vida de la población tiene relación directa con el Programa.


� Programa Bolsa Familia (IFPRI):



� Impactos identificados

• Aumento de la matrícula en 4,4 puntos porcentuales

• Aumento de la progresión escolar en 6,0 puntos porcentuales

• Efectos más intensos sobre la matrícula en el Nordeste, región en que el impacto del BF es de 11,7 puntos porcentuales

• Efectos importantes en retención escolar de niños de 15 años o más

• Aumento de la utilización de asistencia prenatal

• Mejora del estado nutricional de niños en edad preescolar (0 a 6 años) residentes en hogares beneficiarios del PBF entre 2005 e 2009 en relación a estándares internacionales, considerando su altura y peso

• La participación en el Programa Bolsa Familia aumentó en 15 puntos porcentuales la probabilidad de que un niño reciba todas las seis vacunas necesarias hasta los 6 meses de edad


� Programa Bolsa Familia (IFPRI):



Sistemática de Monitoreo

� Cartografía preliminar y selección de programas que deben de ser monitoreados

� Construcción del modelo lógico

� Elaboración del flujo detallado de actividades de los programas seleccionados (detallar construcción, revisión, validación)

� Construcción de indicadores

� Alimentación de los indicadores: identificación y/o desarrollo de herramientas para la coleta de los datos estratégicos de los programas

� Elaboración de informes y publicaciones



Paso a Paso de la Sistemática de Monitoreo

OBJETIVOALCANZADO



• MI Social - una estratégia de organización de las informaciones para monitoreo de los programas sociales del Ministerio.

Disponibiliza informaciones e indicadores sociales específicos de las unidades de la federación, de las municipalidades y del Distrito Federal.

�Tablas Sociales

� Atlas Social

� MI Vector

� Reportes de Informaciones Sociales - RI

� MDS en Mapas

Formas de consultas

Disponible al público

Informaciones Estratégicas: Matriz de Información Social (familia de herramientas)



Informaciones Gerenciales

http://www.mds.gov.br/gestaodainformacao

Acceso en línea: • Sociedad civil;• Unidades de la federación y

Municipalidades.



http://www.mds.gov.br/gestaodainformacao/ferramentas/tipos-de-ferramentas/matriz-de-informacao-social/atlas-social

ATLAS SOCIAL



34 publicaciones técnicas “físicas”

Realización de seminarios internacionales, nacionales y premiaciones

Público Objetivo:

Gestores, organismos de la administración pública e internacionales, instituciones de investigación, universidades, instituciones de control social, bibliotecas públicas, escuelas de gobierno

Distribución gratuita:

Mailing; disponibilización en línea (sitio web de MDS); CD interactivo

Diseminación



Desafios

• Baja densidad de especialistas en los organos públicos

• Necesidad de cursos de formación

• Inestabilidad institucional (recursos humanos e infraestructura)

• Conflicto inter-corporativo (E & M contra todos)

– Gestión ineficiente de los resultados

– Riesgos institucionales de la transparencia (comunicación institucional)



Desafios

• Contratación de investigaciones a largo plazo:

– Inconsistencia entre los tiempos legales y los tiempos de la investigación;

– Reestruturación del diseño frente a la idea inicial.

• Sobre el dumping, “aventureros” y otros problemas de los procesos de licitación:

– Cuando el mercado se despierta para la evaluación de programas.



Institucionalización de los Sistemas

• Marco legal externo

– Ajuste a la legislación en las especificidades de E & M

• Marco legal interno

– Prestadores de servicios: formalización según demanda de E & M

– Definición de los temas y atribución de responsabilidades

• Formalidad contractual

• Financiamiento



Institucionalización de los Sistemas

• Liderazgo y legitimidad

• Desarrollo de competencia en los diferentes niveles

• Formación de redes de cooperación

– Acciones coordinadas en red

•MPO

• IPEA o “Instituto Nacional de Avaliação de Políticas Públicas”

– Redes de intercambio técnico



El papel de los órganos federales de control

• Participar de la red de diseminación de metodologias de E & M

• TAC para contratación de estudios de evaluación

– Legislación adecuada a P & D (riesgos asociados a la producción del conocimiento)

• Uso intensivo de las evaluaciones para evitar redundancia



El nivel federal como inductor de metodologias de E & M

• Diseminación de metodologias de E & M a los niveles sub-nacionales de control

• Colaboración en la formación de redes de diseminación del conocimiento

– Producción de material didáctico aplicado

– Desarrollo de medios de diseminación de métodos y resultados

• Revista técnica, blog, congreso, etc

– Intercambio de herramientas



¡Gracias!

[email protected]

brasil - sistema de monitoreo y evaluación de la política de protección social en brasil

Government & Nonprofit