evaluación de impacto del programa primer paso: con poco ... fileargentino (sipa) ta 4 relevamiento...
TRANSCRIPT
Evaluación de impacto del Programa
Primer Paso: con poco aprendimos mucho
Dolores de la Mata
Economista Principal
Dirección de Investigaciones Socioeconómicas
CAF
Seminario SEMIDE, 23 de noviembre - Mendoza
1. ¿En qué consiste el programa?
2. Proceso de evaluación
3. Resultados 4. Aprendizaje
Gobierno de la Provincia de Córdoba
Pasantía rentada (con subsidio público)
Ediciones anuales desde 1999 (excepto 2008-2011)
Para jóvenes de 16 a 25 años
12 meses en empresa formalmente registrada
10000 beneficiarios por año, 15000 desde 2014
Proceso de postulación
Asignación de beneficiarios
(Lotería de la
Provincia de
Córdoba)
¡¡¡Cerca de 40 mil!!!
Se origina por iniciativa
de CAF (junio 2013)
Se evalúa la edición 2012, modalidad
“entrenamiento”
Asignación aleatoria: garantiza una evaluación
de alta calidad
2. Proceso de evaluación
Preguntas de la evaluación: definidas en taller
de teoría del cambio con gestores del PPP
Trat
amie
nto
Co
ntr
ol
2. Proceso de Evaluación: datos2. Proceso de evaluación: taller de teoría del cambio con funcionarios
1. ¿Qué quiere afectar/cambiar/impactar el PPP?
• Mejorar la inserción laboral (posibilidades de tener un empleo formal)
2. ¿Cómo pretende el PPP cambiar esas cosas?• Mejorando competencias (adquiridas por la práctica laboral
en un entorno formal)
• Oportunidad para que los jóvenes puedan demostrar su potencial
ToC: definir PREGUNTAS RELEVANTES que la
evaluación PUEDA responder
2. Proceso de Evaluación: datos
1°) Postulación
2°) Selección de beneficiarios (lotería)
1°
de
ju
nio
, 2012
2. Proceso de evaluación: Cronología del programa y evaluación1°
de
ma
rzo
, 2012
12 meses de pasantía
31 d
e m
ay
o,
2013
Corto plazo
Mediano plazo
Largo plazo
31 d
e m
ay
o,
2014
31 d
e m
ay
o,
2015
31 d
e m
ay
o,
2016
31 d
e m
ay
o,
2017
Hoy
Corto plazoCorto plazo
Registros
administrativos
- Ficha de
inscripción
- Resultados lotería
2. Proceso de Evaluación: datos2. Proceso de evaluación: DATOS
1°
de
ju
nio
, 2012
1°
de
ma
rzo
, 2012
12 meses de
pasantía
Registros
administrativos
- Ficha de
inscripción
- Resultados lotería
Registros
administrativos
- Sistema de
monitoreo
2. Proceso de Evaluación: datos2. Proceso de evaluación: DATOS
31 d
e m
ay
o,
2013
1°
de
ju
nio
, 2012
1°
de
ma
rzo
, 2012
12 meses de
pasantía
Registros
administrativos
- Ficha de
inscripción
- Resultados lotería
Registros
administrativos
- Sistema de
monitoreo
2. Proceso de Evaluación: datos2. Proceso de evaluación: DATOS
31 d
e d
icie
mb
re,
2016
31 d
e m
ay
o,
2013
1°
de
ju
nio
, 2012
1°
de
ma
rzo
, 2012
Relevamiento en campo (CAF-
Agencia)
- Cualitativo
- Encuesta: resultados
laborales y habilidades
En
cu
est
a:
17 a
l 31
de
ma
yo
, 2014
“Cuali”
(Dic 2013 –
Feb 2014)
12 meses de
pasantía
Registros
administrativos
- Ficha de
inscripción
- Resultados lotería
Registros
administrativos
- Sistema de
monitoreo
2. Proceso de Evaluación: datos2. Proceso de evaluación: DATOS
31 d
e d
icie
mb
re,
2016
31 d
e m
ay
o,
2013
Registros
administrativos
- Sistema Integrado
Previsional
Argentino (SIPA)
En
cu
est
a:
17 a
l 31
de
ma
yo
, 2014
Relevamiento en campo (CAF-
Agencia)
- Cualitativo
- Encuesta: resultados
laborales y habilidades
“Cuali”
(Dic 2013 –
Feb 2014)
“Cuali”
(Dic 2013 –
Feb 2014)
En
cu
est
a:
17 a
l 31
de
ma
yo
, 2014
“Cuali”
(Dic 2013 –
Feb 2014)
1°
de
ju
nio
, 2012
1°
de
ma
rzo
, 2012
2. Proceso de evaluación: características de los postulantes
• Individuos: 21.939
• Número de empresas: 10.400
• Tamaño de las empresas: 65% de postulantes se presenta con una
empresa de más de 5 empleados.
• Sectores: 39% comercio, 31% servicios, 16% manufactura, 14% resto.
2. Proceso de evaluación: características de los postulantes
CARACTERISTICAS
Grupo de
control
Grupo de
tratamiento
Mujer 54% 53%
Edad (en años) 21 21
Soltero 94% 94%
Tiene hijos 11% 10%
Secundaria Finalizada (18+) 64% 65%
Título terciario/universitario (21+) 9% 10%
Tasa de pobreza 2008 (NBI, ciudad o barrio) 8% 8%
Tasa de empleo informal 2008 (ciudad o barrio) 6% 6%
Ficha en papel 43% 43%
Tiene Empleo formal (diciembre 2011) 63% 63%
Tiene Empleo formal (enero 2012) 2% 2%
Tiene Empleo formal (febrero 2012) 1% 1%
Tiene Empleo formal (marzo 2012) 0% 0%
Tiene Empleo formal (abril 2012) 0% 1%
TienenEmpleo formal (mayo 2012) 1% 1%
2. Proceso de evaluación: características de los postulantes
2. Proceso de evaluación: características de los postulantes
• Alto cumplimiento:
• 83% completó 12 meses de pasantía
• solo 3% de individuos asignados al control entraron al PPP
2. Proceso de evaluación: tareas solicitadas
¿Mejoró la empleabilidad de los jóvenes?
¿Por qué? (mecanismos)
3. Resultados
3. Resultados: impacto del PPP sobre desempleo (corto plazo)
89%
33%
90%
40%
0%
20%
40%
60%
80%
100%
tasa de actividad tasa de empleo
control
tratamiento
3. Resultados: impacto del PPP sobre desempleo (corto plazo)
89%
33%
90%
40%
0%
20%
40%
60%
80%
100%
tasa de actividad tasa de empleo
control
tratamiento
21% de aumento
3. Resultados: impacto del PPP sobre formalidad
Duración PPP 2012
Ene
20
12
Ene
20
13
Ene
20
14
Ene
20
15
Ene
20
16
Corto plazo: 32% de
aumento
Largo plazo: 16% de
aumento
3. Resultados: impacto del PPP sobre salarios
-1000
-800
-600
-400
-200
0
200
400
600
800
1000
6 12 18 24 30 36 42
Imp
ac
to s
ob
re s
ala
rio
s fo
rma
les
(en
AR
$
co
nst
an
tes,
ba
se J
un
io 2
01
2)
Meses desde finalización del PPP 2012
3. Resultados: impacto del PPP sobre competencias
3. Resultados: ¿Por qué funciona el PPP?
1. ¿Qué quiere afectar/cambiar/impactar el PPP?
• Mejorar la inserción laboral (posibilidades de tener un empleo formal)
2. ¿Cómo pretende el PPP cambiar esas cosas?
• Mejorando competencias (adquiridas por la práctica laboral en un entorno formal)
• Oportunidad para que los jóvenes puedan demostrar su potencial
Y de manera costo-efectiva!
COSTO directo: 40.000 USD (CAF)
• Programa sobre-demandado, selección por sorteo: experimento “natural”
• Uso intensivo de registros administrativos
• Encuesta de bajo costo (asistida por computadora, en colaboración con UNC)
Teoría del cambio
Relevamiento
cualitativo
4. AprendizajeEncuesta en campo
Discusión de primeros
resultados
Difusión de primeros
resultados
Redacción memoria
institucional
Resultados registros
administrativos LP
Nuevos programas
(también a evaluar)
“Compartimentos estancos” de la gestión del PPP
se reúnen y contraponen visiones
Primera vez (en casi 15 años) que se escuchan y
analizan voces de beneficiarios y otros stakeholders.
Participación en diseño del instrumento; trabajo con
la Univ. Nac. de Córdoba
Sorpresa y debate por resultados de impacto, y
también por análisis descriptivo! (focalización expost)
Repercusión en medios y en ámbitos académico-
policy Efecto multiplicador, +programas a evaluar,
ley provincial 10.236 (“Ley PPP”)
Estimaciones de costo-efectividad favorables
ayudar a debates presupuestarios
El área de gestión y monitoreo dentro de la Agencia
(actual Secretaría) se jerarquiza y suma algunos
recursos. Solicitudes de know how para replicar del
PPP en otros gobiernos (pcias.). Interés gobierno
nacional por ley de empleo joven.
HOY
4. Aprendizaje
Paperacadémico
Paperpolicy (para el MTEySS)
DivulgaciónDEIAP
Docs
conjuntos con Agencia de
Empleo
¡Muchas gracias!
¿Preguntas?