EVALUACIÓNUN CAMINO, UNA EXPERIENCIA

Jordi López Camps2009

DESDE EL PRINCIPIO

RENDIR CUENTAS

ACCOUNTABILITY

¿EVALUAR?

Uff, es muy difícil. Solo se puede pasar un encuesta al final de la formación

“Entonces no tienes problema con el camino que escojas”, dijo el Gato

“Con tal de que llegue a alguna parte …” añadió Alicia como justificación.

“Oh, seguro que lo harás”, dijo el Gato, “con tal de que camines lo bastante”

“¿Podrias decirme, por favor, que camino debe seguir dese aquí?”

“Eso depende, en gran medida, de a dónde quieras ir”, dijo el Gato

“Eso no me importa mucho”, dijo Alicia.

EVALUAR¿POR QUÉ ES TAN DIFÍCIL?

Las actividades formativas no están relacionadas con los problemas de las organizaciones

Se diseñan los planes para aumentar conocimientos, no para solucionar problemas

Los participantes lo son a título individual, no organizativo

Los programas no afrontan la realidad de los participantes

nuevo PUNTO DE VISTA

Sólo se podrá evaluar si se tiene claro lo que se quiere conseguir. Para poder evaluar los resultados de la formación hay que partir de los problemas de la organización

ASSESSMENT

Valor de los aprendizajes

Utilidad social de la formación

EVALUATION

RESULTADOS

EVALUACIONvs

APROXIMACION SOFT

APROXIMACION HARD

Satisfacción de los participantes

Satisfacción de los prescriptores asociada al cumplimiento de objetivos. Impacto de la formación

¿DÓNDE MIRAR?

Aprendizajes individuales

Nuevas competencias para mejorar la organización

Aprendizajes organizativos

SatisfacciónLogro objetivos aprendizajeIdoneidad de las actividades formativasTransferenciaLogro objetivos formativosRetorno de la inversiónRentabilidad social

EVALUAR DECIDIRpara

¿Para quien se evalúa? – Los interesados

¿Qué se evalúa? – Complejidad de los procesos y del sistema

¿Quien evalúa? – Expertos ¿Cuando se evalúa? – Antes, durante

y después ¿Cómo se evalúa? – Diversos

instrumentos

una NUEVA mirada

comPLEjidad

DISTINTOS NIVELES

Impacto de los resultados en la organizaciónIncidencia en las carreras profesionalesRetorno de la inversión

ORGANIZACION

Logro de los objetivos formativosLogro de los objetivos de aprendizajeDesarrollo del proceso formativoTransfarencia

PROCESOS

Satisfacción de los participantesSatisfacción de los interesados

PERSONA

OBJETIVONIVEL DE ANALISIS

NIVELES DE EVALUACION

Satisfacción Logro objetivos aprendizaje Proceso formativo Transferencia Impacto Rentabilidad

1. evaluación SATISFACCIÓN

EVALUACION DE LA SATISFACCION

EVALUACION DE LA SATISFACCION

Programa de Gestió d'Avaluacions

Curs Empresa Formador Mes Any Obert/ TancatAjuntament Lloc 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15PERFECCIONAMENT DEL TREBALLINTEREMPRESAS OCT. 1997 O MOLLET DEL VAL.VALLÈS OR. 2,5 1,7 2,7 2,5 3,3 3,1 3,5 2,9 3,7 2,7 1,7 2,3 3,8 1,8 2,2XARXA TELEMÀTICA PROVINCIALCEINA SET. 1997 3,1 2,7 3,1 3,1 2,8 3,3 3,3 3,4 3,4 3,4 3,1 2,8 3,3 2,6 3,0AUTOCAD EMFO SET. 1997 O MOLLET DEL VAL.VALLÈS OR. 3,4 2,9 3,5 3,4 2,6 3,5 3,6 3,4 3,7 3,6 2,4 1,4 3,6 2,5 2,8ACCESS EMFO SET. 1997 O MOLLET DEL VAL.VALLÈS OR. 2,8 1,2 2,3 2,5 2,3 2,8 2,7 2,3 2,5 3,0 3,2 2,7 3,5 2,6 3,0WORD EMFO PAUL OCT. 1997 O VALLÈS OR. 3,1 2,9 2,3 3,0 2,3 3,0 3,3 3,1 3,1 3,6 3,5 3,0 3,5 3,0 3,3COMPTABILITAT MUNICIPAL FAURA CASAS NOV. 1997 O MOLLET DEL VAL.VALLÈS OR. 3,2 3,6 3,1 2,9 3,1 2,8 3,6 3,0 3,2 3,5 2,3 3,0 3,3 2,2 2,8DIRECCIÓ D'EQUIPS DE TREBALLFORMACIÓ MARESME SET. 1997 O MOLLET DEL VA.3,7 3,2 3,8 3,8 3,8 3,8 3,8 3,7 3,8 3,8 3,6 3,4 3,3 3,0 2,3WORD CETEMMSA NOV. 1997 O MATARÓ MARESME 2,9 2,9 2,8 2,7 2,7 2,8 2,9 2,8 3,0 3,2 3,4 3,3 3,2 2,7 2,7WORD CETEMMSA NOV. 1997 O MATARÓ MARESME 3,0 2,9 2,7 2,8 2,4 3,0 3,3 2,8 2,8 3,0 3,7 3,6 3,7 3,2 3,2WORD CETEMMSA OCT. 1997 O MATARÓ MARESME 2,7 3,0 2,8 3,0 3,0 3,0 2,5 2,7 2,3 3,2 3,3 3,3 3,3 2,8 2,7WINDOWS CETEMMSA SET. 1997 O MATARÓ MARESME 3,2 3,0 3,7 3,8 2,9 3,7 3,7 3,7 3,8 3,8 3,4 2,3 3,8 3,1 3,0ELABORACIÓ DE DOCS. ADMINISTRA. NÚRIA ALTÉS OCT. 1997 O MATARÓ MARESME 3,6 3,4 3,6 3,7 3,4 3,7 3,7 3,6 3,6 3,6 3,2 3,4 3,3 3,2 3,1WINDOWS CETEMMSA NOV. 1997 O MATARÓ MARESME 3,1 2,4 3,8 3,5 2,6 3,8 3,9 3,4 3,8 3,8 3,5 3,3 3,8 2,9 3,1ATENCIÓ AL CIUTADÀ VERDÚ & LEDESMA OCT. 1997 O MATARÓ MARESME 3,4 3,4 3,6 3,6 3,5 3,5 3,6 3,6 3,7 3,6 2,3 3,0 3,4 3,2 3,1WORD CETEMMSA SET. 1997 O MATARÓ MARESME 3,9 3,9 3,6 3,9 3,8 3,9 4,0 3,9 4,0 4,0 3,9 3,7 4,0 3,6 3,6WINDOWS CETEMMSA OCT. 1997 O MATARÓ MARESME 3,6 3,4 3,7 3,4 3,5 3,6 3,8 3,8 3,4 3,3 3,6 3,6 3,7 3,3 3,4DEONTOLOGIA POLICIAL DIVERSOS NOV. 1997 T HOSPITALET LLO. 3,2 3,2 2,4 3,4 2,5 3,0 3,2 3,0 3,2 3,2 2,8 2,4 3,6 2,4 3,0ACCESS CETEMMSA OCT. 1997 O MATARÓ MARESME 3,6 3,0 3,3 3,2 2,2 3,6 3,9 3,4 3,8 3,8 3,4 3,0 3,8 2,0 2,2ACCESS CETEMMSA SET. 1997 O MATARÓ 3,0 3,2 3,2 3,3 2,5 3,6 3,9 3,5 3,7 3,8 3,5 3,5 3,6 2,6 2,8GESTIÓ D'ARXIUS GPF OCT. 1997 O MANLLEU OSONA 3,2 3,3 3,0 3,1 3,3 2,8 3,3 3,3 3,1 3,4 3,3 3,3 3,8 2,5 3,3SEMINARIS DE GOVERN MUNICIPAL JOAQUIM BRUGUÉMAIG 1997 3,1 3,5 2,9 2,9 2,1 2,8 3,6 2,9 3,6 3,5 3,5 2,8 3,1 3,2 3,1ESTRATÈGIES PER A SIMPLIFICAR ... JOSEP Mª COSTA JUN. 1997 3,1 1,8 3,1 3,2 2,3 2,4 3,8 2,9 3,3 2,8 3,7 3,3 3,4 3,0 3,5WINDOWS EMFO NOV. 1997 O MOLLET DEL VA.3,5 3,0 3,5 3,5 3,5 3,5 3,8 3,5 3,5 3,8 2,8 3,3 3,8 3,5 3,7REGLAMENT DE TRÀNSIT JAVIER MATEO NOV. 1997 O TORELLÓ OSONA 3,4 3,4 3,7 3,7 3,3 3,0 3,6 3,7 3,4 3,7 2,9 2,7 3,7 3,0 3,3REGLAMENT DE TRÀNSIT JAVIER MATEO OCT. 1997 O STA. PERPÈTUAVALLÈS OCC. 2,6 2,8 3,4 4,0 3,1 2,4 3,4 3,6 3,2 3,6 3,1 1,4 3,2 2,6 2,6ACCESS AISA NOV. 1997 VALLÈS OCC. 2,9 2,9 3,2 3,3 2,8 3,6 3,9 3,2 3,4 3,7 1,9 2,6 3,6 3,1 2,9ESTRATÈGIES DE MOTIVACIÓ ISIDRE CUNÍ DES. 1997 O MOLLET DEL VAL.VALLÈS OR. 3,3 3,3 3,3 3,8 3,5 3,3 3,8 3,7 3,7 3,3 2,0 2,5 3,2 2,5 2,3AUTOCAD JUAN JOSÉ JIMÉNEZNOV. 1997 VALLÈS OCC. 2,6 2,5 2,4 2,2 1,6 3,0 3,2 2,0 2,8 2,8 3,2 2,8 3,6 3,2 2,8REGLAMENT DE TRÀNSIT DOMINGO ABAD NOV. 1997 O MOLLET DEL VAL.VALLÈS OR. 2,9 2,8 3,7 3,5 3,3 3,2 3,5 3,6 3,6 3,5 2,8 2,9 3,3 3,2 3,0ELABORACIÓ DE DOCS. ADMINISTRA.GPF SET. 1997 STA. PERPÈTUA2,9 3,3 3,2 3,6 3,8 3,6 3,3 3,3 3,3 3,5 3,5 3,0 3,9 3,5 3,2REGLAMENT DE TRÀNSIT DOMINGO ABAD NOV. 1997 O MOLLET DEL VAL.VALLÈS OR. 3,3 3,7 3,6 3,9 3,6 3,6 3,9 3,8 3,7 3,9 1,3 2,5 3,6 3,2 2,9ESTRATÈGIES DE MOTIVACIÓ ISIDRE CUNÍ DES. 1997 O TORELLÓ OSONA 3,7 3,1 3,9 3,9 4,0 3,9 3,9 3,9 3,9 3,6 2,7 3,3 3,7 3,4 3,4

2. evaluación LOGRO OBJETIVOS APRENDIZAJE

EVALUACION DE LOS CONOCIMIENTOS

EVALUACION DE LOS CONOCIMIENTOS

Evalución FORMATIVA

¿Se producen los aprendizajes previstos?

¿Hay problemas organizativos que dificultan el aprendizaje?

¿Se avanza hacia los objetivos formativos?

evaluación SUMATIVA

Nivel de aprendizaje alcanzado Identificar si hay necesidades de

nuevos aprendizajes Identificar aspectos de mejora en

el diseño Valorar la si la composición del

grupo era la adecuada

3. evaluación PROCESO FORMATIVO

Objetivos pedagógicos Contenidos de aprendizaje Secuencias didácticas Métodos Formadores Recursos y materiales de soporte y apoyo Selección de los participantes

EVALUACION

DEMANDA FORMATIVA

EVALUACION OFERTA FORMATIVA

4. evaluación TRANSFERENCIA

clima

apoyo jefes

equipo trabajo

recursos oganizativos

5. evaluación IMPACTO

AVALUACION DEL RETORNO EN MEJORA

Encuesta y metodología elaborada conjuntamente con el

Departamento de Pedagogía Aplicada de la Universidad

Autónoma de Barcelona

NIVELES DE EVALUACION

Primer nivel: Participantes directos en las acciones formativas

Segundo nivel: Superior jerárquico de los participantes en las acciones formativas

Tercer nivel: Responsables de formación de las organizaciones analizadas.

Cuarto nivel: Representantes sindicales

Mejora de la organización (los resultados)

Desarrollo competencias profesionales

Mejora de intangibles

EVALUACION DEL RETORNO EN MEJORA

EVALUACION DE POLITICAS PUBLICAS

6. evaluación RETABILIDAD

RENTABILIDAD ECONOMICAAnálisis coste beneficioRetorno de la inversión

RENTABILIDAD SOCIAL

CON DICIONES

ClaraPertinenteRealista Simple Próxima

RápidaAsumiblePactadaDimensionadaConocida

Barreras para EVALUAR

Miedo a los resultados No se comprende el sentido de la evaluación No se sabe relacionar la evaluación con los

resultados No se sabe cuantificar los resultados de la

evaluación Confusión sobre indicadores y métodos

evaluativos No se sabe muy bien quien debe participar Se considera que la evaluación es un gasto

evitable Los responsables de los procesos evaluativos

no saben evaluar la formación Las actividades formativa no se fundamentan

sobre decisiones evaluativas