cómo evaluamos la formación en la dpa

Cómo evaluamos la formación en la Diputación de Alicante

III Jornada sobre l'avaluació de la formació a les Administracions Públiques

Barcelona, 24 noviembre 2011

Ámbito de actuación

Misión:Formación y reciclaje permanente de los empleados públicos que prestan sus servicios en Admón. Local de la provincia

Población:

+ de 20.000 empleados públicos

Ámbito de actuación

•28 ayuntamientos > 200 empleados 12.949

•113 ayuntamientos < 200 empleados 4.951

•26 otros entes locales 396

•Diputación (41 departamentos y OO.AA) 2.689

Nuestros clientes

Total entidades: 168Total empleados: 20.985

Datos 2011

100 %

ayuntamientos

Asesoramiento

Programas “a medida”

Ofertas cursos abiertos: Plan Agrupado

Plan Diputación

Ámbito de actuación

ResultadosAño 2010

1.736.982,37TOTAL GENERAL

483.031,83OTROS GASTOS ESTRUCTURALES (Sueldos personal no implicado directamente en gestión, agua, teléfono, fax, mensajería, etc)

1.253.950,546.1749.194342TOTALES

20.162,064658529ASISTENCIAS CURSOS OTRAS

ENTIDADES

56.388,4561916512OTROS CURSOS Y JORNADAS

5.900,7510120010I.V.A.P.

1.124,2913211CONVENIOS AYTOS./ENTIDADES

137.875,298721.34350 PLAN DIPUTACIÓN

1.032.499,954.5236.880240 PLAN AGRUPADO

COSTESALUMNOSHORAS

LECTIVASNÚMERO DE EDICIONES

DENOMINACIÓN

EVALUACIÓNTRANSFERENCIA

SATISFACCIÓN

APRENDIZAJE

IMPACTO

TRANSFERENCIA

SATISFACCIÓN

APRENDIZAJE

IMPACTO

PROFESOR

CLIENTES

El modelo Kirkpatrick

1.- Reacción

2.- Aprendizaje

3.- Comportamiento

4.- Resultados

1.- Satisfacción alumnos

2.- Aprendizaje

3.- Profesor

4.- Aplicación puesto trabajo

5.- Impacto organización

6.- Satisfacción de los clientes

Hitos de la evaluación

2002.- Revisión sistema utilizado.Sustitución cuestionarios satisfacciónImplantación cuestionario profesor

2003.- Evaluación transferencia (empresa externa)

2004.- Evaluación aplicación/impacto medios propiosIndicadores específicos aplicación

2007.- Desconcentración envío cuestionarios

2009.- Adaptación formación e-learning.

2010.- Reingeniería de procesos

12 IN

DIC

AD

ORE

S

Satisfacción

PRÁCTICA DOCENTE (3)

ORGANIZACIÓN (3)

AUTOEVALUACIÓN (2)

SATISFACCIÓN GLOBAL (1)

CONTENIDOS DEL CURSO (3)

IDENTIFICACIÓN

2010

4 opciones (acuerdo – desacuerdo)

Objetivo: Al menos 3 media en 100% ediciones

Criterio aceptación: 2,85 media en 95% ediciones

Valoración media: 3,69 (313 ediciones, 6.128 alumnos)

Sólo 2 ediciones entre 2,85 y 3

El 15 % (48 Cursos) media de 4

4 3 2 1

Satisfacción

TendenciasSatisfacción

3,64

3,55

3,45

3,64

3,62

3,68

3,57

3,48

3,83

3,68

3,69

3,57

3,5

3,76

3,67

1 1,5 2 2,5 3 3,5 4

SATISFACCION

APRENDIZAJE

ORGANIZACIÓN

FORMADORES

CONTENIDOS

201020092008

Comentarios

Rutinaria

Poca información cualitativa

Anonimato 10,75%

Valida la responsable de calidad

Importante para sistema de calidad

Objetiva la adopción de medidas

Satisfacción

Aptos; 70,30%

No presentados; 7,71% Renuncias; 5,96%

Sin calificar; 9,42%

No aptos; 6,54%

2010

Datos tomados sobre 313 ediciones y 6.136 alumnos

Aprendizaje

Tendencias ejecución

6.128

313

2010

6.087

340

2009

294Ediciones

2008

101

455

472

586

4.514

6,65%

5,54%

9,27%

6,83%

71,71%

405

337

564

416

4.365

2,57%

4,82%

8,03%

7,12%

77,28%

1,65%147Sin calificar

7,42%258Renuncias

7,70%430No presentados

9,56%381No Aptos

73,66%4.137Aptos

5.353Alumnos

Aprendizaje

Comentarios

Dificultades con los cursos de actitudes

Control indirecto competencia profesor

Reducir no presentados y renuncias

Vinculación a asistencia / diploma

Aprendizaje

10 IN

DIC

AD

ORE

S

Duración

Homogeneidad

Motivación

Clima

Horarios

Aula

Medios técnicos

Documentación

Relación coordinador

Satisfacción

Profesor

Comentarios

Contrastar opinión

Termómetro para organización (aula, horarios…)

Satisfacción profesor (relación, acogida…)

Profesor

En diferido (mínimo 3 meses)

Cuestionarios: participantes/responsables

190 ediciones evaluadas (62%)

103 ayuntamientos, mancomunidades, otros

41 departamentos diputación

1.951 participantes

2.130 cuestionarios participantes y responsables

En plazo: participantes 57,51 %, responsables 48,59 %

Aplicación 2010

Motivación asistencia

Aplicabilidad (Indicadores específicos)

Causas no aplicación

Mejora de la competencia

Detección necesidades.

Opinión/sugerencias.

Estimación diferida de contenidos y desarrollo curso

Aplicación

Motivación asistencia 52,64 % Descubrir herramientas útiles trabajo

40,68 % Reciclaje personal. Reforzar competencias

1,60 % Me mandó mi jefe

Aplicabilidad SI (92,53 %) NO (7,47 %) (Causas organizativas)

Mejora competencia Mucho–bastante (77,80 %) Poco–nada (22,20 % )

Valoración diferida curso Buena–Muy buena (97,98 %) Mala (2,06 %)

Aplicación Participantes 2010

Aplicación (participantes)

201020092008

97,98%

77,80%

92,53%

98,34%

75,19%

90,70%

97,78%Buena valoración diferida

77,21%Mejora competencia

94,68%Sí Aplicación

Aplicación

Iniciativa

Motivos autorización asistencia

Aplicación participante (indicadores)

Causa de no aplicación

Mejora entorno laboral

Opinión/sugerencias.

Detección directa detección necesidades.

Impacto

Iniciativa asistencia 83,21 % propio interesado

10,69 % jefe directo

Motivación asistencia 48,36 % Lo solicita el trabajador

39,04 % Descubrir herramientas

3,27 % Cambios en la organización

Aplicabilidad SI (92,69 %) NO (7,31 %)

Mejora entorno laboral Mucho–bastante (72,74 %) Poco–nada (22,55 % )

Impacto Responsables 2010

Responsables. Tendencias

201020092008

72,74%

92,69%

73,76%

91,29%

71,23%Mejora entorno laboral

93,75%Sí Aplicación

Impacto

Comentarios

Índices sostenidos de aplicabilidad

Uniformidad en mayoría indicadores

Permite toma decisiones sobre cambios

Sensación recoger información que no se trata

Debería combinarse con otras técnicas

El “impacto” es otra cosa

Aplicación e Impacto

¿Quién es el cliente?

Vinculada a certificación Q*For (3 años)

Encargo empresa externa años intermedios

Clientes

Evaluación Satisfacción clientes 2010 – Q*For

Muestra de clientes (eligen ellos)

Entrevista telefónica.

Comentarios

Puntuación 1-4 (Insatisfecho – Satisfecho)

Clientes

Clientes Resultados – Q* For

Clientes Puntos fuertes

Equipo departamento

Docentes

Recursos que se facilitan

Calidad de la oferta

Mejora en descentralización

Clientes Sugerencias de mejora

Mayor plazo para gestión

Calendarios en la convocatoria

Concentrar horarios evitar desplazamiento

Mayor oferta on-line.

…Obsesión por recoger mucha información sin saber qué hacer

luego con ella…

Una nueva forma de aprender = una nueva forma de evaluar

¿cómo evalúo tu PLE?

Evaluar para “demostrar” que somos “rentables”

¿Hasta qué punto hay una relación directa entre cambios

de comportamiento y aprendizaje?

El verdadero impacto nos lo tienen que decir los ciudadanos

Muchas gracias por su atención

José A. Latorre Galicia

http://www.livestream.com/formaciondiputacionalicante/

http://www.youtube.com/user/FormacionDiputacion/

http://www.facebook.com/formaciondpa

http://twitter.com/#!/formacionladipu

http://blog.formacion.ladipu.com/http://www.linkedin.com/pub/jose-antonio-latorre/16/a73/26a

http://www.facebook.com/#!/profile.php?id=100000710068852

http://twitter.com/#!/josanlatorre

http://www.goblonet.es/private/jlatorre@dip-alicante.es

http://formaciondpa.dyndns.org/wiki/

Curso “Avanzado de Microsoft Excel (versión 2000)”

1 He utilizado “solver” y “buscar objetivo” al menos en dos ocasiones desde que finalizó el curso

2 He creado mis propios gráficos jerárquicos.

3 Uso los mapas de datos para analizar información.

4 Uso formularios con controles en mis hojas de cálculo.

5 Utilizo la validación de datos.

6 Utilizo hipervínculos.

7 Utilizo plantillas en Excel.

8 Utilizo organigrama.

9 Utilizo Visual Basic para aplicaciones.

10 Exporto información de Excel a Word o Acces.

Aplicación

Curso “Información y atención al público”

2.- ¿He podido aplicar en mi puesto de trabajo los aprendizajes adquiridos en el curso?

Sí, he aplicado los siguientes aspectos…

Aplicación

Impacto

Curso “Técnicas de medición de ruidos y contaminación acústica”

1 Ha utilizado en medición el tiempo de respuesta FAST

2 Utiliza algún tipo de limitador de sonido

3 Ha realizado mediciones de percentiles

4 Utiliza sonómetro de tipo 1 en las mediciones

5 Ha utilizado el tacómetro

6 Conoce la forma de realizar la “resta de niveles sonoros”

7 Utiliza correctamente el calibrador

8 Conoce la utilidad del sonógrafo

9 Ha aplicado en su práctica profesional la medición de ruido

10 Conoce los requerimientos mínimos del sonómetro básico

SATISFACCIÓN GLOBAL (1)

AUTOEVALUACIÓN (2)

ORGANIZACIÓN (3)

PRÁCTICA DOCENTE (3)

CONTENIDOS DEL CURSO (3)