La perversión de Bolonia

Gestión de la Calidad, Calidad y Excelencia: Tres conceptos distintos

II CONGRESO NACIONAL!

CALIDAD, EVALUACIÓN Y ENCUESTAS DE LA DOCENCIA UNIVERSITARIA:

BALANCE DEL PLAN BOLONIA

Joaquín Borrego Díaz Coordinador del Máster en Lógica, Computación e Inteligencia Artificial

Departamento de Ciencias de la Computación e Inteligencia Artificial jborrego@us.es

Contenido• Puntos de vista

• Gestión de calidad: gestión de la I+D+i como gestión de calidad universitaria

• Calidad: Indicadores convertidos en objetivos

• Consecuencias, desde el punto de vista de un coordinador académico, del proceso de Bolonia

• Evolución de la relación alumno-profesor durante el proceso

• Conclusiones y ¿soluciones?

Puntos de vista• Advertencia: el contenido de esta charla responde a mi experiencia personal!

• Tesis: Las leyes y normas NO reflejan, en general, la actividad universitaria

• Las leyes/normas pueden provocar efectos indeseados/adversos si:

• no son razonablemente estables

• no son ampliamente analizadas antes de su aplicación

• son diseñadas sin contar con los que la aplicarán/usarán (por ejemplo, aprovechando buenas prácticas establecidas)

• Si la aplicación de una norma es notoriamente perjudicial para el desarrollo científico y educativo, es necesario reflexionar sobre ésta, no basta mitigar su impacto

• Origen: Interacción con alumnos, dinámicas académicas y de política universitaria

• Recepción de políticas académicas en el departamento y en nuestra actividad formativa en grados, master y doctorado

Tres

principios

Valoración global de los procesos normativos!Percepción desde el profesorado/alumnado: Producción

Órganos de gobierno

Órganos Administrativos

Órganos de representación

Profesorado/alumno

Valoración global de los procesos normativos!Percepción desde el profesorado/alumnado: FeedBack

Órganos de gobierno

Órganos Administrativos

Órganos de representación

Profesorado/alumno

Ágil si afecta!a derechos

¿Adecuada para la

dimensión!administrativa

?

Valoración global de los procesos normativos Percepción desde el profesorado/alumnado:

Aplicación

Órganos de gobierno

Órganos Administrativos

Órganos de representación

Profesorado

Alumno

Sólo si hay problemas!

graves

Sólo si hay problemas!

graves

Conclusiones (extraídas de la experiencia)• El ecosistema normativo no funciona si no se repetan los tres

principios

• Sorprendentemente, la mayoría de las normas que afectan a la docencia e investigación no tienen en cuenta los tres principios

• Muchas producen fricción :

• Efecto adverso difícilmente resoluble con el conjunto normativo de la Universidad

• Protocolos deficientes, ambiguos, incompletos

• Frecuentemente, profesores, alumnos y centros deben resolverlo en un limbo reglamentario donde prima la buena fe

¿Calidad en la

Universidad?Discurso público

sobre la docencia

+investigación

¿Cómo entender

una mejora continua?

Cuestiones

• Gestión de calidad en la docencia universitaria: El discurso público dice que se garantiza el flujo:

Investigación

Estudio/Aprendizaje

Resultados Producto/Innovación

I D i

Docencia

Perfeccionamiento/Actualización

• El discurso de los diseñadores de políticas educativas habla de calidad

• ¿Verificar su calidad? ¿Cómo? ¿Reglas generales de verificación?

Investigación

Estudio/Aprendizaje

Resultados Producto/Innovación

I D i

Docencia

¿Evaluar!su !

calidad?Perfeccionamiento

Actualización

¿Evaluar!su !

calidad?¿Evaluar!

su !

calidad?

¿Evaluar!su !

calidad?

¿Evaluar!su !

calidad?

¿Evaluar!su !

calidad?

• El discurso público político:

Investigación

Estudio/Aprendizaje

Resultados Producto/Innovación

I D i

Docencia

¿Evaluar!su !

calidad?Perfeccionamiento/

Actualización

¿Evaluar!su !

calidad?¿Evaluar!

su !

calidad?Discurso de la excelencia universitaria!Ejemplo: Ranking no como indicador,!

sino como objetivo

Excelencia

La excelencia no consiste en un conjunto de indicadores/rankings

• Cuando un indicador (que mide cierta característica) es utilizado como herramienta de presión o llave para la supervivencia, se tiende a convertir en un objetivo su manipulación

• Ejemplo bien conocido: el uso de métricas de biblioteconomía para medir la calidad de la investigación (por ejemplo, el índice de impacto)

http://www.slideshare.net/lourdesverdesmontenegro/love-for-science-or-academic-prostitution-dfd2014-version

Solución: Elegir/encontrar “reglas de juego”…

Claras Objetivas

Medibles

Indicadores adecuados

ProcesablesFactibles

pero… ¿Dónde?

• Idea (dimensión docente):

• La innovación es la actividad docente (es un servicio i)

Investigación

Estudio/Aprendizaje

Resultados

I D

Docencia

i

ProductoServicio

ServicioUn

servicio social

Ventajas de esta aproximación• Al ser la actividad docente un servicio I+D+i, la

calidad se mide como calidad de un servicio!

• Parámetros bien definidos!

• Regulados por normas de calidad estandarizadas y contrastadas!

• Autonomía de los equipos proveedores del servicio!

• Criterios claros separadores entre gestión, calidad y mejora

Experiencia personal• Coordinador de Master universitario (oficial)

• Miembro de comisión académica de un programa de doctorado

• Director de un equipo de trabajo de FIDETIA para proveer servicios I+D+i

• Certificado del sistema de gestión de la calidad

Gestión de I+D+i

¿Qué se obtiene?• Sistematizar sus actividades de I+D+i

e integrarlas en la gestión general

• Planificar, organizar y controlar las unidades de I+D+i, así como la cartera de productos generados.

• Establecer la interacción de la I+D+i con otros departamentos o divisiones.

• Demostrar la transparencia de las actividades de I+D+i.

• Aportar un valor añadido de confianza en la actividad de I+D+i, mejorando su imagen y su competitividad.

• Compatibilidad con otros sistemas de gestión.

¿Qué hemos obtenido con los sistemas actuales en la

Universidad?• No se sistematizan actividades de I+D+i y No se integra en

la gestión general de la Universidad

• Ejemplo: Sistemas no interoperables!

• No permite planificar las unidades de I+D+i

• Ejemplo: Constante cambio normativo!

• No permite la interacción de la I+D+i entre departamentos o divisiones

• Ejemplo: Las escuelas doctorales!

• No existe transparencia de las actividades de I+D+i

• Ejemplo: Deficiente sistema de información (SICA)

• No aporta un valor añadido de confianza en la actividad de I+D+i, mejorando su imagen y su competitividad

• Ejemplo: Política errática en el mapa de titulaciones de master!

• Compatibilidad con otros sistemas de gestión

• Los sistemas de gestión de la I+D+i están separados en académicos, administrativos y económicos

Fuente: AENOR

Propuesta:• Extraer las pautas de gestión y control de la calidad de la gestión de la

docencia a partir de las normas de calidad para la i!

• Ventajas:!

• Normativa estable y contrastada

• Reglas claras de calidad

• No se confundirían!

• La gestión de calidad de la innovación

• La calidad

• La excelencia

Necesitamos una idea de este tipo para:

• Controlar la explosión documental

• Establecimiento de indicadores para la calidad adecuados

• Transformar las encuestas en una herramienta útil para analizar el proceso de enseñanza/aprendizaje

• Elaborar propuestas de mejora reales!

• Solventar la deficiente autonomía de las unidades de I+D+i (departamentos)

Soluciones• Explosión documental y burocrática

• Algunos indicadores para la gestión de calidad que son en realidad de excelencia

• Confusión entre gestión, calidad y excelencia

• Encuestas docentes

• Propuestas de mejora

• No existe autonomía de gestión de los servicios de I+D+i por sus gestores, los departamentos

Problemas• Documentación controlada por la

norma

• Indicadores diferenciados de los objetivos!

• Gestión de la calidad!

• Encuestas de satisfacción de cada servicio docente: especialización!

• Propuestas de mejora razonadas

• Autonomía de las unidades de I+D+i (departamentos), como equipos de trabajo

Concretamente, en el caso de las encuestas docentes…

• Desarrollo de la gestión de la calidad dentro los departamentos, como unidades de servicio de docencia autónomos!

• Encuestas docentes elaboradas por las unidades de servicio: los departamentos

• Se contextualizan a cada contexto educativo concreto

• Propuestas de mejora de la gestión elaboradas a partir de la especificidad de cada contexto docente

• La propuesta de mejora pretenderá alcanzar objetivos reales, no simplemente mejorar los valores de indicadores

¿Cómo he llegado a esta conclusión?• La encuesta docente actual:

• Pide la opinión del alumnado sobre algunas cuestiones en las que no son (todavía) competentes

• Existe un sesgo claro atendiendo a:

• Tamaño de la muestra

• Carácter obligatorio/optativo

• Estudios de grado o postgrado

• Son acontextuales

Falta de contexto

• Las preguntas de la encuesta se han transformado en objetivos

• Elección de asignaturas optativas, “fáciles” o poco masificadas

• Preocupación por alcanzar alta puntuación en preguntas en las que no existe criterio racional posible para ello

• Implica que no existe propuesta de mejora racional!

• ¿Cómo interpretar No sabe/No contesta?

• Ejemplo: ¿Adecuación a priori del horario de tutorías?

• Ejemplo: Uso innecesario de nuevas tecnologías para subir baremos

• El alumno no es competente para evaluar los métodos de evaluación de una asignatura que no ha cursado ni de la que ha sido evaluado

Consecuencias

Bolonia Original

¿Qué tiene que ver con el !(mal llamado) proceso de

Bolonia?

• Percepción original de Bolonia:

• Convalidación intraeuropea automatizada de títulos universitarios

• “Producto” final:

• Influencia dañina de cinco aspectos distintos que han acabado por destruir el objetivo final

• Cada aspecto ha producido un desarrollo normativo nuevo que, combinados, resulta perjudicial

• NO existe convergencia real con los países de primera línea

Gestión de la calidad

Educación por competencias

COSTE 0

¿Qué se ha conseguido?

Bolonia Original

Aumento de tasas

¡¡Ninguna tiene

relación con la

Bolonia original!!Excelencia científica

• Sobre la I+D+i

• Presión insostenible sobre el profesorado

• Difícil equilibrio docencia-investigación

• Desmantelamiento de líneas incipientes de docencia-investigación

Consecuencias sobre el profesorado

• Sobre la calidad docente:

• Sobrecarga docente

• Ratio profesor/alumno inadecuado para la evaluación de competencias

• Desarrollo normativo ajeno a las prácticas de éxito de centros

• Presión para rebajar los niveles de exigencia

• Presión por pasar de la calidad a la excelencia

Productividad=Excelencia científica

Gestión de la calidad

Aprendizaje competencias

COSTE 0

Aumento de tasas

COSTE 0Evaluación de la producción

científica+

Excelencia científica

Complementos de Productividad= incentivo competitivo

¿Se reflejan en las encuestas esos efectos

perjudiciales?

SI NO

¿mal diseñada?Repetimos: Un indicador NO es en general

un objetivo ni debe ser evaluado sin contexto

• 1: El proyecto docente está disponible en algidus+enseñanza virtual. No depende sólo del profesor

• 2. Descontextualizada: no se ha desarrollado la planificación completa

• 3. Ausencia de No sabe/No contesta. Mal diseño de la encuesta

• 4. Mal diseño normativo. Descontextualizada!

• 5. No son competentes. Ausencia de No sabe/no contesta. Mal diseño de la encuesta

• 6. Descontextualizada!

• 7. Descontextualizada!

• 8. No depende sólo del profesor!

• 9. Pertinente. !

• 10. Pertinente.!

• 11. Descontextualizada!

• 12. Pertinente!

• 13. Descontextualizada!

• 14. Descontextualizada!

• 15. Pertinente!

• 16. No son competentes. Descontextualizada!

• 17. No son competentes para metaevaluar la evaluación por competencias!

• 18 Descontextualizada (por las otras)

Gestión de la calidad

Filosofía de las competencias

COSTE 0

Aumento de tasas

Peligro: Las puntuaciones máximas en indicadores se conviertan en

objetivos Un indicador NO es objetivo

descontextualización

La consecuencia más preocupante:!

está afectando a la relación !alumno-profesor

• Doctorado como actividad formativa

• Desvinculación del departamento

• Generación de normativas descontextualizadas

• La relación ha pasado de alumno-departamento a

• Alumno-Centro-Vicerrectorado-Escuela Doctoral-Junta de Andalucía!

• Fricciones no resolubles

• Aumento constante del coste muy por encima del IPC!

• La plantilla comienza a depender de la política (errática) de postgrado!

• Cierran líneas de innovación!

• Pérdida de competitividad en I+D

Programa de

doctorado

Múltiples normativas doctorado

Master+programa doctorado

Master+Escuela doctoral

Ejemplo:

Conclusiones…

¿Soluciones?

Conclusiones• Bolonia + mala implantación de

gestión de calidad + cambio del modelo enseñanza aprendizaje + coste 0:

• Alumnos: Master es un 5º curso a un precio desorbitado

• Profesores: Saturación. Empeoramiento notable de las condiciones de trabajo

• Encuestas descontextualizadas, mal diseñadas y afectadas por el fracaso de la convergencia

• Normativas inestables y que no aprovechan experiencias de éxito

• Desvincular la responsabilidad de la supervisión de la calidad del servicio de los servicios generales de la Universidad.

• Contextualizar todos los procesos de análisis y valoración de los servicios

• Los departamentos poseen las herramientas suficientes para atender la especificidad

• Los evaluadores de los servicios deben especialistas en gestión. Separar gestión de la calidad de calidad. La gestión de la calidad no es un objetivo pedagógico, es un objetivo de gestión

• Transformar las encuestas docentes

• Estabilidad normativa.

• Agilización documental importante

¿Soluciones?

Gracias

II CONGRESO NACIONAL!

CALIDAD, EVALUACIÓN Y ENCUESTAS DE LA DOCENCIA UNIVERSITARIA:

BALANCE DEL PLAN BOLONIA

Joaquín Borrego Díaz Coordinador del Máster en Lógica, Computación e Inteligencia Artificial

Departamento de Ciencias de la Computación e Inteligencia Artificial jborrego@us.es