I CONGRESO INTERNACIONAL DE

EVALUACIÓN Y ACREDITACIÓN

UNIVERSITARIAUniversidad Católica Santo Toribio de Mogrovejo

Chiclayo (Perú), 7, 8 y 9 de Septiembre de 2011

La Autoevaluación Universitaria, su

Impacto en una Cultura de Evaluación

Dr. Eduardo Elósegui Bandera

Universidad de Málaga (España)

UNIVERSIDAD

Formación

Investigación

Tercera Misión

Transmisión y

producción de saber

Investigación unida

con la enseñanza

Universidad -Gobiernos

- Empresas

‘Los ciudadanos europeos están interesados en la justificación de la utilización de

los fondos invertidos en cuanto que, mediante el pago de impuestos, son ellos los

principales contribuyentes a la financiación pública de la enseñanza superior…

…la mera evaluación de la calidad científica de la investigación y del personal

docente a no bastan para garantizar la calidad de la enseñanza (…) siendo

igualmente importante la evaluación de la calidad de la organización de los

programas de estudio, de los métodos docentes, de los métodos de gestión y de las

estructuras y comunicaciones (…) así como la dimensión cultural de la evaluación.’

(Commisión of The European Communities, 1993)

Cambio en la financiación de las instituciones: de la subvención y la inversión al contrato programa

Reducción de la financiación en I+D

Incremento en la financiación en I+D industrial

Aumento en la cooperación U-E para la innovación

Internacionalización de la investigación

La universidad como base de una economía del conocimiento

Cambios más significativos en el contexto universitario

(OCDE, 1999)

Cambio en la financiación de las instituciones: de la subvención y la inversión al contrato programa

Reducción de la financiación en I+D

Incremento en la financiación en I+D industrial

Aumento en la cooperación U-E para la innovación

Internacionalización de la investigación

La universidad como base de una economía del conocimiento

Consecuencias de estos cambios en el

contexto universitario (OCDE, 1999)

Abandono de la ‘Torre de Marfil’

Diferencia entre Instituciones

EMPRESA

Modelo del Triángulo de Sabato

UNIVERSIDAD

EMPRENDEDORA

Universidad

EmpresaGobierno

Modelo de la Triple Hélice

UNIVERSIDAD

EMPRESARIAL

Para que los roles y responsabilidades de las 3 misiones encomendadas a la

Universidad se lleven a cabo, es necesario evaluar sus recursos, procesos

y resultados, para:

Mejorar su Eficiencia (Bonaccorsi y Cinzia, 2007)

Optimizar la rendición de cuentas (Lepori et al., 2007)

Tener un mejor conocimiento de la rentabilidad económica y social de la

educación superior (Hernández, 2003)

Comparación interuniversidades e intrauniversidad (Tricio et al., 1999)

Posibilitar el análisis del impacto social de la institución

Mejora de la calidad

Mejora de la gestión

Rendimiento de cuentas

EV

AL

UA

CIÓ

N U

NIV

ER

SIT

AR

IA

No existe o no está arraigada una cultura de la evaluación

Desconfianza frente a un modelo evaluativo de tipo sancionador

Falta de recursos

Desconocimiento de la comunidad universitaria de los modelos y

metodologías propuestas

Inexistencia de reconocimiento y estímulos acorde con las

exigencias derivadas del proceso

OBSTÁCULOS PARA LA IMPLEMENTACIÓN DE LA EVALUACIÓN

Motivación interna por una cultura de evaluación con incentivos

propios

Liderazgo, planeamiento y control no fiscalizador, sino de

desarrollo

Compromiso institucional y apertura al cambio

Acciones concretas sobre los resultados de la evaluación

Participación y apropiación del proceso y resultados

Respeto por la adecuada reserva de la información

Empleo y manejo de la información relevante

Establecimiento de una periodicidad en los procesos de

autoevaluación

Provisión de una mínima capacitación interna

Garantía de un clima de confianza

CONDICIONES PARA LA IMPLEMENTACIÓN DE LA EVALUACIÓN

Tipología

• Evaluación interna vs

Evaluación externa

• Evaluación juicio de

expertos vs Evaluación

basada en indicadores

Finalidad

• Evaluación institucional vs Evaluación de programas

• Evaluación de inputs, procesos y outputs

• Evaluación de la calidad, la equidad, la efectividad, la eficiencia y la eficacia

• Evaluación de actividades de enseñanza, investigación y ‘tercera misión’

MODELOS DE EVALUACIÓN DE LA EDUCACIÓN UNIVERSITARIA

La evaluación institucional es ‘un proceso mediante el cual se

pretende dar apoyo a la mejora continuada como garantía de

calidad y desarrollo de la institución. Es por tanto una forma de

constatar el cumplimiento de los objetivos de la institución,

analizando simultáneamente los medios y los resultados.’

AQSUC (2000, p.7-8), teniendo como núcleo fundamental la

evaluación interna o proceso de autoevaluación.

Cumplimiento de los estándares de calidad

La eficacia y la eficiencia

Satisfacer las demandas de la sociedad

Cumplimiento de la misión

Crear una cultura externa e interna de calidad

Los procesos de

evaluación institucional

han de contribuir a

garantizar

Cumplimiento de los estándares de calidad

La eficacia y la eficiencia

Satisfacer las demandas de la sociedad

Cumplimiento de la misión

Crear una cultura externa e interna de calidad

MEJORA

En el contexto institucional quede bien recogido el

modelo de calidad, su plan estratégico y su plan de

acción

Los órganos institucionales de decisión se impliquen en

los procesos de innovación y cambio, sin crear canales de

gestión paralelos

DEBE OCURRIR TAMBIÉN QUE:

El Sistema de Indicadores para la Evaluación Institucional

Datos empíricos

Miden el grado de logros

Estiman la productividad

y eficacia

Son revisables a los cambios

  Misión, organización 

Política admisión 

Inputs docencia 

Inputs investigación 

Outputs docencia 

Outputs investigación 

Tercera misión 

Servicio al alumno 

Programas/ instituciones 

INSTITUCIONES 

Proyecto INES, 2004  X  X  X    X         

EEES, ENQA, 2005  X    X    X      X  X CIHE, NEASC, 2007  X  X  X  X        X  X SACS, 2006  X  X  X  X  X      X  X 

HEFCE, 2007          X  X  X     Cave et al., 1997      X  X  X    X     García Villarreal,2007  X    X  X  X  X  X     

AQU, 2007  X  X  X  X  X         

PROGRAMAS  WASC, 2004  X    X    X        X 

Japón, 2004  X    X  X    X      X CHEA, 2006          X  X       

USDE, 2006  X  X  X    X      X   ABET, 2006  X  X  X    X      X  X ANECA, 2007  X  X  X             

 Adaptado de Palomares et al. 2008

LOS INDICADORES SEGÚN LA AGENCIA / EVALUACIÓN

Tipos Ventajas Desventajas

EVALUADORES INTERNOS

Conocen mejor la organización

Poseen mayor experiencia directa en el funcionamiento de la

institución para poder percibir que funciona bien y que funciona

mal Disposición de tiempo más

flexible para evaluar

Es posible que determinadas

carencias no las perciban, y si lo hacen, no les den importancia.

Tendencia a presentar el lado más positivo posible.

Pueden presentarse situaciones de evaluaciones arbitrarias

EVALUADORES

EXTERNOS

El juicio puede estar menos comprometido con ciertos

intereses, difíciles de no tomar en cuenta si pertenecen a la

institución. El aspecto formal puede dar

mayor seriedad al proceso. La apreciación puede estar mejor

relacionada con situaciones globales

Tiende a ver más deficiencias que aciertos.

Los miembros de las unidades ejecutoras ocultan o disminuyen

deficiencias reales por temor al uso que la superioridad pueda

darles. Están limitados en el tiempo y

en la normatividad.

 Fuente: Cañete, 1998

CONJUGAR EL PAPEL DE LOS EVALUADORES

Procesos de evaluación

Conciencia proclive a la evaluaciónDebe ser constante En el marco

institucional y personalAutorregulada por el

sistemaSentido positivo

Cultura de evaluación

La cultura de evaluación es el desarrollo de una actitud

proclive a la utilización de la evaluación como forma de

aprendizaje y mejora de la eficiencia y efectividad

organizacional

Extensión de la evaluación a todos los niveles

Cambio en la orientación: uso intensivo y extensivo de la información

evaluativa en los procesos de gestión de la mejora continua de la

universidad

Nuevas exigencias de calidad. Serán definida previa a la planificación

estratégica

La información evaluativa constituirá la evaluación clave y nuclear para

entender la realidad educativa

NUEVA CULTURA DE EVALUACIÓN

“Si no conseguimos que la evaluación tenga

sentido como algo natural a todo proceso de

intervención educativa, no generaremos

cultura evaluadora, porque levantaremos

múltiples defensas frente a la evaluación”.

A MODO DE CONCLUSIÓN (I):

Estamos inmerso en un proceso ‘vertiginoso’ de dar cuentas a la

sociedad de qué hacemos, cómo lo hacemos y por qué lo hacemos, con el

fin de que los recursos que se pone a disposición de las universidades, y

los productos (de investigación, de formación) que retornan a la sociedad,

se adecúen a las necesidades de un entorno cada vez más

cambiante.

El nuevo marco de relaciones con las entidades públicas y privadas

generan la adopción de procedimientos por parte de la Universidad

que garanticen la calidad y la excelencia, siendo la Evaluación

Institucional un elemento válido y necesario para la consecución de

este objetivo.

A MODO DE CONCLUSIÓN (II):

Las metodologías de evaluación empleadas por las universidades

combinan la autoevaluación (self-evaluation) con la evaluación

externa (peer review), con un mayor protagonismo de la primera.

Los procesos de evaluación generan en la institución una cultura de

evaluación que debe impregnar todos los niveles, aunque el

protagonismo en su implementación recae sobre los órganos rectores de la

institución

Esta cultura de evaluación desarrollará una actitud proclive a la

utilización de la evaluación como forma de aprendizaje y mejora de

la eficiencia y efectividad organizacional, y también personal.