Rankings de UniversidadesSituación actualIsidro F. Aguillo

27 de abril de 2012

2

La globalización de la enseñanza superior y una oferta cada día más competitiva están cambiando el panorama

Excelencia

– Los indicadores de calidad se concentran cada vez más en los cuartiles superiores

Internacionalización

– Se prima la atracción de élites extranjeras, ya sean docentes de primer nivel o estudiantes brillantes que ayuden al equilibrio presupuestario

Comunidad

– La tercera misión ya no es sólo trasferencia de tecnología, sino involucración directa en el desarrollo socio-económico local y regional

Simplicidad

– Lectura rápida, interpretación inmediata, series temporales

Benchmarking

– Comparativas a nivel mundial

Utilidad

¿Por qué son necesarios los Rankings?

3

Los métodos y los públicos objetivos son sustancialmente diferentes y también su utilidad/utilización práctica

Rankings nacionales

• Priman la exhaustividad de variables

• Variables no académicas (costos, seguridad, oferta de alojamiento)

• Abundan los ratios (alumnos/profesor, graduados/admitidos, doctores/graduados, presupuesto per cápita, ordenadores ó libros/ estudiante, publicaciones/investigador, …)

Rankings mundiales

• Priman la excelencia (fundamentalmente investigadora)

• Indicadores compuestos, con pesos asignados por variable

– Rankings de prestigio

• Basados en resultados de encuestas

– Rankings bibliométricos

– Rankings web

– Falsos rankings

Tipos de Rankings

4

Exageradas descalificaciones junto con aceptaciones acríticas y uso indiscriminado y poco informado

Hostiles a las prácticas evaluativas

• Excesiva simplicidad de los rankings

• Metodologías cuestionables (fiabilidad y calidad de las fuentes, opacidad)

• Comparar diferentes sistemas, tipologías, disciplinas (“peras y manzanas”)

• Utilidad escasa (no son multifacéticos, análisis de escasa profundidad)

• Resultados obvios (por esperables y ya conocidos)

Ignorancia de malas prácticas

• Falsos expertos (periodistas, consultores, ex-gestores)

• Sesgos intencionados (empresas comerciales)

• Errores críticos (variables fuertemente correlacionadas, umbrales muy bajos en los ratios, pesos injustificables, identificaciones incorrectas, datos no fiables, criterios de inclusión/exclusión aberrantes)

• Obsolescencia (se prima la estabilidad inter-anual)

• Prestigio asumido, no demostrable

Reacciones sorprendentes

5

Aunque cuestionados los rankings son ya extremadamente populares y guían decisiones personales, institucionales y de política nacional

Los rankings están guiando la re-ordenación y reforma del sistema universitario de los países europeos

– Y de otros países del mundo

• Favoreciendo las fusiones de universidades

• Incrementando el esfuerzo en investigación

• Flexibilizando la gobernanza y autonomía de las universidades

• Desarrollando procesos más rigurosos de evaluación

Aunque se generan obsesiones peligrosas

– Todo el mundo quiere pertenecer a la élite de las “World-class” universities

• Incluso con prácticas poco éticas

– Los rankings se utilizan como listados-base para homologar titulaciones

• Aunque la mayoría solo evalúan menos del 3% de las instituciones

• Y se ignoran sesgos y ausencias “técnicas”

– Se ha multiplicado el número de “expertos” en la materia

Situación actual

ACTIVIDAD IMPACTO

¿Como construir un Ranking? Un par de modelos

6

ACTIVIDAD IMPACTO

ARWU (Shanghái) 40% 60%

RANKING

QS 30% 70%

TIMES HE (2010) 35% 65%

HEEACT (Taiwán) 20% 80%

WR (Web) 50% 50%

Pesos ¿arbitrarios?En la mayoría de los Rankings Globales no se proporciona un modelo que justifique los pesos arbitrarios de las variables

7

8

La calidad puede ser derivada cuantitativamente de un consenso o mayoría de opiniones de expertos sobre un tema

Encuestao Opinión: Percepción subjetiva de la reputación académica

o Expertos: Difícilmente alguien con conocimientos globales

o Tamaño del grupo: Unos pocos miles, con opiniones muy sesgadas

Análisis de citaso Reconocimiento: Impacto de la comunicación formal de la ciencia

o Expertos: Pares científicos

o Tamaño del grupo: Muy pequeño, unas docenas de citas

Análisis de enlaceso Motivaciones variadas (y diversas), académicas y no académicas

o Expertos: Editores de páginas web (pares y no-pares)

o Tamaño del grupo: Enorme, puede que millones

Calidad

9

Una revisión de los rankings más prestigiosos y populares, con una brevísima valoración crítica de sus características

Una mirada crítica

Ranking Misiones Indicadores Modelo Resultados Comentarios

ARWU Investigación Excelencia (científica)

Ninguno Correlación buena(Top 200)

“World class” (estable=errores no corregidos)

WEB Todas Actividad e Impacto (web)

Similar al factor de impacto

Correlación buena (discrepancias)

Malas prácticas (web) penalizan en exceso

QS Todas Prestigio (encuestas) e Impacto (citas)

Ninguno Sesgos geográficos sospechosos

Inadecuado más allá de las primeras posiciones

HEEACT Investigación Actividad e Impacto (artículos, citas)

Ninguno Correlación buena

“research universities”(método cuestionado)

LEIDEN Investigación Impacto (citas/artículos)

“Crown indicator”

Varios “rankings”

Exclusión de las publicaciones en idiomas locales

SCIMAGO Investigación Actividad o Impacto (artículos, citas)

Posición según tamaño por defecto

Varios “rankings”

Universidades + Centros de investigación(sin indicador compuesto)

THE Todas Actividades, Prestigio (encuestas) e Impacto (citas)

Ninguno Errores no corregidos

Comportamiento poco ético(no informa sobre qué universidades no responden)

10

Top 200 universidades por país y ranking (2011)

11

Méritos “obsoletos” (?)

GANANCIA DE¡80 POSICIONES!

EN ARWU

12

Errores

•Se edita desde 2004, con dos ediciones al año (enero y julio)

•El más completo y actualizado, con más de 20.000 instituciones de educación superior de todo el mundo

•Incorpora las mejores fuentes de información: Google (Google Scholar), MajesticSEO, Scimago/Scopus

•En pleno siglo XXI la Web refleja la organización, actividades, resultados de la investigación, la transferencia de conocimientos, prestigio y visibilidad internacional de las universidades

•Si el rendimiento de la web está debajo de lo esperado podría deberse a la falta de compromiso con la publicación electrónica, o las malas prácticas web

Ranking WebEl Ranking Web es uno de los primeros rankings internacionales con vocación global y en la actualidad es el que tiene la mayor cobertura

13

3481288

16537

6694

6473181

390658

4468

5227424

20372(Top 1000)

WREnero 2012

Distribución mundial

14

Modelo del ranking web

15

Páginasweb Documentos

(rich files)Enlacesexternos

Dominios que enlazan

Se mantiene un ratio 1:1 entre actividad (presencia web) e impacto (visibilidad hipertextual)

Artículoscientíficos

Fuentes de los datos

16

Se utilizan tanto fuentes Web (Google, Google Scholar, MajesticSEO) como bases de datos bibliográficas de citas (Scimago/Scopus)

17

La Web es el principal escaparate de la Universidad, el lugar donde publicar información básica, actividades, resultados, etc …

Contenidos

o Gran cantidad de contenidos

o Atendiendo a todas las misiones, no solo la investigadora

o Especial atención a la tercera misión, incluyendo el hospedaje de sedes de terceras partes (hostales, museos, ONGs, …)

Contenidos de calidad

o Repositorio de trabajos científicos

o Otros portales: Revistas, super-sedes, recursos multimedia (videos, audios, webinars), datos, software

Contenidos internacionales

o Versiones multilingües (incluyendo, además, textos en inglés)

o Guías para estudiantes/profesores extranjeros

Estrategias web para la Universidad de Salamanca

18

El secreto para obtener una buena presencia web y una gran posición en el ranking estriba en conseguir la colaboración efectiva de todo el mundo

Gran estrategia

19

USAL en Webometrics

20

Popularidad de las sedes de la USAL

IMPACTOLIMITADO

ESTRUCTURAPROFUNDA

21

Producción científica de la USAL

22

USAL y UVA en el sistema MS Academic Search

Ruptura de unidad de dominios USAL

Presencia web de los departamentos de la USAL

24

Ejemplos de páginas web personales en la USAL

DESACTUALIZADA

SIN ENLACES

MODELO

Origen de los enlaces recibidos

26

Repositorio de la USAL

27

Acceso abierto real de la USAL

28

29

¿Por qué la Web?o La presencia web es un indicador. Se puede asegurar que refleja de forma

global el desempeño de la universidad y no solo sus actividades en línea

o La Web es ya la mas importante herramienta de comunicación científica

o La Web incrementa significativamente la audiencia, la visibilidad y el impacto de las actividades y logros de profesores, investigadores y estudiantes

o La Web es el canal futuro y presente para la enseñanza no presencial, el escaparate mas económico y el mas atractivo para reclutar los mejores estudiantes y profesores internacionales y es el punto de encuentro entre la universidad, la sociedad, sus actores económicos y los líderes políticos

¿Por qué el Ranking Web?o El ranking web es el de mas amplia cobertura, ya que clasifica tanto las

universidades de nivel mundial como aquellas que aparecen más allá de la posición 500 como, por ejemplo, muchas de los países emergentes

o Las discrepancias observadas nos informan de serios problemas de gobernanza, ausencia de estrategias a largo plazo, políticas inadecuadas u obsoletas y malas prácticas web

o Promueve las iniciativas de acceso abierto, posibilitando la diseminación de resultados, no solo a otros académicos, sino también a terceros tanto de sectores económicos, industriales como sociales o culturales

Utilidad de nuestro ranking

30

Rankings, el ranking Web y algunos consejos

Rankings globaleso Los Rankings no deben ser ignorados, cumplen una importante misión y son

una excelente herramienta en el diseño de estrategias y políticas universitarias

o La crítica global es absurda, pero hay que identificar los Rankings con metodologías poco académicas, sesgos injustificados e intereses comerciales

Ranking Webo La Web es clave en todas las misiones universitarias

o El Ranking Web es un indicador del éxito de las universidades

o La mayoría de las “discrepancias” se explican por inadecuadas políticas o malas prácticas web

Los contenidos son la claveo Alta producción

o Excelencia

o Acceso abierto

o Internacionalidad

Consejos finales

31

¿Preguntas? …¡Gracias!

Isidro F. Aguillo, HcPhDThe Cybermetrics Lab. IPP-CCHS-CSICisidro.aguillo@cchs.csic.es

Debate