RankingsISSUE

2013

Indicadores sintéticos de las universidades españolas

Francisco Pérez (dir.)

Este proyecto ha sido realizado por el siguiente equipo:

Francisco Pérez (dir.) (Universitat de València e Ivie)

Antonio Villar (Universidad Pablo de Olavide e Ivie) Francisco Goerlich (Universitat de València e Ivie)

José Manuel Pastor (Universitat de València e Ivie) Joaquín Aldás (Universitat de València e Ivie)

Abel Fernández (Ivie) Rodrigo Aragón (Ivie) Vicent Cucarella (Ivie)

DOI: http://dx.doi.org/10.12842/RANKINGS_ISSUE_2013

Índice

5 AGRADECIMIENTOS

7 1. INTRODUCCIÓN

11 2. LIMITACIONES DE LOS RANKINGS Y POSIBLES MEJORAS

17 3. METODOLOGÍA

31 4. RANKINGS PERSONALIZADOS POR EL USUARIO

39 5. PRINCIPALES RESULTADOS

51 6. CONCLUSIONES

54 BIBLIOGRAFÍA

Agradecimientos

El Proyecto U-Ranking, desarrollado en colabora-

ción por la Fundación BBVA y el Ivie, es una pieza

central de un programa de actividades dirigido a

documentar y analizar el papel del conocimiento

en el desarrollo social y económico. Este docu-

mento presenta uno de los productos básicos de

dicho proyecto, los Rankings ISSUE (Indicadores

Sintéticos del Sistema Universitario Español), su

metodología y primeros resultados.

El enfoque de ISSUE, la selección de las variables

en las que se basan los rankings elaborados y la

metodología seguida en el tratamiento de la in-

formación han sido exhaustivamente discutidos

por el equipo del Ivie con un amplio grupo de

expertos en evaluación de universidades y en

información y gestión universitaria. A estos espe-

cialistas pertenecientes a catorce universidades,

queremos agradecerles sinceramente su valiosa

colaboración. También es necesario reconocer el

apoyo de las universidades públicas valencianas

en las fases iniciales del proyecto.

La responsabilidad sobre los resultados del

proyecto corresponde estrictamente al equipo del

Ivie, pero queremos destacar la amplia

colaboración del Observatorio IUNE1 en todo lo

relativo a los datos de investigación e innovación

y desarrollo tecnológico, especialmente en el área

de bibliometría.

1 Dicho observatorio es el resultado del trabajo realizado por un grupo de investigadores pertenecientes a las univer-sidades que integran la «Alianza 4U» (Universidad Carlos III de Madrid, Universidad Autónoma de Madrid, Universitat Autònoma de Barcelona y Universitat Pompeu Fabra), bajo la coordinación general de Elías Sanz-Casado, catedrático de Documentación de la UC3M y director del Laboratorio de Estudios Métricos de la Información.

Además de participar en las reuniones de trabajo

relativas a la disponibilidad e idoneidad de

diversas fuentes y los distintos problemas de su

tratamiento, el grupo del Observatorio IUNE

dirigido por el profesor Elías Sanz-Casado ha

proporcionado datos bibliométricos completos

relativos a la investigación de todas las

universidades españolas (Fuente: Thomson-

Reuters), a partir de los cuales se han calculado

muchos de los indicadores relativos a la

investigación.

El Ivie agradece también sus aportaciones a las

siguientes personas, participantes en el grupo de

expertos que ha seguido el desarrollo del proyec-

to: Antonio Ariño (Universitat de València), Álvaro

Berenguer (Universidad de Alicante), Gualberto

Buela-Casal (Universidad de Granada), José Mi-

guel Carot (Universitat Politècnica de València),

Fernando Casani (Universidad Autónoma de Ma-

drid), M.ª Ángeles Fernández (Universitat Jaume

I), José M.ª Gómez Sancho (Universidad de Zara-

goza), Juan Hernández Armenteros (Universidad

de Jaén), Joan Oltra (Universitat de València),

Carmen Pérez Esparells (Universidad Autónoma

de Madrid), José Antonio Pérez (Universitat Po-

litècnica de València), Daniela de Filippo (Univer-

sidad Carlos III), Carlos Zorita (Universidad Carlos

III) y Fernando Vidal (Universidad Miguel Hernán-

dez).

1. Introducción

Este documento presenta los resultados de la

investigación desarrollada por el Ivie para cons-

truir Indicadores Sintéticos del Sistema Universita-

rio Español (ISSUE), a partir del análisis de las

actividades docentes, de investigación y de inno-

vación y desarrollo tecnológico de las universida-

des.

Los indicadores elaborados sirven de base para la

elaboración de diversos rankings de las universi-

dades españolas: dos rankings generales —uno

de volumen de resultados (ISSUE-V) y otro de

productividad (ISSUE-P)— así como otros más

específicos: de docencia, de investigación, de

innovación y desarrollo tecnológico, y de titulacio-

nes concretas.

Todos estos rankings constituyen aproximaciones

a los resultados de las universidades que permiten

compararlas desde distintas perspectivas. Median-

te esas comparaciones, los indicadores sintéticos

permiten evaluar su funcionamiento respondiendo

a preguntas relevantes, como las siguientes:

- ¿Cuáles son las universidades españolas con

mayor volumen de resultados?, ¿cuáles son

las universidades más productivas o eficien-

tes?, ¿coinciden las mejor situadas en los

rankings según cada una de estas dos pers-

pectivas?

- ¿Responden las posiciones de las universida-

des españolas en los rankings internaciona-

les a criterios de volumen de actividad, o

más bien a criterios de productividad?, ¿es-

tán correlacionados los rankings ISSUE con

las posiciones de las universidades españolas

en los rankings internacionales más conoci-

dos, como el de Shanghai?

- ¿Destacan las universidades con mejores

resultados de investigación por sus resulta-

dos docentes?, ¿están correlacionados los

resultados de investigación con los de inno-

vación y desarrollo tecnológico?

- ¿Presentan las posiciones de las universida-

des en los distintos rankings generales la su-

ficiente regularidad como para clasificarlas

en grupos homogéneos, o es demasiado va-

riable la situación en unas u otras ordenacio-

nes para establecer una tipología?

- ¿Son similares los rankings generales corres-

pondientes al conjunto de actividades de una

universidad con los que se obtienen cuando

se comparan titulaciones concretas?, ¿es

elevada la heterogeneidad interna de las

universidades?

Obtener respuestas para todas estas cuestiones

puede ser de mucho interés para construir una

visión del sistema universitario español que identi-

fique las fortalezas y debilidades de cada una de

las instituciones que lo integran, así como para

ordenar la posición dentro del mismo de las uni-

versidades. Ese es el propósito de este proyecto y

de este informe pues, como se señalaba en un

estudio anterior del Ivie, recientemente publicado

por la Fundación BBVA (Pérez y Serrano [dirs.]

2012), el sistema universitario español ha aumen-

tado mucho su dimensión en las últimas décadas

pero dista de ser un conjunto homogéneo. No

reconocer su heterogeneidad dificulta su evalua-

ción, a pesar de que esta requiere tener en cuen-

ta la distinta especialización, las cambiantes ca-

racterísticas de cada universidad y sus posibilida-

des efectivas de competir en distintos ámbitos.

Los rankings como indicadores sintéticos de resultados

El funcionamiento de las universidades españolas

es objeto de continuada atención y los debates

sobre el aprovechamiento de los recursos que

utilizan y sobre sus resultados son cada vez más

frecuentes. Tras ese interés se encuentra el im-

portante volumen de recursos dedicados a estas

actividades en la actualidad y el reconocimiento

de la relevancia que las universidades tienen en la

generación y transmisión del conocimiento, dos

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

8

asuntos clave para el desarrollo social y económi-

co de los países en la actualidad.

Las discusiones sobre los resultados universitarios

se centran con frecuencia en las universidades

públicas. Dos razones por las que sucede así son

que el volumen de sus actividades representa la

mayor parte del sistema universitario español y

que el origen de la mayor parte de los recursos

que emplean es público, por lo que se considera

de interés general la evaluación de sus resultados.

Pero además existe una razón de orden más prác-

tico: en España es más factible realizar ejercicios

de evaluación de los recursos y resultados de las

universidades públicas basados en datos relativa-

mente homogéneos, pues la gran mayoría de las

numerosas universidades privadas —ya son 30 en

la actualidad— no ofrecen la información necesa-

ria para llevar a cabo los análisis.

Una aproximación cada vez más popular a los

ejercicios de evaluación de resultados de las uni-

versidades en muchos países, y también en Espa-

ña, consiste en elaborar rankings, ordenando a las

instituciones desde distintas perspectivas y con

diversos criterios. Algunos de los rankings univer-

sitarios internacionales han tomado carta de natu-

raleza en los debates sobre la calidad de estas

instituciones, convirtiéndose en referencias am-

pliamente utilizadas para valorar la posición de las

universidades y los sistemas universitarios nacio-

nales. Así, por ejemplo, la presencia de una doce-

na de universidades españolas —apenas el 15%

del total— entre las 500 primeras instituciones del

mundo según el denominado Ranking de

Shanghai, pero solo a partir del puesto 200, es un

dato mencionado con frecuencia como prueba de

la limitada calidad y escasa proyección internacio-

nal de nuestro sistema universitario.

Las iniciativas para elaborar rankings son cada

vez más numerosas, participando en ellas investi-

gadores, instituciones públicas y privadas, asocia-

ciones de universidades, empresas de la informa-

ción y medios de comunicación. Los objetivos e

intereses de dichas iniciativas y el alcance de las

mismas son diversos, tanto por las actividades

universitarias contempladas —muchos de los

rankings se concentran en la investigación— como

por la cobertura considerada —nacional, interna-

cional—, la información utilizada y el tratamiento

dado a la misma. Algunos informes recientes

(Rauhvargers 2011) han subrayado la importancia

de evaluar con cuidado los criterios con los que

los rankings son elaborados a la hora de acreditar

su relevancia e interpretar sus resultados.

En realidad, los rankings son una manera particu-

lar de abordar la evaluación de los resultados de

las universidades, cuyo atractivo se deriva de que

ofrecen la información de manera simple y sintéti-

ca. Esto facilita las comparaciones al tiempo que

las simplifica, y puede hacerlas sensibles a los

criterios y procedimientos seguidos en la cons-

trucción de los indicadores. Por esta razón, el

valor otorgado a los rankings no debe desligarse

de cómo se elaboran ni de la métrica utilizada.

Estas cautelas no siempre están presentes en el

uso hecho de los rankings. Por una parte, la repu-

tación que otorga una buena posición en los mis-

mos los convierte en un activo intangible para las

universidades. Por ello, algunas desarrollan estra-

tegias encaminadas a señalizarse haciendo publi-

cidad de los resultados más favorables, y a mejo-

rar su posicionamiento en los mismos. Ciertamen-

te, la rentabilidad esperada de una buena posición

en los rankings es relevante, pues puede repercu-

tir en ámbitos como la captación de estudiantes,

la atracción de investigadores, la obtención de

recursos y la proyección social de las institucio-

nes.

Por otra parte, el interés creciente por estas clasi-

ficaciones se debe a que son percibidas como

herramientas útiles —aunque puedan ser impreci-

sas— para varios propósitos y por distintos grupos

sociales interesados (stakeholders) en las univer-

sidades, porque:

a) Proporcionan información a los usuarios de

los servicios universitarios en términos fáciles

de interpretar en clave de atractivo o calidad

de las instituciones.

b) Facilitan información comparativa a los go-

biernos, susceptible de ser utilizada como

una herramienta simple para asignar recur-

sos o para la rendición de cuentas de las

universidades a la sociedad.

c) Complementan el trabajo de las agencias de

evaluación de la calidad de las universidades

y facilitan información a los analistas intere-

sados en disponer de indicadores homoge-

neizados.

INTRODUCCIÓN

9

Enfoque del proyecto

En España ya existen distintas iniciativas que

presentan regularmente rankings universitarios,

elaborados desde perspectivas y con metodolo-

gías diversas. Lo que distingue a los nuevos ran-kings que propone ISSUE es que son construidos

siguiendo criterios que, como se detallará en los

apartados siguientes, responden a un buen núme-

ro de las recomendaciones internacionales más

recientes. Una de ellas es que la construcción de

los indicadores se realiza con el objetivo de con-

templar desde una perspectiva amplia la actividad

de las universidades, considerando la docencia, la

investigación y las actividades de innovación y

desarrollo tecnológico. Además, se ofrecen tam-

bién rankings por titulaciones, pensadas para

orientar las decisiones de los estudiantes al elegir

sus estudios.

Algunos criterios importantes seguidos en el desa-

rrollo de ISSUE han consistido en:

- Desarrollar múltiples rankings de las univer-

sidades, según se contemple la actividad

universitaria desde una perspectiva general o

en un ámbito específico (docencia, investiga-

ción, innovación y desarrollo tecnológico) y

según se haga desde la perspectiva del vo-

lumen total de resultados obtenidos (ISSUE-

V) por cada universidad, o de la productivi-

dad que corresponde a la relación entre re-

sultados totales y tamaño de la universidad

(ISSUE-P).

- Tener en cuenta las distintas perspectivas e

intereses que los diferentes usuarios poten-

ciales de la información pueden tener al usar

los rankings. En particular, se ha prestado

atención a la importancia que esto puede te-

ner cuando se trata de comparar las univer-

sidades en ámbitos concretos, como pueden

ser las titulaciones. Para responder a esta

preocupación se ha desarrollado una herra-

mienta web que permite elaborar rankings personalizados, referidos a los grados. Ha si-

do pensada para servir de orientación a los

estudiantes, sus familias y los orientadores

vocacionales a la hora de elegir la universi-

dad en la que cursar estudios. Una ventaja

de la flexibilidad que implica reconocer que

existen distintas preferencias de los usuarios

es que resuelve el problema que representa

para la construcción de indicadores sintéticos

su dependencia de las opiniones —subjetivas

y a veces discutibles— de los expertos.

El proyecto ofrece, por tanto, dos productos fina-

les diferentes:

- Una colección de rankings sobre las universi-

dades españolas, basados en los criterios del

equipo del proyecto y de los expertos consul-

tados, que permiten comparar a cada institu-

ción con las demás desde distintos puntos de

vista.

- Una herramienta web que ofrece rankings personalizados de los distintos grados, agru-

pados por familias de titulaciones, y que

permite comparar a las universidades te-

niendo en cuenta los intereses y criterios de

los usuarios —en principio, estudiantes que

ingresan en la universidad— sobre los estu-

dios a cursar, las comunidades consideradas

y la importancia otorgada a la docencia y la

investigación.

Es importante señalar que todos los productos

son obtenidos a partir de unas bases comunes:

los datos corresponden el mismo conjunto de

variables y la metodología seguida para tratar y

agregar variables es común, excepto obviamente

en lo que se refiere a las decisiones que pueden

adoptar los usuarios para construir sus rankings personalizados.

Estructura del documento

Tras esta introducción, el resto de este documen-

to se estructura en 5 capítulos más, con el si-

guiente contenido. En el capítulo 2 se realiza un

repaso a los principios que han de guiar la cons-

trucción de indicadores sintéticos, identificando

los problemas y cautelas que han de tenerse en

cuenta al elaborarlos. Se repasan también los

distintos rankings de referencia existentes, anali-

zando sus puntos fuertes y sus carencias para

identificar los aspectos metodológicos clave que

nuestro sistema ha de abordar. Tras dicho repaso,

en el capítulo 3 se detalla extensamente la meto-

dología seguida en la confección de los distintos

rankings. El capítulo 4 describe el enfoque de

personalización de los rankings para el usuario y

la herramienta web construida para la presenta-

ción de los resultados a los estudiantes. El capítu-

lo 5 ofrece un análisis de los principales resulta-

dos agregados, poniendo especial énfasis en la

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

10

comparación de los rankings ISSUE con el princi-

pal ranking internacional de referencia, así como

un análisis de la sensibilidad de nuestros resulta-

dos a variaciones en algunos de los supuestos

utilizados para la confección de los rankings. Fi-

nalmente, el capítulo 6 resume las principales

características y resultados del proyecto.

2. Limitaciones de los rankings y posibles mejoras

La existencia de rankings puede ayudar a respon-

der preguntas como las planteadas al principio de

este documento e incentiva a las universidades a

prestar mayor atención a los resultados de sus

actividades, con el fin de mejorar el lugar que

ocupan en las clasificaciones. Además, la compa-

ración de los resultados obtenidos por cualquier

universidad con los de otras instituciones ayuda a

contextualizarlos y a relativizarlos, permitiendo

identificar áreas potenciales de mejora y asignar

consecuentemente los recursos.

2.1. RIESGOS DE LOS RANKINGS

La construcción de un ranking exige tener presen-

te los riesgos asociados al uso de medidas sintéti-

cas de resultados, unos riesgos que, como mues-

tra la siguiente relación, son numerosos:

a) Riesgo de abuso de los rankings, especial-

mente cuando son utilizados para orientar

estrategias centradas en las mejoras de las

variables que contemplan, ignorando que so-

lo son proxies de los resultados que se quie-

re valorar y descuidando los aspectos esen-

ciales. Este riesgo es mayor en la sociedad

actual, en la que muchos asuntos se valoran

a través de indicadores simples, pero a veces

equívocos, y de mensajes mediáticos, llama-

tivos pero poco rigurosos.

b) Riesgo de utilizar los rankings para orientar acciones y valoraciones distintas de aquellas para las que fueron diseñados. Muchos ran-kings tienen objetivos concretos (valorar los

resultados de docencia, investigación, etc.) y

es engañoso hacer generalizaciones a partir

de ellos, usándolos para orientar acciones y

comportamientos distintos de aquellos para

los que fueron diseñados.

c) Riesgo de confundir lo que se puede medir con la que es importante medir. La existen-

cia de información estadística periódica con-

diciona el tipo de variables que se pueden

incorporar a los índices, los aspectos de la

actividad universitaria que pueden ser con-

templados y los que no —por ausencia de in-

formación—. Es importante saber qué infor-

mación incorporan realmente los índices ela-

borados. Así, por ejemplo, la mayor disponi-

bilidad de información comparable interna-

cionalmente sobre resultados de investiga-

ción ha hecho que los rankings más utiliza-

dos se centren en variables referidas a estas

actividades, dejando de lado indicadores re-

feridos a la docencia —a sus diferentes nive-

les— o a otras actividades que, como la in-

novación y desarrollo tecnológico, son muy

importantes. Si no se utilizan datos sobre es-

tas variables no es legítimo interpretar los

resultados de investigación como si fueran

informativos de los de las demás actividades,

salvo que se haya testado la correlación en-

tre unas y otras.

d) Riesgo de utilizar indicadores sintéticos poco robustos, cuyos valores son muy sensibles a

los criterios de medición de las variables y

los procedimientos de agregación. Los ran-kings simplifican de manera inevitable una

realidad muy compleja, que no es fácil sinte-

tizar. Se contemplan actividades desarrolla-

das por las universidades muy distintas, co-

mo docencia, investigación, innovación y

desarrollo tecnológico, difíciles de comparar

si no se dispone de procedimientos adecua-

dos. Además, resulta complicado captar to-

dos los resultados de una actividad en un in-

dicador, así como seleccionar o agregar indi-

cadores. También es difícil contemplar con-

juntamente variables referidas a cantidad y

calidad. Si todas estas circunstancias no son

valoradas adecuadamente al construir el in-

dicador sintético, el significado del mismo

puede llegar a ser muy oscuro e impreciso.

e) Riesgo de fijarse solo en la élite y olvidar el resto. Con frecuencia, los rankings interna-

cionales son incompletos y centran la aten-

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

12

ción en un limitado número de universidades —las 500 que contempla en Ranking de Shanghai representan menos del 3% de las existentes en el mundo— utilizando criterios inaplicables para evaluar a la gran mayoría de las instituciones que conforman los siste-mas universitarios de cualquier país, inclui-dos aquellos con sistemas universitarios más potentes. Pero ni el medallero olímpico es la mejor medida de la actividad deportiva de un país, ni tampoco lo son algunos torneos con-cretos aunque ejerzan una atracción irresis-tible sobre las audiencias. Tener un campeón es importante, pero no lo único relevante pa-ra fomentar el deporte de base, valorar el ni-vel medio de la disciplina y la contribución de la práctica deportiva a la salud de la pobla-ción. Análogamente, la utilidad de los ran-kings para los sistemas universitarios requie-re considerarlos desde una perspectiva más amplia e incluyente que la utilizada por los rankings internacionales. Con frecuencia eso es más factible utilizando a fondo las posibi-lidades de comparación derivadas de la ma-yor información disponible a escala nacional.

f) Riesgo de comparar inadecuadamente insti-tuciones con especializaciones distintas. Las universidades poseen especializaciones en sus actividades (más o menos orientadas a la docencia, a la investigación, o a la innova-ción y desarrollo tecnológico) que en ocasio-nes las hace muy diferentes y dificultan su comparación. También están especializadas en distintos campos científicos. Si los ran-kings no controlan los efectos de estas dife-rentes orientaciones pueden ser engañosos, penalizando la posición de unas universida-des en beneficio de otras por no utilizar indi-cadores adecuadamente normalizados.

Los especialistas y las organizaciones internacio-nales dedicadas al estudio de las universidades han realizado numerosas advertencias sobre los riesgos mencionados (ver Altbach 2006; Salmi y Saroyan 2007; Rauhvargers 2011). Pese a esas advertencias el atractivo de los rankings —reforzado por su difusión a través de los medios de comunicación— parece irresistible. La atención a los mismos avanza también en España y lo hace con los mismos sesgos que en otros países, sin las debidas precauciones en su elaboración y en la valoración de sus resultados.

2.2. LIMITACIONES DE LOS RANKINGS INTERNACIONALES

Parte de estos problemas se derivan de que los rankings internacionales más populares presentan muchas de las limitaciones señaladas, pero tien-den a ser utilizados como referencia de manera abusiva. Por ejemplo, en España se recurre a los mismos tanto para publicitar la presencia en ellos de algunas universidades como para criticar que ninguna de las mismas se sitúe entre las primeras doscientas.

Los rankings de excelencia universitaria más co-nocidos y relevantes de ámbito internacional han alcanzado una gran popularidad, pero solo identi-fican con precisión a las grandes universidades de proyección verdaderamente mundial. Ahora bien, al tiempo que atraen la atención sobre las mismas también destacan las posiciones en las que se sitúan las restantes respecto a ellas. Sin embargo, dichos rankings no permiten en realidad compara-ciones homogéneas entre los sistemas universita-rios de los distintos países, ni entre la inmensa mayoría de las universidades del mundo, debido a los criterios utilizados. Como señala el informe Global University Rankings and their Impact (Rauhvargers 2011):

a) La mayoría de los rankings se basan en indi-cadores centrados en la actividad investiga-dora —pues apenas hay elementos compa-rables referidos a la docencia de los distintos países— y en factores de reputación que, una vez se supera el círculo de las verdade-ras universidades globales (world class uni-versities) —no más de veinte—, reflejan va-loraciones poco fiables, por ser mucho más limitadas y sesgadas en términos regionales, de campo científico, etc.

b) Estos rankings adolecen de un grave pro-blema de representatividad, pues los criterios de valoración y los esfuerzos en la recolec-ción de la información van dirigidos a identi-ficar las universidades globales2, dejando fuera de la clasificación a la mayor parte de universidades. Así, de los alrededor de 17.000 centros de enseñanza superior exis-

2 Sobre las características singulares de las universidades globales, véase Salmi (2009).

LIMITACIONES DE LOS RANKINGS Y POSIBLES MEJORAS

13

tentes en el mundo, los rankings internacio-

nales más conocidos proporcionan informa-

ción para solo unas 1.000 universidades, de

las cuales acaban siendo comparadas 500.

El número de universidades españolas presentes

en cada rango de resultados de los principales

rankings internacionales es siempre limitado,

como se puede apreciar en el cuadro 1: menos de

una docena, es decir apenas el 15% de las 79

universidades actualmente existentes, 48 públicas

y 31 privadas.

Cuadro 1. Número de universidades españolas en cada rango de resultados en los principales rankings

internacionales

1-100 101-200 201-300 301-400 401-500

Ranking de Shanghai 3 4 4

Times Higher Education 2

QS 2 3 3 6

Paris Tech Mines 4 1

Scimago 1 4

Webometrics 3

4ICU-4 3 7

Leiden 2010 4 3 1

Fuente: Elaboración propia.

Cuadro 2. La Universidad española en el Ranking de Shanghai 2012

País Top 100 Top 200 Top 300 Top 400 Top 500

Estados Unidos 53 85 109 137 150

Reino Unido 9 19 30 33 38

Japón 4 9 9 16 21

Australia 5 7 9 16 19

Alemania 4 14 24 30 37

Canadá 4 7 17 18 22

Suiza 4 6 7 7 7

Francia 3 8 13 16 20

Suecia 3 5 7 11 11

Israel 3 4 4 6 6

Países Bajos 2 8 10 12 13

Dinamarca 2 3 4 4 4

Bélgica 1 4 6 6 7

Noruega 1 1 3 3 4

Finlandia 1 1 1 3 5

Rusia 1 1 1 1 2

China - 7 15 24 42

Italia - 4 9 12 20

Corea del Sur - 1 4 7 10

Austria - 1 3 3 7

Brasil - 1 2 5 6

Nueva Zelanda - 1 2 2 5

Singapur - 1 2 2 2

Argentina - 1 1 1 1

México - 1 1 1 1

España - - 3 7 11

Fuente: Elaboración propia.

U. Autónoma de Madrid

U. Complutense de Madrid

U. de Barcelona

U. Autònoma de Barcelona

U. Politècnica de València

U. País Vasco

U. de València

U. de Granada

U. Pompeu Fabra

U. de Vigo

U. de Zaragoza

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

14

El Ranking de Shanghai, el más conocido de to-

dos, solo incluye a 11 universidades españolas

entre las 500 primeras en su edición de 2012.

Ninguna de ellas aparece entre las doscientas

primeras, entre las cuales es enorme la concen-

tración de universidades de Estados Unidos (138),

seguidos a gran distancia por Reino Unido (28) y

Alemania (18). Ciertamente, aunque 16 países

colocan alguna institución entre las cien primeras

y 25 países entre las doscientas, España no lo

consigue. Esa escasa presencia es debida tanto a

la ausencia en España de universidades de refe-

rencia internacional como a que los indicadores

en los que se basa el Ranking de Shanghai son

muy discutibles para evaluar universidades como

las nuestras, pues en algunas de las variables

prácticamente no puntúan3. Sin embargo, es fre-

cuente ignorar la cuestión de la idoneidad del

índice y, de hecho, se trata del ranking más citado

en las valoraciones del sistema universitario espa-

ñol.

2.3. CÓMO ELABORAR LOS RANKINGS: PRINCIPIOS BÁSICOS

La pregunta fundamental a la hora de construir

un ranking universitario es qué criterios deben

tenerse presentes en su elaboración. El documen-

to titulado «Principios de Berlín sobre los Rankings

de las Instituciones Superiores» (Centrum für

Hochschulentwicklung, CHE 2006) ofrece referen-

cias valiosas para ordenar la reflexión sobre esta

cuestión, enumerando ocho principios básicos,

que se resumen así:

1. Indicar claramente cuál es el público objetivo

del ranking.

2. Ser claro acerca de qué mide cada indicador

utilizado.

3 Las variables utilizadas son las siguientes: (i) alumnos egresados que han obtenido el Premio Nobel o la Medalla Fields, (ii) profesores del centro que han obtenido el Premio Nobel o la Medalla Fields, (iii) número de investigadores altamente citados en su campo, (iv) total de artículos en revistas listadas en el Science Citation Index Expanded y en el Social Science Citation, (v) número de artículos publica-dos en las revistas Nature y Science, (vi) producción aca-démica con respecto al tamaño de la institución.

3. Intentar utilizar medidas de resultados (out-comes) en lugar de medidas de esfuerzo (in-puts).

4. Ser metodológicamente escrupulosos en la

elaboración del ranking.

5. Especificar los problemas surgidos y los po-

sibles errores.

6. Prestar atención a las diferencias culturales a

la hora de puntuar instituciones de distintos

países.

7. Tener en cuenta los posibles sesgos en la

comparación de las distintas áreas.

8. Mantener un estándar ético alto, debido a la

responsabilidad derivada del impacto que

tienen los rankings.

Otros nueve principios a tener en cuenta son los

siguientes:

9. Valorar la pertinencia y relevancia de los

distintos indicadores.

10. Hacer transparentes los rankings y dificultar

su manipulación.

11. Estructurar claramente la información.

12. Economía en la recogida de datos y en la

posterior actualización.

13. Favorecer la mejora continua y la adaptación

permanente del ranking, incorporando nue-

vos indicadores interesantes cuando estén

disponibles.

14. Distinguir claramente entre las dimensiones

que se trata de medir y las variables que se

utilizan para aproximar esos valores.

15. Discutir la robustez de los criterios de agre-

gación.

16. Precisar cómo se toma en cuenta la diferen-

cia del tamaño y estructura de las institucio-

nes valoradas.

17. Establecer la relación entre el todo y las

partes, dando en lo posible información des-

agregada por unidades homogéneas (depar-

tamentos, titulaciones, áreas de investiga-

ción, etc.).

Por otra parte, los principios fundamentales que

deberían regir el sistema de rankings, según los

resultados de los debates en la European Univer-

LIMITACIONES DE LOS RANKINGS Y POSIBLES MEJORAS

15

sity Association y del Grupo Internacional de Ex-

pertos en Rankings (CHE 2006), son:

1. Atender al carácter multidimensional de las universidades, teniendo en cuenta las distin-

tas misiones de las mismas.

2. Respetar la perspectiva del usuario, poten-

ciando las aplicaciones web que permitan al

ciudadano expresar sus preferencias y que

estas sean tenidas en cuenta.

3. Ofrecer una visión global, siendo exhaustivos

y cubriendo todas las instituciones, no solo

una élite reducida de las mismas.

4. Atender a la diversidad, teniendo en cuenta

que las actividades y el presupuesto de las

instituciones son muy variables.

5. Reconocer la variedad de disciplinas, para

medir el desempeño tanto a nivel de institu-

ción como a niveles más desagregados, por

campos del conocimiento.

6. Independencia, asegurando que el ranking es desarrollado e implementado por una ins-

titución independiente, no por una institución

pública ni de educación superior.

7. Sostenibilidad, en el tiempo y financieramen-

te, que no requiera cobrar a los estudiantes

por el uso de los rankings.

2.4. INICIATIVAS INTERNACIONALES DE MEJORA

A raíz de todas estas consideraciones, la Unión

Europea ha propuesto en 2011 unos principios

que los rankings de universidades deberían respe-

tar, con el doble objetivo de atender toda la pro-

blemática de los mismos y de ir avanzando hacia

un ranking europeo homogéneo y comparable.

Para ello, ha puesto en marcha un proyecto pilo-

to, U-Multirank, que realiza un ranking homogé-

neo para una muestra de universidades europeas,

identificando las dificultades a la hora de conse-

guir disponer de información homogénea y veraz.

Por otra parte, la Organización para la Coopera-

ción y el Desarrollo Económicos (OCDE) está

desarrollando el proyecto AHELO, consistente en

unos exámenes estandarizados para medir los

conocimientos de los estudiantes de grado, a

imagen y semejanza del informe PISA (Programa

para la Evaluación Internacional de Alumnos).

AHELO podría en el futuro ofrecer materiales

útiles para cubrir algunas de las importantes ca-

rencias de información de los rankings en el ámbi-

to de los resultados de la formación.

El sistema de rankings elaborado por el proyecto

ISSUE, desarrollado por el Ivie y la Fundación

BBVA, tiene presentes expresamente todos los

principios presentes en estas recientes propuestas

de la Unión Europea. El siguiente apartado detalla

los numerosos aspectos que han requerido un

esfuerzo diferenciado para trabajar con dichos

criterios.

3. Metodología

En el contexto planteado por las carencias y crite-

rios descritos en los apartados anteriores el punto

de partida del proyecto ISSUE ha sido el examen

detallado de los rankings de mayor relevancia, a

escala nacional e internacional, con la finalidad de

identificar las posibilidades de paliar las carencias

existentes en los mismos. Los problemas más

relevantes se plantean en los siguientes ámbitos:

(1) las actividades universitarias consideradas, (2)

la desagregación por disciplinas o tipos de estu-

dios, (3) la información disponible y utilizada, (4)

el rigor metodológico en el tratamiento de la in-

formación y la construcción de indicadores, (5) el

reconocimiento de la perspectiva del usuario a la

hora de construir y proporcionar la información y

(6) el uso de herramientas de fácil manejo para

que el usuario de los rankings pueda introducir en

ellos sus preferencias.

El proyecto ha contemplado las carencias en to-

dos estos ámbitos, abordándolas de la manera

que se describe en este apartado.

3.1. ACTIVIDADES CONSIDERADAS

Una de las principales carencias de algunos de los

rankings existentes para evaluar de manera gene-

ral a las universidades, especialmente en el caso

de los rankings internacionales, es que las activi-

dades son contempladas desde una perspectiva

muy parcial. El problema deriva de la disponibili-

dad de información sobre los resultados de las

actividades docentes y las de innovación y desa-

rrollo tecnológico, mucho menos abundante que

la referida a la investigación.

En realidad, la mayoría de los rankings relevantes

centran su análisis en la actividad investigadora,

no teniendo apenas en cuenta la otra gran fun-

ción de la Universidad, la docencia, y consideran-

do solo marginalmente las actividades de innova-

ción y desarrollo tecnológico, cada vez más rele-

vantes. Sin embargo, esos rankings sesgados

hacia la investigación son con frecuencia interpre-

tados como representativos del conjunto de la

actividad universitaria.

Esta práctica puede obedecer a tres razones: 1)

se usa la información disponible y, sin duda, la

abundancia, calidad y homogeneidad de la infor-

mación sobre investigación, es mucho mayor que

en los otros dos ámbitos; 2) se considera que la

actividad investigadora es el elemento distintivo

más relevante de la formación superior, en los

últimos siglos; y 3) se sostiene la opinión de que

la calidad investigadora de los profesores es una

variable «proxy» del resto de ámbitos, de modo

que basta con observar sus resultados.

La primera de las razones es de orden práctico,

pero puede inducir sesgos por omisión en los

indicadores y rankings. La segunda necesita algu-

na matización: es un argumento potente en rela-

ción con los estudios de posgrado pero menos en

relación con el grado, sobre todo en sistemas

universitarios de masas, como son la mayoría de

los actuales de los países desarrollados; de hecho,

en la mayoría de ellos existe una importante con-

centración de la actividad investigadora en un

número reducido de universidades y, en cambio,

buena parte de las demás instituciones son fun-

damentalmente docentes. La tercera razón es en

realidad una hipótesis, que debería ser contrasta-

da elaborando indicadores de todas las activida-

des y comprobando si, en efecto, la correlación

entre resultados docentes e investigadores se

cumple. Si no se comprueba la validez de esta

hipótesis, a la vista de que la intensidad de la

especialización docente, investigadora y en inno-

vación y desarrollo tecnológico de las universida-

des es muy variable4, ignorar los indicadores di-

rectos de docencia e innovación y desarrollo tec-

nológico puede sesgar los rankings.

Por consiguiente, en la medida que exista infor-

mación relevante acerca de la actividad de la

universidad en materia de docencia e innovación y

4 Véase Pérez y Serrano (dirs.) (2012, caps. 1 y 4).

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

18

desarrollo tecnológico, es necesario aprovecharla

para que los rankings reflejen mejor la actividad

universitaria en su conjunto. Además, de ese

modo se puede reconocer que las universidades

tienen en realidad perfiles de especialización dis-

tintos, centrándose algunas de ellas más en la

investigación básica (como sucede en muchas de

las recogidas con más frecuencia en los rankings mundiales), otras en la educación superior y la

formación de profesionales y otras en la investi-

gación aplicada, la innovación y desarrollo tecno-

lógico.

Considerar estos tres ámbitos permite dar un

primer paso en la dirección de atender las distin-

tas perspectivas sobre la universidad y el diferen-

te interés que puede tener cada tipo de usuario

potencial de los rankings. Así, un estudiante de

grado probablemente muestre un mayor interés

por la docencia, mientras un estudiante de pos-

grado y el profesorado probablemente observen

más los aspectos relacionados con la calidad in-

vestigadora; en cambio, una empresa interesada

en firmar un contrato para una línea de investiga-

ción específica, puede querer identificar aquella

universidad con mayor capacidad de desarrollar

investigación aplicada o producir patentes. Si la

información se centra solo en los resultados de

investigación estas distintas aproximaciones no se

pueden realizar con precisión.

El proyecto ISSUE contempla expresamente estas

tres grandes categorías de actividades universita-

rias y ha analizado la información disponible sobre

cada una de ellas en España. La dimensión nacio-

nal del proyecto facilita que se pueda disponer de

datos razonablemente homogéneos de un conjun-

to de variables representativas de la actividad de

las universidades públicas españolas. Desde lue-

go, sería deseable que la información correspon-

diente a las universidades privadas estuviera dis-

ponible en el futuro con garantías de homogenei-

dad y calidad similares, y eso mejoraría el alcance

del proyecto.

El número de universidades públicas es suficien-

temente elevado para que el banco de datos ya

disponible permita contrastar la hipótesis a la que

antes nos referíamos: si los resultados de investi-

gación predicen adecuadamente los docentes, o

no. Ese es un objetivo específico que el proyecto

ha contemplado, y cuyos resultados se presenta-

rán en el apartado correspondiente.

3.2. DESAGREGACIÓN DE LAS ACTIVIDADES

Otra carencia advertida al analizar los rankings existentes es que muchos de ellos tratan a las

universidades solo de manera unitaria, sin reco-

nocer la diversidad de áreas en las que esta pue-

de ofrecer formación o desarrollar investigación.

Este problema requiere poca explicación: para ser

de mayor utilidad, un ranking ha de informar al

usuario, en la medida de lo posible, acerca de las

áreas específicas o campos científicos de su inte-

rés, sobre todo si se tiene en cuenta que las uni-

versidades pueden no ser homogéneas en la cali-

dad de cada una de sus partes.

Por esta razón, un sistema de rankings mejora si

ofrece información desagregada por áreas de

estudio, campos de conocimiento o titulaciones

específicas. Este último nivel de detalle puede ser

muy relevante para los estudiantes, pues su inte-

rés fundamental estará por lo general ligado a la

calidad de los estudios concretos que desea cur-

sar.

Para tratar la desagregación, el proyecto ISSUE

ha tenido que trabajar en varias direcciones. En

primer lugar, ha seguido el criterio de que es

importante partir de la información más desagre-

gada que esté disponible y mantener su detalle

siempre que sea posible, para no perder la rique-

za que representa su heterogeneidad. En segundo

lugar, ha sido necesario tratar con rigor la infor-

mación desagregada para homogeneizarla ade-

cuadamente antes de agregarla en los indicado-

res. Y tercero, ha tenido que resolver los proble-

mas que se plantean al combinar —para la cons-

trucción de algunos de los indicadores considera-

dos— información desagregada por campos cien-

tíficos o titulaciones con otra agregada a nivel de

universidad o rama. Cuando no existe información

desagregada, o no tiene sentido su desagrega-

ción, se ha imputado la agregada a los distintos

elementos del conjunto, siguiendo los criterios

considerados más razonables en cada caso.

Abordar los problemas anteriores no es trivial. Así,

por ejemplo, en el caso de los rankings relativos a

las titulaciones concretas de las universidades

españolas, para tratar la información de ámbitos

con distintos niveles de desagregación se han

construido una serie de matrices que los relacio-

nan. Para ello ha sido necesario establecer co-

METODOLOGÍA

19

rrespondencias precisas entre universidad, rama,

área de la Comisión Nacional de Evaluación de la

Actividad Investigadora (CNEAI), categoría de

Web of Science y grado. A partir de las mismas se

han construido las variables al nivel requerido en

cada caso, mediante las agregaciones o impu-

taciones correspondientes.

En la imputación de resultados de investigación a

cada grado se ha partido de la información des-

agregada por categorías de la Web of Science

(más de 250 elementos). Dado que una clasifica-

ción no está perfectamente anidada en la otra, se

han relacionado ambas clasificaciones y se han

valorado los dos posibles tipos de errores que se

pueden cometer:

1. Error por inclusión. Consistiría en imputar a

un grado la investigación realizada por pro-

fesores de otras áreas. Por ejemplo, se pue-

de cometer un error si se imputa al grado de

Farmacia de una universidad la investigación

en «Hemathology» que realmente ha sido

realizada por profesores de la Facultad de

Medicina y con docencia solo en Medicina.

2. Error por exclusión. Consistiría en excluir la

investigación realizada en campos más ale-

jados del núcleo central de la titulación por

profesores de la misma, como consecuencia

de ser excesivamente restrictivos con la

imputación de áreas a grados. Por ejemplo,

si en Economía solo imputásemos la catego-

ría «Economics» dejaríamos de lado investi-

gación que puede ser relevante del área de

«Business, Finance», en teoría más cercana

a las titulaciones de Administración de Em-

presas pero que también realizan economis-

tas que enseñan en el grado de Economía.

Estos problemas no tienen una solución perfecta y

hemos debido elegir una de las alternativas. He-

mos optado por un criterio más inclusivo, esto es,

ante la duda sobre si asociar o no una categoría o

campo científico a un grado hemos optado por

incluirlo, minimizando así los errores por exclusión

por considerar que serían más graves.

3.3. INDICADORES, ÁMBITOS Y DIMENSIONES

El principal pilar de un sistema de rankings es

indudablemente el rigor del procedimiento segui-

do al abordar los problemas existentes para que

la ordenación construida responda a una informa-

ción adecuada y sea tratada con criterios metodo-

lógicos razonables. Muchos de los rankings utili-

zados presentan deficiencias claras en este senti-

do, que la literatura internacional reciente ha

analizado con detalle.

El proyecto ISSUE considera que un ranking de

universidades que aspire a considerar todas sus

actividades se debe estructurar a partir de distin-

guir las tres grandes dimensiones siguientes:

- Docencia - Investigación - Innovación y desarrollo tecnológico

La evaluación de cada una de estas dimensiones

puede tomar en consideración múltiples ámbitos

de actividad e indicadores, pero muchos expertos

coinciden en que un excesivo número de los mis-

mos oscurece el significado de los rankings y

complica la construcción de los índices sintéticos,

un asunto ya de por sí complejo. Siguiendo un

criterio de simplicidad —relativa—, se han consi-

derado cuatro ámbitos en cada una de las tres

grandes dimensiones mencionadas:

- Recursos disponibles

- Producción obtenida - Calidad (sobre todo de los resultados y en

algún caso de los recursos o procesos)

- Internacionalización de las actividades

La principal referencia para valorar las universida-

des deben ser los resultados, pero estos pueden

ser contemplados tanto desde la perspectiva de

su volumen total como desde la de la eficiencia

lograda en su obtención. En términos económicos,

mientras la producción considera el volumen o

cantidad de resultados obtenidos, la productividad

mide la relación entre volumen de resultados y

recursos utilizados5.

5 Es necesario aclarar que las variables clasificadas en el epígrafe

recursos disponibles no son utilizadas como denominador del cálculo de la productividad, dividiendo por ellos los indicadores de produc-

ción, calidad o internacionalización. En realidad, algunos indicadores del grupo de recursos pueden ser considerados logros de las univer-sidades, por ejemplo los ingresos conseguidos de manera competiti-

va. Así pues, la productividad es analizada en todos los ámbitos y en cada una de las dimensiones —docencia, investigación, innovación y

desarrollo tecnológico— relativizando cada indicador por la variable apropiada. Por ejemplo, en el ámbito de los recursos públicos competitivos para investigación, los recursos se encuentran relativi-

zados por el número de profesores doctores equivalentes a tiempo completo, por considerar que ese cociente mide la capacidad de

captación de fondos de la universidad.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

20

Cuadro 3. Listado de indicadores, ámbitos y dimensiones

Docencia

Recursos

Personal Docente e Investigador (PDI) / Alumno

Presupuesto / Alumno

Profesores Doctores equivalentes a tiempo completo (DETC) / PDI

Producción

Tasa de Éxito

Tasa de Evaluación

Tasa de Abandono

Calidad

Índice de capacidad de atracción

% de estudiantes de postgrado

Notas de corte

Internacionalización

% de alumnos en programas de intercambio

% de alumnos matriculados en programas en lenguas no oficiales

% de alumnos extranjeros

ggg

Investigación

Recursos

Recursos públicos competitivos por profesor doctor

Contratos de personal doctor, becas de investigación y apoyo técnico

sobre el presupuesto total

Producción

Documentos citables con referencia ISI por profesor doctor

Sexenios totales sobre sexenios posibles

Tesis doctorales leídas por profesor doctor

Calidad

Factor medio de impacto

% de publicaciones en el primer cuartil

Citas por documento

Internacionalización % de fondos de investigación europeos o internacionales

% de publicaciones en coautorías internacionales

ggg

Innovación y

desarrollo

tecnológico

Recursos

Ingresos por patentes por profesor doctor

Ingresos por contratos de asesoramiento por profesor doctor

Ingresos por formación continua por profesor doctor

Producción

Número de patentes por profesor doctor

Horas de formación continua por profesor doctor

Número de contratos por profesor doctor

Calidad

Patentes comercializadas por profesor doctor

Internacionalización Patentes triádicas por profesor doctor

Ingresos por contratos internacionales por profesor doctor

Fuente: Elaboración propia.

Para valorar los resultados es también importante

atender a la calidad de los mismos. Si existiera un

mercado que valorara las diferencias de calidad,

los resultados de mayor calidad tendrían un precio

superior. Esos precios no existen casi nunca en el

ámbito de las universidades públicas, pero algu-

nos indicadores pueden suplir en parte esa infor-

mación. Así, por ejemplo, existen indicadores de

calidad docente e investigadora y también de un

rasgo muy relevante en la actualidad de la espe-

cialización (y calidad) de las universidades: su

internacionalización.

Cada uno de los cuatro ámbitos mencionado ha

sido analizado a partir de una serie de indicado-

res. Para cada uno de los ámbitos se han tenido

en cuenta entre uno y tres indicadores, en función

de la disponibilidad e idoneidad de la información,

según la dimensión que se está estudiando.

El cuadro 3 describe la tabla de indicadores consi-

derados, tras analizar la disponibilidad de infor-

mación y discutir las alternativas con el grupo de

expertos del proyecto. La propuesta se ha con-

sensuado a partir de analizar la idoneidad de cada

indicador para captar información relevante sobre

el ámbito y la dimensión a los que pertenece6. Es

importante señalar que la información utilizada se

puede obtener de fuentes que permiten que el

banco de datos del proyecto y los rankings deri-

vados del mismo no requieran que las universida-

des suministren directamente los datos a ISSUE.

6 Para garantizar la transparencia del proceso a desarrollar a partir de los indicadores, se incluye la definición de cada indicador, su fuente y su procedimiento de cálculo, así como la propia información, en la siguiente página web del proyecto: www.u-ranking.es.

METODOLOGÍA

21

El listado del cuadro 3 define un objetivo, que se

aspira a completar a medio plazo pues no toda la

información deseable está disponible en la actua-

lidad. En parte, ello se debe al proceso en curso

de transformación de licenciaturas a grados, que

finalizará en breve, pero también existen otras

carencias en algunos ámbitos7. En realidad, el

proyecto contempla un amplio espacio de mejora

de la información, en especial en los distintos

ámbitos de la innovación y el desarrollo tecnológi-

co.

La lógica que subyace a esta selección de indica-

dores, expuesta de forma sintética, es la siguien-

te:

Docencia

o Los recursos destinados a la docencia se

caracterizan a través de las dotaciones pre-

supuestarias por alumno y el personal do-

cente e investigador por alumno, prestándo-

se especial atención al personal doctor.

o La producción docente se mide por los resul-

tados obtenidos por los alumnos, analizando

cuántos se someten a evaluación, cuántos

tienen éxito en la misma y cuántos abando-

nan.

o La calidad de la docencia es por el momento

muy difícil de observar, pero hemos conside-

rado proxies de la misma la capacidad de

atracción de alumnos de otras provincias, la

calidad de los alumnos medida por la nota de

corte específica de cada área y el porcentaje

de estudiantes de posgrado.

o La internacionalización de la docencia queda

recogida por el porcentaje de estudiantes ex-

tranjeros, el porcentaje de alumnos en pro-

gramas de intercambio y los estudios ofreci-

dos en lenguas no oficiales.

7 Concretamente, no se toman en cuenta, por motivos de disponibilidad o de calidad de la información, las siguientes variables: Índice de Capacidad de Atracción, % de alumnos en programas en lenguas no oficiales, Contratos de perso-nal doctor, Becas de investigación y apoyo técnico, Ingre-sos y horas de formación continua, Número de contratos por profesor doctor y Número de patentes nacionales y triádicas por profesor doctor. La relación de indicadores utilizados se ajustará conforme se consolide y aumente la disponibilidad de la información con garantía de calidad.

Investigación

o El proceso investigador se caracteriza me-

diante dos tipos de recursos: los recursos

públicos competitivos que se logran, y la dis-

posición de personal investigador, becarios y

apoyo técnico cualificado.

o La producción se materializa en los docu-

mentos citables que cada área publica, en

los sexenios que se consiguen con dichas

publicaciones, así como en el número de te-

sis doctorales, que suponen un indicador de

la actividad de formación de investigadores

en un área.

o La calidad de la investigación tiene su reflejo

en el impacto medio de sus publicaciones y

en las citas que los documentos generan.

o Por último, una mayor proporción de publi-

caciones internacionales, las coautorías tam-

bién internacionales y el porcentaje de fon-

dos de investigación procedentes de convo-

catorias externas señalizan una mayor voca-

ción internacional de la actividad investiga-

dora.

Innovación y desarrollo tecnológico

o Los recursos considerados cubren las tres

principales actividades de innovación y desa-

rrollo tecnológico: los ingresos por patentes,

los ingresos por contratos de asesoramiento

y los ingresos por la formación continua.

o En cuanto a las medidas brutas de produc-ción en estas actividades, se han considera-

do el número total de patentes, las horas de

formación continua y el número de contratos

por servicios.

o Como indicador de calidad, debido a la esca-

sa disponibilidad de información, solo se in-

cluyen las patentes comercializadas por pro-

fesor doctor.

o La internacionalización en la transferencia de

conocimiento se refleja mediante las paten-

tes triádicas (válidas en Europa, Estados

Unidos y Japón) y los ingresos por contratos

internacionales.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

22

3.4. COBERTURA TEMPORAL DE LOS DATOS

Los rankings de universidades, aunque aspiran a

ofrecer una imagen de la posición actual de cada

institución, no pueden ser concebidos como foto

fija de un año dado. Muchos de los indicadores

tienen carácter de flujo y, como tales, pueden

presentar una alta variabilidad de año a año, tan-

to por la calidad de la información como por la

distancia entre la realidad y lo que la información

refleja. Otros indicadores reflejan la acumulación

de resultados a lo largo de períodos de tiempo

dilatados.

Los rankings de referencia suelen reconocer este

problema tomando períodos de comparación más

amplios que un único año, bien tomando medias

móviles (como los 5 o 10 años de los Rankings ISI

de la Universidad de Granada) o bien incluso con-

siderando la historia completa de la Universidad

(como en el caso del tratamiento de los Premios

Nobel y Medallas Fields en el Ranking de

Shanghai). Este enfoque metodológico proporcio-

na una mayor estabilidad interanual de los ran-kings y permite que alteraciones puntuales fruto

de la aleatoriedad sean suavizadas al considerarse

un mayor rango temporal.

Nuestro enfoque se dirige en esta línea y, confor-

me esté disponible la información, iremos conver-

giendo hacia una media móvil de 6 años para casi

todos los indicadores. En estos momentos, la

mayoría de indicadores ligados a la investigación y

a la innovación y desarrollo tecnológico, prove-

nientes de Thomson-Reuters y de la RedOTRI,

han sido calculados ya como una media de seis

años. Por el contrario, en gran parte de los resul-

tados de docencia disponemos actualmente de un

único dato, proveniente del informe «La Universi-

dad Española en Cifras» (2010). En cuanto vayan

estando disponibles más años, se irán incorporan-

do los mismos a la media móvil para disponer

finalmente de un cuadro completamente coheren-

te en el plano temporal. Así, este mismo año se

incorporarán los datos provenientes del inminente

informe «La Universidad Española en Cifras»

(2012) y dentro de dos años se habrá completado

el proceso de transición, al incorporarse el si-

guiente informe y abarcar así 6 años de informa-

ción universitaria.

Esta orientación de los Rankings ISSUE hace es-

perable que las ordenaciones de Universidades no

presenten, de un año a otro, cambios bruscos. La

existencia de cierta inercia en los rankings parece

una propiedad deseable de los mismos, pues la

calidad de las instituciones universitarias no cam-

bia radicalmente a corto plazo, aunque algunos de

sus resultados anuales puedan hacerlo.

Se ha intentado respetar la misma estructura —

Recursos, Producción, Calidad e Internacionaliza-

ción— dentro de cada dimensión, por considerar

que la simetría en el enfoque conceptual permite

una mayor comparabilidad y coherencia, así como

una posible identificación de los puntos fuertes y

débiles de cada institución. No obstante, la dispo-

nibilidad de información condiciona la consecución

efectiva de este objetivo. De hecho, los «recursos

de investigación» y la «producción de innovación

y desarrollo tecnológico» se encuentran en la

actual versión sin información. Aunque existe

información disponible para ciertos indicadores de

las mismas, la calidad de la misma es muy dudosa

y, lejos de mejorar los resultados, los compromete

añadiendo una variabilidad excesiva. En la medida

en que dicha calidad aumente y sea posible incor-

porar la información a los resultados, se reconsi-

derará la opción de incluirla.

Por otra parte, hemos considerado también la

inclusión de información sobre la empleabilidad de

los titulados universitarios como indicador de la

calidad de la formación. Esta información sería por

sí misma de indudable interés, pero no existe y la

probabilidad de que esté disponible próximamente

es remota, por lo que la hemos excluido de mo-

mento del listado factible de indicadores. La con-

secución de dicha información requeriría un es-

fuerzo grande y coordinado por parte de todas las

universidades, pero merecería la pena realizarlo.

Aunque son ya numerosas las universidades que

intentan seguir a sus egresados en su vida labo-

ral, la metodología y los criterios que siguen no

son homogéneos, por lo que la comparación de la

información es imposible. Por otra parte, aunque

las fuentes tributarias (AEAT y Seguridad Social)

podrían constituir otra valiosa fuente de informa-

ción, la legislación sobre secreto estadístico difi-

culta mucho la obtención de dichos datos.

METODOLOGÍA

23

3.5. CRITERIOS PARA LA CONSTRUCCIÓN DE INDICADORES

Un aspecto clave para poder confiar en el signifi-

cado de los rankings es que los procesos en los

que se basan sean transparentes y respeten los

fundamentos que establecen las publicaciones

estadísticas sobre la construcción de indicadores.

El equipo del proyecto ha respetado estos crite-

rios, contando con especialistas en la materia y

analizando los principios metodológicos estableci-

dos en la literatura especializada, en especial en

el Handbook on constructing composite indica-tors: methodology and user guide (OCDE 2008).

El proceso de elaboración que subyace a cualquie-

ra de los rankings de universidades construidos se

estructura en los siguientes pasos —siendo el

quinto paso innecesario en el caso de los rankings parciales de docencia, investigación e innovación

y desarrollo tecnológico—:

1. Elaboración del banco de datos y estimación

e imputación de valores faltantes

2. Normalización de indicadores

3. Ponderación y agregación de indicadores

dentro de los ámbitos de cada dimensión

4. Ponderación y agregación de indicadores de

ámbito, dentro de las dimensiones

5. Ponderación y agregación de las dimensiones

6. Obtención de los rankings

El anterior esquema ilustra gráficamente la se-

cuencia temporal de los pasos. Para superar cada

uno de ellos se necesita solucionar los correspon-

dientes problemas técnicos que a continuación se

describen, y que han sido abordados según los

enfoques que se indica.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

24

3.5.1. Imputación de datos faltantes

El punto de partida de cualquier ranking es dispo-

ner de la información necesaria sobre las variables

a considerar para construir cada indicador. Un

primer problema técnico a resolver es el trata-

miento de los datos faltantes para ciertas univer-

sidades en alguna de las variables a utilizar. Por

ejemplo, puede no estar disponible el número de

tesis leídas en el último año en una determinada

universidad. Dichas ausencias pueden deberse a

varios factores, tanto técnicos (un fallo en la car-

ga de datos), como de disponibilidad (la universi-

dad puede no haber generado una información

determinada o no haberlo hecho a tiempo) e

incluso estratégicos (una universidad puede optar

por no dar cierta información por no ser conve-

niente para ella).

No afrontar este problema con rigor condicionaría

la comparabilidad de las universidades, la calidad

de los índices agregados y los resultados finales.

Concretamente, calcular el ranking ignorando

dicha información faltante sería equivalente a

imputar un valor para dicha variable equivalente a

la media del resto de variables que componen la

dimensión, lo cual es especialmente problemático

si es la propia universidad la que no transmite la

información por motivos estratégicos, pues es

posible que ese valor medio le favorezca. Por otra

parte, calcular el ranking suponiendo que el valor

real de la variable faltante es cero supone penali-

zar a la universidad de manera injusta si la razón

es que ha habido un problema técnico de disponi-

bilidad de datos o de plazos.

Para estimar e imputar los valores faltantes de

cada variable hemos procedido como sigue:

1. A partir de una matriz de correlaciones8 se

identifican, para cada variable, las dos varia-

bles que tienen una mayor correlación (en

términos absolutos) con la variable a esti-

mar.

2. Se estima un modelo lineal (por mínimos

cuadrados) entre la variable a imputar y las

dos variables más correlacionadas —es decir,

aquellas con las cuales la variable a estimar

8 La matriz de correlaciones se construye calculando, para cada par posible de indicadores, su coeficiente de correla-ción lineal.

tenía una mayor correlación absoluta—. Para

la estimación de este modelo se utiliza solo

la información de la misma familia de cono-

cimiento, reconociendo así las distintas ope-

rativas de cada área en los ámbitos estudia-

dos.

3. A partir de los parámetros estimados en el

anterior modelo se calcula el valor estimado

de la variable faltante, utilizando dichos pa-

rámetros y la información existente para di-

cha Universidad en las variables relaciona-

das.

Por ejemplo, supongamos una universidad para la

que no existen datos de tesis doctorales dirigidas

por profesor doctor (T) en una titulación de inge-

niería. Tras analizar todas las variables de las

universidades españolas se observa que, dentro

de las ingenierías, las tesis dirigidas están muy

correlacionadas con los sexenios de investigación

obtenidos sobre el total de sexenios posibles de

su profesorado (S) y también con el porcentaje de

alumnos de posgrado de dicha universidad (P). A

partir de dicha relación, T = f(S,P), se estima el

modelo lineal T = a0 + a1S + a2P. Una vez estima-

dos los valores de a0, a1 y a2, se estiman las tesis

dirigidas en esa ingeniería de dicha universidad a

partir de sus datos disponibles de sexenios y

alumnos de posgrado.

3.5.2. Normalización de los indicadores

Uno de los pilares en los que se asienta la cons-

trucción de índices sintéticos es la adecuada nor-

malización de la información, esto es, la transfor-

mación de la misma para homogeneizarla y hacer

posible su comparación y agregación. Existen

numerosos sistemas de normalización, como la

gaussiana (restar a cada variable su media arit-

mética y dividir por su desviación típica), la orde-

nación relativa (ordenar los valores según su valor

relativo), las distancias a la media o la mediana, y

la ratio entre la variable y su media o su mediana.

Es importante advertir que el método elegido de

normalización debe estar en consonancia con el

método posterior de agregación a utilizar. Debido

a que como norma general se ha optado por el

método de agregación geométrica, que exige que

el valor de las variables normalizadas sea positivo,

se deben excluir como alternativas de normaliza-

ción la gaussiana y las distancias absolutas a la

METODOLOGÍA

25

media y a la mediana, que generan necesaria-

mente valores negativos.

Por esta razón, el método de normalización elegi-

do es el cálculo de la ratio entre la variable y su

mediana. Teniendo en cuenta que la mediana es

el valor que separa en dos mitades cada distribu-

ción, los resultados normalizados estarán centra-

dos en el valor 1: los valores inferiores a la me-

diana se encuentran acotados entre 0 y 1, mien-

tras los superiores estarán por encima del 1.

3.5.3. Ponderación y agregación de los

indicadores dentro de un ámbito

Una vez imputados los valores faltantes y norma-

lizados los indicadores básicos, hemos procedido

a la agregación de estos para obtener un primer

indicador sintético para cada ámbito. Así, por

ejemplo, para obtener el valor del indicador del

ámbito «calidad» en la dimensión «investigación»

se agregan los valores normalizados del «Factor

de impacto medio de las publicaciones» y el «Por-

centaje de publicaciones en el primer cuartil».

Como en el caso de la normalización, existen

numerosos procedimientos de agregación, como

el aritmético, el geométrico o los basados en el

análisis factorial. La elección de uno u otro méto-

do tiene implicaciones en aspectos como la susti-

tuibilidad de los indicadores o el peso que juegan

los valores extremos (tanto grandes como peque-

ños). Así pues, el criterio de agregación elegido

lleva implícita una ponderación de los indicadores,

que es importante tener presente.

Debe tenerse en cuenta que es posible que algu-

nas universidades tengan ceros en algún indica-

dor de un ámbito concreto (por ejemplo, pueden

no poseer «Patentes triádicas»). Por esta razón

hemos optado en esta fase por una agregación

aritmética, descartando la geométrica porque la

presencia de un cero en el producto haría que

tomara valor nulo todo el ámbito analizado.

Como la ponderación de los indicadores indica la

importancia que se asigna a cada variable a la

hora de su agregación en un indicador sintético,

se ha reflexionado también sobre esta cuestión.

Se trata de un problema clásico en la construcción

de dichos índices y que, por lo general, requiere

un juicio de quien lo elabora acerca de la impor-

tancia relativa de cada elemento. En el caso de

los agregados económicos los pesos los ofrecen

los precios —que reflejan la valoración que reali-

zan los mercados de los bienes, servicios o facto-

res intercambiados—, pero en muchos otros casos

no existen precios y los indicadores han de ser

construidos siguiendo otros criterios, que con

frecuencia se basan en opiniones subjetivas.

Existen tres posibles enfoques para la pondera-

ción: 1) asignación de pesos idénticos (lo que

también implica un juicio, pues el peso de un

indicador acaba condicionado por el número de

indicadores que se incluyen); 2) consulta entre

expertos para identificar las opiniones más com-

partidas (mediante encuestas o métodos como el

Delphi); 3) ponderación según las preferencias del

usuario. Estas tres alternativas han sido utilizadas

en cada caso según el nivel de la agregación a

realizar.

En este primer nivel de agregación (de indicado-

res simples a indicadores sintéticos para cada

ámbito) se ha optado por el primer sistema, es

decir, la equiponderación. La razón es que en la

mayoría de los casos se trata de indicadores que

captan distintos aspectos del ámbito analizado,

pero no existen argumentos claros para otorgar a

uno de ellos mayor o menor importancia. Además,

la naturaleza de la información que se recoge en

cada indicador es bastante homogénea y en ese

caso el interés de dar más peso a uno u otro indi-

cador es menor, porque en muchos casos están

correlacionados. Así sucede, por ejemplo, en el

caso del índice de impacto medio de las publica-

ciones y el porcentaje de estas en el primer cuar-

til. Por consiguiente, los distintos indicadores

simples entrarán en el cálculo de la media aritmé-

tica con el mismo peso.

3.5.4. Ponderación y agregación de los

indicadores de ámbito dentro de cada dimensión

En el segundo nivel de agregación se agrupan los

indicadores de los distintos ámbitos en un indica-

dor para cada una de las tres dimensiones consi-

deradas: docencia, investigación e innovación y

desarrollo tecnológico. En esta etapa existen ra-

zones para seguir un criterio de agregación dife-

rente, pues tras la agregación aritmética de la

etapa anterior ningún indicador de ámbito presen-

ta ceros.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

26

Fuente: Elaboración propia.

En esta etapa se procederá mediante un método

de agregación geométrica. Entre las propiedades

más interesantes de la agregación geométrica se

encuentra que limita la sustituibilidad entre los

componentes que agrega. En otras palabras, la

agregación geométrica penaliza a aquellas univer-

sidades que tengan muy desatendido alguno de

los cuatro ámbitos transversales (Recursos, Pro-ducción, Calidad, Internacionalización) frente a las

que los atiendan de manera equilibrada.

En cuanto al peso a dar a cada ámbito dentro de

cada dimensión en este segundo nivel de agrega-

ción nos hemos inclinado por la realización de una

encuesta a expertos universitarios, mediante la

aplicación del método Delphi, en lugar de optar

por otorgarles un mismo peso, como en la etapa

anterior.

Una de las razones para cambiar el criterio es que

si todos los ámbitos fueran agregados con el

mismo peso, al tratarse de una media geométrica

el número de ámbitos considerado influiría en el

resultado. Por ejemplo, si hubiésemos decidido

agrupar los indicadores de calidad e internaciona-

lización en un solo ámbito, la influencia de estas

materias en la dimensión habría sido menor de la

que tienen con la opción de separarlos. Otra ra-

zón es que, a diferencia de lo que sucedía con los

indicadores básicos, en este caso pueden existir

razones para otorgar valores diferentes a cada

uno de los ámbitos. Así pues, las decisiones sobre

el número de ámbitos a considerar y sus pesos

son relevantes, y hemos preferido preguntar a

expertos por la importancia que se debe dar a

cada ámbito. Para facilitar esa valoración se ha

seguido el criterio de que el número de ámbitos

sea reducido y similar dentro de cada dimensión.

El cuadro 4 recoge los pesos otorgados a los dis-

tintos ámbitos por los expertos consultados9.

9 Se realizaron dos rondas de consulta, tras las cuales se alcanzó una reducción de 2,1 puntos porcentuales en el rango intercuantílico medio.

3.5.5. Ponderación y agregación de las dimensiones para la obtención de los ran-kings

La última fase de la metodología es la que esta-

blece cómo se elaboran los distintos rankings del

proyecto ISSUE. Este ofrece rankings universita-

rios de cada una de las tres dimensiones por se-

parado, pero para ello ya no es necesario dar

ningún paso adicional a los descritos en los pun-

tos anteriores. En cambio, para elaborar los ran-kings que combinan las tres dimensiones es nece-

sario realizar una nueva agregación y, de nuevo,

decidir los criterios más razonables para abordar-

la.

En el paso de las dimensiones al ranking final

consideramos que la importancia atribuida a cada

dimensión puede ser muy distinta según los in-

tereses de las personas que contemplan el ran-king, es decir de los potenciales usuarios del mis-

mo: estudiantes, investigadores, gestores, socie-

dad. Por esa razón, hemos llegado a la conclusión

de que la perspectiva del usuario puede ser clave

para dar más o menos importancia a cada una de

las dimensiones Podría resultar poco convincente

imponer pesos desde una perspectiva concreta

—por ejemplo, la de un grupo de expertos, que

considera que la investigación es lo más impor-

tante—, en especial para individuos situados en

otra perspectiva, por ejemplo, para estudiantes u

orientadores vocacionales que consideran que es

más importante atender a los aspectos docentes.

Por ello, tras la reflexión pertinente hemos optado

por considerar dos alternativas.

1. En primer lugar, en los rankings de titulacio-

nes se ofrece la opción del sistema antes

descrito como ranking personalizado, basado

en las propias preferencias del usuario. En-

tendemos que en este caso es más probable

que los usuarios busquen comparar a las

universidades con intereses bastante defini-

dos y criterios diversos, probablemente dis-

tintos de los de los expertos. Por esta razón,

Cuadro 4. Pesos para la ponderación de los distintos ámbitos

Recursos Producción Calidad Internacionalización

Docencia 25,4 30,4 23,9 20,3

Investigación 20 30 30 20

Innovación y desarrollo 34,2 26,3 21,1 18,4

METODOLOGÍA

27

con la ayuda de una herramienta web, los

usuarios pueden manifestar la importancia

que para ellos tiene cada una de las tres di-

mensiones a la hora de ordenar las titulacio-

nes y la herramienta les ofrece automática-

mente el ranking correspondiente a las pre-

ferencias que el usuario revela.

Para aplicar este primer enfoque hemos con-

siderado varias alternativas sobre cómo se

realiza la elección de pesos por parte del

usuario. Nos hemos decantado por el proce-

dimiento conocido como Budget Allocation

Process, es decir, por el reparto por parte del

usuario de 100 puntos entre las dimensiones

a valorar. Este método, ampliamente utiliza-

do en marketing para conocer la valoración

que hace un consumidor de las característi-

cas de un producto, tiene como principal

ventaja que obliga al usuario a adoptar una

posición más activa y reflexiva al tener que

repartir los puntos, siendo por ello más

consciente de la opinión que refleja.

2. En segundo lugar, para los rankings genera-

les, correspondientes al conjunto de las acti-

vidades de las universidades, se ponderan

las tres dimensiones a partir de las opiniones

de los expertos, basándose en una encuesta

como la que se mencionaba anteriormente al

agregar ámbitos en dimensiones, y el desa-

rrollo de un proceso Delphi para lograr la

convergencia entre las opiniones de los ex-

pertos.

Los pesos finalmente otorgados a la docencia,

investigación y a la innovación y desarrollo tecno-

lógico son los correspondientes al Delphi realizado

entre los expertos, respectivamente, el 56%, el

34% y el 10%.

3.6. RANKINGS DE VOLUMEN DE RESULTADOS VS. RANKINGS DE PRODUCTIVIDAD

A la hora de comparar a las universidades, tener

en cuenta o no el tamaño de las mismas es rele-

vante. Hacer una opción u otra no es en sí misma

una carencia ni una ventaja metodológica, pero

implica adoptar una perspectiva determinada que

afecta a los rankings y debe tenerse presente al

interpretar los resultados.

Del mismo modo que al analizar la actividad de

una empresa o un país se puede contemplar su

volumen de producción o su productividad y am-

bos planteamientos son razonables, así sucede en

el caso del análisis de los resultados de las uni-

versidades. Ninguno de los dos enfoques es, a

priori, más válido que el otro y la elección depen-

de del uso que se quiera dar a los resultados.

Análogamente el PIB per cápita es más útil que el

PIB total a la hora de comparar la calidad de vida

entre países o regiones, pero el volumen o el

crecimiento del PIB también son importantes para

explicar, por ejemplo, el empleo generado. Así

pues, aunque en algunos casos la productividad

puede ser más importante que la producción, el

tamaño también puede ser relevante. Una univer-

sidad muy productiva y grande es más beneficiosa

para la sociedad que una muy productiva pero

pequeña; de la misma forma, una universidad

muy grande pero poco productiva es un problema

mucho mayor que una universidad poco producti-

va pero pequeña.

3.6.1. Interés de ambos enfoques

Los rankings existentes adoptan en ocasiones un

enfoque basado en la productividad y en otros

casos en el volumen de resultados. Por ejemplo,

algunos de los rankings internacionales más cita-

dos —especialmente, el Academic Ranking of World Universities, conocido como Ranking de

Shanghai— son rankings de volumen.

El Ranking de Shanghai se puede decir que es

más bien de volumen porque la mayoría de las

variables con las que se construye —número de

premios Nobel o medallas Fields entre sus

exalumnos o en su claustro, investigadores

altamente citados, publicaciones en Nature o

Science, artículos publicados en revistas

indexadas— no están relativizadas por el tamaño

de la universidad. Dichas variables suponen la

mayor parte del peso en el ranking, mientras que

solo una —un indicador de rendimiento

académico— está expresada en términos per

cápita. Así pues, la posición de las universidades

está condicionada tanto por su calidad como por

su tamaño, siendo ambas cualidades necesarias

para poder alcanzar buenas posiciones en dicho

ranking.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

28

Otros rankings, en cambio, hacen sus compara-

ciones desde la perspectiva de la productividad.

Ese es el caso del QS World Universities Ranking,

cuyos indicadores provienen de encuestas sobre

reputación académica o son variables normaliza-

das por tamaño. También existen ejemplos de

rankings que contemplan expresamente ambas

aproximaciones, y hacen comparaciones diferen-

ciadas basándose en la productividad o en el

volumen total de resultados, como hace el ranking

I-UGR de resultados de investigación

(www.rankinguniversidades.es).

La razón para reconocer interés a ambas aproxi-

maciones es que el tamaño de las instituciones

puede ser relevante para valorar las contribucio-

nes de las universidades, pero corregir los resul-

tados por el tamaño permite comparar a las uni-

versidades desde una perspectiva que las hace,

en cierto sentido, más homogéneas. Ahora bien,

dado que ya se ha señalado que no es lo mismo

para el sistema universitario que una universidad

de alta (baja) calidad sea grande o pequeña, es

conveniente preguntarse si la posición de las

universidades sería la misma en términos de pro-

ductividad que en términos de volumen de resul-

tados y subrayar el significado específico de am-

bos rankings. En suma:

- Los rankings de volumen de producción es-

tán basados en indicadores no relativizados

por el tamaño y dependen tanto de la pro-

ductividad de la universidad como de su di-

mensión. Así, una universidad puede generar

un volumen de resultados de investigación

mayor que otra de menor dimensión, aun

siendo más productiva la segunda.

- Los rankings de productividad están basados

en indicadores de resultados corregidos por

el tamaño y buscan medir la producción por

unidad de inputs o recursos utilizados. Por

ejemplo, la producción científica se mide en

función del número de profesores investiga-

dores y los resultados docentes se relativizan

por el número de alumnos. Ello facilita que

algunas universidades de tamaño pequeño

puedan obtener un resultado final en el ran-king mejor que otras de tamaño mucho ma-

yor.

Una pregunta interesante es si el tamaño influye

positiva o negativamente en la productividad, es

decir, si la productividad crece o decrece con el

tamaño de la universidad. En el primer caso, las

posiciones de las universidades en los rankings de

volumen se verían favorecidas por dos factores

(tamaño y productividad). El contraste de ambas

hipótesis es una cuestión empírica, que puede ser

analizada elaborando con un mismo enfoque los

dos tipos de rankings, como hace el proyecto

ISSUE. Dicho contraste será presentado más ade-

lante.

3.6.2. Tratamiento del tamaño de las uni-versidades

La selección de indicadores simples de los que

hemos partido implica que todos están relativiza-

dos en función de la variable considerada más

apropiada (alumnos, profesores, presupuesto,

etc.), de forma que el tamaño no tiene una in-

fluencia directa en los resultados. Por consiguien-

te, el planteamiento general de la metodología

descrita conduce a medir los resultados de cada

universidad con independencia de su tamaño, de

modo que se trata de rankings de productividad.

En consecuencia, para construir rankings de vo-

lumen de resultados hay que incorporar a los

indicadores hasta ahora descritos el tamaño. Esta

tarea ha sido abordada siguiendo los criterios que

se detallan a continuación.

El primer criterio para introducir el papel del ta-

maño en el sistema de rankings definido en el

resto del proyecto ha sido preservar, en la medida

de lo posible, la homogeneidad metodológica de

ambos rankings, calculándolos a partir del mismo

conjunto de indicadores y con los mismos criterios

de agregación. Este criterio aconseja no elaborar

el ranking de volumen simplemente dejando de

relativizar aquellos indicadores que pueden ser

expresados en términos totales —por ejemplo,

recogiendo los ingresos por patentes o las tesis

doctorales leídas sin dividirlas por el número de

profesores doctores—, como hace el Ranking de

Shanghai.

La razón para no proceder así es que algunas

variables como las citadas son susceptibles de

presentarse en términos absolutos pero otras no

lo son, por tratarse de tasas o índices —como el

porcentaje de publicaciones en el primer cuartil o

el factor de impacto medio de las publicaciones—.

Si se expresan unas variables en términos absolu-

tos y otras no, la importancia relativa del tamaño

dentro de los resultados recaería solo sobre las

METODOLOGÍA

29

variables susceptibles de ser expresadas en tér-

minos absolutos. En ese caso, la importancia

otorgada al tamaño dependería implícitamente de

la proporción de esas variables que se pueden

expresar en términos absolutos. Por ejemplo, en

las variables consideradas en nuestro trabajo solo

10 de los 21 indicadores finalmente utilizados

podrían expresarse en términos absolutos, lo que

equivaldría a que la importancia reconocida al

tamaño fuese del 47,6%. Ese porcentaje sería

arbitrario porque solo reflejaría la proporción de

indicadores que forman parte de la base de datos

y pueden expresarse en términos absolutos.

Esta solución es pues insatisfactoria y hemos

explorado otras alternativas para introducir el

tamaño. La opción elegida consiste en calcular el

volumen total de resultados de cada universidad

multiplicando el índice de productividad por una

medida de tamaño. Hemos considerado tres indi-

cadores del tamaño de una universidad: el núme-

ro de profesores, el número de alumnos y el pre-

supuesto. Cada uno tiene sus especificidades y

puede ser una proxy mejor de distintos aspectos

de la actividad de la universidad que no tienen la

misma importancia en cada una de ellas. Para

evitar sesgar la aproximación al tamaño en uno u

otro sentido en los índices más generales —lo que

podría favorecer a algunas instituciones al dar un

peso mayor a una de dichas vertientes— hemos

tomado como indicador de tamaño la media geo-

métrica normalizada de las tres variables.

4. Rankings personalizados por el usuario

La respuesta adecuada a uno de los problemas

que plantea la agregación de información analiza-

dos en el punto anterior —la importancia que se

asigna a cada uno de los aspectos de un proble-

ma complejo a la hora de evaluarlo— puede de-

pender del usuario. Ciertamente, existen distintas

dimensiones en la actuación de las universidades,

pero también son distintos los perfiles de usuarios

interesados en las mismas: estudiante de grado o

de posgrado, profesor, gestor, miembro del equi-

po de gobierno o del Consejo Social, responsable

de política universitaria en la Administración Pú-

blica, periodista, ciudadano interesado, etc. La

importancia que otorga cada uno de ellos a las

distintas actividades de las universidades puede

ser diferente y también puede ser que su interés

se centre en alguna de sus actividades en concre-

to. Por ejemplo, es probable que los estudiantes

centren su interés en aquellos aspectos de la

universidad relacionados con la titulación que

deseen cursar.

Dado el elevado número de usuarios que pueden

valorar la actividad de las universidades desde

esta perspectiva particular, tiene sentido plantear-

se la posibilidad de elaborar rankings personaliza-dos, establecidos teniendo en cuenta el interés

concreto desde el que el usuario contempla a las

universidades. El proyecto ISSUE considera esta

cuestión para el caso de las titulaciones de grado,

con el fin de ofrecer una herramienta que facilite

a los estudiantes, a sus familias y a los orientado-

res vocacionales, información sobre el ranking de

grados, teniendo en cuenta sus intereses específi-

cos.

4.1. EJEMPLOS DE RANKINGS PERSONALIZADOS

La posibilidad de construir índices sintéticos reco-

nociendo las preferencias de los usuarios es posi-

ble desde hace relativamente poco tiempo, gra-

cias a la interactividad que permiten las herra-

mientas web. A través de ellas, el usuario puede

valorar por sí mismo cada una de las dimensiones

consideradas, indicando qué ámbitos quiere con-

siderar y cuáles son más importantes para él. La

tecnología web permite incorporar esas preferen-cias reveladas por los usuarios y combinarlas con

otros elementos aportados por los expertos, como

la selección de variables y la combinación de las

mismas en indicadores intermedios mediante

criterios de agregación como los descritos en el

apartado 3.

Dos ejemplos interesantes de este enfoque, refe-

ridos a ámbitos muy distintos, son los correspon-

dientes al índice de calidad de vida «Better Life

Index», elaborado por la OCDE, y el CHE Ranking,

un ranking de titulaciones universitarias elaborado

por el Center for Higher Education alemán.

La OCDE elabora un índice sintético que permite

ordenar los países de acuerdo con sus caracterís-

ticas en varios ámbitos relevantes para la calidad

de vida (acceso a vivienda, renta, educación,

seguridad, etc.), según los aspectos que más

valora el usuario. La introducción de estas valora-

ciones se realiza a través de la página web, en la

que se debe asignar una puntuación a cada una

de las dimensiones de calidad de vida considera-

das.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

32

RANKINGS PERSONALIZADOS POR EL USUARIO

33

Los expertos preparan el conjunto de dimensiones

y variables relevantes y, después de que el usua-

rio introduzca su valoración de cada ámbito, la

herramienta web muestra un índice sintético de

calidad de vida que tiene en cuenta los pesos

otorgados por el usuario.

Un enfoque similar es utilizado por uno de los

rankings universitarios de referencia analizados, el

CHE Ranking, elaborado por el Center for Higher

Education alemán para la revista Zeit. En este

caso el usuario considerado es el estudiante que

desea elegir una titulación, y al mismo se le ofre-

ce la posibilidad de que seleccione la materia que

desea estudiar, el tipo de curso que le interesa y

los aspectos que considera más relevantes (la

enseñanza, las oportunidades laborales posterio-

res, la investigación, etc.).

4.2. DESCRIPCIÓN DE LA HERRAMIENTA WEB PARA GENERAR RANKINGS PERSONALIZADOS DE TITULACIONES

Este enfoque de los rankings personalizados ha

sido incorporado al proyecto ISSUE para ordenar

titulaciones, construyendo rankings de universida-

des para los distintos grados. En el futuro está

previsto extender este enfoque a otros aspectos

de las actividades universitarias, en particular a

los estudios de máster, cuando las bases de datos

necesarias para ello estén disponibles.

El valor de una herramienta como esta depende

enormemente del esfuerzo que se realice para

facilitar su uso. El objetivo del proyecto ISSUE es

presentar al usuario una herramienta sencilla e

intuitiva que minimice el número de clics necesa-

rios para obtener la información relevante, que es

sobre todo el correspondiente ranking. Esa facili-

dad de uso debe estar presente tanto al acotar las

titulaciones a comparar como al permitir al usua-

rio manifestar sus preferencias para elaborar los

rankings personalizados.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

34

La opinión sobre cuándo se ha logrado que el

procedimiento sea amigable con los usuarios debe

tener también en cuenta su punto de vista. Por

eso, para poner en sintonía la herramienta con los

usuarios potenciales más frecuentes hemos reali-

zado pruebas de la misma entre colectivos de

estudiantes de 17-18 años, que representan ade-

más un tipo de usuarios menos familiarizados con

los conceptos del mundo universitario que los

expertos participantes en el proyecto. A partir de

estas pruebas se han efectuado las correcciones

necesarias de la herramienta para acercarla más a

los usuarios y facilitar la comprensión de los resul-

tados.

La herramienta se presenta en la pantalla de la

página web del proyecto mediante la pestaña

Elige Universidad. Cuando se clica sobre esa parte

de la pantalla se muestran las tres preguntas que

deben responderse para obtener un ranking de

una universidad adaptado a los intereses del es-

tudiante en tres aspectos:

- Qué estudiar

- Dónde estudiar

- Estudiar e investigar

Al hacer clic sobre cada una de las tres preguntas,

se abre un cuadro de selección en el que el usua-

rio ha de elegir, respectivamente:

- El grado o grados que desea cursar

- La comunidad autónoma o comunidades

cuyas universidades se quieren comparar

- La importancia que para el usuario tiene la

docencia, la investigación y las actividades

de innovación y desarrollo tecnológico.

El usuario puede elegir tanto una como varias

opciones en las dos primeras preguntas (una o

varias titulaciones; una, varias o todas las comu-

nidades autónomas).

Para evitar plantear la elección entre los más de

400 grados distintos que ofertan las universidades

españolas, la primera ventana de selección mues-

tra una agrupación de los mismos en 24 familias.

Al hacer clic en una de dichas familias, se abre

otro desplegable en el que aparecen listados los

grados que esta contiene. Así, al seleccionar la

familia de «Estudios Artísticos» se despliegan los

grados contenidos en dicha familia.

El listado de grados de la familia que aparece

tampoco es exhaustivo ni literal, pues se han

agrupado aquellos con denominaciones muy simi-

lares, como por ejemplo «Humanidades» y «Hu-

manidades y estudios sociales». De este modo se

han reducido los más de 400 grados iniciales a

139, para facilitar la decisión del usuario. En todo

caso, con independencia de esta reducción inicial,

los resultados finales sí que muestran el título del

RANKINGS PERSONALIZADOS POR EL USUARIO

35

grado completo, así como el centro en el que se

imparte allí donde haya varias opciones.

El segundo paso es elegir la comunidad autónoma

o comunidades que se contemplan como lugares

en los que cursar los estudios. Para ello, el usua-

rio debe marcar las elegidas en la tabla siguiente,

una de cuyas opciones es «Cualquier lugar». La

opción de restringir la búsqueda a comunidades

autónomas concretas responde al hecho de que

muchos estudiantes no contemplan la movilidad

geográfica como alternativa, o la contemplan de

manera restringida. En ese caso, su interés será

conocer cuáles son los estudios ofrecidos que

resultan mejor valorados en los territorios que

considera elegibles. De todos modos, se les facili-

ta información complementaria para que puedan

situar sus opciones respecto a las restantes ofer-

tas del Sistema Universitario Español.

En tercer lugar el usuario debe manifestar sus

preferencias ante estudiar e investigar, asignando

los 100 puntos de que dispone según el peso que

desee otorgar a la docencia, la investigación y la

innovación y el desarrollo tecnológico, a la hora

de valorar los perfiles de las universidades.

Conforme el usuario elige las titulaciones y las

comunidades autónomas de su interés y reparte

los 100 puntos entre las tres dimensiones de ma-

nera que queden reflejadas sus preferencias, las

decisiones van quedando registradas en los re-

cuadros inferiores. Una vez el usuario ha introdu-

cido la información de los tres campos, aparece

en pantalla el botón «Construye tu Ranking».

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

36

Al hacer clic en él se despliega el ranking perso-nalizado correspondiente a los criterios de selec-

ción introducidos, en el que aparecen ordenados

los correspondientes grados de las universidades

que ofrecen dichos estudios en los territorios

considerados. También se informa al usuario de

que hay otras opciones adicionales a las seleccio-

nadas en la misma familia de titulaciones, por si

fuera de su interés. Ese conjunto más completo

de alternativas son ofrecidas en un fichero pdf.

En la columna de la derecha adyacente al listado

personalizado de grados aparece un enlace a la

dirección web de cada grado. A continuación se

indica la nota de corte del último año, junto a la

que se detalla cuando existen varios centros de

una universidad en los que se imparte el mismo

grado. En las últimas columnas de la derecha

aparece la información sobre el entorno descrita

en el siguiente apartado.

En resumen, la herramienta web elaborada para

construir rankings a la medida de los usuarios con

el fin de apoyar sus decisiones de elección de

títulos es de fácil manejo y muy flexible. A la vez,

se apoya en la metodología rigurosa, idéntica a la

que ha sido descrita en los apartados precedentes

al construir los rankings generales. Por esta razón,

es un complemento de los mismos que posee un

elevado potencial para alumnos, familias y orien-

tadores vocacionales, además de para las propias

universidades. Para que ese potencial resulte

efectivo será imprescindible, no obstante, mante-

ner actualizada toda la información que la soporta

e incorporar mejoras de manera permanente,

teniendo en cuenta la experiencia de los usuarios.

RANKINGS PERSONALIZADOS POR EL USUARIO

37

4.3. INFORMACIÓN COMPLEMENTARIA SOBRE EL ENTORNO DE LAS UNIVERSIDADES

El entorno geográfico y social en el que se sitúa

una universidad afecta a las valoraciones que

hacen los usuarios de sus servicios. En particular,

los costes de acceso a los mismos pueden condi-

cionar las decisiones acerca de su demanda. Así

parece indicarlo, por ejemplo, la distribución de

estudiantes extranjeros del Programa Erasmus.

Por esta razón, se ha considerado la conveniencia

de incluir información acerca de las variables de

entorno como un complemento de la que ofrecen

los rankings.

Tras reflexionar sobre cómo incluir dicha informa-

ción con los expertos, se ha llegado a la conclu-

sión de que los elementos del entorno deben ser

tratados de manera diferente al resto de variables

consideradas, puesto que representan circunstan-

cias externas a las universidades y no rasgos

propios que están bajo su control. Por ello, nos

decantamos por proporcionar la información sobre

el entorno no integrada entre los indicadores

computados en el ranking, sino como un comple-

mento de los mismos.

Hemos incluido cuatro categorías de variables de

entorno: a) clima —temperaturas y pluviometría—

b) coste de la vida —precios de la vivienda—, c)

accesibilidad —aeropuertos, ferrocarriles y sus

conexiones— y d) entorno sociocultural

—actividad total en los sectores del arte y espec-

táculos—. Dicha información se presenta median-

te un sistema de iconos (similar al de las guías

hoteleras) para hacer más fácil la identificación de

las ventajas de las universidades en estos cuatro

aspectos. La herramienta web ofrecerá hasta

cuatro iconos junto a cada universidad, uno por

cada categoría del entorno considerada, cuando el

entorno refuerce el atractivo de la universidad.

Los iconos no aparecerán si no lo refuerzan. El

tamaño del icono indicará al usuario, intuitiva-

mente, qué entornos universitarios pueden ofre-

cerle una mejor calidad de vida (ver, como ejem-

plo, el siguiente diagrama).

Para decidir si aparece el icono correspondiente y

su tamaño se ha calculado un índice sintético10 de

10 Los índices sintéticos han sido construidos, para aquellas variables de entorno con más de un indicador, normalizan-

cada uno de ellos basados en los datos disponi-

bles, por lo general provinciales. Tras ordenar las

universidades conforme a dichos índices, se asig-

na un icono grande a aquellas situadas en el tercil

con un valor mayor en la distribución (mejor cli-

ma, mayor coste, mayor conectividad, más opor-

tunidades socio-culturales) y un icono idéntico

pero de menor tamaño a aquellas situadas en el

segundo tercil (entre el 33% y el 66%); por últi-

mo, las situadas en el tercer tercil son expresadas

con iconos de ínfimo tamaño.

Téngase en cuenta que tres de las cuatro caracte-

rísticas de entorno resultan más favorables cuanto

mayor sea el icono (clima, transporte y oportuni-

dades socio-culturales), mientras que un mayor

coste de vida debe entenderse como menos

atractivo.

do en primer lugar cada indicador respecto a su distancia (ratio) a la mediana y aplicando después una media geomé-trica a dichos indicadores. A continuación, se ha dividido cada muestra en tres conjuntos delimitados por los terciles de cada distribución para posteriormente asignarlos a cada grupo.

5. Principales resultados

El proyecto ISSUE ha obtenido sus primeros resul-

tados durante el primer semestre de 2013. Co-

rresponden tanto a los rankings generales como a

los rankings de titulaciones personalizados. Unos

y otros están disponibles en toda su amplitud en

la web del proyecto www.u-ranking.es pero los

principales resultados de los rankings generales

son presentados en este apartado. Serán analiza-

dos desde dos perspectivas diferentes con el fin

de poner de relieve la contribución que representa

el proyecto y su metodología: a) comparándolos

con otros rankings ya conocidos para evaluar sus

similitudes y diferencias; y b) evaluando la sensi-

bilidad de los resultados a cambios en algunas de

las hipótesis realizadas. En particular, esta segun-

da cuestión ha sido contemplada desde dos pers-

pectivas: la importancia de considerar o no el

tamaño de la universidad, y las implicaciones de

otorgar mayor o menor peso a la investigación o

la docencia.

5.1. RANKING ISSUE DE VOLUMEN DE RESULTADOS (ISSUE-V)

El cuadro 5 muestra el ranking de las 48 universi-

dades públicas españolas según su volumen de

resultados (Ranking ISSUE-V), es decir, el que se

obtiene en parte como consecuencia del tamaño

de cada universidad.

Obviamente, tras cada número de orden existe un

valor del indicador sintético de cada universidad.

No se ofrece porque no se considera pertinente

otorgar significado a esos valores más allá de su

papel de generar el orden que recoge el ranking,

dado el conjunto de problemas comentados al

describir el proceso de construcción de indicado-

res. Así pues, nos limitaremos a subrayar los as-

pectos ordinales y también la posible pertenencia

de las universidades a grupos relativamente dife-

renciados basados en el ranking.

Cada columna del cuadro 5 reúne a un tercio de

las universidades según la ordenación que pro-

porciona este ranking. Las 16 universidades que

conforman el primer tercil son la Universidad

Complutense, de Barcelona, de València, Politéc-

nica de Madrid, Politècnica de València, de Grana-

da, del País Vasco, de Sevilla, Politècnica de Cata-

lunya, Autònoma de Barcelona, Autónoma de

Madrid, UNED, de Zaragoza, de Salamanca, de

Santiago de Compostela y de Málaga. Esos tres

grandes grupos o terciles serán utilizados para

comparar esta ordenación con la de otros ran-kings y comprobar hasta qué punto las agrupa-

ciones de las universidades son o no estables.

Cuadro 5. Ranking ISSUE-V de las universidades públicas españolas

Ranking Universidad Ranking Universidad Ranking Universidad

1 Universidad Complutense 17 Universidad de Alicante 33 Universidade da Coruña

2 Universitat de Barcelona 18 Universidad de Castilla-La Mancha 34 Universidad Rey Juan Carlos

3 Universitat de València 19 Universidad de Murcia 35 Universitat Rovira i Virgili

4 Universidad Politécnica de Madrid 20 Universidad de Valladolid 36 Universitat Jaume I

5 Universitat Politècnica de València 21 Universidad de Oviedo 37 U. Miguel Hernández de Elche

6 Universidad de Granada 22 Universidad Carlos III 38 Universidad de Almería

7 Universidad del País Vasco 23 Universidad de Córdoba 39 Universidad de Jaén

8 Universidad de Sevilla 24 Universidad de Alcalá de Henares 40 Universitat de Girona

9 Universitat Politècnica de Catalunya 25 Universidade de Vigo 41 Universidad de León

10 Universitat Autònoma de Barcelona 26 Universitat Pompeu Fabra 42 Universidad Pública de Navarra

11 Universidad Autónoma de Madrid 27 Universidad de La Laguna 43 Universidad Pablo de Olavide

12 UNED 28 Universidad de Cádiz 44 Universitat de Lleida

13 Universidad de Zaragoza 29 Universidad de Cantabria 45 Universidad de Huelva

14 Universidad de Salamanca 30 U. de Las Palmas de Gran Canaria 46 U. Politécnica de Cartagena

15 U. de Santiago de Compostela 31 Universitat de les Illes Balears 47 Universidad de Burgos

16 Universidad de Málaga 32 Universidad de Extremadura 48 Universidad de La Rioja

Fuente: Fundación BBVA-Ivie.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

40

5.2. RANKING ISSUE DE PRODUCTIVIDAD (ISSUE-P)

El cuadro 6 ofrece el ordenamiento de las 48

universidades públicas españolas resultante de

homogeneizarlas según su tamaño, es decir, lo

que denominamos ranking de productividad (Ran-king ISSUE-P). Las tres columnas del cuadro indi-

can, como en el anterior, qué universidades per-

tenecen al primer, segundo o tercer tercil, según

el criterio de la productividad.

En el caso del ranking de productividad, las 16

universidades que se sitúan en el primer tercil son

la Pompeu Fabra, Politècnica de Catalunya, Autó-

noma de Madrid, Politècnica de València,

Autònoma de Barcelona, de les Illes Balears, de

Cantabria, de València, Complutense, de Barcelo-

na, Carlos III, Rovira i Virgili, de Lleida, Pública de

Navarra, de Córdoba, y Miguel Hernández.

5.3. RANKING DE VOLUMEN VS. RANKING DE PRODUCTIVIDAD

La comparación de los dos cuadros anteriores

indica que las diferencias entre el Ranking ISSUE-

V y el Ranking ISSUE-P son sustanciales. Por ello

ambos enfoques pueden ser útiles, siendo el ade-

cuado uno u otro en función de la pregunta que

se quiera responder.

El gráfico 1 combina los dos tipos de rankings y

facilita la comparación de la posición de cada una

de las universidades en ambos. En el eje vertical

muestra los resultados Ranking ISSUE-V —que

incluye el tamaño— mientras en el eje horizontal

muestra el Ranking ISSUE-P –que corrige los

efectos del tamaño. La ordenación de las univer-

sidades va de arriba hacia abajo en el primero y

de derecha a izquierda en el segundo.

Como se puede observar, no existe una correla-

ción demasiado definida entre las ordenaciones

de los dos rankings, de modo que el tamaño no

parece tener, en general, influencia sobre la pro-

ductividad, ni positiva ni negativa.

El gráfico divide el rango de cada ranking en terci-

les mediante líneas de puntos. En la cuadrícula

superior derecha se encuentran las universidades

que pertenecen al primer tercil de ambas clasifi-

caciones. En ella se sitúan las siete universidades

que constituyen la parte del sistema con mayor

producción y, simultáneamente, mayor producti-

vidad: Universidad Complutense, Universitat de

Barcelona, Universitat de València, Universitat

Politècnica de València, Universitat Politècnica de

Catalunya, Universidad Autónoma de Madrid y

Universitat Autònoma de Barcelona.

Cuadro 6. Ranking ISSUE-P de las universidades públicas españolas

Ranking Universidad Ranking Universidad Ranking Universidad

1 Universitat Pompeu Fabra 17 Universidad de Salamanca 33 Universidad del País Vasco

2 Universitat Politècnica de Catalunya 18 Universidad Politécnica de Madrid 34 Universidad de Málaga

3 Universidad Autónoma de Madrid 19 Universidade de Santiago de Compostela 35 Universidad de Valladolid

4 Universitat Politècnica de València 20 Universidad de Zaragoza 36 Universidad de Huelva

5 Universitat Autònoma de Barcelona 21 Universidad de Alcalá de Henares 37 Universidad de Sevilla

6 Universitat de les Illes Balears 22 Universidad Pablo de Olavide 38 Universidad de León

7 Universidad de Cantabria 23 Universidade de Vigo 39 U. de Las Palmas de Gran Canaria

8 Universitat de València 24 Universidad de Alicante 40 Universidad de Oviedo

9 Universidad Complutense 25 Universidad Politécnica de Cartagena 41 Universidad Rey Juan Carlos

10 Universitat de Barcelona 26 Universidad de Almería 42 Universidad de Jaén

11 Universidad Carlos III 27 Universidad de Granada 43 Universidade da Coruña

12 Universitat Rovira i Virgili 28 Universidad de Murcia 44 Universidad de Extremadura

13 Universitat de Lleida 29 Universidad de Castilla-La Mancha 45 Universidad de Burgos

14 Universidad Pública de Navarra 30 Universitat Jaume I 46 Universidad de La Laguna

15 Universidad de Córdoba 31 Universitat de Girona 47 Universidad de La Rioja

16 U. Miguel Hernández de Elche 32 Universidad de Cádiz 48 UNED

Fuente: Fundación BBVA-Ivie.

PRINCIPALES RESULTADOS

41

Gráfico 1. ISSUE-V y ISSUE-P de la universidad

pública española

Posición en cada ranking y distribución por terciles

Fuente: Fundación BBVA-Ivie.

Ahora bien, si se tiene en cuenta que el tamaño

puede limitar el volumen de producción de algu-

nas universidades pequeñas que son muy produc-

tivas, la citada cuadrícula no identifica necesaria-

mente las mejores prácticas. De hecho, deja fuera

a la Universitat Pompeu Fabra, que obtiene la

mayor productividad en el Ranking ISSUE-P.

Con el fin de destacar las universidades que pre-

sentan simultáneamente los mejores resultados

en ambos rankings se ha sombreado un área en

la que se sitúan ocho universidades citadas, que

destacan porque para cada una de ellas no existe

casi ninguna universidad que tenga, simultánea-

mente, mayor productividad y mayor volumen de

resultados. En consecuencia, puede decirse que

su posición apenas está «dominada» por ninguna

otra universidad. Para el resto de universidades,

en cambio, existen numerosas universidades que

presentan, a la vez, mejores resultados en ambos rankings.

El conjunto de universidades de la zona sombrea-

da conforman la frontera de las mejores prácticas en volumen de resultados-productividad de la

universidad española. Está formada por Universi-

dad Complutense, Universitat de Barcelona, Uni-

versitat de València, Universitat Autònoma de

Barcelona, Universitat Politècnica de València,

Universitat Politècnica de Catalunya, Universidad

Autónoma de Madrid y Universitat Pompeu Fabra. Si uniéramos mediante una línea las posiciones de

las universidades que dominan a todas las restan-

tes, dicha frontera exterior tiene pendiente nega-

tiva. Por ello, podría decirse que las universidades

de mayor tamaño ganan volumen de resultados a

costa de un cierto retroceso en productividad. No

obstante, el alcance de este efecto del tamaño es

muy limitado, pues casi todas las que se sitúan en

la frontera son universidades grandes y pueden

ser consideradas ejemplos de buenas prácticas o

benchmarking universitario en España.

5.4. RANKING ISSUE VS. RANKING DE SHANGHAI

Dada la popularidad alcanzada por algunos ran-kings internacionales, muchas universidades están

interesadas en compararse con las mejores del

mundo. Por esta razón, es obligado preguntarse

en qué medida los rankings ISSUE construidos

ofrecen resultados diferentes o similares a aque-

llos. Como referencia externa de comparación

vamos a contemplar de forma destacada el Ran-king de Shanghai, sin duda el que ha alcanzado

mayor notoriedad hasta este momento.

Como ya se ha comentado en apartados

anteriores, sólo once universidades españolas

aparecen en el listado de las primeras 500, y

todas ellas más allá de la posición 200 (ver cuadro

2). No obstante, un trabajo reciente (Docampo

2012) ofrece una versión adaptada a la

universidad española del Ranking de Shanghai

que incluye a todas las universidades. El cuadro 7

ofrece dicha ordenación y la compara con las

derivadas de ISSUE-V y ISSUE-P, mostrando las

diferencias de posiciones de nuestros dos

rankings con el anterior. Si las diferencias son

positivas indican una mejora de la

correspondiente universidad en nuestro ranking respecto al de Shanghai, y viceversa si son

negativas. Según se comprueba fácilmente, las

Volu

men

de

resu

ltado

s

Productividad

UPF

UPC

UAM

UPV

UAB

UIB

UNICAN

UV

UCM

UB

UC3M

URV

UDL

UPNA

UCO

UMH

USAL

UPM

USC

UNIZAR

UAH

UPO

UVIGO

UA

UPCT

UAL

UGR

UMUCLM

UJI

UDG

ULPGC

UCA

UPV-EHU

UMA

UVA

UHU

US

UNILEON

UNIOVI

URJC

UJAEN

UDC

UNEX

UBU

ULL

UNIRIOJA

UNED

0

5

10

15

20

25

30

35

40

45

051015202530354045

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

42

Cuadro 7. Comparación ISSUE-P, ISSUE-V y Ranking de Shanghai*

Universidad ISSUE-V

[A]

ISSUE-P

[B]

Ranking de

Shanghai*

[C]

Diferencia

[C-A]

Diferencia

[C-B]

Universidad Complutense 1 9 3 2 -6

Universitat de Barcelona 2 10 1 -1 -9

Universitat de València 3 8 4 1 -4

Universidad Politécnica de Madrid 4 18 18 14 0

Universitat Politècnica de València 5 4 7 2 3

Universidad de Granada 6 27 8 2 -19

Universidad del País Vasco 7 33 6 -1 -27

Universidad de Sevilla 8 37 14 6 -23

Universitat Politècnica de Catalunya 9 2 13 4 11

Universitat Autònoma de Barcelona 10 5 5 -5 0

Universidad Autónoma de Madrid 11 3 2 -9 -1

UNED 12 48 38 26 -10

Universidad de Zaragoza 13 20 11 -2 -9

Universidad de Salamanca 14 17 22 8 5

Universidade de Santiago de Compostela 15 19 12 -3 -7

Universidad de Málaga 16 34 29 13 -5

Universidad de Alicante 17 24 21 4 -3

Universidad de Castilla-La Mancha 18 29 17 -1 -12

Universidad de Murcia 19 28 27 8 -1

Universidad de Valladolid 20 35 25 5 -10

Universidad de Oviedo 21 40 16 -5 -24

Universidad Carlos III 22 11 31 9 20

Universidad de Córdoba 23 15 28 5 13

Universidad de Alcalá de Henares 24 21 26 2 5

Universidade de Vigo 25 23 10 -15 -13

Universitat Pompeu Fabra 26 1 9 -17 8

Universidad de La Laguna 27 46 15 -12 -31

Universidad de Cádiz 28 32 36 8 4

Universidad de Cantabria 29 7 23 -6 16

Universidad de Las Palmas de Gran Canaria 30 39 41 11 2

Universitat de les Illes Balears 31 6 20 -11 14

Universidad de Extremadura 32 44 37 5 -7

Universidade da Coruña 33 43 33 0 -10

Universidad Rey Juan Carlos 34 41 39 5 -2

Universitat Rovira i Virgili 35 12 19 -16 7

Universitat Jaume I 36 30 40 4 10

Universidad Miguel Hernández de Elche 37 16 24 -13 8

Universidad de Almería 38 26 46 8 20

Universidad de Jaén 39 42 32 -7 -10

Universitat de Girona 40 31 34 -6 3

Universidad de León 41 38 47 6 9

Universidad Pública de Navarra 42 14 42 0 28

Universidad Pablo de Olavide 43 22 35 -8 13

Universitat de Lleida 44 13 43 -1 30

Universidad de Huelva 45 36 44 -1 8

Universidad Politécnica de Cartagena 46 25 45 -1 20

Universidad de Burgos 47 45 48 1 3

Universidad de La Rioja 48 47 49 1 2

* Los resultados del Ranking de Shanghai corresponden a la adaptación a la universidad española de Docampo (2012).

Fuente: Fundación BBVA-Ivie y Docampo (2012).

PRINCIPALES RESULTADOS

43

diferencias con Shanghai son mucho más

importantes en el caso del Ranking ISSUE-P que

en el de ISSUE-V, lo que concuerda con la

característica ya señalada del Ranking de

Shanghai: apenas corrige los indicadores que

utiliza para tener en cuenta el tamaño y, por

tanto, es más un ranking de volumen de

resultados que de productividad.

Los resultados del Ranking ISSUE-V y el Ranking de Shanghai son mucho más similares que nues-

tros dos rankings ISSUE entre sí, como muestran

los siguientes gráficos. En el primero de ellos

(gráfico 2) se representa en el eje horizontal la

posición de las universidades españolas en nues-

tro Ranking ISSUE-V mientras en el eje vertical se

representa el Ranking de Shanghai. Como ambos

rankings ofrecen una ordenación bastante similar,

las universidades se agrupan alrededor de la dia-

gonal principal del gráfico: solo 14 universidades

se localizan fuera de las tres cuadrículas grandes

que atraviesa la diagonal. Esto significa que las

restantes 34 universidades están en el mismo

tercil en ambos rankings.

Gráfico 2. ISSUE-V vs. Ranking de Shanghai*

Posición en cada ranking y división por terciles

* Los resultados del Ranking de Shanghai corresponden a la adaptación

a la universidad española de Docampo (2012).

Universidades en el Top 500 del Ranking de Shanghai

Fuente: Fundación BBVA-Ivie y Docampo (2012).

Las universidades que se ubican por debajo de la

diagonal se encuentran comparativamente mejor

situadas en nuestro ranking. Destaca el caso de la

UNED, que ocupa una posición notoriamente

mejor en el Ranking ISSUE-V que en el de

Shanghai. Por el contrario, las universidades por

encima de la diagonal están comparativamente

mejor colocadas en la adaptación para España del

Ranking de Shanghai. El denominador común en

muchos casos es que se trata de universidades

pequeñas pero más productivas, como la Pompeu

Fabra, la Rovira i Virgili o la de Illes Balears, cuya

mayor productividad ponía ya de manifiesto el

Ranking de Productividad.

En el gráfico se han destacado con un cuadrado

las once universidades que aparecen expresamen-

te mencionadas entre las 500 primeras del Ran-king de Shanghai —no solo en la adaptación para

España—. Como se puede observar, todas ellas se

sitúan a la cabeza en la adaptación de Docampo

(2012), y la mayoría (nueve) forman parte del

primer tercil de nuestro Ranking ISSUE-V: Univer-

sitat de Barcelona, Universidad Autónoma de

Madrid, Universidad Complutense de Madrid,

Universitat de València, Universitat Autònoma de

Barcelona, Universidad del País Vasco, Universitat

Politècnica de València, Universidad de Granada y

Universidad de Zaragoza. Las otras dos son la

Universitat Pompeu Fabra y la Universidade de

Vigo, situadas en el segundo tercil del Ranking ISSUE-V.

Hasta qué punto la comparación entre el Ranking

de Shanghai adaptado a España y el Ranking ISSUE-P ofrece conclusiones diferentes a las ante-

riores se constata en el gráfico 3. En el mismo,

solo 25 de las universidades se mantienen en el

mismo tercil en ambos rankings —se localizan en

las cuadrículas que atraviesa la diagonal princi-

pal—. Las 23 restantes cambian de tercil al pasar

de un ranking otro.

Para ilustrar hasta qué punto las ordenaciones de

los tres rankings comparados generan agrupacio-

nes diferentes de universidades se puede utilizar

un diagrama de Venn, en el que se representan

las universidades que forman parte del primer

tercil en cada una de las clasificaciones y las in-

tersecciones entre las tres.

Rank

ing

de S

hang

hai (

*)

ISSUE-V

UCM

UB

UV

US

UPV-EHU

UGR

UAB

UPM

UPV

UPC

UAM

UNED

UNIZAR

USC

UMA

UAUSAL

UCLM

UM

UNIOVI

UVA

UPF

UAH

UCO

UC3M

UVIGO

ULL

UCA

UIB

UNEX

UNICAN

ULPGC

URJC

UDC

URV

UJI

UMH

UAL

UJAEN

UDG

UPNA

UNILEON

UPO

UDL

UHUUPCT

UBUUNIRIOJA

0

5

10

15

20

25

30

35

40

45

051015202530354045

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

44

Gráfico 3. ISSUE-P vs. Ranking de Shanghai*

Posición en cada ranking y división por terciles

* Los resultados del Ranking de Shanghai corresponden a la adaptación

a la universidad española de Docampo (2012).

Universidades en el Top 500 del Ranking de Shanghai

Fuente: Fundación BBVA-Ivie y Docampo (2012).

En el centro del diagrama (gráfico 4) aparecen las

seis universidades situadas en el primer tercil en

los tres rankings. Son Universidad Complutense

de Madrid, Universitat de Barcelona, Universitat

de València, Universitat Autònoma de Barcelona,

Universitat Autónoma de Madrid y Universitat

Politècnica de València. Otras cinco universidades

se sitúan en el primer tercil de dos de los ran-kings: Universitat Pompeu Fabra en Shanghai y

ISSUE-P; Universitat Politècnica de Catalunya, en

ISSUE-V e ISSUE-P; y Universidad de Zaragoza,

Universidad del País Vasco-EHU y Universidad de

Granada, en Shanghai e ISSUE-V. Por último,

otras quince universidades aparecen destacadas

en solo uno de los criterios posibles.

Estos resultados muestran importantes coinciden-

cias entre los rankings a la hora de identificar a

las universidades que destacan, pero también

significativas diferencias que reflejan el distinto

enfoque de cada ranking. Es especialmente in-

teresante observar que de las once universidades

que el Ranking de Shanghai sitúa en su Top 500

seis pertenecen también al primer tercil de nues-

tros dos rankings, ubicándose en la intersección

de los tres círculos del diagrama, otra encabeza

nuestro ranking de productividad, la Universitat

Pompeu Fabra, y tres más pertenecen al primer

tercil del Ranking ISSUE-V, Universidad de Grana-

da, Universidad del País Vasco-EHU y Universidad

de Zaragoza.

En resumen, puede decirse que, de las once uni-

versidades españolas incluidas en el Top 500 del

Ranking de Shanghai, nueve se encuentran en

nuestro tercil con mayor volumen de resultados

según el Ranking ISSUE-V y siete entre nuestras

dieciséis universidades más productivas según el

Ranking ISSUE-P. Por consiguiente, nuestras cla-

sificaciones presentan una importante sintonía

con las del Ranking de Shanghai, lo que refuerza

su interés como instrumentos para identificar las

mejores prácticas. Permiten advertir también que

puede haber diferencias de ordenaciones según la

perspectiva con la que se elabore el ranking, a la

vez que indican que algunas universidades están

bien posicionadas desde cualquier perspectiva.

Gráfico 4. Primer tercil de los Rankings ISSUE vs. Rank-

ing de Shanghai

Rank

ing

de S

hang

hai (

*)

ISSUE-P

UCM

UB

UV

US

UPV-EHU

UGR

UAB

UPM

UPV

UPC

UAM

UNED

UNIZAR

USC

UMA

UAUSAL

UCLM

UM

UNIOVI

UVA

UPF

UAH

UCOUC3M

UVIGO

ULL

UCA

UIB

UNEX

UNICAN

ULPGCURJC

UDC

URV

UJI

UMH

UAL

UJAEN

UDG

UPNA

UNILEON

UPO

UDL

UHU UPCT

UBUUNIRIOJA

0

5

10

15

20

25

30

35

40

45

051015202530354045

PRINCIPALES RESULTADOS

45

5.5. COMPARACIÓN DE RESULTADOS DE OTROS RANKINGS INTERNACIONALES

Aunque el Ranking de Shanghai está consolidando

su influencia como el indicador internacional más

citado, existen otras iniciativas con fuerte reper-

cusión internacional, como el Times Higher Educa-

tion (THE) o el QS-Ranking. Las principales dife-

rencias entre ambas iniciativas y el Ranking de

Shanghai son que (i) intentan medir el papel de la

docencia y que (ii) incorporan valoraciones subje-

tivas a partir de encuestas a expertos y emplea-

dores internacionales. Los resultados de las uni-

versidades españolas en las tres iniciativas pre-

sentan similitudes pero también algunas diferen-

cias, que se muestran en el gráfico 5.

Gráfico 5. Comparación de resultados de tres rankings

internacionales

En la intersección de los tres rankings se encuen-

tran un conjunto de seis universidades (UAM,

UAB, UB, UPF, UV y UPV) que aparecen sistemáti-

camente en las primeras posiciones de nuestros

rankings y que además pertenecen al grupo de

universidades ubicadas en la frontera del gráfico 1

—es decir, aquellas universidades que no están

dominadas en algún aspecto por casi ninguna otra

universidad—. Por último, de entre las universida-

des de dicha frontera, la UCM no pertenece al Top

400 de THE y la UPC y la UPM no pertenecen al

Top500 de Shanghai ni al Top400 de THE.

Estos resultados confirman de nuevo la existencia

de un grupo de universidades españolas que se

encuentran en las primeras posiciones, indepen-

dientemente del prisma con el que se las analice.

5.6. INVESTIGACIÓN VS. DOCENCIA: ANÁLISIS DE SENSIBILIDAD

Uno de los mayores problemas inherentes a todo

indicador compuesto es el efecto del peso relativo

de los distintos elementos que lo componen. El

proyecto ISSUE contempla expresamente que la

docencia y la investigación pueden tener una

importancia distinta para cada usuario de los

servicios de las universidades. Lo reconoce hasta

el punto de permitir que una herramienta web

elabore rankings personalizados que tengan en

cuenta las preferencias del usuario en este senti-

do.

La pregunta ahora planteada es cuánto cambia-

rían los rankings generales de las universidades si

los pesos otorgados a la docencia y la investiga-

ción cambiaran. En los resultados presentados en

el apartado anterior los pesos utilizados para el

cálculo de los rankings han sido los obtenidos de

la encuesta Delphi que ha recogido las opiniones

de los expertos que han colaborado en el proyec-

to11. Pero otros expertos u otros usuarios podrían

tener valoraciones diferentes. Por consiguiente,

conviene analizar si los resultados son muy o poco

sensibles —en este caso diremos que son robus-tos— a cambios en los pesos de dichas dimensio-

nes.

La cuestión anterior es importante para valorar

hasta qué punto se puede confiar en los resulta-

dos de los rankings, dada la posible arbitrariedad

de la atribución de unos u otros pesos a la inves-

tigación o cualquier otra de las actividades univer-

sitarias. Concretamente, ¿cambiarían mucho los

resultados si se le otorgase un mayor peso a la

investigación, como hacen otros rankings conoci-

dos?, ¿cualquier universidad puede ocupar un

puesto destacado en un ranking si el peso de la

docencia y la investigación cambia conveniente-

mente para sus intereses?

Estudiar la sensibilidad de los rankings a los cam-

bios de peso de la docencia y la investigación

permite analizar también si los resultados de las

11 Los pesos utilizados son, respectivamente, 56%, 34% y 10%. Los pesos han sido elaborados a partir de la opinión de los expertos consultados, y coincide prácticamente con la distribución de recursos entre las actividades de docen-cia, investigación y transferencia en el presupuesto de las universidades.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

46

universidades en ambas actividades están correla-

cionados. La mayor parte de los rankings ponen

un énfasis casi total en la investigación porque la

información sobre resultados de investigación es

abundante y parece más precisa y fiable. Pero a

menudo se argumenta que la docencia y la inves-

tigación están altamente correlacionadas y esta es

una hipótesis escasamente contrastada, por la

falta de indicadores de resultados docentes. Vol-

veremos sobre esta cuestión en un apartado pos-

terior.

Que la dimensión investigadora sea más fácil de

medir no debería ser argumento para no medir la

calidad de la docencia; del mismo modo, la exis-

tencia de correlación positiva entre la calidad de

la docencia y de la investigación no debe ocultar

que es posible que haya también disparidad: si

para un mismo nivel de calidad investigadora hay

resultados docentes distintos entre las universida-

des, ignorar esta información sesga los resultados

a favor de una y en contra de la otra.

Para valorar el alcance que tiene la selección de

los pesos dados a la docencia y la investigación

hemos realizado un análisis de sensibilidad a las

variaciones en los mismos en el ranking de pro-

ductividad. Para ello, hemos calculado tres ran-kings que se diferencian por el muy distinto peso

relativo de la investigación y la docencia, según

indican los siguientes pesos:

- Opción 1: Docencia 70 / Investigación 20 /

Innovación 10

- Opción 2: Docencia 45 / Investigación 45 /

Innovación 10

- Opción 3: Docencia 20 / Investigación 70 /

Innovación 10

Hemos optado por dejar el peso de la innovación

y desarrollo tecnológico con valor fijo de 10 pun-

tos para no dificultar las comparaciones sobre el

efecto de un mayor o menor peso relativo de las

otras dos variables. Si junto con una reducción del

peso de la investigación aplicásemos una reduc-

ción del peso de la innovación (o viceversa), no

podríamos saber a cuál de las dos variaciones se

deben los cambios que se produzcan en el ran-king12.

12 Por otra parte, incrementar significativamente el peso de las actividades relacionadas con el desarrollo tecnológico y

El gráfico 6 muestra el efecto sobre el ranking que

ocupa cada una de las 48 universidades públicas

españolas cuando aumenta el peso de la investi-

gación, según las tres ponderaciones elegidas.

La evolución de las universidades, de izquierda a

derecha, presenta regularidades y también algu-

nas anomalías.

- Entre el conjunto de universidades que lide-

ran la clasificación —las del primer tercil—

las variaciones en las posiciones son en ge-

neral limitadas (a excepción de la Universi-

dad Pública de Navarra, que desciende 6

puestos conforme aumenta la importancia de

la investigación, y de la Rovira i Virgili, que

sube 5 puestos).

- La Universidad Politécnica de Madrid sale del

primer tercil en cuanto el peso de la investi-

gación pasa a ser el 45%.

- La Universitat de Lleida entra en el primer

tercil conforme el peso de la investigación al-

canza el 45%.

Los rankings son sensibles a los cambios en los

pesos otorgados a la docencia y la investigación,

en especial si se comparan ponderaciones tan

distintas como las correspondientes a nuestras

opciones 1 y 3. Pero, en general, cuando estos

pesos cambian menos no se producen vuelcos en

las clasificaciones. En todo caso, una universidad

no pasa de los primeros lugares a los últimos por

sustanciales que sean los cambios en los pesos,

pero es cierto que algunas pueden mejorar sus

posiciones en el ranking algunos puestos si se

reconoce mayor (menor) importancia a la docen-

cia o a la investigación.

la innovación no tendría justificación, dada su limitada importancia en los presupuestos de las universidades. Ciertamente, en algunas de ellas, las politécnicas, el peso de estas actividades es mayor, pero no se dispone de información desagregada para valorar de forma demasiado precisa los resultados de cada universidad desde este punto de vista de su especialización.

PRINCIPALES RESULTADOS

47

Gráfico 6. Evolución del ISSUE-P ante variaciones en el peso de la investigación

Fuente: Fundación BBVA-Ivie.

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

48

Si se definen grandes grupos de universidades

—de nuevo mediante una división según terciles,

por ejemplo13— la estabilidad de las universidades

dentro de los mismos ante cambios en la impor-

tancia en la docencia y la investigación es muy

notable. Así se observa en el gráfico 7, que repre-

senta nuestro Ranking ISSUE-P para unos pesos

de la investigación del 20% y el 70%. La mayoría

de las universidades —todas menos 5— se sitúan

en las tres cuadrículas por las que pasa la diago-

nal principal, es decir, se mantienen en el mismo

tercil aunque cambie el peso de la investigación

sustancialmente. La razón de este resultado es

que la correlación entre los rankings que se obtie-

ne cuando cambia el peso de la investigación y la

docencia es elevada.

Gráfico 7. ISSUE-P para dos pesos distintos de la inves-

tigación

Pesos de Docencia / Investigación / Innovación: 70/20/10

vs. 20/70/10

Fuente: Fundación BBVA-Ivie.

13 El Ranking de Shanghai clasifica a las universidades en grupos de cien, a partir de las cien primeras, y no ofrece una ordenación más precisa. El criterio de agrupar a las universidades españolas en terciles es similar.

Gráfico 8. El papel de la investigación en el ISSUE-P

Primer tercil de tres especificaciones distintas del

ranking

Para ofrecer otra muestra de la estabilidad de los

grupos de universidades, el diagrama de Venn del

gráfico 8 presenta los resultados del ranking de

productividad para las tres posibles opciones de

pesos antes descritas, concentrándose en el pri-

mer tercil de universidades. La estabilidad comen-

tada es evidente pues existe un grupo de 15 uni-

versidades —de las 16 que forman el primer tercil

de la distribución— que se sitúan en la intersec-

ción, es decir, que pertenece al primer tercil inde-

pendientemente del peso que se otorgue a la

docencia o a la investigación: Universitat Pompeu

Fabra, Universidad Autónoma de Madrid, Universi-

tat Politècnica de Catalunya, Universitat Rovira i

Virgili, Universidad Pública de Navarra, Universi-

dad Complutense de Madrid, Universitat de Barce-

lona, Universitat Politècnica de València, Universi-

tat Autònoma de Barcelona, Universitat de Illes

Balears, Universidad de Cantabria, Universidad

Carlos III de Madrid, Universitat de València,

Universidad de Córdoba y Universidad Miguel

Hernández.

Inve

stig

ació

n 70

%

Investigación 20%

UPF

UPCUPV

UAM

UABUNICAN

UIB

UV

UCM

UPNA

UB

UCO

UC3M

UMH

UPM

URVUDL

USAL

USC

UAH

UNIZAR

UPCT

UPO

UA

UAL

UVIGO

UGR

UCLM

UJI

UCA

UDG

UM

UPV-EHU

US

UMA

UVA

UNILEON

UHU

ULPGC

URJC

UNIOVI

UJAEN

UNEXUBU

UDC

ULL

UNIRIOJA

UNED

0

5

10

15

20

25

30

35

40

45

051015202530354045

PRINCIPALES RESULTADOS

49

Como antes se detallaba, la Universitat de Llei-

da entra en el primer tercil conforme aumenta el

peso de la investigación y la Universidad Politécni-

ca de Madrid sale del mismo.

5.7. RANKINGS DE DOCENCIA, INVESTIGACIÓN E INNOVACIÓN Y DESARROLLO TECNOLÓGICO

La metodología elaborada construye indicadores

diferenciados de cada una de las tres actividades

de las universidades, que después agrega para

elaborar los dos rankings presentados. Por consi-

guiente, los resultados de cada universidad en

cada una de las tres dimensiones también pueden

ser ordenados en su respectivo ranking de docen-cia, ranking de investigación o ranking de innova-ción y desarrollo tecnológico. Cada uno de ellos

puede ser calculado en las dos variantes, de vo-

lumen de resultados y de productividad.

El cuadro 8 presenta los resultados de esos seis

rankings para todas las universidades públicas

españolas. Para evaluar, en términos generales,

hasta qué punto las ordenaciones cambian al

pasar del ranking de investigación al de docencia

el gráfico 9 presenta ambos en un formato similar

a los ya utilizados para comparar los rankings generales. De este modo es posible comprobar

hasta qué punto está fundada la hipótesis de que

los resultados de investigación recogen bien los

de docencia.

El gráfico 9 muestra una evidente correlación

entre ambas funciones —y que no existen prácti-

camente universidades que sean excelentes en

una dimensión pero muy pobres en resultados en

la otra—, existiendo una apreciable correlación de

0,72 (medido con el coeficiente de correlación de

rankings de Spearman, acotado entre -1 y 1).

Ahora bien, al mismo tiempo, existe también una

cierta dispersión de los resultados y muchas uni-

versidades (18) se sitúan en terciles diferentes en

una y otra dimensión. Por consiguiente, la posi-

ción en resultados de investigación no predice

demasiado bien la posición en docencia. Esto no

es contradictorio con lo observado en el apartado

5.6, donde analizábamos el limitado alcance de

cambiar los pesos de docencia e investigación en

los rankings generales. En todo caso, es remarca-

ble que las universidades con mejores resultados

generales aparezcan bien posicionadas —primer

tercil— tanto en docencia como en investigación.

Gráfico 9. Ranking ISSUE-P-D vs. ISSUE-P-I

Fuente: Fundación BBVA-Ivie.

Inve

stig

ació

n

Docencia

UPFUIB

UB UAM

ULPGC

UVURV

UPCUDL

UPV

UC3MUAB

UNICANUCMUDC

UPOUM

UCOUVIGO

UNIZAR UDGUJI UMH

USAL

UCLMUA UPNAUAL

UGRUAH

USCUVA

UNIOVIUMA

UPMUJAEN

UPCTUHU URJC

ULLUPV-EHU

UNILEONUS

UNEX

UCAUNED

UBU UNIRIOJA

0

5

10

15

20

25

30

35

40

45

051015202530354045

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

50

Cuadro 8. Rankings ISSUE-V y ISSUE-P para docencia, investigación e innovación y desarrollo tecnológico

ISSUE-V ISSUE-P

Docencia Investigación

Innovación y

des. tecnológico

Docencia Investigación

Innovación y

des. tecnológico

1 UCM UCM UPM UPF UPF UPV

2 UB UB UPV UPC UIB UPC

3 UV UV UCM UV UB UPM

4 UGR UGR UPC UAM UAM UPNA

5 UPV-EHU UPV UAM UPV UV UAM

6 US UAM UAB UAB URV UAB

7 UPM UPM USC UCM UPC USC

8 UNED UPV-EHU US UIB UDL UNICAN

9 UPV UAB UNIZAR USAL UPV UA

10 UPC UNED UA UDL UC3M UPF

11 UAB UPC UPV-EHU UNICAN UAB UMH

12 UAM US UB UAH UNICAN UCO

13 USAL UNIZAR UGR UPNA UCM UCA

14 UNIZAR USAL USAL UB UDC UNIZAR

15 UMA UMA UV UCO UPO UCM

16 USC USC UCO URV UM UHU

17 UVA UM UCA UMH UCO UPCT

18 UCLM UCLM UCLM UGR UVIGO UIB

19 UA UA UNICAN UC3M UNIZAR UC3M

20 UM UVA UM UPCT UDG USAL

21 UAH UNIOVI UPNA UPO UJI UCLM

22 UNIOVI UC3M UC3M UAL ULPGC UAL

23 UNEX UDC UMH USC UMH US

24 UCO UVIGO UPF UJI USAL UVIGO

25 UVIGO UPF UMA UPM UCLM UM

26 UC3M UIB UVA UPV-EHU UA UAH

27 ULL ULPGC UVIGO UVIGO UPNA URV

28 UCA ULL UAH UDG UAL UBU

29 UPF UCO UNIOVI UNILEON UGR UPV-EHU

30 URJC UAH UIB UCA UAH UB

31 ULPGC UNICAN UHU UNIZAR USC UPO

32 UNICAN URV UAL UMA UVA UVA

33 UDC UNEX ULPGC US UNIOVI UNIOVI

34 UIB URJC URV UCLM UMA UGR

35 UJI UJI UPCT URJC UPM UV

36 URV UCA UJAEN UNEX UJAEN UDG

37 UMH UJAEN UJI UA UPCT UDL

38 UAL UMH UNED UVA UHU UJAEN

39 UNILEON UDL ULL UM URJC UJI

40 UJAEN UAL UPO ULPGC ULL ULPGC

41 UDG UPO UDG UHU UPV-EHU UNILEON

42 UPO UDG UNILEON UDC UNILEON UMA

43 UPNA UNILEON UDL UNED US ULL

44 UDL UPNA UBU UNIRIOJA UNEX UNIRIOJA

45 UHU UHU URJC UNIOVI UCA URJC

46 UPCT UPCT UNEX UJAEN UNED UNEX

47 UBU UBU UDC ULL UBU UDC

48 UNIRIOJA UNIRIOJA UNIRIOJA UBU UNIRIOJA UNED

Fuente: Fundación BBVA-Ivie.

6. Conclusiones

Los Rankings ISSUE (Indicadores Sintéticos del

Sistema Universitario Español) tienen como obje-

tivo generar clasificaciones de las universidades

españolas, a partir de conjuntos de información

amplios, que contemplen las principales dimen-

siones de sus actividades. La metodología ISSUE

es rigurosa y está alineada con las recomendacio-

nes de los informes internacionales recientes

sobre esta materia.

Agregar la información sobre los resultados de las

universidades en distintos ámbitos presenta difi-

cultades. No abordarlas y contemplar por separa-

do los distintos indicadores no es una solución

práctica para la mayoría de personas interesadas

en comparar a las universidades, pues no desean

enfrentarse a volúmenes grandes y complejos de

información: estudiantes, profesores, investigado-

res, gestores universitarios o políticos, y medios

de comunicación. Los indicadores sintéticos y los

rankings —siempre que sean construidos con

criterios y métricas adecuadas— son útiles porque

condensan los resultados y reducen el esfuerzo

que deben realizar los usuarios de la información.

Algunas iniciativas internacionales en este terreno

son ya muy conocidas —como el Ranking de

Shanghai o el del Times Higher Education (THE)—

y han aumentado la visibilidad de las clasificacio-

nes de universidades y la demanda social de las

mismas. Pero estos rankings ponen el énfasis en

los indicadores de investigación y la formación de

elevado prestigio internacional, dejando fuera a la

mayor parte de la actividad de nuestro sistema

universitario, centrado en la docencia de grado y

que no compite realmente en esas ligas. Esa

orientación hacia los indicadores de investigación

también es característica de la mayoría de los

rankings nacionales ya existentes que, por esa

misma razón, atienden a indicadores parciales.

Los Rankings ISSUE permiten superar en buena

medida ambas limitaciones al analizar los resulta-

dos docentes, de investigación y transferencia de

todas las universidades públicas españolas. En el

futuro, se incorporarán a los Rankings ISSUE las

universidades privadas en aquellos casos en los

que se pueda disponer de información similar a la

utilizada para analizar a las universidades públi-

cas.

Los rankings elaborados han sido construidos a

partir de un conjunto de variables que tienen en

cuenta tres aspectos relevantes: (i) las distintas

misiones de las universidades (docencia, investi-

gación, desarrollo tecnológico e innovación); (ii) la

existencia de diferencias en los resultados de una

universidad en las distintas áreas de estudio; y

(iii) la importancia de contemplar las preferencias

de los usuarios de los servicios universitarios a la

hora de construir algunos rankings.

ISSUE ha generado dos rankings generales de las

universidades —el de volumen de resultados

(ISSUE-V) y el de productividad (ISSUE-P)— así

como seis rankings parciales: de docencia, de

investigación y de transferencia, tanto en térmi-

nos de volumen como de productividad. El con-

junto de los mismos ofrece ocho perfiles de cada

una de las universidades, que pueden ser de inte-

rés para evaluarlas desde distintas perspectivas.

En algunos casos las imágenes de una universidad

que proyecta cada ranking son las mismas y en

otros son diferentes. Corresponde a los usuarios

de la información —responsables universitarios o

políticos, investigadores, estudiantes, analistas,

etc.— considerar cuáles de esas imágenes son las

más relevantes para sus necesidades o intereses.

Los rankings que se obtienen al considerarse por

un lado el volumen de actividad total de las uni-

versidades y por otro su productividad son clara-

mente distintos. No es sorprendente, porque en

España conviven grandes instituciones clásicas —

algunas con varios siglos de antigüedad, con to-

das las ventajas y desventajas que ello conlleva—

junto con universidades de más reciente creación

—muchas de ellas con menos de cincuenta años

RANKINGS ISSUE 2013. INDICADORES SINTÉTICOS DE LAS UNIVERSIDADES ESPAÑOLAS

52

de vida y algunas con poco más de una década—

y de tamaño mucho más pequeño. Pero la dispa-

ridad de resultados permite observar que ni el

tamaño ni la antigüedad son determinantes

inequívocos de ventajas o desventajas: existen

ejemplos de buenas prácticas entre las universi-

dades grandes con muchos años de historia, y

también entre las creadas en la segunda mitad

del siglo XX y entre las más jóvenes.

Es asimismo importante destacar que existe un

grupo de universidades —formado por institucio-

nes con el variado perfil que se acaba de descri-

bir, pero entre las que predominan las de dimen-

sión más bien grande— que ocupan las mejores

posiciones tanto desde la perspectiva del volumen

de resultados como en términos de productividad.

La mayoría de ellas forman parte, además, del

grupo de universidades españolas que más apare-

cen en el top de los rankings internacionales más

conocidos, como los de Shanghai, THE y QS. Así

pues, los Rankings ISSUE confirman que las uni-

versidades españolas que aparecen con frecuen-

cia en los rankings internacionales son las que

generan mayor volumen de resultados y son más

productivas. Las señales repetidas que emiten

estas instituciones permiten identificar, de manera

bastante robusta al uso de distintos criterios, el

grupo de universidades españolas que destacan

por su excelencia.

Los resultados del ISSUE-V concuerdan en gran

medida con los del Ranking de Shanghai —debido

a que este índice se basa fundamentalmente en

indicadores de volumen de resultados-, a pesar de

que nuestro ranking agregado otorga un papel

más importante a la dimensión docente. Nueve de

las universidades españolas que figuran actual-

mente en el Top 500 del Ranking de Shanghai

forman parte de las dieciséis que constituyen el

primer tercil del Ranking ISSUE-V. Siete de las

mismas pertenecen también al grupo de cabeza

del Ranking ISSUE-P de productividad.

El hecho de que los resultados de los rankings generales basados sobre todo en indicadores de

investigación coincidan bastante con otros que

consideran distintas dimensiones (docencia, inves-

tigación, innovación y desarrollo tecnológico)

indica que la mayor o menor calidad de cada

universidad en los distintos ámbitos puede estar

correlacionada. Pero la comparación de los ran-kings parciales de docencia e investigación gene-

rados indica que, aunque en efecto esa correla-

ción existe, también se detecta una significativa

variedad de resultados docentes entre universida-

des con similar nivel de resultados de investiga-

ción. Por tanto, un ranking general que considera

ambas dimensiones gana en precisión al ordenar

las universidades respecto a uno que solo se basa

en la información de investigación. Y también, un

ranking de investigación es impreciso cuando lo

que queremos comparar es, sobre todo, la activi-

dad docente de las universidades.

El caso en el que la atención del usuario de los

rankings se centra en la docencia más claramente

es cuando se trata de estudiantes que quieren

consultarlos para elegir una universidad para

cursar sus estudios. En esa situación es probable

que el estudiante esté más interesado en la cali-

dad de la universidad en determinados estudios

que en la calidad de la investigación, e incluso en

la calidad de la docencia en general. Para dar

respuesta a las demandas de información existen-

tes desde esta perspectiva, ISSUE ha desarrollado

una herramienta web que genera rankings perso-nalizados de titulaciones de grado. Estos rankings son obtenidos atendiendo a las preferencias de

los estudiantes sobre lo que quieren estudiar,

dónde están dispuestos a hacerlo y la importancia

que atribuyen a los aspectos docentes o de

I+D+i. El proyecto contempla extender en el

futuro este análisis a los posgrados, pero en la

actualidad la información disponible no lo permite.

El papel de la herramienta web desarrollada es

ofrecer a los estudiantes información de calidad y

muy fácil de obtener para evaluar las opciones

que mejor se ajustan a sus criterios, a la hora de

elegir la universidad en la que cursar una titula-

ción. Si los rankings están construidos de manera

rigurosa pueden contribuir notablemente a orien-

tar con criterios razonables decisiones que son

difíciles para personas no expertas, e incluso para

profesionales como los orientadores vocacionales.

En realidad, aunque ningún ranking está exento

de problemas, la alternativa es dedicar mucho

esfuerzo a conseguir y ordenar distinta informa-

ción. Las dificultades y el coste que ello represen-

ta conducen a menudo a tomar la decisión en

ausencia casi total de información. Por ello, consi-

deramos que un sistema de rankings como el que

se ofrece —y la información complementaria que

le acompaña— puede ser de gran utilidad, pues al

facilitar enormemente la tarea permitirá a muchas

personas tomar decisiones mejor informadas.

CONCLUSIONES

53

Una conclusión general de los resultados del pro-

yecto desarrollado es que se confirma una notable

diversidad entre las universidades públicas espa-

ñolas en cuanto a su capacidad de generar resul-

tados y su productividad. Esa diversidad también

es muy notable en cuanto a su especialización

docente e investigadora y su capacidad de sobre-

salir en áreas o titulaciones concretas. En reali-

dad, las características generales de cada univer-

sidad constituyen un elemento importante para

explicar sus resultados en cada una de sus activi-

dades, pero también se aprecia una notable di-

versidad interna en muchos casos, existiendo

ejemplos puntuales de excelencia en instituciones

que no son, en términos generales, sobresalien-

tes.

El amplio conjunto de información sobre las uni-

versidades que ofrece el proyecto ISSUE permite

perfilar rasgos muy relevantes de la diversidad del

sistema universitario español y en el interior de

cada una de las universidades. El reconocimiento

de esa diversidad es muy relevante para varios

objetivos: para evaluar los resultados de las uni-

versidades; para orientar sus estrategias de mejo-

ra y las políticas universitarias de manera selecti-

va; para orientar a los usuarios potenciales de los

servicios docentes; y para suministrar información

a las empresas e instituciones interesadas en

conocer la capacidad de generar resultados de

I+D+i.

Bibliografía

Aguillo, I.F. (2012). «Ranking Web of World Universi-ties». Madrid: Cybermetrics Lab, Consejo Superior de Investigaciones Científicas (CSIC), Disponible en Inter-net: http://www.webometrics.info/methodology.html.

Aguillo, I.F., Bar-Ilan, J., Levene, M. y Priego, J.L. (2010). «Comparing University Rankings». Scientomet-rics 85, 1, 243-256.

Altbach, P.G. (2006). «The Dilemmas of Ranking». International Higher Education 42.

Bengoetxea, E. y Buela-Casal, G. (2013). «The new multidimensional and user-driven higher education ranking concept of the European Union». International Journal of Clinical and Health Psychology 13, 67-73.

Butler, D. (2007). «Academics strike back at spurious rank-ings». Nature 447, 514-515.

CWTS (Centre for Science and Technology Studies) (2008). Leiden ranking. CWTS, Leiden University. Disponible en Internet: http://www.cwts.nl/ranking/LeidenRankingWebSite.html.

CHE (Centrum für Hochschulentwicklung) (2006). Berlin Principles on Ranking of Higher Education Institutions. Disponible en Internet:

http://www.che.de/downloads/Berlin_Principles_IREG_534.pdf.

CHE (Centrum für Hochschulentwicklung) (2012). Meth-odology. Disponible en Internet: http://ranking.Zeit.de/che2012/en/.

Docampo, D. (2012). Shanghai Ranking Expanded. Univer-sidades españolas según el Ranking de Shanghai-2012 Ed. Disponible en Internet: http://sci2s.ugr.es/rankinguniversidades/downloads/shanghaiRankingExpanded_Espa%C3%B1olas_2012.pdf.

Docampo, D. (2013). «Reproducibility of the Shanghai academic ranking of world universities re-sults». Scientometrics 94, febrero.

Docampo, D., Herrera, F., Luque-Martínez, T. y Torres-Salinas, D. (2012) «Efecto de la agregación de universi-dades españolas en el Ranking de Shanghai (ARWU): caso de las comunidades autónomas y los campus de excelencia». El profesional de la información 21, 4, 428-442. julio-agosto.

EC3 (2012). Metodología - Metaranking de las Universi-dades Españolas. Disponible en Internet: http://ec3.ugr.es/metaranking/metodologia.html.

Eccles, C. (2002). «The Use of University Rankings in the United Kingdom». Higher Education in Europe 27, 4.

García, J.A. (2012). «Ranking of research output of universities on the basis of the multidimensional prestige of influential fields: Spanish universities as a case of study». Scientometrics, 25 de abril.

González-Pereira, B., Guerrero-Bote, V.P. y Moya-Anegón, F. (2010). «A new approach to the metric of journals' scientific prestige: The SJR indicator». Journal of Informetrics 4.

Marginson, S. (2007a). «Global University Rankings: Implications in general and for Australia». Journal of Higher Education Policy and Management 29, 2.

Marginson, S. (2007b). «Global university rankings: where to from here?». Presentado en Ranking Systems: Universities of Choice, National University of Singapore, 7-9 de marzo.

Nardo, M., Saisana, M., Saltelli, A., Tarantola, S., Hoff-man, A. y Giovanni, E. (2005). «Handbook On Con-structing Composite Indicators: Methodology And User Guide». OECD Statistics Working Paper, Paris.

OCDE (Organización para la Cooperación y Desarrollo Económicos) (2008). Handbook on constructing compo-site indicators: methodology and user guide, Paris.

Pérez, F. y Serrano, L. (dirs), Pastor J.M., Hernández, L., Soler A. y Zaera I. (2012). Universidad, universitarios y productividad en España. Madrid: Fundación BBVA.

Rauhvargers, A. (2011). «Global University Rankings and their impact». Bruselas: European University Association.

Rehn, C., Kronman, U. y Wadskog, D. (2007). «Biblio-metric indicators - definitions and usage at Karolinska Institutet». Estocolmo: Karolinska Institutet.

Salmi, J. (2009) «The Challenge of Establishing World-Class Universities». Washington DC: The World Bank.

Salmi, J. y Saroyan, A. (2007). «League tables as policy instruments: Uses and misuses». Higher Education Man-agement and Policy 19, 2.

THE-QS (2009). «Methodology: purpose and approach». Disponible en Internet: http://www.topuniversities.com.

Torres-Salinas, D., Moreno-Torres, J.G., Robinson, N., Delgado López-Cózar, E. y Herrera, F. (2013). «Rankings I-UGR de Universidades Españolas según Campos y Disciplinas Científicas». Disponible en: http://www.rankinguniversidades.es [Consultado el 22/06/2013].

U-Multirank (2010). «Interim Progress Report». CHER-PANetwork. www.u-multirank.eu/UMR_IR_0110.pdf.

Web of Science [en línea]. Philadelphia: Institute for Scientific Information: Thomson, cop. 2009.