VI Jornadas MAVIRTecnologías de Acceso a la Información: Estado actual y retos

Universidad Rey Juan CarlosMóstoles (Madrid), 15-16 de noviembre de 2011

Una nueva miradaDe los Rankings de Institucionesa los de Científicos

Isidro F. AguilloThe Cybermetrics LabCCHS-CSIC. Madrid

2

La descripción y evaluación de la actividad científica y sus resultados, de

sus ejecutores (individuos, instituciones, estructuras organizativas),

gestores (planificadores, financiadores) y otros actores involucrados en

su difusión y explotación (editores, empresarios, políticos, ciudadanos)

se ha convertido en una prioridad de las políticas de I+D+I

A pesar de las reticencias a asumir la cultura de la evaluación por parte de

numerosos sectores aún hoy en día

A pesar de las dificultades y los costes que supone describir correctamente los

distintos escenarios a diferentes niveles de agregación

A pesar de los reconocidos sesgos, limitaciones y facilidad para dar lugar a

interpretaciones erróneas o incorrectas que presentan la mayoría de las

técnicas empleadas

3

El Ranking de Shanghai (2003)

• Escenarios no globales (antes de 2003)

– Estudios sobre la Educación Superior, muy puntuales con

tamaños de muestra pequeños o poco representativos

– Poca atención a los métodos cuantitativos, exclusión de la

bibliometría

• Impacto inesperado del Ranking de Universidades de Shanghai

– Debido a su publicación en la Web

– Uso innovador de un indicador compuesto: Lectura simple,

interpretación compleja

– Foco en la excelencia (Premios Nobel, científicos muy citados)

– Cobertura amplia: Top 500 “World-class universities”

4

Rankings mundiales de universidades

• Tras el éxito de Shanghai, explota la oferta

– Basados en opiniones: QS, Times Higher Education

– Basados en métricas: Leiden, Scimago, HEEACT, Webometrics

• y arrecian las críticas

– Rechazo de la “sencillez”

– Sesgos, errores e intereses políticos y comerciales

• pero los rankings triunfan en las “Agendas”

– Elevada correlación de los diferentes rankings entre sí y con las

posiciones esperadas de muchas universidades

– Se imponen las estrategias y políticas basadas en resultados y

criterios de los rankings

5

Indicadores compuestos

• Del “crown indicator” bibliométrico

– Una opción avanzada de la tasa citas/publicaciones

– Varios modelos: peso por disciplina (Leiden), peso por revista

(Karolinska)

• Al indicador compuesto del ranking de Shanghai

– Suma ponderada de variables

• ∑w(i)*ind(i), donde la suma de todos los pesos es 1 (o 100%)

• i número de indicadores combinados

– Utilizado por otros rankings con diferentes modelos

– Críticas por la elección arbitraria de variables y pesos

6

ACTIVIDAD IMPACTO

ARWU (Shanghai) 40% 60%

RANKING

QS 30% 70%

TIMES HIGHER EDUC 35% 65%

HEEACT (Taiwan) 20% 80%

WEB 50% 50%

Modelos de pesos

7

Ranking Web

• Se edita desde 2004

– www.webometrics.info

– 20.000 instituciones de educación superior

– Dos ediciones al año (enero y julio)

– Basado en la presencia web y el análisis de enlaces

Citas Patentes MISIONES UNIVERSIDADES INVESTIGACIÓN DOCENCIA

COMPROMISO SOCIAL

TRANSFERENCIATECNOLOGÍA

INTERNACIONA-LIZACIÓN

WORLD-CLASS + + + + + + + + + + + + NACIONALES + + + + + + + + + + + + LOCALES + + + + + + + + +

<-------------------------------Encuestas------------------------------->

<---

Enla

ces-

-->

8

Brecha Digital Académica

9

Los rankings, aunque no exentos de críticas, han resultado ser muy

útiles a nivel institucional.

Problemas de viabilidad en la normalización de nombres de autores y

dificultades en el diseño de indicadores sintéticos han retrasado la

aparición de rankings de científicos a nivel global, pero la Web 2.0 está

abriendo una prometedora nueva vía en el logro de dicho objetivo

A pesar del duopolio comercial de WoK/Thomson y Scopus/Elsevier que

dificulta la generación de productos derivados de alto valor añadido

Y gracias a los nuevos proveedores gratuitos de bases de datos de citas:

Google Scholar y Microsoft Academic Search, que a pesar de sus limitaciones

ya ofrecen mayor cobertura y opciones más avanzadas

10

Grupo DIH (Difusión del índice h)

11

12

13

14

15

Propuestas de futuro

• Solo se puede evaluar la información pública

– A nivel individual, las páginas web personales de profesores e

investigadores ofrecen una excelente oportunidad

– Se pueden analizar cuantitativamente tanto los contenidos

(docentes, resultados y publicaciones científicas, actividades

informales) como su impacto

• Nuevos indicadores

– Indicadores web a través de presencia y posición en motores de

búsqueda, medida de impacto mediante análisis de enlaces y

menciones, especialmente a través de herramientas Web 2.0

– Indicadores de uso mediante análisis de visitas (Google Analytics)

16

17

Resumiendo

• No se puede ignorar los resultados ofrecidos por los Rankings

– Aunque no todos ellos son igualmente válidos o útiles

– Pero hay que diseñar estrategias lícitas que tengan en cuenta sus

características

• Los nuevos Rankings para individuos ya están aquí

– Ofrecen posibilidades de personalización que deben ser

conocidas y explotadas

– Pero hay que incrementar significativamente la presencia pública

de los investigadores, más allá de la mera trasposición del CV

científico a la Web

18

¿Preguntas?

¡Gracias!