Isidro F. Aguillo, José L. Ortega,José A. Prieto, Begoña Granadino

Evaluación: Situación y perspectivas

Importantes sesgos en las herramientas de evaluaciónSobre-representación de las publicaciones anglosajonas y en inglés

Inadecuada presencia de las ciencias sociales y humanas y la tecnología

Errores

Utilización indiscriminada del FI

Diseñado para revistas, se utiliza para el análisis de países, instituciones o individuos

Evaluación de individuos o grupos según las citas esperadas y no las reales

Escasos estudios combinados, considerando otros resultados de la actividad de I+D

Ventajas de la presencia en el Web

EconómicasLa publicación en el Web es más económicaLos servidores y los sistemas de almacenamiento son cada vez más potentes y asequibles

Socio-culturalesEl Web es ubicuo, lo que garantiza una mayor accesibilidad, incluso desde países en vías de desarrollo El carácter distribuido del Web asegura cierta universalidad temática, geográfica, lingüística y cultural

CientíficasLa publicación es más rápidaSe puede aplicar evaluación por paresLa publicación puede ser más rica (datos originales, gráficos y tablas complejas, ficheros media)Refleja la comunicación informal y la realización de un más amplio espectro de actividades

Indicadores cibermétricosMedida del conjunto de la actividad académica e investigadora de una institución

No solo de los trabajos publicados en revistas de prestigio (medida sesgada para tecnólogos, científicos sociales y humanistas)Refleja mejor los procesos de comunicación informal y las actividades complementariasSe mide también ruido, dada la dificultad de identificar la información de calidad

Medida de impacto ampliada a través de la visibilidad hipertextualSe incluye un rango de motivaciones de enlace más amplio y por parte de más actores, no solo de los paresPero la cita bibliográfica es más precisa

Medidas muy útiles a nivel institucionalAdemás del impacto científico, permite la evaluación del consumo de información (impacto social, cultural) o la identificación de relaciones entre instituciones (impacto industrial, económico, triple hélice)Los indicadores cibermétricos se pueden combinar con otros indicadores tradicionales (bibliométricos, patentométricos, cienciométricos)La interpretación no siempre es fácil y quedan por resolver problemas metodológicos

Objetivos

Medir la visibilidad real e impacto de la presencia de instituciones de I+D en el WebComparar las instituciones más productivas de acuerdo a criterios bibliométricos y cibermétricosPosicionar las universidades y centros de investigación respecto a organizaciones de su propio paísEvaluar si existen diferencias entre instituciones y grupos de carácter tecnológico y los dedicados a la investigación científicaPonderar la visibilidad de la actividad científica en los países del Tercer MundoIdentificar el tipo de información que publican las instituciones en sus sedes Web, especialmente las fases de la actividad científica: aspectos teóricos, métodos, herramientas, datos, comunicación científica, divulgación, docencia, explotación de resultadosEstimar la madurez del sistema y el peso relativo de las páginas personales

Poblaciones estudiadas

9330 dominios institucionales de universidades de todo el mundo

Google, Yahoo Search, MSN Search y Teoma (Enero 2005)

100 universidades mejor posicionadasEssential Science Indicators (ISI, 1994-2004)

Academic Ranking of World Universities (Univ. Shanghai, 2004)

World Universities Rankings (The Times, 2004) 947 páginas más visibles del Web hispanohablante

PageRank de Google (Febrero 2005)

50 universidades españolas más productivasSCI-CINDOC (Periodo 1996-2001)

Fuentes

Tamaño

Motores GOOGLE MSN TEOMA YAHOONúmero de páginas 389.369.088 364.891.111 129.659.822 129.205.256Pags/dominio 41.733 39.109 13.897 13.848GOOGLE 1 0,917** 0,731** 0,893**MSN 0,917** 1 0,692** 0,856**TEOMA 0,731** 0,692** 1 0,822**YAHOO 0,893** 0,856** 0,822** 1

Coeficiente de correlación

Tamaño

de Spearman: ** p< 0,01

Correlación positiva estadísticamente significativa entre los datos de tamaño de todos los motores

Los robots de los buscadores recopilan e indizan de forma distinta y el esquema temporal de visitas varía entre ellos. El solapamiento entre resultados es bajo.

La correlación soporta la consistencia de combinar los datos de los motores

Visibilidad

Motores MSN YAHOOVisibilidad Número de enlaces 71.397.027 266.834.855

MSN 1 0,888**YAHOO 0,888** 1

Coeficiente de correlación

de Spearman: ** p< 0,01

Sólo dos motores permiten el cálculo de la visibilidad (enlaces externos recibidos).

Existe una alta correlación entre ambos valores, que es estadísticamente significativa

La correlación positiva confirma la opción de sumar los resultados

Ficheros ricos

Formatos ricos PDF PS DOC PPT XLSNúmero de ficheros 43.930.937 4.516.755 7.021.760 2.089.441 668.374Ficheros/dominio 4.709 484 753 224 72PDF 1 0,612** 0,738** 0,734** 0,670**PS 0,612** 1 0,568** 0,638** 0,607**DOC 0,738** 0,568** 1 0,791** 0,778**PPT 0,734** 0,638** 0,791** 1 0,773**XLS 0,670** 0,607** 0,778** 0,773** 1

Coeficiente de correlación

Ficheros ricos

de Spearman: ** p< 0,01

Los ficheros ricos han sido extraídos merced al buscador Google y el comando filetype

Los tipos elegidos corresponden a los más frecuentemente utilizados, especialmente aquellos reservados a procesos de comunicación académica o científica

Como en casos anteriores, la alta correlación existente justifica su combinación como medida única

Ranking

Indicadores TAMAÑO VISIBILIDAD RIQUEZATAMAÑO 1 0,899** 0,892**VISIBILIDAD 0,899** 1 0,833**RIQUEZA 0,892** 0,833** 1

Coeficiente de correlación

de Spearman: ** p< 0,01

I=2*RS+4*RV+RR

La medida de impacto se construye mediante combinación de las posiciones relativas de cada dominio ( R ) respecto a los tres indicadores descritos (S=tamaño, V=visibilidad, R=ficheros ricos), cuya correlación es alta y significativa

Los pesos se asignan arbitrariamente, considerando cual podría ser la contribución relativa de cada indicador

Análisis comparativo (I)

Rankings ESI-ISI SHANGHAI TIMES WEB

ESI-ISI 1 0,760** 0,426** 0,609**SHANGHAI 0,760** 1 0,638** 0,538**TIMES 0,426** 0,638** 1 0,379**WEB 0,609** 0,538** 0,379** 1

Coeficiente de correlación (n=99)

de Spearman: ** p< 0,01

ESI-ISI: Criterios bibliométricos

Número de citas recibidas en 10 años (desde revistas fuente ISI)

Shanghai Jiao Tong University: Visibilidad

Publicaciones, Premios (Nóbel), Tamaño

Times: PopularidadPublicaciones, encuestas de opinión

Correlación significativa entre todos los rankingsAlta entre ESI, Shanghai y Web

No tan alta con los datos del Times

Análisis comparativo (II)

El ranking Web ...

Complementa los criterios bibliométricos

Ofrece resultados generales similares a los otros métodos

Pero ...

Las universidades tecnológicas aparecen mejor posicionadas

La investigación biomédica no es tan prominente como en el listado ISI

Las grandes universidades de países en vías de desarrollo no aparecen desplazadas

Los países escandinavos aparecen bien representados en un modelo general donde las universidades norteamericanas dominan claramente la escena

Las universidades alemanes están presentes

Las universidades francesas y japonesas aparecen muy retrasadas

PageRank (I)

POSICION UNIVERSIDAD URL15 Universidad de Sevilla http://www.us.es/23 Universidad Complutense de Madrid http://www.ucm.es/27 Universitat de Barcelona http://www.ub.es/54 Universitat Oberta de Catalunya http://www.uoc.edu/59 Universidad Nacional Autónoma de México http://www.unam.mx/70 Universidad Autónoma de Madrid http://www.uam.es/72 Universidad de Granada http://www.ugr.es/81 Universidad Politécnica de Madrid http://www.upm.es/82 Universidad de Salamanca http://www.usal.es/95 Universidad Nacional de Educación a Distancia http://www.uned.es/96 Universitat Autonoma de Barcelona http://www.uab.es/

Universidades

6213

11

44 3 3 2 11

España

México

Argentina

Chile

Colombia

Puerto Rico

Venezuela

Perú

Costa Rica

Ecuador

Web hispanohablante

947 páginas con mayor PR (104 universitarias)

Resultados parecidos pero no iguales al ranking Web

Gran peso de las instituciones académicas en la vertebración del Web hispano

Especialmente de las universidades españolas

Limitaciones

Válido para páginas, no para dominios

No aplicable a escenarios plurinacionales o globales

PageRank (II)

Rankings SCI VISIBILIDAD PAGERANKSCI 1 0,750** 0,776**VISIBILIDAD 0,750** 1 0,881**PAGERANK 0,776** 0,881** 1

Coeficiente de correlación (n=50)

de Spearman: ** p< 0,01

Universidades españolas

50 más productivas según artículos publicados en el SCI en el periodo 1996-2001 (CINDOC, 2004)

Mejora de la posición de las universidades tecnológicas en las rankings basados en el Web

UNIVERSIDADES MAS PRODUCTIVAS SCI VIS PR Universitat de Barcelona ub.es 1 3 2Universidad Complutense de Madrid ucm.es 2 2 3Universitat de València uv.es 3 1 11Universidad Autónoma de Barcelona uab.es 4 8 6UNIVERSIDADES POLITECNICASUniversitat Politècnica de Catalunya upc.es 11 5 7Universidad Politécnica de Madrid upm.es 15 4 8Universitat Politècnica de València upv.es 24 6 10Universidad Politécnica de Cartagena upct.es 49 47 50

Otros indicadores

PDF PS DOC PPT XLSSCI 0,671** 0,543** 0,674** 0,663** 0,457**

Coeficiente de correlación

de Spearman: ** p< 0,01TAMAÑO VISIBILIDAD SUBDIR PERSONAL

TAMAÑO 1 0,973** 0,842** 0,692**VISIBILIDAD 0,973** 1 0,837** 0,684**SUBDIR 0,842** 0,837** 1 0,644**PERSONALES 0,692** 0,684** 0,644** 1

Coeficiente de correlación n=50

Ficheros ricosLa mayor correlación encontrada entre ficheros pdf, doc y ppt con el número de publicaciones indica que estos son un indicador de actividad científica, aunque son formatos también utilizados con fines administrativos

Los ficheros ps, utilizados por ingenieros, físicos o matemáticos, presentan una correlación más baja con el SCI, donde abunda la producción biomédica

Subdirectorios y páginas personalesEl número de subdirectorios puede indicar una mayor madurez del sistema y, por tanto, una mayor capacidad productiva

Se necesita un análisis más fino, ya que es probable que se trate de páginas de grupos de investigación

Sesgos y limitaciones

Sesgos geográficos y lingüísticos

Suma del tamaño de los dominios universitarios por países

Tamaño de Google se normaliza al 100% y se ajusta el resto

Teoma presenta importantes desviaciones

Google parece subestimar los países asiáticos y los eslavos (¿problemas con el alfabeto?)

Porcentaje sobre Google (%) GOOGLE MSN TEOMA YAHOO

EEUU (us) 100 108,58 190,1 160,64CANADA (ca) 100 84,31 104,19 97INDIA (in) 100 135,63 81,9 93,1REINO UNIDO (uk) 100 69,71 122,01 82,95AUSTRALIA (au) 100 71,06 100,42 72,11ISRAEL (il) 100 67,67 326,37 64,39NUEVA ZELANDA (nz) 100 62,18 74,19 61,74REP: SUDAFRICANA (za) 100 69,21 71,26 57,19

TAIWAN (tw) 100 141,24 25,38 33,44COREA DEL SUR (kr) 100 165,99 21,82 24,26JAPÓN (jp) 100 112,22 24,44 21,86R. P. CHINA (cn) 100 87,55 5,72 13,69

RUSIA (ru) 100 155,77 16,21 118,74UCRANIA (ua) 100 116,81 12,83 90,68POLONIA (pl) 100 114,84 11,56 79,28HUNGRIA (hu) 100 126,95 20,4 74,27CHEQUIA (cz) 100 124,63 30,3 62,68

ALEMANIA (de) 100 99,7 21,76 86,78DINAMARCA (dk) 100 96,01 79,62 78,1AUSTRIA (at) 100 97,42 38,9 75,21SUECIA (se) 100 70,19 69,25 72,52ITALIA (it) 100 79,25 31,03 68,51

BRASIL (br) 100 105,71 34,96 101,76MEXICO (mx) 100 84,64 79,89 95ARGENTINA (ar) 100 90,48 47,54 83,44CHILE (cl) 100 110,29 57,67 82,78ESPAÑA (es) 100 83,58 63,53 76,13PORTUGAL (pt) 100 113,74 28,52 73,98

Otros europeos

Países angloparlantes

Países asiáticos

Países eslavos

Países hispano y luso parlantes

Conclusiones

Los indicadores cibermétricos son bastante robustos estadísticamente y pueden ser utilizados para la evaluación de instituciones y grupos.

La combinación de datos de tamaño, visibilidad hipertextual y número de ficheros ricos ofrece un ranking cuyos resultados son comparables a los producidos por otros indicadores de impacto.

Los indicadores basados en el Web parecen reflejar mejor las contribuciones de instituciones de países en vías de desarrollo, de los tecnólogos e ingenieros y posiblemente de científicos sociales y humanistas.

La cibermetría puede ayudar a superar algunas limitaciones de los indicadores bibliométricos, pero es necesario resolver ciertos sesgos geográficos y lingüísticos que presentan los motores de búsqueda.

Más información

Laboratorio de Internet internetlab.cindoc.csic.es

Revista Cybermetricswww.cindoc.csic.es/cybermetrics

Proyecto EICSTES www.eicstes.org

Proyecto WISER www.webindicators.org

Ranking Web www.webometrics.info

Lo que siempre quiso preguntar...

Rompa el hielo