aguillo evaluacion publicaciones palma

Tendencias en la evaluación de publicaciones académicas

Isidro F. AguilloLaboratorio de Cibermetría

CINDOC-CSIC

2

Agenda Aspectos básicos de bibliometría y cienciometría

El papel de las bases de datos de citas: Web of Knowledge

Impacto en la evaluación de revistas, investigadores e instituciones Errores de interpretación y malas prácticas

El problema de las ciencias sociales, humanidades (y tecnologías)

Publicación electrónica y Web Recomendaciones para editores

www.webometrics.info

3

Situación actual Los profesores universitarios y los

investigadores españoles están sujetos a evaluación de su actividad científica

La evaluación se realiza mediante evaluación por pares y el uso de técnicas bibliométricas Los indicadores más importantes deberían obtenerse

del análisis de citas

Existe un “monopolio” respecto de la(s) base(s) de datos fuente para el análisis Web of Knowledge (Thomson Scientific)


4

Licencia nacional del WoK FECYT contrata la licencia para todas las universidades y

centros de investigación y universaliza su uso Se generaliza la consulta del WoK y la utilización de sus

datos Factor de impacto de revistas Publicaciones por autor (grupo o institución) Número de citas recibidas Índice h

Los propios interesados obtienen sus datos personales sin conocimiento de las limitaciones y sesgos de dicha base de datos


www.webometrics.info 5

6

Problemática del WoK Cobertura sesgada

Sesgo original Revistas fuente (citantes) en el núcleo

Sesgo geográfico Países desarrollados

Sesgo idiomático Inglés

Sesgo temático Biomedicina Artículos de revisión

Incremento secular Más revistas, más artículos (más citas) Fuerte impacto al añadir revistas locales


7

Cobertura del WoK


WoK

No-WoKFuente(citante)

Citado

75%25%

WoK

No-WoK

Wok>No-Wok Wok>Wok Global 25% 75%Biología Molecular 8% 92%Ciencias Sociales 71% 29%

Datos ISI (Moed, 2005)

8

Publica o perece Incremento número de publicaciones

Aumento del número de autores Publicaciones “salami” Estudios a corto plazo vs largo plazo Revisiones vs investigación original

Migración hacia “revistas internacionales” Revistas de circulación restringida Revistas de temática local

Abandono de otros formatos Libros (humanidades) Actas de congresos (ojo con Scopus!, ciencias de la computación) Informes (tecnologías) Publicaciones electrónicas (??)


9

Evolución de la productividad


1980 2002 %Artículos 478.000 814.000 70%Autores 1.187.000 3.081.000 160% articulos/autor 0,4 0,26 -34%Autores únicos 545.000 1.095.000 101% artículos/autor único 0,88 0,74 -15%

Autores/artículo (+52%)

Autores/autores únicos (+29%)

Artículos/autores únicos (-15%)

Datos ISI (Moed, 2005)

10

Problemática con el análisis Producción científica

Autoría/afiliación no normalizada Infravaloración por fallos de identificación

Autoría fraccionada El impacto y la medida de la coautoría

Análisis de citas Auto-citas

Personales (auto-bombo) Grupo (colegas, discípulos) Continuidad

Factor de impacto esperado vs FI real Número de citas reales recibidas, no FI de la revista

Limitaciones del índice h Válido para carreras dilatadas, sesgos disciplinares


11www.webometrics.info

12

Algunas consecuencias Ciencia en español

En detrimento de la docencia Destrucción de los canales de comunicación en español Preferencia por colaboración con EUA/UE frente a Iberoamérica

Actividad en ciencias sociales y humanidades Infravaloración de la producción Indicadores no disponibles o poco viables

Dificultad para realizar análisis de citas

Problemas para realizar comparaciones bibliométricas con otras disciplinas o combinar datos

Rechazo o incomprensión de científicos sociales y humanistas hacia la evaluación


13

Algunas soluciones Evaluación cuantitativa con revistas no-fuente

Citas a revistas (y otros objetos) no incluidos en WoK In-Recs (CC. Sociales) ec3.ugr.es/in-recs/ Medicina ec3.ugr.es/medicina/ IME (Medicina) ime.uv.es/imecitas/impacto_ime.asp

Evaluación mixta (formal, cualitativa, cuantitativa) Criterios Latindexwww.latindex.unam.mx RESH (CC. Sociales y Humanas) resh.cindoc.csic.es DICE (idem Difusión) dice.cindoc.csic.es

Otras fuentes de datos Scopus Google Scholar



Libros

Informes

CapítulosLibros

ActasCongresos

Artículos revistas

WoK


ene-06 Artículos WoK Scopus ambos

Embase 4865 53,40% 90,50% 52,20%Geobase 2065 51,80% 89,80% 50,90%BIOSIS 4480 60,00% 68,10% 57,10%PsycInfo 1990 54,30% 64,80% 52,10%Ebsco 7739 56,40% 60,60% 49,80%CSAIPA 371 34,50% 59,00% 34,50%CAB 7443 38,00% 45,90% 36,80%Sociological Abstracts 1777 37,10% 42,70% 31,60%EconLit 1077 28,80% 41,70% 27,30%Agricola 2215 36,40% 40,00% 35,40%Pubmed 16621 27,30% 37,30% 24,30%SocIndex 3703 29,60% 34,60% 25,90%Eric 1264 30,90% 34,30% 27,50%INSPEC 8966 20,80% 27,10% 19,90%MathSciNet 2697 25,10% 26,90% 22,40%LLBA 1555 28,90% 22,80% 18,10%CSALISA 477 15,70% 21,80% 14,70%Georef 13345 9,40% 12,80% 8,70%Philosophers Index 1194 24,50% 12,60% 10,50%ATLA 1549 21,80% 8,80% 7,40%MLA 4923 14,00% 3,20% 2,70%BHA 2244 11,90% 2,00% 1,40%

www.library.uu.nl/geosource/jeroen/scopuspresentatie20060418.ppt

18

Reto digital


Web Pública Web Privada

Bases de datos

Repositorios

Revistas electrónicas

Web Visible

Internet Invisible

20

Google Scholar (I)


Objetos en dominios universitarios (enero

2007)

21

Google Scholar (II)


Objetos en dominios universitarios (julio 2006)

22

Ficheros ricos


FORMATOS GLOBAL

ACROBAT PDF 608.000 114.849 18,9%MS WORD DOC 119.000 16.898 14,2%MS POWERPOINT PPT 22.900 4.447 19,4%POSTSCRIPT PS 13.600 4.193 30,8%

CONTRIBUCIÓN ACADEMICA (Google, miles)UNIVERSIDADES

Dominios universitarios (Julio 2006)

23

Repositorios


eprints.rclis.org

roar.eprints.org

24

Combinando


25

La nueva edición Electrónica, por supuesto

Acceso abierto, la ventaja de la visibilidad Multiformato Multilingüe (inglés Y otros) Posicionada (en motores de búsqueda)

e indizada (en bases de datos: web invisible)

Hipertextual desde repositorios, depósito único (o no?)

Arquitectura web y Usabilidad Estándares (metadatos y otros) Navegabilidad, incluyendo identificación (electrónica y física), mención de

responsabilidad, tipo de licencia (copyright) Persistencia Sindicación RSS, Blogs, Wikis Estadísticas


26

¿Y las monografías? Versión en papel

Serializar Preferiblemente multidisciplinares ISSN además de ISBN

Tratamiento de revista Criterios Latindex !!!

Versión electrónica Dominios propios Contenidos, no solo texto completo Metadatos, interoperabilidad Interactividad: Foros, opiniones, sugerencias Estadísticas de uso


28

¿Por qué? La evaluación necesita fuentes (bbdds)

Cobertura amplia (exhaustividad) Criterios de selección (inclusión) rigurosos (calidad= peer review)

Acceso universal (fácil, asequible)

Las fuentes (bibliográficas) deben admitir medidas Análisis (control) documental

Las estadísticas deben generar indicadores Parámetros significativos, con un objetivo Masa crítica

Los indicadores deben ser comparables Asimilación a indicadores bibliométricos de artículos


29

Pero … Las fuentes son escasas

Con un diseño “inadecuado” Con una cobertura limitada Costosas de mantener De difícil (o caro) acceso

Los indicadores de visibilidad miden solo presencia En múltiples bases de datos con coberturas temática, geográfica o idiomática y

criterios de selección no comparables

Los indicadores de uso basados en circulación son inaccesibles o poco fiables Distribución (Amazon Rank) Bibliotecas

Un índice de citas podría ser inviable


31

… edición electrónica Ventajas

Distribución mundial Google Books, Amazon Search Inside

Seguimiento detallado Visitas, volcados

Interacción con los lectores Costes (!?)

Inconvenientes Inversión tecnológica Competencia en mercado global Financiación de los modelos Open Access Control de la auto-publicación


35

Conclusiones/Recomendaciones La evaluación de la actividad científica no solo se

reforzará sino que guiará la publicación académica Ciencias Sociales y Humanidades se evaluarán con los

mismos (o similares) criterios que las CC. Puras Las monografías deben incorporarse al proceso o serán

ignoradas La serialización y la edición electrónica pueden ser claves

para que sean tenidas en cuenta Las monografías deben incorporarse a las fuentes

utilizadas para el análisis cuantitativo o crear su proprio sistema Los rankings son una opción


37

¡Gracias!¿Preguntas?


Isidro F. Aguillo

[email protected]

aguillo evaluacion publicaciones palma

Technology