Altmetrics: altres mètriques per mesurar l'impacte de la informació científica

Ángel Borrego

Universitat de Barcelona Facultat de Biblioteconomia i Documentació

www.ub.edu/biblio

borrego@ub.edu

Avaluació de publicacions científiques

Ex ante Ex post

Peer review Citacions

Avaluació ex post • L’avaluació de la revista serveix com a proxy per a l’avaluació dels articles

individuals i dels seus autors, institucions, etc.

• Fonts de dades: ISI Web of Science (JCR) i Scopus (SJR).

• Crítiques: – limitacions de cobertura i exactitud (noms d’autors i institucions) de les fonts. – metodologia càlcul factor d’impacte: diferents funcions de les citacions;

finestra temporal de les citacions, etc... i pràctiques fraudulentes. – només recull l’impacte entre autors. – interpretació: impacte ≠ qualitat.

Post publication peer review

“F1000 is an in-depth directory of the top articles in biology and medicine, as recommended by our Faculty of over 5,000 expert scientists and clinical researchers

[…] Articles are rated and expert commentaries explain their importance.”

Hi ha correlació entre recomanacions i citacions?

“There turns out to be a clear correlation between F1000 recommendations and citations. However, the correlation is relatively weak, at least weaker than the

correlation between journal impact and citations.”

Waltman, L.; Costas, R. (2013). F1000 recommendations as a new data source for research evaluation: A comparison with citations. http://arxiv.org/abs/1303.3875

Noves fonts d’indicadors bibliomètrics: Google Scholar Metrics

Noves fonts d’indicadors bibliomètrics: Google Scholar Metrics

Delgado, E.; Cabezas, Á. (2013). Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank? Learned Publishing, 26 (2), 101-114.

• Cobertura més àmplia que els productes tradicionals (doble de revistes que SJR i triple que JCR), amb major diversitat geogràfica i lingüística. No obstant, manca de política de selecció.

• Diversitat de fonts de citació (incloent-hi plans docents, treballs d’estudiants, presentacions, etc.) que poden facilitar pràctiques fraudulentes. A canvi, major transparència en la identificació dels documents citants.

• Indicadors bibliomètrics senzills (índex H) tot i que ofereixen rànquings similars als de JCR i SJR.

Journal Usage Factor

http://www.projectcounter.org/usage_factor.html

Altmetrics: algunes definicions • “Altmetrics—short for alternative metrics—aims to measure Web driven scholarly

interactions, such as how research is tweeted, blogged about, or bookmarked.” (J. Howard, 2012, Chronicle of Higher Education).

• “Altmetrics are new measurements for the impact of scholarly content, based on how far and wide it travels through the social Web (like Twitter), social bookmarking (e.g. CiteULike) and collaboration tools (such as Mendeley) […] What altmetrics hope to do is provide an alternative measure of impact, distinct from the Journal Impact Factor.” (F. Galligan, 2012, Swets blog).

• “Altmetrics go beyond traditional citation-based indicators as well as raw usage factors (such as downloads or click-through rates) in that they focus on readership, diffusion and reuse indicators that can be tracked via blogs, social media, peer production systems, collaborative annotation tools (including social bookmarking and reference management services)” (Taraborelli, Mendeley Altmetrics Group).

Podem concloure que les “altmetrics” analitzen els continguts de la web social per oferir mètriques alternatives o complementaries als indicadors d’impacte i d’ús per

mesurar el valor de les publicacions acadèmiques.

Altmetrics

altmetrics: a manifesto, http://altmetrics.org/manifesto/

Nature metrics

http://www.nature.com/nature/journal/v493/n7431/493159a/metrics

Altmetric.com

http://altmetric.com/details.php?citation_id=489541

Impactstory.com

Avantatges • A more nuanced understanding of impact, showing us which scholarly products

are read, discussed, saved and recommended as well as cited.

• Often more timely data, showing evidence of impact in days instead of years.

• A window on the impact of web-native scholarly products like datasets, software, blog posts, videos and more.

• Indications of impacts on diverse audiences including scholars but also practitioners, clinicians, educators and the general public.

Piwowar, H. (2013). Altmetrics: What, Why and Where? Bulletin of the American Society for Information Science and Technology, 39 (4), 8-9.

Web based academic publishing is producing a variety of novel information filters […] However, this does not mean that these technologies and

databases can also legitimately be used in research assessments.

Key research themes: concepts of new web metrics and altmetrics; standardisation of tools and data; and the use and normalisation of the

new metrics.

Wouters, P.; Costas, R. (2012). Users, narcissism and control – tracking the impact of scholarly publications in the 21st century. http://www.surf.nl/nl/publicaties/Documents/Users%20narcissism%20and%20control.pdf

Exemple de registre a

BibSonomy

• Útil per complementar mètodes participatius (qüestionaris, entrevistes) i no participatius (citacions, descàrregues) per mesurar l’ús d’informació científica.

• Avantatges: – No obtrusiu. – Ús de tot tipus de lectors, no només autors. – Disponibilitat pública de les dades.

• Limitacions: – Metadades incompletes o errònies: gran esforç per codificar manualment els

registres i estandarditzar dades com els títols de revista. – Els enllaços des d’algunes plataformes a BibSonomy pot afectar la representativitat

de les dades. – Registres creats automàticament per incrementar l’ús de biblioteques digitals.

Conclusions

Borrego, A.; Fry, J. (2012). Measuring researchers' use of scholarly information through social bookmarking data: a case study of BibSonomy. Journal of Information Science, 38 (3), 297-308.

Citacions

Avaluació

Altmetrics

Ús

Mendeley Institutional Edition

Moltes gràcies!