presentación de powerpoint - universidad de sevilla · 2019-05-21 · biblioteca ciencias de la...
TRANSCRIPT
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Seminario Conozca su impacto real: citas, Índice H y métricas alternativasFacultad de Ciencias de la Educación de la Universidad de Sevilla (2019)
Indicios de calidad y herramientas para medir los impactos de la investigación
Víctor M. Moya-Orozco ([email protected])
Evaluación de la investigación
¿Por qué autoevaluarse?• Saber si estamos consiguiendo nuestro
objetivo de investigación
• Modificar nuestro plan de difusión
• Conocer el impacto propio
• Facilitarnos tareas administrativas: Sexenios,
acreditaciones, etc.
Autoevaluar la producción científica¿Por qué autoevaluarse?
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Contenidos
• Métricas tradicionales: ICR, citas, Índice H…
• Estadísticas de idUS
• Altmetrics
Autoevaluar la producción científica¿Por qué autoevaluarse?
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Tipos de métricasMétricas de la revista:
• Índices de calidad relativos
Métricas a nivel de artículo:
• Citas
• Estadísticas de uso
• Altmetrics
Autoevaluar la producción científica¿Por qué autoevaluarse?
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Métricas de autor:
• Índice H
• Altmetrics
Fuentes• Citas: WoS, Scopus, Google Scholar.
• ICR: JCR, SJR, Journal Scholar Metrics.
• Estadísticas de uso: WoS, idUS.
• Métricas sociales: Altmetric.com, PlumX.
Autoevaluar la producción científica¿Por qué autoevaluarse?
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Consejos• Hay datos que no van a cambiar, como el IF, de modo que en
cuanto lo podamos conseguir, lo mejor es anotarlo.
• Utiliza herramientas de recopilación, como alertas u otros
sistemas de seguimiento de impacto (Researcher ID, Alertas de
citas, etc.).
• Valora no sólo los datos, sino también la importancia de la
publicación.
• Ten paciencia. Hay datos que tardan más, como las citas.
• Esfuérzate en dar visibilidad y difundir tus investigaciones.
• Toma la iniciativa. Si no te buscan a ti, busca tú a tu público.
Autoevaluar la producción científica¿Por qué autoevaluarse?
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Recursos del Servicio de Apoyo a la Investigación de la Biblioteca
Informes de citas
Índices de impacto
Índice H
Factor de Impacto
Biblioteca Ciencias de la Educación. Universidad de Sevilla
La biblioteca le ayuda…
Acceso abierto
Altmetrics Perfiles de autor
Recursos del Servicio de Apoyo a la Investigación de la Biblioteca
Biblioteca Ciencias de la Educación. Universidad de Sevilla
La biblioteca le ayuda…
Guías de Apoyo
a la InvestigaciónAcreditación y
Sexenios
Y muchas más…
Biblioteca Ciencias de la Educación. Universidad de Sevilla
La biblioteca le ayuda…
Apoyo
a la Investigación
Portal Web de la Biblioteca
Biblioteca Ciencias de la Educación. Universidad de Sevilla
La biblioteca le ayuda…
Índices de calidad relativos (ICR)
Listados de revistas científicas ordenadas según un parámetro que leotorga una determinada calidad o importancia con respecto a otras.
Medir el impacto científicoÍndices de Calidad Relativos (ICR)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
La base de ese parámetro suele basarse en las citas recibidas por lasrevistas indizadas, si bien el cálculo variará según los algoritmos de cadabase de datos.
Lo importante de estos índices no es tanto elparámetro de calidad, sino la posición de la revistacon respecto a las demás.
Índices de calidad relativos (ICR)
JIF Journal Citation Reports
SJR Scimago Journal & Country Rank
Índice H5 Journal Scholar Metrics
Medir el impacto científicoÍndices de Calidad Relativos (ICR)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Por qué conocerlos
Saber elegir las mejores revistas en las que publicar.
Conocer el impacto de las revistas en las que se ha publicado.
Conocer la importancia de una revista en un área o campo.
Medir el impacto científicoÍndices de Calidad Relativos (ICR)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Medir el impacto científicoJournal Citation Reports (Impact Factor)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Medir el impacto científico
Ventajas Limitaciones
• Principal indicador para la
evaluación científica.
• Larga trayectoria en su uso.
• Muy afianzado en los procesos
de evaluación.
• Gran reconocimiento.
• Indicador de calidad de la
revista, no del artículo.
• Sesgo: hay idiomas y campos de
conocimiento mal
representados.
• No es inmediato.
• Puede ser manipulado.
Medir el impacto científicoJournal Citation Reports (Impact Factor)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Medir el impacto científicoJournal Citation Reports (Impact Factor)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Acceder al ranking de revistas
Buscar revista
Seleccionar categoría
Año de la publicación
Seleccionar edición
Medir el impacto científicoJournal Citation Reports (Impact Factor)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Acceso a Journal Citation Reports
Indicadores principales
JIF
JIF sin autocitas
Cuartil por año y categoría
Medir el impacto científicoJournal Citation Reports (Impact Factor)
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scimago Journal & Contry Rank (SJR)
Ventajas Limitaciones
• Contiene más revistas que JCR.
• Menos sesgo lingüístico y más
representación temática.
• Reconocido para la evaluación
en determinadas áreas.
• Indicador de calidad de la revista,
no del artículo.
• No es inmediato.
• Puede ser manipulado.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scimago Journal & Contry Rank (SJR)
Buscar revistas (por título, ISSN o editor)
Acceder al ránking de revistas
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scimago Journal & Contry Rank (SJR)
Acceso al Scimago Journal & Country Rank
Resultados de la búsqueda
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scimago Journal & Contry Rank (SJR)
Índice H de la revista en Scopus
Cuartil por año y categoría
Ficha de la revista
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scimago Journal & Contry Rank (SJR)
Factor de Impacto SJR
Valor para un año concreto
Categoría
Seleccionar categoría
Seleccionar añoLocalización en el ránking
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scimago Journal & Contry Rank (SJR)
Seleccionar tipo (Journal)
Descargar Excel
Posición en el ránking = 83
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scimago Journal & Contry Rank (SJR)
Buscar en Excel
Journal Scholar Metrics (H5)Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Ventajas Limitaciones
• Contiene más revistas que JCR
y SJR.
• Menor sesgo lingüístico y más
representación temática.
• Indicador de calidad de la revista, no
del artículo.
• Está basado en Google Scholar, con
sus limitaciones.
Journal Scholar Metrics (H5)Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Buscar revistas
Journal Scholar Metrics (H5)Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Acceso a Journal Scholar Metrics
Índice H5
Cuartil y posición por categoría
Visibilidad (indexación en BBDD)
Total de citas
Journal Scholar Metrics (H5)Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Buscar por categorías
Desplegar las materias de Arte y Humanidades
Journal Scholar Metrics (H5)Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Ránking del área de Psicología
Desplegar para limitar por país
Journal Scholar Metrics (H5)Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Datos de la revista
Posición
Cuartil
Índice H5
Journal Scholar Metrics (H5)Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones
Web of Science (WoS)
Scopus
Google Scholar Citations
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones
Selección Más
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Acceso a WoS
Selección Búsqueda de autores
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Acceso a WoS
Escribir el nombre del autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Se pueden añadir variantes del nombre Se puede refinar la
búsqueda por área de conocimiento
Seleccionar el área de conocimiento
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Se puede refinar la búsqueda por institución.
Es importante que en las publicaciones, la firma institucional esté escrita de forma adecuada. Ver Instrucciones para la firma científica de la Universidad de Sevilla.
Seleccionar la institución
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Finalizamos la búsqueda
Es importante que en las publicaciones, la firma institucional estéescrita de forma adecuada. Ver Instrucciones para la firmacientífica de la Universidad de Sevilla.
Las agregamos los registros seleccionados a la lista de registros marcados.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Se seleccionan las publicaciones del autorBuscado y…
Veremos el número de publicaciones guardadas en la lista.Hacemos clic aquí para acceder a la lista.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Las publicaciones guardadas aparecen ahora marcadas en naranja.
Para ver las métricas, creamos el informe de citas
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Envía las publicaciones a tu perfil de ResearcherID
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
¡CONSEJO!
Total de publicaciones
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Índice H y promedio de citas Total de citas (en WoS)
En el informe de citas podremos ver: Exportar datos
Total de publicaciones
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
En esa misma página aparecerán todas las publicaciones, con las citas por año, el total de citas y el promedio de citas por año.
Crear alerta de citas
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Cree alertas de citas de sus publicaciones en WoS
¡CONSEJO!
Introducir usuario
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
O registrarse
Cree alertas de citas de sus publicaciones en WoS
¡CONSEJO!
Parámetros de la alerta
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Cree alertas de citas de sus publicaciones en WoS
¡CONSEJO!
Para ver y gestionar las alertas
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Cree alertas de citas de sus publicaciones en WoS
¡CONSEJO!
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Web of Science)
Utilice ResearcherID para obtener métricas sobre sus publicaciones en WoS
Consulte la guía de la Biblioteca sobre ResearcherID
¡CONSEJO!
Selección Búsqueda de autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Acceso a Scopus
Introducimos los apellidos y el nombre del autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Seleccionar el autor para ver sus publicaciones.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Ordenar las publicaciones por citas.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Aquí vemos el total de publicaciones, el total de citas y el índice H
Ver las citas por año y el total de citas de cada publicación
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Podemos seleccionar el rango de años para el que queremos ver las citas
Crear alerta para el autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Cree alertas de citas y nuevas publicaciones en Scopus
¡CONSEJO!
Crear alerta para el autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Cree alertas de citas y nuevas publicaciones en Scopus
¡CONSEJO!
Establecer la alerta
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Cree alertas de citas y nuevas publicaciones en Scopus
¡CONSEJO!
Para ver y gestionar las alertas clicamos en Alerts
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Cree alertas de citas y nuevas publicaciones en Scopus
¡CONSEJO!
Se pueden crear alertas de búsqueda, citas de autor o citas de publicaciones
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Scopus)
Consulte la guía de la Biblioteca sobre Scopus Author ID
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Google Scholar Citations)
Acceso a Google Scholar
Escribir el nombre del autor.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Google Scholar Citations)
Comprobar que los artículos son del autor buscado.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Google Scholar Citations)
Ver el número de citas.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Google Scholar Citations)
Comprobar que las citas provienen de artículos científicos (o en su caso de libros de carácter científico).
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Google Scholar Citations)
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas de las publicaciones (Google Scholar Citations)
Cree un perfil de Google Scholar Citations para conocer sus métricas.
Citas de las publicaciones
Citas totalesÍndice H y H5Índice i10
Consulte la guía de la Biblioteca sobre GSC
Índice Hirsch (Índice H)
Web of Science (WoS) / Researcher ID
Scopus
Google Scholar Citations
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H
Un autor tiene un índice h de “H” cuando “H” desus artículos publicados han recibido “H” citascomo mínimo cada uno, y el resto de sus artículos,han recibido “H” como máximo.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H
• No permite comparar investigadores dediferentes áreas científicas.
• No tiene en cuenta la calidad de lasrevistas en las que se publica.
• Da prioridad a la cantidad sobre la calidadde las publicaciones.
• Autores con una actividad investigadorareciente, tendrán un índice h bajo a pesarde que su trabajo pueda resultar muyrelevante en su área.
Ventajas Limitaciones
• Relaciona la calidad (en funcióndel número de citas recibidas) yla cantidad de la produccióncientífica.
• Puede detectar losinvestigadores destacadosdentro del área.
• Valora un esfuerzo científicoprolongado a lo largo de toda lavida académica
Diez artículos han recibido 10 citas o más.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H
Orden Citas
1 55
2 20
3 11
4 9
5 5
6 2
7 1
8 1
9 0
10 0
11 0
12 0
13 0
… 0
Orden Citas
1 1
Orden Citas
1 0
Orden Citas
1 15
2 11
3 8
4 3
5 0
6 0
7 0
H= 55 artículos han recibido 5 citas o más
H=33 artículos han recibido 3 citas o más
H=11 artículo ha recibido 1 citas o más
H=0No hay citas
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H
Orden Citas
1 30H=11 artículo ha recibido 1 citas o más
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Web of Science)
Ránking Índice H - Ciencias
Ránking Índice H – Ciencias Sociales y Humanidades
El Índice H, por sí mismo, no dice nada. Hay que contrastarlo con el de un grupo.
Selección Más
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Acceso a WoS
Índice H (Web of Science)
Selección Búsqueda de autores
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Acceso a WoS
Índice H (Web of Science)
Escribir el nombre unificado
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Web of Science)
Crear informe de citas
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Web of Science)
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H y promedio de citas
En el informe de citas podremos ver:
Índice H (Web of Science)
Evita la búsqueda guardando tus
publicaciones en ResearcherID
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Web of Science)
Selección Búsqueda de autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Acceso a Scopus
Índice H (Scopus)
Introducimos los apellidos y el nombre del autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Scopus)
Seleccionar el autor para ver sus publicaciones.
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Scopus)
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H
Índice H (Scopus)
Buscar por nombre de autor
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Google Scholar)
Acceso a Google Scholar
Seleccionar el autor
Es imprescindible tener un perfil
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Google Scholar)
El índice H aparece en el gráfico de citas
Medir el impacto científico
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Índice H (Google Scholar)
Otros impactosTendencias en la medición del impacto de la investigación
Otras métricas para otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas Scopus
230
Citas WoS
232
JCR IF
7,6456/79 Q1
SJR
3,73110/248 Q1
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas Scopus
230
Citas WoS
232
JCR IF
7,6456/79 Q1
SJR
3,73110/248 Q1
¿Nos cuentan estos datos toda la historia?
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
42 blogs
84 noticias
104 pp. Facebook
4264 tweeters
39 Wikipedia
195Google+
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
2010… Manifiesto Altmetrics (Priem, Taborelli, Groth y Neylon)
2012… Declaración de San Francisco (Declaration on Research Assessment)
2013… NISO Alternative Assessment Metrics Initiative
2014… Research Excellence Framework
- El peer-review está obsoleto. Es lento y no limita el volumen de la investigación.
- Las herramientas de recuento de citas son insuficientes, lentas, no admiten trabajos que
no sean artículos, ignoran el contexto y no miden otros impactos.
- El FI mide revistas y no puede usarse para evaluar el impacto de un artículo.
- Promueve la eliminación de las métricas basadas en revistas.
- Hay que evaluar la investigación por sí misma y no por la revista en que se publique.
- Hay que aprovechar las oportunidades de la publicación en línea.
- Pretende normalizar las altmetrics y definir sus usos en la evaluación científica.
- También busca definir criterios para la evaluación de documentos distintos a artículos.
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
¿Qué tienen estas iniciativas en común?
1. La forma de evaluar la producción científica no es eficaz.
2. Hay que tener en cuenta no sólo los artículos, sino también otros productos
que resultan de la investigación científica.
3. Estos otros productos crecerán en importancia (gracias a los medios sociales).
4. Las métricas basadas en revistas, como el FI y otros índices similares no
pueden usarse para evaluar el impacto de un artículo, de un investigador o de
una institución.
5. Las tecnologías de la información y la comunicación permiten nuevas formas
de evaluar y medir la ciencia.
6. Es necesario contar con una variada gama de métricas que permitan conocer
mejor el impacto de los resultados de la investigación.
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Otros impactosTendencias en la medición del impacto de la investigación
Algunas reflexiones previas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
1. ¿Puede el Factor de Impacto de una revista hablar del impacto real de un
artículo?
2. ¿Se citan todos los artículos que han influido en los conocimientos y
pensamiento de un autor?
3. ¿Sólo importa el impacto científico?
4. ¿Se debe tener en cuenta cuando una investigación influye en la sociedad o
tiene un impacto mediático trascendente?
5. ¿Existen otros tipos de impacto más allá del concepto tradicional de “impacto
científico?
Conclusiones del Consejo de la Unión Europea sobre la transición a un modelo de Ciencia
abierta (27/05/2016)
• Todos los artículos científicos europeos, o al menos los financiados, en su totalidad o en
parte, con fondos públicos, en Acceso Abierto en el año 2020.
• Estudiar el uso de métricas alternativas.
• Adaptación de los sistemas de retribución y evaluación.
“La evaluación de la calidad científica, además de basarse en la propia labor científica, debe
ampliarse para medir también la influencia de la ciencia en la sociedad en su conjunto, en
lugar de poner el énfasis, como ocurre actualmente, en una serie de indicadores basados
en la repercusión de las revistas especializadas y el número de citas de las publicaciones”.
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Research Excellence Framework (REF)
Nuevo modelo de evaluación de la calidad de la investigación del Reino Unido.
Se evalúan diferentes tipos de impacto: político, tecnológico, económico, cultural, legal, social, medioambiental...
Casos de estudio en impacto cultural.
Otros impactosTendencias en la medición del impacto de la investigación
Biblioteca Ciencias de la Educación. Universidad de Sevilla
¿Qué son?
Otros impactosAltmetrics: las otras métricas
http://guiasbus.us.es/altmetrics
• Conjunto de indicadores basados en
herramientas de la web social.
• Complementan a las métricas tradicionales.
• Miden otros productos de investigación, más allá
de los artículos.
• Miden otros impactos de la investigación que no
miden las métricas tradicionales.
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Número de lectores, número de visitas, interacción con otros usuarios, cuánto se ha compartido en redes sociales…
Referidas a una aportación concreta o a las aportaciones de un autor (a diferencia del FI, que se refiere al valor de la revista )
Mayor rapidez en su actualización
Obtenidas del impacto individual del autor o el documento en una comunidad determinada
Altmetrics vs. Métricas tradicionales
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
1. Diversidad: muestran datos sobre otro tipo de resultados de investigación, como conjuntos de datos,
presentaciones, software, patentes, monografías, etc.
2. Otros impactos: no sólo ofrecen información sobre el impacto académico y científico, sino también en
otras audiencias y tipos de impacto: social, económico, medioambiental, cultural, etc.
3. Ampliación del impacto: amplían la imagen del impacto de una investigación, con datos más allá de las
propias citas.
4. Métricas a nivel de artículo: miden el impacto del artículo o resultado de investigación, no solo de la
revista que lo contiene.
5. Inmediatez de los datos: ofrecen información desde el mismo momento de la publicación e incluso antes.
6. Contexto: permiten visualizar la acogida de un producto de investigación y la respuesta inmediata del
autor.
7. Visibilidad: permiten realizar el seguimiento de la difusión de los resultados de investigación y tomar
decisiones para obtener mayor visibilidad e impacto.
Ventajas
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
1. Falta de normalización: presentan problemas de normalización tanto para su recopilación como para su
uso en la evaluación científica.
2. No están reguladas: al tratarse de herramientas poco controladas, pueden dar lugar a la manipulación y
falsificación.
3. Fiabilidad: no está tan claro que sirvan para medir la calidad científica.
4. Tiempo y dificultad: hacer un seguimiento de las altmetricas puede ser difícil y llevar mucho tiempo si no
se utiliza un proveedor de datos altmétricos.
5. Saturación: existen muchas medidas y proveedores diferentes, por lo que puede ser difícil determinar
cuáles son las más relevantes para la evaluación científica.
6. Aceptación: aunque se empiezan a tener en cuenta como medidas complementarias de evaluación, en
España evaluadores y organismos de financiación aún no las están teniendo en cuenta.
7. Contexto: el uso de las aplicaciones de la web social puede variar según la disciplina, la ubicación
geográfica o a lo largo del tiempo, haciendo difícil interpretarlas.
8. Falta de correlación: no se ha podido demostrar que exista una correlación clara entre las citas recibidas
por un trabajo y las altmetrics cosechadas, aunque esto varía según las fuentes.
Limitaciones
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Fuente
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Fuentes de datos
Noticias
• Más de 1,300 páginas
• Lista seleccionada
manualmente
• Minería de textos
• Cobertura global
Medios sociales y
blogs
• Twitter, Facebook,
Google+, Sina Weibo
• Sólo posts públicos
• Lista seleccionada
manualmente
Gestores de
referencias
• Mendeley, CiteULike
• Recuento de lectores
• No se tienen en cuenta
para el AAS.
Otras fuentes
• Wikipedia
• YouTube
• F1000
• Q&A
Redes de revisión
por pares
• Publons
• PubPeer
Documentos
oficiales
• NICE Evidence
• Intergovernmental
Panel on Climate
Change
• Muchos más…
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Fuente:
3
8
5
1
3
0,25
1
3
0,5
0,5
0,25
1
0.25
0,25
0,25
Fuentes de los datos
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
https://www.altmetric.com/about-altmetrics/our-sources/news/
Fuentes de obtención de noticias en
Entre otros…
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Cómo medir otros impactos: • IdUS
• Scopus
• Altmetric
• ImpactStory
• Kudos
Otros impactosAltmetrics: las otras métricas
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Descargas del fichero
Visitas mensuales al documento
Total visitas al documento
Visitas al documento por país
Visitas al documento por ciudad
Estadísticas de uso en idUS
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Datos altmétricos (Altmetric.com)
Citas en Google Scholar
Número de citas en WoS
Estadísticas de uso en idUS
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Ya en
Número de citas en Scopus
Scopus Article Level Metrics
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Scopus Article Level Metrics
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Datos de uso
Gestores de referencias
Menciones en noticias y blogs
Datos de medios sociales
Citas
Scopus Article Level Metrics
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Citas en Scopus
Datos altmétricos
Percentil en su categoría
https://www.altmetric.com/products/free-tools/bookmarklet/
Marcador Altmetric
Se instala en la barra de marcadores del navegador.
Detecta automáticamente un DOI en la página y presenta las altmétricas para ese artículo.
Permite generar alertas para conocer cambios en las métricas del artículo.
Altmetric.com
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Marcador Altmetric
Permite medir cualquier artículo con DOI en una Web.
Altmetric.com
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Marcador Altmetric
El donut de Altmetricmarca la fuente de las altmétricas obtenidas y el peso otorgado a su conjunto.
Altmetric.com
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
El score marca el impacto detectado en la Web social.
También marca el percentil en el conjunto de artículos puntuados por Altmetric.
Marcador Altmetric
Altmetric.com
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
El número de lectores de Mendeley está separado. Suponen impacto académico.
Marcador Altmetric
Altmetric.com
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Crear alertas
Marcador Altmetric
Altmetric.com
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Marcador Altmetric
Crear alertas
Altmetric.com
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
ImpactStory
ImpactStory
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
ImpactStory
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
ImpactStory
ImpactStory
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
ImpactStory
Kudos
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Kudos
Kudos
Kudos
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Kudos
Kudos
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Kudos
Kudos
Otros impactos
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Gracias.
Biblioteca Ciencias de la Educación. Universidad de Sevilla
Por favor, ayúdenos tomándose unos segundos para rellenar
esta encuesta de satisfacción
Gracias.
Imágenes con licencia CC0 obtenidas de http://www.publicdomainpictures.net/
Se permite cualquier explotación de la obra,incluyendo una finalidad comercial, así como la creación de obrasderivadas, la distribución de las cuales también está permitidasin ninguna restricción.
Más información:
Víctor M. Moya-Orozco
@vicmoyoro