![Page 1: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/1.jpg)
Elea Giménez Toledo [email protected]
Grupo de inves9gación de evaluación de publicaciones cien<ficas (EPUC) hCp://epuc.cchs.csic.es/
Centro de Ciencias Humanas y Sociales (CCHS) Consejo Superior de Inves9gaciones Cien<ficas (CSIC)
Universidad de Costa Rica San José, 20 de marzo de 2013
![Page 2: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/2.jpg)
![Page 3: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/3.jpg)
Entorno exigente y competitivo Necesidad de marcar y cumplir objetivos. Rendición de cuentas.
Proyectar al máximo la investigación realizada Ante la necesidad de evaluar:
Defender las formas de comunicación de las HCS Autocrítica
![Page 4: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/4.jpg)
![Page 5: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/5.jpg)
Libros y capítulos de libros como
canal privilegiado de comunicación
científica
Mayor relevancia de la revista
científica nacional
Carácter local y regional de los
temas de investigación
Internacionalidad de la investigación condicionada por
los temas de investigación
![Page 6: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/6.jpg)
El 75% en Literatura inglesa (Heinzkill, 1980). El 66% en Wolfe Thomson, 2002
el 82% en Literatura (Stern, 1983) el 65% en Historia de la Ciencia (McCain, 1987) El 70% en Filosofía (Cullars, 1992) Una media del 60% en un conjunto de áreas (Broadus, 1971;
Nederhof, 1995; Cullars, 1998; Glänzel and Schoepflin, 1999)
Más del 70% en revistas españolas de Historia contemporánea (Sanz Casado et al., 2002)
Más del 71% de citas a otros documentos en el conjunto de revistas españolas (RESH. EPUC. CSIC. 2004)
![Page 7: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/7.jpg)
![Page 8: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/8.jpg)
1. Falta de tradición en la evaluación de las HCS
![Page 9: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/9.jpg)
• Diferencia y exigencia vs excepcionalidad
2. Patrones
de evaluación distintivos
![Page 10: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/10.jpg)
3.Necesaria variedad de fuentes y utilización de indicadores relevantes
![Page 11: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/11.jpg)
96 214
100
1526
0
200
400
600
800
1000
1200
1400
1600
1800
WOS ERIH SCOPUS NON COVERED (WOS/ ERIH/ SCOPUS)
![Page 12: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/12.jpg)
Ejemplo: producción científica 2010. Línea de investigación CCHS/CSIC
![Page 13: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/13.jpg)
![Page 14: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/14.jpg)
![Page 15: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/15.jpg)
![Page 16: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/16.jpg)
4. La evaluación del contenido /peer review no
es la panacea
![Page 17: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/17.jpg)
5. Los libros son el pilar fundamental de la
comunicación científica en HCS
![Page 18: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/18.jpg)
El libro es consustancial a la naturaleza de estas disciplinas
Publicar libros no es una opción caprichosa
Es necesario dar el peso adecuado a los libros en los procesos de evaluación
![Page 19: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/19.jpg)
![Page 20: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/20.jpg)
Prestigio de la editorial
Editores Colecciones
Reseñas en revistas
Revisión por expertos de los
originales
Traducciones a otros idiomas
Trabajos de investigación
original
Difusión en bases de datos, catálogos, etc.
Citas
![Page 21: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/21.jpg)
¿Cómo definirlo? ¿Qué editoriales son
consideradas ”prestigiosas”?
¿Cómo se puede objetivar este indicador?
![Page 22: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/22.jpg)
Encuesta a expertos
Dirigida a especialistas (11.000) con un tramo de investigación reconocido
Identificar indicadores de calidad relevantes para los investigadores
Identificar las editoriales españolas y extranjeras más “prestigiosas”
Conocer el proceso editorial (autores-‐editores)
![Page 23: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/23.jpg)
Indicador propuesto ocasionalmente En principio, poco adecuado para la dinámica de las CSH Faltan herramientas de medición de citas o son limitadas
Estas limitaciones están siendo identificadas por los mismos bibliómetras (Loet Leydesdorff i and Ulrike Felt, 2012)
“Because English is the universal language of science at this time, Thomson Reuters will focus on books that publish full text in English” (Testa, 2010)
SUBJECT AREA (February 2012) COVERAGE Social & Behavioral Sciences 34%Arts & Humanities 18%Physics/Chemistry 10%Engineering/Computing/Technology 14%Clinical Medicine 8%Life Sciences 10%Agriculture/Biology 6%
Book Cita9on Index Google Scholar
Cobertura amplia pero heterogénea Duplicados
![Page 24: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/24.jpg)
http://epuc.cchs.csic.es/SPI
![Page 25: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/25.jpg)
http://epuc.cchs.csic.es/SPI
![Page 26: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/26.jpg)
![Page 27: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/27.jpg)
Con diversos indicadores
bien elaborados (y reproducibles)
Consultando distintas fuentes
nacionales e internacionales
Con indicadores para todas las revistas, no solo para una selección
Las evaluaciones basadas únicamente en datos de Wos o Scopus ofrecen un retrato muy limitado de la realidad, especialmente para
Humanidades y Ciencias Sociales
![Page 28: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/28.jpg)
Un peso adecuado para cada tipo de publicación en función de la disciplina
Combinación equilibrada de indicadores
bibliométricos con peer review
Búsqueda de entendimiento y consenso entre evaluadores y evaluados
![Page 29: elea.gimenez@cchs.csic.es% Grupo%de%inves9gación%de ...revistas.ucr.ac.cr/docs/Evaluacion_HCS.pdf · editorial! Editores! Colecciones Reseñas!en! revistas! Revisión!por expertos!de!los!](https://reader033.vdocumento.com/reader033/viewer/2022042208/5eac19d89838cb63633646d8/html5/thumbnails/29.jpg)