Los sistemas nacionales de evaluación de publicaciones de Humanidades y Ciencias Sociales:

Juzgar la actividad científica con el todo y no con la parte

V Jornada de la Facultad de Letras sobre Calidad La evaluación de la producción científica en Artes, Humanidades, Ciencias Sociales y Jurídicas

Universidad del País Vasco, 15 de noviembre de 2012

Artículos en revistas

internacionales Artículos en

revistas nacionales

Libros

Congresos

En español

En inglés

CIENCIAS JURÍDICAS

Juristas

FILOLOGÍA

Filólogos

COMUNICACIÓN

Periodistas

Los criterios de evaluación para CSH son hoy mucho más

precisos Además existen más fuentes de información que aportan

indicadores para evaluar las publicaciones en CSH

…. pero se sigue priorizando WoS (y Scopus) como fuentes para la

evaluación

96 214

100

1526

0

200

400

600

800

1000

1200

1400

1600

1800

WOS ERIH SCOPUS NON COVERED (WOS/ ERIH/

SCOPUS)

Campo 10. Historia y Expresión Artística

Desarrollamos sistemas de evaluación de revistas y editoriales en CSH. Aportan una gran variedad de indicadores indirectos de calidad para revistas en CSH Están pensados para guiar, objetivar y simplificar el trabajo de los evaluadores, pero

también como apoyo a autores y editores Una de las líneas de trabajo de nuestra investigación básica es caracterizar la investigación

en CSH, ofreciendo evidencias científicas de los patrones de comunicación científica y proponiendo esquemas de evaluación que deberían llevar aparejados

Otros grupos europeos, latinoamericanos, asiáticos también desarrollan sistemas ad hoc: las limitaciones de las bases de datos internacionales son evidentes para todos.

Ejemplo: producción científica 2010. Historia cultural del conocimiento (CCHS/CSIC)

Con diversos indicadores

bien elaborados (y reproducibles)

Consultando distintas fuentes

nacionales e internacionales

Con indicadores

para todas las revistas, no

solo para una selección

Las evaluaciones basadas únicamente en datos de Wos o Scopus ofrecen un retrato muy

limitado de la realidad, especialmente para Humanidades y Ciencias Sociales

El libro es consustancial a la naturaleza de estas disciplinas

Publicar libros no es una opción caprichosa

La evaluación de las CSH no debe realizarse conforme a los patrones de comunicación de otras disciplinas

Es necesario dar el peso adecuado a los libros en los procesos de evaluación

Prestigio de la editorial

Editores Colecciones

Reseñas en revistas

Revisión por expertos de los

originales

Traducciones a otros idiomas

Trabajos de investigación

original

Difusión en bases de datos, catálogos, etc.

Citas

¿Cómo definirlo? ¿Qué editoriales son

consideradas ”prestigiosas”?

¿Cómo se puede objetivar este

indicador?

Encuesta a expertos Dirigida a especialistas (11.000) con un tramo de

investigación reconocido

Identificar indicadores de calidad relevantes para los investigadores

Identificar las editoriales españolas y extranjeras más “prestigiosas”

Conocer el proceso editorial (autores-editores)

3045 respuestas (27%) Área de conocimiento Total profesores consultados

Nº respuestas

Tasa de respuesta

Filología Eslava 7 5 71,43Didáctica de la Expresión Corporal 16 9 56,25Biblioteconomía y Documentación 92 41 44,57Arqueología 93 41 44,09Didáctica de la Matemática 43 18 41,86Historia de la Ciencia 70 29 41,43Antropología social 118 48 40,68Lingüística Indoeuropea 8 3 37,50Teoría e Historia de la Educación 174 64 36,78Didáctica de la Lengua y la Literatura 60 22 36,67Didáctica de las Ciencias Sociales 33 12 36,36Traducción e Interpretación 88 32 36,36Didáctica de la Expresión Plástica 17 6 35,29Derecho Internacional Público y Relaciones Internacionales 124 43 34,68Filología Griega 149 51 34,23Didáctica de la Expresión Musical 9 3 33,33Didáctica y organización escolar 165 55 33,33Filología Vasca 24 8 33,33Derecho Eclesiástico del Estado 71 23 32,39Filología Alemana 68 22 32,35Geografía Humana 157 50 31,85

1499

2452

1417

1370

2018

435

2314

1629

455

1188

974

1071

1891

2145

1949

872

264

1334

272

1479

1638

1567

914

0 500 1000 1500 2000 2500 3000

El sistema de evaluación de originales mediante revisores:

Comités de lectura especializados

Revisores externos

Información sobre del proceso de selección de originales

La especialización temática de la editorial:

Editorial especializada

Editorial con colecciones especializadas

Cantidad de publicaciones sobre la materia

El prestigio de la editorial:

Trayectoria continuada de la editorial

Reseñas positivas en las mejores revistas del área

Número de títulos y tirada de cada uno de ellos

Editor de relevancia en la colección o en la editorial

Coordinador de la obra

Consideración ante las agencias de evaluación

El sistema de difusión y distribución de la editorial:

Presencia en librerías especializadas nac./extr.

Presencia en bibliotecas especializadas nac./extr.

Presencia en bases de datos internacionales

Traducciones en distintos idiomas

Marketing editorial

Proyección internacional de la editorial

Que la editorial coedite

La calidad de las ediciones de la editorial:

Presentación formal

Estructura adecuada

Índices de autores, temas, onomásticos, etc.

Oferta en formato de libro electrónico

Indicador propuesto ocasionalmente En principio, poco adecuado para la dinámica de las CSH Faltan herramientas de medición de citas o son limitadas Estas limitaciones están siendo identificadas por los mismos

bibliómetras (Loet Leydesdorff i and Ulrike Felt, 2012) “Because English is the universal language of science at this time,

Thomson Reuters will focus on books that publish full text in English” (Testa, 2010)

SUBJECT AREA (February 2012) COVERAGE Social & Behavioral Sciences 34%Arts & Humanities 18%Physics/Chemistry 10%Engineering/Computing/Technology 14%Clinical Medicine 8%Life Sciences 10%Agriculture/Biology 6%

Book Citation Index Google Scholar

Cobertura amplia pero heterogénea Duplicados

¿Cómo calcularlo?

Indicador de Calidad según Expertos (ICEE)

▪ Número de “votos” total para cada editorial

▪ Número de votos en 1ª, 2ª y 3ª posición

▪ Peso específico para cada editorial en función de ambas informaciones

Los especialistas señalaron

450 editoriales españolas

Más de 700 editoriales extranjeras

http://epuc.cchs.csic.es/SPI

http://epuc.cchs.csic.es/SPI

• Factor tiempo • Priorización de fuentes que no

son adecuadas para CSH • Uso inadecuado de los

indicadores de calidad • Aplicación automática de los

indicadores • Cada herramienta de

evaluación tiene sus propios objetivos. Los resultados no son comparables

• Cada agencia e institución utiliza sus propios criterios de evaluación

EVALUADORES

• No hay consensos en la defensa de un modelo de evaluación

• Son frecuentes las posturas nihilistas. Rechazo a cualquier modo de evaluación.

• Proliferan las nuevas revistas.

• Cada herramienta de evaluación tiene sus propios objetivos. Los resultados no son comparables

INVESTIGADORES

• Demasiadas herramientas de evaluación que confunden a autores, evaluadores y editores

• También tenemos nuestras “escuelas de pensamiento”

• Financiación /Sostenibilidad

• Comparabilidad en el ámbito internacional

INVESTIGADORES

BIBLIÓMETRAS

Cambiar los modos de comunicación consustanciales a las CSH. No debemos renunciar a publicar para nuestros lectores naturales, a la diversidad lingüística y temática. Es necesario buscar el equilibrio en las publicaciones.

Que se infravaloren buenas revistas … no incluidas en WoS. Inversión millonaria (4,5 millones de euros) en bases de datos que se

solapan Que desaparezcan los sistemas de evaluación de revistas de ámbito

nacional –desarrollados por grupos independientes- por falta de recursos Que no consensuemos y defendamos mínimamente un modelo de

evaluación Que los editores “vendan” sus revistas a los grandes grupos editoriales Confundir diferencias con excepcionalidad Obviar la exigencia creciente en evaluación Frenar la proyección y el potencial de nuestra investigación

Inclusión de criterios específicos para CSH en las agencias de evaluación

Protección del capítulo SSH en el Horizon 2020 Open Letter to the European Commissioner for Research and

Innovation: http://www.eash.eu/openletter2011/ Retractación del gobierno australiano (RAE) Manifiestos. Ej. Journals under threat, Colegio de México,

Filología Románica, etc. The cost of knowledge: http://thecostofknowledge.com/