emilio delgado lopez cozar cómo utilizar los indicadores bibliometricos para las solicitudes de...

Cómo utilizar los indicadores bibliométricos para la solicitud de sexenios

y acreditaciones

Evaristo Jiménez ContrerasEmilio Delgado López-Cózar

Universidad de Granada

Facultad de MedicinaUniversidad de Granada

Granada, 2 de diciembre de 2011

presentación

http://ec3.ugr.es

Evaristo Jiménez ContrerasEvaristo Jiménez ContrerasEmilio Delgado López-Emilio Delgado López-

CózarCózar

Universidad de GranadaUniversidad de Granada

Filosofía y criterios generales

Para entender los criterios que se utilizan es conveniente no olvidar los fundamentos de las evaluaciones de la actividad investigadora

Filosofía y objetivos en que se fundamentan las evaluaciones y los Filosofía y objetivos en que se fundamentan las evaluaciones y los criterios de evaluacióncriterios de evaluación

FIL

OS

OFÍA

DE L

A E

VA

LU

AC

IÓN

El sistema planteado se inspira en la tradición académica de la evaluación por pares: comisiones de expertos y requerimiento de informes a especialistas en la disciplina de cada candidato

Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de objetivación formal

Difusión e Internacionalización de la ciencia española

Evaluación sobre resultados de investigación. Publicaciones

ANECAANECA

Es el organismo encargado de evaluar la actividad docente e investigadora y la formación académica de los aspirantes a una plaza de profesorado universitario contratado (profesor contratado doctor, profesor ayudante doctor, profesor colaborador y profesor de universidad privada) así como acreditar a los profesores que deseen acceder a los cuerpos de funcionarios docentes (Profesores Titulares, Catedráticos).

Su función, por tanto, es certificar que todos aquellos que se incorporen a la universidad cumplen una serie de requisitos en las diferentes facetas que conlleva la actividad universitaria como son:

a) la investigaciónb) la actividad docente o profesional c) la experiencia en gestiónd) la formación académica

ANECAComisionesArtes y Humanidades

CCSS y JurídicasCiencias de la Salud

CienciasIngeniería y Arquitectura

10 VOCALES

INFORMES FINALES

2Evaluadores

Solicitantes

Informes de expertos

Selección de expertos

Proceso de evaluación

1.500 evaluadores

Una evaluación integral de la actividad académicaUna evaluación integral de la actividad académica

Peso de la Actividad Investigadora en el conjunto curricularPeso de la Actividad Investigadora en el conjunto curricular

En la evaluación curricular personal el peso de la Actividad Investigadora es decisivo

ANECA. Peso de las publicaciones por campo científico y categoría ANECA. Peso de las publicaciones por campo científico y categoría profesional profesional

Humanidades

Experimentales y Ciencias Salud

Técnicas

Ciencias Sociales

Se requiere que el solicitante acredite actividad investigadora intensa, de calidad internacional (CU) o de relevancia en su

especialidad (TU), reflejada en publicaciones, patentes, actividades de transferencia tecnológica o trabajos de innovación,

avance o de impacto económico-social

Se considera necesario que el solicitante se haya iniciado (TU) o

tenga consolidado (CU) un papel de liderazgo en los trabajos realizados y en la dirección de proyectos de investigación o

contratos con empresas y organismos públicos

Ojo: nos anuncia la importancia en posición de firma y la figura del IP

Perfil general Curriculum Vitae Perfil general Curriculum Vitae

ANECA clasifica en dos bloques:

Revistas Indexadas o con Índice de Calidad Relativo

Revistas no Indexadas o sin Índice de Calidad Relativo

ANECA. Criterios generales para publicaciones en RevistasANECA. Criterios generales para publicaciones en Revistas

PREFERENCIA POR:

ANECA. Ciencias Sociales. Artículos Revistas NO ICRANECA. Ciencias Sociales. Artículos Revistas NO ICRR

EV

ISTA

S Í

ND

EX

AD

AS

SIN

IC

R

CRITERIOS QUE DEBEN CUMPLIR

Identifica los miembros de los Comités Editoriales y Científicos

Cuenta con Instrucciones a Autores detalladas

Traduce el Sumario de cada número al inglés así como el título de los artículos, las palabras clave y los resúmenes

Informa sobre el proceso que emplea para la evaluación y selección de manuscritos

Declara la periodicidad y la cumple

Utiliza el arbitraje científico en la evaluación de originales y lo cumple

Declara emplear doble anonimato en la revisión externa y lo cumple

Comunica a los autores la decisión editorial de forma motivada

Porcentaje y tasa de aceptación de artículos de investigación

Cuenta con un Consejo de Redacción efectivo

Cuenta con un Consejo Asesor efectivo

Inclusión en bases de datos bibliográficas

DONDE LOS ENCUENTRO: PARCIALMENTE EN DICE, LATINDEX, ULRICH`S

Libros y capítulos de libro de carácter científico e investigación, publicados en editoriales de prestigio nacional o internacional

Ediciones o traducciones anotadas

Reseñas bibliográficas; Prólogos (estudios preliminares)

Ediciones de las tesis se valoran como libros monográficos solo si han sido publicadas en editoriales de prestigio

Preferentemente: libros con ISBN publicados en editoriales especializadas de reconocido prestigio que garanticen un riguroso

proceso de selección y evaluación

Excluidos: libros de texto y manuales (2.B.2. Publicaciones docentes)

>Ciencias Sociales, especialmente en algunos ámbitos (que no se citan) estas publicaciones se unen a las del apartado 1.A.1

pudiéndose dar una valoración global a ambos apartados

ANECA. Ciencias SocialesANECA. Ciencias Sociales. Libros 1.A.3P

UB

LIC

AC

ION

ES

LIB

RO

S

Como congresos publicados (Actas de congresos internacionales) asimilables a publicaciones en revistas científicas 1.A.1

Ciencias Sociales: No se contemplan ni pueden suplir carencias en 1.A.1

Como congresos publicados (Actas de congresos) asimilables a capítulos de libro 1.A.3

En todas las áreas de conocimiento, y por tanto en C. Sociales, se podrán valorar en 1.A.3 trabajos en congresos organizados por asociaciones

internacionales o nacionales de periodicidad fija, que publican regularmente las contribuciones completas, seleccionadas previamente mediante

evaluación externa y que tengan asignado un ISBN

ANECA. Ciencias Sociales.ANECA. Ciencias Sociales. CongresosP

UB

LIC

AC

ION

ES

CO

NG

RES

OS

Como Ponencias, Comunicaciones, Proceedings en Congresos, Conferencias, Seminarios: 1.A.5 y 1.A.6

En todas las áreas de conocimiento, se valorar en este apartado los de carácter internacional (o nacionales de especial relevancia en su

ámbito), que incluyan revisión por pares y con la antigüedad y periodicidad suficiente para ser referentes en su ámbito de

conocimiento

Valoración de las aportaciones:

Preferentemente las presentadas en los plenarios y por invitación

Se tiene en cuenta el número de autores y la exposición por el solicitante (primer firmante)

Para obtener puntuación máxima (5p): mínimo de 5 (TU) y 10 (CU)

ANECA. Ciencias Sociales.ANECA. Ciencias Sociales. CongresosP

UB

LIC

AC

ION

ES

CO

NG

RES

OS

Participación como IP o como investigador en Proyectos de programas competitivos de la UE u otros organismos

internacionales, Planes Nacionales, Autonómicos y de otros organismos públicos y privados

Requisitos: obtenidos en convocatorias competitivas, sometidos a Requisitos: obtenidos en convocatorias competitivas, sometidos a evaluación externa por agencias nacionales o internacionalesevaluación externa por agencias nacionales o internacionales como como

la ANEP o similar la ANEP o similar

Participación como IP o como investigador en Contratos de investigación con la Administración Pública, instituciones o

empresas, siempre que generen conocimiento (si no a 1.C.2 transferencia al sector productivo)

Otros méritos asociados a los proyectos y contratos: pertenencia a redes internacionales, publicaciones especializadas derivadas y

autoría en informes técnicos asociados a contratos

La participación como IP en Proyectos de relevancia se valora La participación como IP en Proyectos de relevancia se valora adicionalmente también como mérito de gestión en 4.C (TU) 3.C adicionalmente también como mérito de gestión en 4.C (TU) 3.C

(CU)(CU)

ANECA. Ciencias Sociales. Proyectos y Contratos Investigación. 1.B.1P

RO

YEC

TO

R Y

CO

NTR

ATO

S

Patentes y productos con RPI

Especialmente valorada en ámbitos tecnológicos en los que esta actividad es significativa

Patentes nacionales o internacionales en explotación o con contrato de cesión o licencia

Patentes solicitadas que hayan superado alguna fase de valoración

Productos con RPI (obras artísticas, técnicas, programas informáticos

Transferencia de conocimiento al sector productivo

Actividades innovadoras de transferencia de conocimiento o tecnología, informes, desarrollo de sofware en explotación,

colaboración con empresas

Cursos y seminarios impartidos en empresas y organismos públicos asociados a transferencia de resultados o a formación de

personal cualificado

ANECA. Ciencias Sociales.ANECA. Ciencias Sociales. Transferencia de Resultados de Investigación. 1.CTR

AN

SFER

EN

CIA

DE R

ES

ULTA

DO

S

Movilidad

Estancias media/larga (superiores a 1 mes) en centros de investigación de prestigio

Becas y ayudas o contratos obtenidos en convocatorias competitivas para realizar estancias

Otros meritos Actividad Investigadora

Evaluador (Peer) de artículos para revistas JCR o equivalentes

Evaluador de proyectos (ANEP o similares)

Pertenencia a comisiones de selección de solicitudes de movilidad

OJO. Pertenencia a Consejos editoriales revista JCR o equivalentes en méritos de gestión 3.C (CU), 4.C (TU)

ANECA. Ciencias Sociales.ANECA. Ciencias Sociales. Movilidad 1.D. Otros méritos de la actividad Investigadora 1.E

TR

AN

SFER

EN

CIA

DE R

ES

ULTA

DO

S

El proceso administrativo y evaluativo

En los ámbitos científicos de orientación básica (Ciencias y Ciencias de la

Salud) se consideran especialmente las publicaciones en revistas de reconocido prestigio

En ámbitos más aplicados como Tecnología, Ingenierías y Arquitectura se consideran de especial relevancia el desarrollo de publicaciones en

revistas de reconocido prestigio, patentes y actividades de

transferencia de tecnología, así como creaciones artísticas y profesionales innovadoras

En los ámbitos de Ciencias Sociales y Jurídicas se valoran especialmente las publicaciones en revistas y libros de prestigio

En los ámbitos de Arte y Humanidades, se valoran especialmente las publicaciones en revistas y libros de prestigio, así como creaciones artísticas

y profesionales innovadoras

Los criterios de evaluación. Los criterios de evaluación.

Ponderaciones por áreas de conocimientoPonderaciones por áreas de conocimiento

Indicios de calidad de las aportaciones. Principios generales

Contribución al progreso del conocimiento, innovación o creatividad

Se priman trabajos científicos e innovadores

Participación relevante en los trabajos que dieron origen a las aportaciones >Ojo: participación y orden de firma

Relevancia científica del medio de difusión en que se publica la aportación >Ojo: JCR Impacto, posiciones

Premios y distinciones recibidas >Ojo para creaciones artísticas

Referencia que otros autores hacen y que sean indicativos de relevancia. Ojo, se refiere a las citas

Apreciaciones del propio interesado sobre las aportaciones de su trabajo al progreso del conocimiento. En publicaciones colectivas (coautorías)

mencionar la contribución del solicitante

Reseñas en revistas especializadas

En patentes: datos de explotación económica

CNEAI. Indicios de calidadCNEAI. Indicios de calidadC

RIT

ER

IOS

DE E

VA

LU

AC

IÓN

Índice de Impacto> Factor de Impacto JCR

Posición de la Revista en el conjunto de las incluidas en su categoría JCR >Ojo: posiciones

Número de autores y posición que ocupa entre ellos el solicitante. Se tiene en cuenta el número, reduciendo el valor de la publicación cuando este sea

superior a la media en la especialidad >Ojo: participación y orden de firma

Valoración positiva de la regularidad en la producción científica, especialmente trabajos de la etapa posdoctoral 5-10 últimos años

Premios y distinciones recibidas >Ojo para creaciones artísticas

Referencia que otros autores hacen, en trabajos publicados, y que sean indicativos de relevancia >Ojo, se refiere a las citas

ANECA. Indicios de calidad. Principios generalesANECA. Indicios de calidad. Principios generalesC

RIT

ER

IOS

DE E

VA

LU

AC

IÓN

La cuestión de la autoría de los trabajos

LA AUTORÍA. CNEAI-ANECA¿Qué dice CNEAI de la autoría?

LA AUTORÍA. CNEAI-ANECA¿Qué dice la ANECA sobre autoría?

El número de autores se tiene en cuenta y

El orden de firma importa

Para la valoración de las publicaciones científicas se atiende, entre otros, a los siguientes factores: el número de autores y, cuando sea relevante, la posición que ocupa entre ellos el solicitante. En general, se tiene en cuenta el número de autores, reduciendo el valor de cada publicación cuando el número de autores sea superior a la media en la especialidad.

LA AUTORÍA. CNEAI-ANECA ¿Cuál debe ser el número de autores?

Categoría Categoría

Agricultura 44 Matemáticas 22

Ciencias de la Alimentación 44 Ing. Mecánica, naval, … 33

Ingeniería Civil y Arquitectura 33 Medicina 55

Ciencias Computación / Informática

33 Bioquímica y Biología Molecular 55

Ciencias Sociales 2/32/3 Psicología 33

Derecho 22 Química 44

Economía 2/32/3 Comunicaciones 33

Ing. Eléctrica y Electrónica 44

Farmacia y Farmacología 55

Filosofía, Filología 11

Ganadería y Pesca 55

Historia 11

Ciencias materiales 55

Número de autores (aprox.) en trabajos en revistas Web of ScienceNúmero de autores (aprox.) en trabajos en revistas Web of Science(Principalmente internacionales y anglosajonas)(Principalmente internacionales y anglosajonas)

¿Cuántas publicaciones?

ANECA. ANECA. Número de publicaciones para obtener la puntuación máxima

La búsqueda de los indicios de calidad

Indicios de calidad librosCNEAI, ANECA, ANEP

Criterios CNEAI ANECA

ANEP

Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se

publica la obra CCSS

Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que

trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1

Traducciones de la propia obra a otras lenguas PCD

Inclusión en bibliografías independientes del autor y su entorno

Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias

Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)

JURID.

Obras de referencia imprescindibles en los estudios grado y postgrado

HUM

Poseer ISBN (imprescindible)

Indicios de calidad de los libros¿Dónde y cómo buscarlos?

• Número de citas generadas– Web of Science: Todas las disciplinas– Scopus: Especialmente las científico-técnicas– Google Scholar/Books: Todas las disciplinas. Especialmente

útil en Ciencias Sociales, Humanidades, Ingenierías

• Prestigio de la editorial o de los editores– No existe ninguna herramienta para buscar este indicio

• Reseñas en las revistas científicas especializadas– Bases de datos de la especialidad: Medline, Sociological

Abstracts, MLA, Historical Abstracts…. En España: DIALNET y bases de datos del CSIC– Bases de datos multidisciplinares: Scopus y Web of Science– Google: Ojo no en Google Scholar

• Riguroso proceso de selección y evaluación de originales– Documentos internos de la propia editorial (publicados en la

red o no)

Indicios de calidad de las revistas¿Dónde y cómo buscarlos?

• Factor de impacto de la revista

• Número de citas de un artículo• Bases de datos en las que figura una

revista• Satisfacer criterios de calidad editorial

Aprendiendo a manejar el factor de impacto

LA AUTORÍA. CNEAI-ANECAÍndices de Impacto¿Qué productos ofrecen Índices de Impacto¿Qué productos ofrecen Índices de Impacto

PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO CoberturaCobertura

MultidisciplinarMultidisciplinar MundialMundial 1987-1987-

Scimago Journal Scimago Journal RankRank

MultidisciplinarMultidisciplinar MundialMundial 1999-1999-

LA AUTORÍA. CNEAI-ANECAEl Universo Thomson

WEB OF SCIENCEWEB OF SCIENCEWEB OF SCIENCEWEB OF SCIENCE

SCISCIScience Science Citation Citation

IndexIndex

(7858)(7858)

SSCISSCISocial Science Social Science Citation IndexCitation Index

(2553)(2553)

A&HCIA&HCIArt & Art &

Humanities Humanities Citation IndexCitation Index

(1462)(1462)

WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)

JCRJCRJournal Journal

Citation Citation ReportsReports

ESIESIEssential Essential ScienceScience

IndicatorsIndicatorsImpactImpactFactorFactor(8200)

• ¿Qué año tomar para justificar el impacto del trabajo?• ¿Dónde encontrar los JCR anteriores a 2000?• ¿Qué categoría temática elegir?

Aprendiendo a usar el Factor de Impacto Aprendiendo a usar el Factor de Impacto

El Journal Citation ReportsEl Journal Citation Reports(JCR)(JCR)

LA AUTORÍA. CNEAI-ANECAÍndice de Impacto


¿Cómo se averigua la posición de la revista? Cuartiles, tercios, mediana ...


SJRSJR 251 revistas

Cómo buscar las citas a nuestros trabajos

Buscar en SEARCH en el campo TITLE el título del trabajo

El número de citas figura en el epígrafe TIME CITED

Buscando las citas de un artículo Buscando las citas de un artículo

Aprendiendo a busar citas de un trabajo o un autor en la Web of Aprendiendo a busar citas de un trabajo o un autor en la Web of ScienceScience

• Incluir el título de la revista y truncarlo (*) para obtener variaciones

• Para los libros incluir las tres/cuatro primeras letras del título que no sean artículos, preposiciones…


Buscando las “CITAS PERDIDAS” de un artículo Buscando las “CITAS PERDIDAS” de un artículo

Buscar en Cited Reference Search

ATENCIÓN

Realizar la búsqueda por el nombre del primer autor firmante del trabajo

(Los … precediendo al apellido significa que el autor no es el primer firmante)

• Incluir las variantes del nombre del autor, especialmente si es compuesto: forma abreviada (mayoral l*) o completa: (normal: ruiz jimenez r*) o (fusionada: ruizjimenez r*)


Buscando las “CITAS PERDIDAS” de un artículo Buscando las “CITAS PERDIDAS” de un artículo

Buscar en Cited Reference Search

LA AUTORÍA. CNEAI-ANECANúmero de citasSCOPUSSCOPUS

LA AUTORÍA. CNEAI-ANECANúmero de citasGoogle ScholarGoogle Scholar

OJO OJO Se alimenta de documentos en la Web: Son clave los REPOSITORIOS, Catálogos de Bibliotecas, Catálogos Comerciales de revistas, Productos propios de Google (google books, google patents)

Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:

• Publish or Perish de Anne-Wil Harzing:Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htm http://www.harzing.com/pop.htm• Citation-Gadget: Citation-Gadget: http://code.google.com/p/citations-gadget/• TenurometerTenurometer: http://tenurometer.indiana.edu/download.html

LA AUTORÍA. CNEAI-ANECANúmero de citasGoogle ScholarGoogle Scholar

Existen programas y aplicaciones que nos pueden ayudar Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:a trabajar con GS:

• Publish or Perish de Anne-Wil Harzing:Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htmhttp://www.harzing.com/pop.htm• Citation-Gadget: Citation-Gadget: http://code.google.com/p/citations-gadget/• TenurometerTenurometer: http://tenurometer.indiana.edu/download.html

Comparando nuestro Comparando nuestro trabajo trabajo

Comparando nuestro trabajo : con los publicados en la revista en Comparando nuestro trabajo : con los publicados en la revista en toda su historia o en el año de publicación del trabajotoda su historia o en el año de publicación del trabajo

Comparando nuestro trabajo: con todos los publicados por Comparando nuestro trabajo: con todos los publicados por españoles en la disciplina o especialidad en toda su historia o en españoles en la disciplina o especialidad en toda su historia o en el año de publicación del trabajoel año de publicación del trabajo

• Usar los ESI (Essential Science Indicators): para trabajos excepcionales. Comparándolos con la media mundial

Comparando nuestro trabajo: Comparando nuestro trabajo: Con el resto de los trabajos publicados en el mundo en nuestra especialidad

El Índice H

El Índice H

• Fortalezas– Combina producción e impacto en un solo indicador– Simple y sensillo de calcular y entender

• Debilidades– Valora la carrera de un investigador:

• No existen bases de datos que contengan todos los trabajos y las citas asociadas a las mismas-

• Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar).

– Inadecuado para comparar a investigadores de distintas áreas científicas

– Favorece a los autores senior frente a los noveles– No excluye las autocitas– Penaliza a los autores con estrategias de publicación muy selectivas:

pocos documentos y altamente citados

Aprendiendo a buscar revistas de calidad

LA AUTORÍA. CNEAI-ANECAPresencia en bases de datos

INDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIASINDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIAS

Antes de ingresar en una base de datos las revistas científicas Antes de ingresar en una base de datos las revistas científicas deben someterse a una evaluación sobre su calidad formal y deben someterse a una evaluación sobre su calidad formal y científica. Por ello una presencia mayor en bases de datos se científica. Por ello una presencia mayor en bases de datos se considera un indicador de calidad al haberse superado más considera un indicador de calidad al haberse superado más filtros.filtros.


Vale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:

1. La propia revista nos da está información

LA AUTORÍA. CNEAI-ANECAPresencia en bases de datosVale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:

2. Existen productos especializados en ofrecer esta información

PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO

ULRICH´SULRICH´S Todas las disciplinasTodas las disciplinas MundialMundial

MIARMIAR Ciencias sociales y Ciencias sociales y HumanidadesHumanidades

MundialMundial

LATINDEXLATINDEX Todas las disciplinasTodas las disciplinas IberoamericanoIberoamericano

DICEDICE Sociales/HumanidadesSociales/Humanidades EspañaEspaña


Por ejemplo, éste es el de la Por ejemplo, éste es el de la Web of KnowkledgeWeb of Knowkledge: WOS, SCI, SSCI, A&HCI, etc…: WOS, SCI, SSCI, A&HCI, etc…

Muchas gracias por su atención

Evaristo Jiménez ContrerasEmilio Delgado López-Cózar

[email protected]

www.ec3.ugr.es

mailto:[email protected]

emilio delgado lopez cozar cómo utilizar los indicadores bibliometricos para las solicitudes de...

Education