Índices de citas, factor de impacto e indicios de calidad...Índices de impacto: artículos / citas...

Índices de citas, factor de impacto e indicios de calidad en ciencias, ciencias de la salud e ingeniería

Helena Martín Rodero [email protected] http://usalbiomedica.wordpress.com

Servicio de Bibliotecas Salamanca – Junio 2013

Objetivos

Examinar los métodos de evaluación de la calidad de la investigación.

Conocer los sistemas de obtención de información sobre el impacto de las

publicaciones.

Emplear los recursos de información de citaciones y factor de impacto.

Familiarizarse con los indicadores bibliométricos.

Índice

Introducción

Las Agencias de Evaluación: ANECA, CNEAI, ANEP, ACSUCYL

Criterios de evaluación de la Actividad Investigadora

Indicios de calidad de las publicaciones científicas: dónde y cómo localizarlos

Evaluación de la actividad investigadora

¿Por qué evaluar la actividad investigadora? Analizar los recursos existentes.

Ver el impacto social y económico de la investigación.

Incentivar y diferenciar a los investigadores más destacados.

Promocionar al investigador y a la universidad en la que trabaja.

Abrir líneas de investigación y dar visibilidad a la Universidad.

Acr

edit

ació

n l

sexe

nios

Se evalúan personas, instituciones, programas, proyectos …

http://www.bibarquitectura.us.es/nuevapag/pdi/sexeniosevaluacion.htm

ANECA CNEAI ACSUCYL ANEP Acreditación Sexenios Evaluación

Acreditación Certificación

Evaluación

Concurrir a pruebas de acceso a los cuerpos del profesorado funcionario docente

Complemento retributivo. Financiación proyectos, investigación y becas

Calidad en el ámbito de las Universidades y de los Centros de Investigación y Educación Superior de Castilla y León

Unidades, equipos humanos y propuestas de investigación para participar en los programas y proyectos del Plan Nacional

Ámbito nacional Ámbito nacional Ámbito autonómico Ámbito nacional

Agencias de Evaluación


Acreditación Nacional

La acreditación, junto al título de doctor,,constituye el requisito imprescindible para

acceder a los concursos de plazas convocados por las universidades.


Acreditación Nacional Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) [http://www.aneca.es] ANECA lleva a cabo su actividad a través de varios programas

- Programas de evaluación de enseñanzas e instituciones

- Acreditación y Evaluación Institucional

- Programas de evaluación del profesorado

Programas de acreditación para promoción y contratación PEP Evalúa el CV de los solicitantes para el acceso a la figura de profesor universitario contratado (Profesor Contratado Doctor, Profesor Ayudante Doctor, Profesor Colaborador y Profesor de Universidad Privada). ACADEMIA Evalúa el CV para acceso a los cuerpos de funcionarios docentes universitarios (Profesores Titulares de Universidad y Catedráticos de Universidad).

Se regula por el RD 1313/2007 de 5 de octubre


Actividad investigadora Publicaciones científicas: revistas, libros. congresos, conferencias, etc. Proyectos y contratos de investigación Transferencia de los resultados: patentes, etc. Movilidad del profesorado Otros méritos Actividad docente o profesional Dedicación docente Dirección de tesis doctorales, proyectos, etc. Evaluación positiva de la actividad docente Publicaciones docentes, proyectos de innovación, etc. Participación en congresos, estancias, etc. Dedicación a actividades profesionales distintas Otros meritos Formación académica Experiencia en gestión y administración

Criterios de evaluación


Puntuaciones fijadas en el RD 1312/2007, de 5 de octubre, para la acreditación al Cuerpo de Catedráticos de Universidad.

Criterios de evaluación Máxima puntuación alcanzable

Puntuación mínima exigida

1. Actividad investigadora 55 -

2. Actividad docente o profesional 35 20

3. Experiencia en gestión y administración 10 -

TOTAL 100 80 = (Suma 1+2+3)


Catedráticos de Universidad – Actividad Investigadora

Actividad investigadora (hasta 55 puntos)

Ciencias

Ciencias Ciencias de la Salud Ingeniería y Arquitectura

a) Resultados de la actividad investigadora

44 44 42

b) Proyectos y contratos 8 8 10

c) Transferencia de los resultados 11

d) Movilidad 3

e) Otros méritos 2


Puntuaciones fijadas en el RD 1312/2007, de 5 de octubre, para la acreditación al Cuerpo de Profesores Titulares de Universidad.

Criterios de evaluación Máxima puntuación alcanzable

Puntuación mínima exigida

1. Actividad investigadora 50

60 2. Actividad docente o profesional 40

3. Formación académica 5

4. Experiencia en gestión y administración 5

TOTAL 100 65 = (Suma 1+3+4)


Profesores Titulares de Universidad – Actividad Investigadora

Actividad investigadora (hasta 50 puntos)

Ciencias

Ciencias Ciencias de la Salud

Ingeniería y Arquitectura

a) Resultados de la actividad investigadora

38 38 37

b) Proyectos y contratos 6 6 7

c) Transferencia de los resultados 8

d) Movilidad 6

e) Otros méritos 2


Resultados de la actividad investigadora Publicaciones científicas en revistas indexadas con índice de calidad relativo: Publicaciones en revistas de reconocido prestigio e incluidas en los catálogos tipo: Journal Citation Reports o equivalentes en cada especialidad.

Publicaciones científicas no indexadas o sin índice de calidad relativo: artículos publicados en revistas sin índice de calidad relativo, de prestigio en la especialidad. Artículos de divulgación científica; artículos publicados en revistas profesionales; fichas de catálogos y voces de diccionarios y enciclopedias; publicaciones en formato electrónico.

http://www.aneca.es/prgramas/ACADEMIA


Resultados de la actividad investigadora

Libros y capítulos de libros: Libros completos de carácter

científico (como autor o editor); capítulos de libros de

investigación en editoriales de prestigio nacional y, con carácter

preferente, de prestigio internacional en publicaciones con

ISBN; ediciones o traducciones anotadas de libros, prólogos de

libros, reseñas bibliográficas y similares.



Resultados de la actividad investigadora

Congresos: Los congresos científicos considerados son los de

carácter internacional (y excepcionalmente los nacionales de

especial relevancia), que incluyan revisión por pares y con una

antigüedad y periodicidad que les convierta en referencia en su

ámbito de conocimiento.



Criterios de evaluación El índice de impacto.

El lugar que ocupa la revista en el conjunto

de las que corresponden a un mismo ámbito

de conocimiento: cuartiles, terciles…

El número de autores y, cuando sea

relevante, la posición que ocupa entre ellos

el solicitante.

Asimismo, se valora positivamente la

regularidad en la producción científica y, en

especial, los trabajos publicados en la etapa

posdoctoral de los últimos 10 años.

Evaluación externa por pares.

Existencia de un comité científico

internacional.

Porcentaje de artículos de autores no

vinculados con la institución editorial.

Contenido exclusivo de artículos de

investigación.

Presencia en repositorios y boletines

bibliográficos más vinculados a la

especialidad.

Publicación de artículos en más de una

lengua.

INDEXADAS NO INDEXADAS


Criterios de evaluación – Ingeniería y Arquitectura En el ámbito de la Ingeniería y Arquitectura se consideran de especial relevancia las

publicaciones en revistas de calidad (revistas ICR). En algunos ámbitos también se valoran,

aunque con un peso inferior, los artículos publicados en revistas recogidas en bases de datos

internacionales de Ingeniería como, por ejemplo, TRIS Electronic Bibliographic Data, International

Development Abstracts, International Civil Engineering Abstracts, Environmental Abstracts,

Applied Mechanical Reviews, Applied Science and Technology Index.


En estas ramas del conocimiento (Ciencias, Ciencias de la Salud e Ingenierías) las

aportaciones en revistas no cualificadas con índice de calidad relativo no se

consideran.


Evaluación Sexenios

El Real Decreto 1086/1989, de 28 de agosto,

introdujo en el régimen retributivo del

profesorado universitario un nuevo concepto

destinado la incentivar la actividad

investigadora mediante evaluaciones anuales

que quedaban encargadas a una Comisión

Nacional Evaluadora de la Actividad

investigadora.

http://www.mecd.gob.es/ministerio-mecd/en/organizacion/organismos/cneai/criterios-evaluacion.html



Criterios de evaluación: RESOLUCIÓN de 19 de noviembre de

2012, de la Presidencia de la Comisión

Nacional Evaluadora de la Actividad

Investigadora, por la que se establecen

los criterios específicos en cada uno de

los campos de evaluación.



Publicaciones científicas. Se establecen índices de referencia para cada campo. Con carácter general: «Se valorarán preferentemente las aportaciones que sean

artículos en revistas de reconocida valía, aceptándose

como tales las que ocupen posiciones en los listados por

ámbitos científicos en el “Subject Category Listing”, del

“Journal Citation Reports” del “Science Citation Index”

(Institute for Scientific Information, -ISI- Philadelphia, PA,

USA). Las revistas electrónicas se considerarán cuando

aparezcan en los listados del ISI»





Libros y capítulos de libros: «… en cuya evaluación se tendrá en cuenta el número

y calidad de las citas cuando ello sea posible u otras

medidas de su nivel de impacto, el prestigio

internacional de la editorial; los editores; la colección en

la que se publica la obra, y las reseñas recibidas en las

revistas científicas especializadas»

http://www.aneca.es/content/download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf



Criterios de evaluación Se valorará la contribución al progreso del conocimiento, la innovación y creatividad de las aportaciones incluidas en el currículum vítae. Se primarán los trabajos formalmente científicos o innovadores frente a los meramente descriptivos. Como norma general, para obtener una evaluación positiva deberán presentarse 5 aportaciones, entre las que figuren al menos tres artículos en revistas de impacto medio-alto, en el currículum vítae abreviado. Excepcionalmente, el número de aportaciones podrá ser inferior si los trabajos tienen una extraordinaria calidad y han tenido una alta repercusión científica o técnica.

http://www.aneca.es/content/download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf


Criterios de evaluación – Ingeniería y Arquitectura Se consideran de especial relevancia las siguientes aportaciones:

Patentes en explotación, demostrada mediante contrato de compraventa o contrato de licencia.

Los artículos en revistas de calidad (revistas ICR). En algunos ámbitos también se valoran,

aunque con un peso inferior, los artículos publicados en revistas recogidas en bases de datos

internacionales de Ingeniería como, por ejemplo, International Development Abstracts,

International Civil Engineering Abstracts, Environmental Abstracts, Applied Mechanic Reviews.

En Ciencias, Ciencias de la Salud e Ingenierías las aportaciones en revistas no cualificadas con

índice de calidad relativo no se consideran.


Criterios de evaluación – Ingeniería y Arquitectura Se consideran de especial relevancia las siguientes aportaciones:

Los trabajos publicados en Actas de Congresos que posean un sistema de revisión externa por

pares, y sean vehículo de difusión comparable a las revistas que ocupan posiciones relevantes en el

JCR.

Los desarrollos tecnológicos en los que se demuestre el reconocimiento por la comunidad científico-

técnica.

Los libros y capítulos de libros en cuya evaluación se tendrá en cuenta su incuestionable carácter

investigador; el número de citas, cuando sea posible; el préstigio internacional de la editorial; los

editores; la colección en la que se publica la obra, y las reseñas en las revistas científicas

especializadas.


Valor colectivo de las publicaciones

Índices de impacto: artículos / citas Posición en el área: cuartil, tercil… Criterios de calidad: presencia en bases de datos, comités, resúmenes, etc. Valor individual de lo publicado Índices de citas: índice h y otros… Indicios de calidad: reseñas, presencia en bases de datos.


Indicios de calidad


Indicios de calidad

1. Índice de Calidad Relativo (Revistas indexadas)

2. Citas recibidas por un trabajo científico

3. Criterios de calidad editorial (Revistas no indexadas)

4. Presencia en Bases de Datos

5. Otros indicios de calidad complementarios


1. Índice de Calidad Relativo “Las revistas indexadas y con índice de calidad relativo son

aquellas que, además de estar recogidas en la

correspondiente base de datos, el gestor de la misma las

presenta priorizadas con algún parámetro, cuyo procedimiento

de cálculo es conocido, de modo que se puede definir una

posición de la revista dentro de las indexadas en una

determinada especialidad”.

Revistas indexadas

IF / JCR

SJR / SCOPUS

Los ICR son ‘rankings ‘o listados de revistas ordenadas, normalmente, por su índice de impacto. El ranking utilizado por las Agencias de Evaluación es el ofrecido por el Journal Citation Reports, de la Web of Knowledge (Thomson Reuters)


Factor de Impacto de las publicaciones. ¿Qué es?

JCR, Journal Citation Reports (Thomson)

Es el número de veces que se cita por término

medio un artículo publicado en una revista

determinada. Es un instrumento para comparar

revistas y evaluar la importancia relativa de

una revista dentro de un mismo campo

científico.


** Imagen tomada de Daniel Torres Salinas


Cálculo - Ejemplo Se trata de calcular el factor de impacto de una revista determinada en el 2008

Citas en 2008 a documentos publicados en 2006 = 15 Citas en 2008 a documentos publicados en 2007 = 29

Total en el numerador = 44

Número de items citables publicados en 2006 = 87 Número de items citables publicados en 2007 = 98

Total en el denominador = 185


Otros indicadores alternativos SJR SCImago Journal & Country Rank IN-RECS: Revistas Españolas de Ciencias Sociales IN-RECJ: Revistas Españolas de Ciencias Jurídicas IN-RECH: Revistas Españolas de Ciencias humanas RESH: Revistas Españolas de Ciencias Sociales y Humanidades


SJR ¿Qué es? Es una medida del impacto, influencia o prestigio de una

revista.

Expresa la media de citas ponderadas recibidas en el año

seleccionado por los artículos publicados en la revista

durante los tres años anteriores.

Este indicador está adquiriendo cada vez más importancia

¿Dónde buscar el Factor de impacto?

CC. Sociales

IN-RECS IN-RECJ RESH

Humanidades

RESH

Medicina

IHCD

Journal Citation Reports SCImago

Science Journal Citation Reports

Social Science Journal Citation

Reports SJR (Revistas

SCOPUS)

Revistas españolas no incluidas en JCR o

SCImago


2. Citas recibidas por los artículos científicos Número de veces que un artículo es

mencionado en otros artículos.

Sirven para establecer indicadores como el

índice H.


Índice H ¿Qué es?

El índice h es un sistema de medición de la calidad profesional de

los científicos, propuesto por Jorge Hirsch (Universidad de

California), basado en la cantidad de citaciones que recibe un

artículo científico.

Para calcular el índice h, basta con ordenar el número de

publicaciones por el número de citas recibidas en orden

descendente, numerarlas e identificar el punto en el que el número

de orden coincide con el número de citas recibidas por una

publicación. Este número constituye el índice h.

Índice h = 6 Hay 6 artículos que han recibido al menos 6 citas cada uno

¿Dónde puedo localizar las citas recibidas por un artículo?

Web of Science (artículos de revistas, también

proceedings)

Essencial Science Indicators

SCOPUS (artículos de revistas)

Google Scholar

Microsoft Academic Search

In-RECS

In-RECJ

CiteSeer

…

¿Dónde puedo localizar el índice H?

Web of Science SCOPUS SCImago Journal and Country Rank (Índice H de

revistas) Scholar Google Citation Publish or Perish


3. Criterios de calidad editorial (Revistas no Indexadas)

En las revistas no indexadas o sin índice de calidad relativo se valorará, de manera general:

Evaluación externa por pares.

Existencia de un comité científico internacional.

Porcentaje de artículos de autores no vinculados con la institución editorial.

Contenido exclusivo de artículos de investigación.

Presencia en repositorios y boletines bibliográficos más vinculados a la especialidad.

Publicación de artículos en más de una lengua.


3. Criterios de calidad editorial (Revistas no indexadas)

Identificación y aplicación de los criterios de calidad editorial de las Agencias de Evaluación ANECA y CNEAI para revistas científica. Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Programa Academia. Acceso a los Cuerpos Docentes Universitarios. Principios y orientaciones para la aplicación de los criterios de evaluación. http://www.aneca.es/Programas/ACADEMIA/Documentos-del-Programa Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI). BOE. Resolución de 18 noviembre de 2009, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación

http://www.boe.es/boe/dias/2009/12/01/pdfs/BOE-A-2009-19218.pdf http://www.boe.es/boe/dias/2012/11/29/pdfs/BOE-A-2012-14633.pdf

¿Dónde buscar los criterios de calidad editorial?

LATINDEX. Sistema Regional de Información para Revistas Científicas

Características editoriales para revistas impresas.

http://www.latindex.org/documentos/revistas_imp.html

Características editoriales para revistas electrónicas.

http://www.latindex.org/documentos/revistas_elec.html

Estos documentos refieren un conjunto de indicadores que deben cumplir las revistas

científicas. En el caso de las agencias de evaluación, estos indicadores se establecen como

requisitos de referencia para que una revista pueda ser considerada en los procesos de

evaluación o acreditación. No obstante, esto no significa que todos los indicadores tengan el

mismo peso para las agencias, por lo que pudiera darse el caso de que revistas que cumplen

muchos criterios, pero no cumplan alguno de los considerados fundamentales por las

agencias, no resulten bien valoradas.


4. Presencia en bases de datos

La revistas científicas antes de ingresar en una base de datos deben someterse a un proceso de evaluación formal y científica. Por ello, una mayor presencia en bases de datos es considerado como un indicio de calidad.

Ulrich’s Directory (Todas las disciplinas)

Latindex (Todas las disciplinas)

Dice (Ciencias sociales y humanidades)

La propia revista


5. Indicios de calidad complementarios Datos que avalen la calidad y difusión de las publicaciones científicas.

Presencia en bibliotecas

Presencia en repositorios

Reseñas en publicaciones especializadas

Traducciones, ventas y otros datos

Índices de citas, factor de impacto e indicios de calidad en ciencias, ciencias de la salud e ingeniería

Helena Martín Rodero [email protected] http://usalbiomedica.wordpress.com

Servicio de Bibliotecas Salamanca - junio 2013

Índices de citas, factor de impacto e indicios de calidad...Índices de impacto: artículos / citas...

Documents