Problemas del uso del Factor de Impacto en la evaluación de revistas

Open-Access

Carlos Quispe GerónimoMiembro de CIRIO

www.carlosqg.info

El Factor de Impacto• Es un indicador inventado por Eugene Garfield

para medir la calidad de una revista en función de los siguientes datos:

)2005(2)2006(1

)2005()2006(

AA

CbCbFi

Caso ejemplo

El 23 de junio de 2005, BioMed Central emitió un comunicado de prensa en el que Matthew Cockerill, Director de Operaciones manifestó lo siguiente:

“Los últimos factores de impacto muestran que las revistas OA de BioMed Central han alcanzado el mainstream de la publicación científica y pueden

competir con las revistas tradicionales. Además, los factores de impacto demuestran que uno de los

beneficios claves que ofrece el OA a los autores es alta visibilidad y en consecuencia, un alto índice de

citación”

La respuesta de Elsevier

El 8 de julio de 2005, Tony McSean, Director de Relaciones Bibliotecarias de Elsevier, envió un e-mail al foro SPARC-OAForum@arl.org en el que presentó un análisis de los datos de BioMed Central, poniéndolo en el contexto que de las revistas con suscripción pagada y argumentó específicamente lo siguiente:

“La comparación con los 4 mayores editores de revistas en Ciencia, Tecnología y Medicina demuestra la caída

de los factores de impacto de las revistas de BMC y establece que sus resultados son mediocres.

Asimismo, los resultados no muestra evidencias que apoyen la idea común que la publicación OA

incrementa los factores de impacto”.

La respuesta de Elsevier

El 8 de julio de 2005, Tony McSean, Director de Relaciones Bibliotecarias de Elsevier, envió un e-mail al foro SPARC-OAForum@arl.org en el que presentó un análisis de los datos de BioMed Central, poniéndolo en el contexto que de las revistas con suscripción pagada y argumentó específicamente lo siguiente:

“La comparación con los 4 mayores editores de revistas en Ciencia, Tecnología y Medicina demuestra la caída

de los factores de impacto de las revistas de BMC y establece que sus resultados son mediocres.

Asimismo, los resultados no muestra evidencias que apoyen la idea común que la publicación OA

incrementa los factores de impacto”.

El factor de impacto en el OA

• Estudio del ISI (2004)

Se estudiaron 148 revistas de ciencias naturales que fueron cubiertas, con sus correspondientes factores de impacto, en el Journal Citation Reports. Se escogió esta materia, porque los otros temas tienen un factor de impacto bastante pobre.

Resultados del estudio de ISI (2004)-Parte 1

3975635133226313797161030108233548Todas las otras revistas de Journal Citation

Reports

872922804128829232387184Revistas OA

Total1998199920012002Tipo de publicación

Resultados del estudio de ISI (2004)-Parte 1

Como las revistas tradicionales, hay muchas posibles explicaciones porque las revistas OA o de no acceso abieeto son altamente citadas.

Muchos de los títulos OA que han sido indizadas en los productos de ISI por muchos años han pasado a un modelo OA de distribución, llevando sus patrones de citación a ese entorno. Un ejemplo de esto es el British Medical Journal.

Estudio ISI (2004)-Parte 2

Se utilizaron los siguientes directorios para el estudio: • Scielo (http://www.scielo.br)• Doaj (http://www.doaj.org)• J-Stage (http://www.jstage.jst.go.jp/)

sobre la base de 239 revistas que estaban indizadas en el JCR, cantidad que representa el 2.6% de las 9000 revistas de la Web of Science y el 1% de las 20000 que aparecen en la Web of Knowledge

Estudio ISI (2004)-Parte 2

Estudio ISI (2004)-Parte 2

Estudio ISI (2004)-Parte 2

• De acuerdo a los resultados las revistas OA aparecen con mayor frecuencia para revistas de bajo factor de impacto e índice de inmediatez, aunque 3 de los 4 grupos estudiados tienen una o más revistas que alcanzan el 9% del top de la categoría correspondiente.

• También se descubrió que muchas de las revistas OA tienen un alto índice de inmediatez antes que un alto factor de impacto. La distribución por ránking difiere considerablemente por el campo, con revistas OA de alto ránking especialmente en la Física, la Ingeniería y las Matemáticas.

La posición del OA• Estudio de Harnad y Brody (2004)

Conclusiones del Estudio de Harnad y Brody (2004)

• El acceso no es suficiente condición para la citación, pero es un elemento clave para su generación

• El OA incrementa en gran media el número potencial de usuarios potenciales, debido a una serie de factores, por ejemplo: los investigadores no cuentan con instituciones que brinden acceso

• El OA incrementa el uso y el impacto de los artículos científicos

• La tasa de “lecturas” a “citas” no varían por campo. Por ejemplo, Kurtz (2004) reportó 12:1 en Astrofísica. Odyzko (2002) predijó tendencias análogas en matemáticas

Problemas con el uso del factor de impacto

• Si bien el FI es muy influyente, hay que tener en cuenta que Thomson Scientific es el único árbitro del FI, es parte de la Thomson Corporation, una organización con fines de lucro que responde principalmente a sus accionistas.

• La empresa no tiene la obligación de rendir cuentas acerca del proceso para el conteo del FI

• Plos Medicine ha denunciado que el proceso para determinar el FI es arbitrario y no científico

• Hay casos demostrados de manipulación de citas. Ejemplo: Leukemia (1998)

Problemas con el uso del factor de impacto

• Copia de citas: Simkin y Roychowdhury (2003) demostraron que documentos científicos que no tienen amplia acogida y que carecen de cualquier gran influencia pueden terminar clasificados como de alto impacto. Identificaron errores en los listados de referencias que citaban un articulo seminal de 1973 y concluyeron que casi el 80% de autores no habían leído el documento antes de citarlo.

• Citación sesgada

• Problemas con el algoritmo del FI: No hay definiciones de los tipos de documentos asignados por el ISI, aún cuando es un componente crucial del algoritmo. El denominador es casi siempre pequeño, y con frecuencia mucho más pequeño que el número de artículos publicados en la revista.

Alternativas sugeridas para el conteo de citas similar a la Web of Science

• Google Scholar (http://scholar.google.com/)

• CrossRef (http://www.crossref.org/)

Alternativas sugeridas para el conteo del FI

• Factor de uso (Usage factor)• Es propuesta por la United Kingdom Serials Group

(UKSG), en asociación con la organización de conteo métrico en línea COUNTER.

• Es la tasa de descargas de artículos (medidos por el sistema de estadísticas de COUNTER) y el número de artículos disponibles. La idea provee una medida alternativa cuantitaiva de la calidad de las revistas.

Alternativas sugeridas para el conteo del FI

• Factor YPropuesto por Bollen, Rodriguez y Van de SompelEs una combinación del factor de impacto publicado por ISI y el Page Rank usado por Google

•Y(J) = ISI IF × PRw

• La idea es tener una media que se base en el prestigio a través del FI y en la popularidad que es obtenida a través de los accesos a un trabajo determinado.

Conclusiones

• Las críticas del sector tradicional editorial hacia las revistas de acceso abierto, tomando en consideración el factor de impacto, son infundadas

• La iniciativa de acceso abierto debe promover la discusión acerca de la redefinición del factor de impacto

• Está demostrado que las revistas de acceso abierto tienen un alto índice de inmediatez

• Debe promoverse el uso de alternativas de indicadores de evaluación