la revision por pares en las revistas cientificas

8/9/2019 La Revision Por Pares en Las Revistas Cientificas

1/8

432 122

que slo se publiquen aquellos quepuedan tener inters potencial. Lasituacin es distinta segn se con-sideren las revistas cientficas quese dedican a las ciencias bsicas,

cuyos lectores suelen ser pares delos autores, o las revistas cientfi-cas que se dedican a las cienciasclnicas, cuyos lectores mayorita-rios suelen ser mdicos que traba-

jan con pacientes4; las primerassirven para intercambiar ideas,para hacer progresar la ciencia, ylos pares-lectores tienen enormecapacidad crtica para leer, sin mu-chos filtros, los artculos. Las se-gundas, las revistas cientficas cl-nicas, aaden al intercambio de

ideas un importantsimo compo-nente educacional, de difusin depautas clnicas aplicables directa-mente en la prctica diaria, y mu-chos de sus lectores carecen de ca-pacidad crtica suficiente para dis-criminar la vala cientfica de losmtodos empleados en los artcu-los publicados. As, las revistascientficas clnicas (y las de cien-cias bsicas) establecen filtros quepermiten ajustar la demanda a laoferta, respecto a los manuscritos

que reciben, al tiempo que asegu-ran a los lectores calidad e intersde lo publicado. En ello hay intere-ses cientficos y financieros, pueslas revistas se sostienen gracias alos recursos que atraen suscrip-ciones y publicidad, sin los que nose mantendran en el mercado. Eneste juego de intereses, los autoresaceptan el precio el filtro de laevaluacin y la lista de espera pa-ra la publicacin de los artculosaceptados porque la comunica-

cin formal de sus ideas y trabajosa travs de las revistas cientficas

ARTCULO ESPECIAL

La revisin por pares en las revistas cientficasJ. Grvas y M. Prez FernndezEquipo CESCA. Madrid.

Atencin Primaria.Vol. 27. Nm. 6. 15 de abril 2001 J. Grvas y M. Prez Fernndez.La revisin por pares en las revistas cientficas

Introduccin

Las motivaciones de los cientfi-cos son mltiples y complejas,pues incluyen cuestiones tan dis-

pares como la curiosidad y la po-sicin social; entre ellas, el deseode ser reconocido por los pares esuna motivacin intensa y perma-nente, a veces inocente, a vecesinteresada (por el impacto en laposicin social y en la obtencinde recursos). Lograr la aceptacinde las propias ideas por otros in-

vestigadores es conseguir uno delos mejores premios que puededar el mundo cientfico1; es pasardel microcosmo individual, siem-

pre amenazado por la subjetivi-dad, al slido macrocosmos del co-nocimiento cientfico de la comu-nidad cientfica, que da sentido ala vida, al trabajo y a las ideas delinvestigador.Los cientficos comparten sus ideasy resultados con los pares de ma-nera formal e informal, desde co-mentarios de pasillo a charlas, con-ferencias y publicaciones. Estecompartir permite hacer pblico eltrabajo personal y ayuda a mejo-

rarlo, en un proceso continuo decrtica a superar (desacuerdo crea-tivo); adems, introduce enormesdosis de autocrtica, pues el inves-tigador sabe que sus colegas suelenser escpticos, renuentes a cambiarlas teoras establecidas, y no es f-cil convencer a los que tienen otrasideas, a veces opuestas a las pro-pias.La publicacin en una revistacientfica, una manera formal de

compartir ideas y de conseguir laaceptacin de las propias, obliga acumplir ciertos requisitos de cali-dad, particularmente la revisinpor pares, en el curso de la cual se

pueden detectar omisiones, erro-res y explicaciones alternativas.La revisin por pares se ha con-

vertido en la norma y, de hecho,caracteriza a las revistas cientfi-cas dentro del universo de las pu-blicaciones. A la propia revisinpor pares se le aade, general-mente, un cierto grado de anni-mo, bien de los revisores, bien delos revisores y de los autores, enun afn de conseguir, respectiva-mente, libertad de crtica y ecua-

nimidad. Pero, tiene fundamentocientfico la revisin por pares delos trabajos enviados para publi-cacin a las revistas cientficas?

Y, si lo tiene, aade algo el an-nimo de revisores o de revisores yautores? Intentaremos respondera estas dos preguntas utilizandoargumentos y propuestas quecontribuyan a crear el debate queintent generar en Espaa, haceaos, el director de una revista desalud pblica2.

Fundamento terico y ventajasde la revisin por pares

Las revistas cientficas no tienencapacidad para publicar todos losmanuscritos que reciben, pues elnmero de pginas disponibles(oferta) est siempre por debajo delos deseos/necesidades de publica-cin de los autores (demanda)3.

Adems, los lectores no desean/pueden enfrentarse a la lectura

de la publicacin indiscriminadade todos los manuscritos y esperan

Correo electrnico: [email protected]

(Aten Primaria2001; 27: 432-439)


2/8

127 433

es un poderoso estmulo para sucarrera, tanto en lo personal comoen lo profesional (posicin social y

acadmica, justificacin de recur-sos obtenidos, base para obtencinde nuevas ayudas, y otros).Los filtros de las revistas sonmltiples, desde las normas depublicacin al lenguaje en que ad-miten manuscritos, la primera

valoracin del comit editorial(expresin de una poltica edito-rial concreta) y la revisin por pa-res (la evaluacin propiamentedicha). Los filtros, especialmentela revisin por pares, permiten: a)

seleccionar el material a publicar,eligiendo lo ms innovador, reali-zado con el mximo rigor cientfi-co y con el mayor impacto poten-cial sobre los lectores (y, en ltimotrmino, sobre la salud de los pa-cientes); b) mejorar la presenta-cin del trabajo su claridad cien-tfica y lingstica, eliminarerrores, evitar omisiones, introdu-cir lgica interna, considerar ex-plicaciones alternativas, mejorarlas referencias a trabajos previa-

mente publicados, hacerlo atracti- vo y destacar su utilidad; c) dis-minuir la posibilidad de publicarartculos fraudulentos, evitar ladoble publicacin y valorar los as-pectos ticos del trabajo realizadoy de su publicacin, y d) generarun ambiente de calidad y neutra-lidad cientfica, de credibilidad delo publicado y de la revista en ge-neral, que se logra a travs delconsenso en torno a la consisten-cia interna, la posibilidad de repe-

tir el estudio y la aceptacin decrticas del trabajo a publicar5-12.En este sentido, si se tiene encuenta que la decisin final de pu-blicar un artculo recae en el di-rector de la revista, la evaluacinpor pares le ayuda a tomar unadecisin juiciosa, ms all de lapropia valoracin del comit edi-torial.El filtro, la evaluacin por pares,atempera el deseo de publicar delos autores y les fuerza a realizar

cambios que no haban introduci-do previamente por descuido, ig-

norancia o, incluso, mala fe. Loscambios, aunque se discutan, sesuelen aceptar por su racionali-

dad y/o porque compensa la modi-ficacin si se obtiene la aceptacinpara la publicacin del manuscri-to modificado; pocos autores intro-duciran cambios si no se les for-zase13. La revisin tiene un papeleducativo en el que el evaluadorcomparte ideas propias con el au-tor sobre todo cuando discrepay, en este sentido, es un poderosoinstrumento de avance de la cien-cia12,14. El evaluador concuerda,corrige y/o discrepa del autor, le

ayuda a mejorar la presentacindel trabajo, le defiende de crticasex post, solicita aclaraciones y fa-cilita el trabajo al lector. En ciertaforma, la revisin es una defensadel lector, no slo un ejercicio edu-cativo para el autor y el evaluador.La revisin es, pues, al tiempo,una defensa del autor (contra suspropios errores) y del lector (con-tra los trabajos sin calidad) y unaayuda en la toma de decisin deldirector.

En la seleccin de trabajos parasu subvencin, en las convocato-rias de ayudas para trabajos deinvestigacin, se utiliza tambinla revisin por pares. La oferta noes pginas aqu, sino dinero enforma de ayudas o subvenciones;la demanda no es manuscritos pa-ra publicar, sino proyectos para fi-nanciar; los lectores a defenderforman la poblacin que puedebeneficiarse de los resultados, y eldirector y el comit editorial son,

respectivamente, el presidente yel comit asesor de la agencia fi-nanciadora. Por lo dems, el fun-damento terico y las ventajasson las mismas, y ambos procesosrequieren una evaluacin apro-piada6,15.

Fundamento terico y ventajasdel annimo en la revisinpor pares

En el proceso de revisin por pa-

res suele aplicarse el annimo delrevisor (el autor no sabe quin le

ha evaluado, pero el revisor sabequin firma el artculo; es el an-nimo simple), aunque algunas re-

vistas van ms all y tambin ha-cen a los manuscritos annimos(ni el autor sabe quin le corrige,ni el revisor sabe a quin evala;es el annimo doble). El annimosimple es lo ms habitual; se utili-za, por ejemplo, en British Medi-cal Journal, New England Jour-nal of Medicine, JAMA, Annals ofInternal Medicine, Obstetrics andGynecology y otras16; el annimodoble se utiliza, segn sabemos deciencia propia, en las revistas

Atencin Primaria, Gaceta Sani-taria, Medicina Clnica, RevistaEspaola de Epidemiologa y en elEuropean Journal of GeneralPractice; tambin en Annals ofEmergency Medicine, Epidemio-logy y Journal of the American Ge-riatrics Society16. El fundamentoterico del annimo simple, y engeneral del annimo del evalua-dor, es el aumento de libertad pa-ra la crtica. El evaluador anni-mo goza de una libertad de crtica

que le ayuda a: a) expresar direc-tamente su opinin, con cortesapero sin rodeos; b) evitar litigios ydiscusiones personales; c) solven-tar conflictos de autoridad (espe-cialmente cuando un inferior juz-ga a un superior en categora/po-sicin acadmica); d) elaborar lacrtica de forma que deje libertadal director para tomar la decisinfinal (el director goza, muchas ve-ces, de menos autoridad cientficaque el evaluador, pero debe decidir

y aceptar la responsabilidad de ladecisin con absoluta independen-cia); e) facilitar la participacin demiembros destacados de la comu-nidad cientfica, que rechazaranel penoso trabajo de la revisin sise hiciese en forma nominal; f) fa-cilitar la crtica ex ante, y en pri-

vado, que con franqueza y tactopuede librar al autor, sin sonrojo,de la ms dura y pblica crtica expost, y g) evitar la aceptacin detrabajos de calidad dudosa, al ob-

viar la crtica cientfica constructi-va y el no, a veces, para lograr



3/8

434 128

una clientela de autores acepta-dos agradecidos2,5,6,8,14.En todas las revistas el revisor

suele perder colectivamente elannimo cuando se publica la lis-ta de revisores que han evaluadolos artculos a lo largo del ao. Es-ta lista es la garanta ltima (elcrdito) de que la revista trata degarantizar la calidad de los ar-tculos publicados; por ello, sueleincluir a la flor y nata de la espe-cialidad/campo que cubra la re-

vista, los pesos pesados que cuen-tan con experiencia cientfica yson aceptados por la comunidad

respectiva2,5,7,10-12,14,17,18

. Si seha seleccionado bien, la lista debeincluir autores de vala de muydistinto origen, para poder recha-zar la crtica fcil de que se cons-tituye con miembros conspicuosde la torre de marfil12. Actancon informes annimos, pero sue-len estar orgullosos de perteneceral grupo de evaluadores que selistan, y de ver incluido su nom-bre junto a los pares que estiman(lo que es una forma ms de acep-

tacin por la comunidad cientfi-ca; la otra, el que muchos evalua-dores son tambin autores quepublican5-7,12).El fundamento terico del anni-mo doble es aadir a la libertadde crtica, que proporciona el an-nimo simple, la ecuanimidad, laimparcialidad serena de juicio; nose trata de ser objetivos, sino delograr que la subjetividad no ten-ga sesgos2. La evaluacin por pa-res con annimo doble ayuda a: a)

evitar el sesgo de juzgar benvo-lamente los manuscritos de insti-tuciones/autores reconocidos yacerbamente los de institucio-nes/autores desconocidos/noveles;b) aconsejar y corregir mante-niendo la adecuada distancia te-raputica; c) solventar los posi-bles conflictos de inters, y d) po-ner en pie de igualdad, respecto alannimo, al evaluador y al au-tor2,7,10,14.El autor que se sabe annimo re-

cibe el informe del revisor consensacin de alivio, pues sabe que

slo se juzga el trabajo que sedescribe en el manuscrito. Si hayacrimonia se deber al carcter

del evaluador, no a un ajuste decuentas. El annimo protege, es-pecialmente, al autor novel y alque presenta ideas y trabajosarriesgados e innovadores. Gra-cias al annimo pueden desarro-llarse trabajos e ideas que nocoincidan con lneas previas, sintemor a ser criticado por ello an-tes de su publicacin.Como respecto a la revisin porpares, todo lo referente al anni-mo simple se aplica a las convoca-

torias de ayudas econmicas y ala evaluacin de los proyectos quese presentan para obtener fondos.El annimo doble no tiene cabidaen este campo, pues uno de loscriterios clave para la concesinde la ayuda es el trabajo previo yla solidez del equipo investigadorque presenta el proyecto.

Experimentacin y crticaa la revisin por pares

Como en otros campos19,20

, la ex-perimentacin contradice a la ob-servacin respecto a la revisinpor pares. Pese a una historia dems de 300 aos de revisin porpares en las publicaciones y con-cesin de ayudas3,14, hace apenasuna dcada que se ha introducidola metodologa cientfica en la va-loracin de la eficacia y validez dela revisin por pares21. Las vocesde alarma, no obstante, se empe-zaron a or hace ms de 30 aos5-7;

no es raro, pues, que sean muchaslas revistas que estn ensayandomtodos que cambien, ms o me-nos radicalmente, la revisin porpares11,13,14,22-25, aunque otras semuestran satisfechas con el siste-ma habitual2,10,12,26. Por supues-to, la inquietud tambin seextiende a los organismos queconceden ayudas para investiga-cin15,27. A la propia virtud noprobada (o escasamente demos-trada) de la revisin por pares se

aade el reto de las nuevas tecno-logas, especialmente el papel de

la revisin en Internet11,13,22,24,pero esa cuestin se escapa a esteanlisis, aunque implique cam-

bios11 que pueden llevar a la de-saparicin de las revistas tal co-mo las conocemos4,11,28,29.Qu sabemos de la revisin porpares a travs de la experimenta-cin? Los fundamentos tericosson ms slidos que los experi-mentales2 y estn ms demostra-dos sus efectos perjudiciales quesus beneficios experimentales21.Entre los estudios realizados po-demos destacar:1. Los que se refieren a la concor-

dancia entre evaluadores, cues-tin estudiada en primer lugarpor socilogos y psiclogos, en re-

vistas como Journal of Personalityand Social Psychology, Sociologi-cal Quarterly y Personality andSocial Psychology6,7, cuyo estudioclsico, en ciencias mdicas, se hi-zo en el New England Journal ofMedicine, en 19745. Ingelfinger,director de la revista en aquel en-tonces, someti 496 manuscritosconsecutivos a parejas de evalua-

dores, con el propsito de compa-rar su recomendacin final; huboacuerdo perfecto en un 41,8% delos casos, ligeramente por encimadel azar; el acuerdo global fue del30%. Este buen resultado se de-bi, sobre todo, al amplio acuerdoacerca de los manuscritos de psi-ma calidad, que constituyeron uncuarto del total, pues los malos ar-tculos se reconocieron con facili-dad. Incidentalmente, el desacuer-do entre evaluadores justifica la

remisin consecutiva del mismomanuscrito, tras ser rechazado,hasta encontrar una revista que loacepte, a veces de ms categoraque las previas; esta prctica eshabitual en el mundo cientfi-co7,10,30,31; por propia experienciaconozco (JJ) el caso de un artculoque evalu para Medicina Clnica,recomendando justificadamentesu rechazo, y que posteriormentefue publicado en Gaceta Sanita-ria, casi sin cambios (no se incluye

la cita para respetar la confiden-cialidad del proceso de revisin).



4/8

129 435

2. Los que han estudiado directa-mente el proceso de evaluacin,replicndolo experimentalmente

(y rozando los lmites de lo tico).El estudio clsico es el de Peters yCeci, publicado en 19827, en elque se seleccionaron 12 artculosexcelentes, publicados en otrastantas revistas de primera lneapor autores famosos, de institu-ciones prestigiosas y con gran fac-tor de impacto. Los artculos sereescribieron, cambiando slo losautores y las instituciones en quese haban realizado (se pusieronnombres inventados), y se envia-

ron, a los 2 aos de su publica-cin, a las mismas revistas quelos haban publicado, sin advertirdel engao, y sabiendo que la re-

visin en ellas era de annimosimple. En 3 revistas se advirtila previa publicacin, en 9 publi-caciones no se advirti el engaoy los artculos pasaron de nuevola revisin por pares. Slo uno fueadmitido de nuevo; los 8 restantesfueron rechazados por proble-mas metodolgicos, no por ser

cuestin ya conocida/publicada.3. Ha habido revistas que carecie-ron de revisin por pares duranteaos, de los cuarenta a los seten-ta del pasado siglo, y sin embargolograron un crdito que perdura;entre ellas The American Journalof Medicine y The Lancet3,5. En elprimer caso el director y funda-dor, Gutman, filtraba los manus-critos y decida por s mismo so-bre un 95% de lo publicado; en elsegundo era el comit editorial el

que decida, y lo haca sin evalua-dores externos en un 90% de loscasos.4. Los que han analizado el resul-tado de la evaluacin a travs dela calidad del manuscrito, valo-rando el texto antes y despus desu modificacin segn las suge-rencias de los evaluadores. Tantoen una publicacin holandesa9,como en una australiana13, auncon las dificultades de la indefini-cin de calidad respecto al texto

del manuscrito, se estim que larevisin por pares haba mejorado

la presentacin, legibilidad y con-sistencia interna de los textos. Enuna revista estadounidense, la

mejora fue cierta pero sin impor-tancia32, y los lectores echaron enfalta, ms que calidad, relevan-cia clnica33.5. Los que han medido la capaci-dad de los revisores para advertirerrores en el manuscrito, como eldel British Medical Journal, pu-blicado en 199834. Con el permisodel autor de un artculo admitidopara su publicacin, se introduje-ron 8 errores voluntarios en el di-seo, anlisis e interpretacin, en

el manuscrito original. El textomodificado se envi para su eva-luacin a 420 revisores habitua-les de la revista. Se recibieron in-formes de 221 evaluadores; la me-dia de errores detectados fue de 2;un 10% identific 4 o ms errores,y el 16% no identific ninguno.6. Los que revisan los graves erro-res histricos que ha provocado larevisin por pares, en el experi-mento natural que es su propiaexistencia. La galera va desde la

publicacin sistemtica de artcu-los en el New England Journal ofMedicine con errores estadsticos5

hasta la publicacin de artculoscon datos inventados y falsos, entodo o en parte, tanto por autoresde prestigio como por autores des-conocidos (que con este motivo sehicieron famosos)35,36. Constitu-yen parte de la poblacin delfraude, quiz slo una pequeafraccin (la que se ha detectado),Summerlin, Long, Alsabti, So-

man, Strauss, Darsee, Slutsky,Berger, Baltimore, Gallo, Pearce, Anderton, Nixon y otros35-37, en-tre los que no hay autores espa-oles. Error histrico ha sido,tambin, el rechazo de manuscri-tos con ideas nuevas que han te-nido despus enorme impacto38,como el de Jenner sobre la vacu-nacin contra la varicela, en1876, rechazado por Philosophi-cal Transactions of the Royal So-ciety y, cien aos despus, otro

error en estudios sobre inmunolo-ga que llevaron a obtener, poste-

riormente, el Premio Nobel14,38, yque dio pie a que el autor empe-zara el discurso de recepcin del

premio con diapositivas de lascartas de las prestigiosas revistasque rechazaron su publicacin23.Muy ilustrativo es el caso del en-sayo clnico canadiense (de laUniversidad McGill, de Montreal)sobre la episiotoma, al que se hadedicado un artculo con el relatode las dificultades de financiaciny de publicacin, en el que se in-cluyen los comentarios de evalua-dores y directores de las revistas,y el tortuoso camino que se sigui

para lograr su difusin30

.7. Los que analizan la calidad delos informes de los evaluadores.

Aunque se desconoce el procesoformal si existe que lleva a laeleccin de los revisores de lasdistintas revistas, suelen elegirseautores de prestigio, bien conoci-dos y aceptados2,5,7,10-12,14,17,18. Sieso implica la seleccin de evalua-dores maduros, de edad, se ha de-mostrado que son los revisores j-

venes que han publicado reciente-

mente los que tienen mejor juicioy ms capacidad de detectar erro-res en los manuscritos y de hacermejores informes34,39.El fundamento experimental de larevisin por pares es dbil, lo quedificulta su impacto en la publica-cin/financiacin de proyectos yestudios cuya base experimental

juzga. Esta contradiccin ha sidosealada por los directores de lasprincipales revistas cientfico-m-dicas, como Ingelfinger5 y Kassi-

rer8

de New England Journal ofMedicine, Lock y Smith22 de Bri-tish Medical Journal, Rennie40 deJAMA, Fletcher32,33 de Annals ofInternal Medicine y Horton27 deThe Lancet. La revisin por paresparece tener una norma laxa queno se aplica a los artculos/trabajosque evala, y su fundamento cien-tfico es escaso o nulo pese a los300 aos de historia3,14,41. Sin lle-gar a ser un proceso intil y peli-groso, puede ser arbitrario, caro,

conservador, elitista, lento, opaco yrgido, y carece de base cientfica;



5/8

436 130

para algunos, se funda en expecta-tivas irreales acerca de la capaci-dad de los evaluadores5,7; para

otros, no es ms que la forma deconseguir la apariencia de respe-tabilidad cientfica que necesitanlas revistas/tribunales, y deberaeliminarse pues su grado de acier-to lo convierte en una lotera28,38,42.No sabemos nada acerca de cmose eligen los revisores y qu infor-macin se les requiere para valo-rar los posibles conflictos de inte-rs aunque, curiosamente, en unestudio34 se excluy a los amigosdel autor, pero no se dice cmo sa-

ban de la amistad; tampoco sa-bemos cmo trabajan para criticarlos trabajos, ni por qu se suelenelegir dos para cada artculo(cuando hay desacuerdo entre am-bos, la opinin de un tercero esintil, segn Ingelfinger5), ni cmose usan sus informes para tomarla decisin final. En fin, ni siquie-ra se ha delimitado una lista decuestiones por estudiar, aunque al-go se ha avanzado en los ltimosaos3,5,8,11,13-16,21-25,31-34,39,40. Hay

que aceptar que nunca ser un sis-tema perfecto6,8,15, pero hay queponerlo en cuestin si queremosque perviva; por ahora, el mayorenemigo es la confianza injustifi-cada que inspira22. Sin investiga-cin, sin innovacin y sin cambiosse lograr dinamitar la credibili-dad de las revistas cientficas y delos revisores de manuscritos yde proyectos cientficos.Si admitimos que la seleccinde los artculos tiene cierto para-

lelismo con las pruebas de criba-do/diagnstico8, ser importantedeterminar la sensibilidad y espe-cificidad de los revisores y las re-

vistas. La preocupacin de los di-rectores son los falsos negativos(rechazar los buenos artculos)17,pero quiz la de los revisores seanlos falsos positivos (aceptar traba-

jos de baja calidad). A los lectoresles interesa el impacto de los es-tudios en su prctica clnica33, loque puede llegar a olvidarse si s-

lo se mide el xito de una revistapor su factor de impacto (impac-

to sobre otros autores muchos delos cuales son, a su vez, evaluado-res no sobre la actividad clnica);

el fundamento filosfico de la eva-luacin por pares descansa tantoen la valoracin del rigor cientfi-co y en la mejora de la presenta-cin de los manuscritos, como enla seleccin de los trabajos inno-

vadores y de mayor impacto po-tencial sobre la salud de los pa-cientes38.

Experimentacin y crticadel annimo en la revisinpor pares

La palabra annimo alude adesconocido u oculto, y en unaacepcin comn, a carta o infor-me sin firma en que se dice algoofensivo. Lejos de esta ltimaacepcin, el annimo es norma enla evaluacin de los manuscritospara publicar y de los trabajos pa-ra financiar, y tiene ventajas e in-convenientes14. Respecto a las re-

vistas, es ms popular el annimosimple que el annimo doble, pero

este ltimo es norma que se re-afirma en Espaa2,10. Qu sabe-mos del annimo en la revisinpor pares a travs de la experi-mentacin? Pese a su popularidadhay poco fundamento experimen-tal; entre lo publicado podemosdestacar:1. Revistas en las que se ha elimi-nado totalmente el annimo sinque se resienta su calidad ni po-pularidad. British Medical Jour-nal tom la decisin en 199925,

pero The Medical Journal of Aus-tralia empez en 1996, con un es-tudio piloto que contina13 en elque el artculo admitido se podaleer antes de su publicacin en In-ternet junto a las crticas firma-das de los revisores; incidental-mente, se admitan sugerenciasde los lectores, algunas de las cua-les aceptaron los autores (con ellolos lectores se convierten en eva-luadores).2. Estudios como el citado de Pe-

ters y Ceci7

, en el que se cambi elnombre de los autores y de las

instituciones, en un sistema deannimo simple; los autores sugi-rieron que se pasara a un sistema

de annimo doble que evitara elefecto Rosenthal (la expectativapositiva, en este caso, de que losautores conocidos y las institucio-nes prestigiosas enviaran traba-

jos de gran calidad e innovado-res).3. Los estudios en que se ha com-parado la calidad de la evaluacinde manuscritos segn se valoranen un sistema de annimo simpleo de annimo doble. En algunostrabajos se demostr un efecto po-

sitivo del annimo doble, perosiempre escaso43-45. En un com-plejo ensayo clnico, con 527 ma-nuscritos enviados a British Medi-cal Journal, distribuidos para suevaluacin en 8 grupos (cuatro deannimo simple y cuatro de anni-mo doble, en que dos de cada gru-po se subdividieron para compa-rar revisores que se cruzaban losinformes), no hubo diferenciasrespecto a la calidad de los infor-mes, ni respecto al tiempo de revi-

sin, ni a la recomendacin acercade su publicacin, en ningn gru-po; tampoco hubo efecto Haw-thorne (modificacin del resulta-do por saberse en una situacinexperimental)46. En otro complejoensayo clnico en la misma revista(comentado respecto a la capaci-dad de los evaluadores de detectar8 errores introducidos artificial-mente en un manuscrito34), con420 revisores divididos en 5 gru-pos (control annimo simple, co-

mo habitualmente, y 4 experi-mentales cruzados, dos en que losrevisores firmaban los informes ydos con annimo doble) no hubodiferencias entre los grupos res-pecto a la deteccin de errores, pe-ro los evaluadores con annimodoble rechazaron menos manus-critos. En otro ensayo clnico, con118 manuscritos de 5 revistas es-tadounidenses, no hubo diferen-cias de calidad entre los informesde evaluadores con annimo sim-

ple comparados con los de anni-mo doble47.



6/8

135 437

4. Los estudios en que se ha va-lorado el grado de annimo lo-grado, respecto a los autores (en

el sistema de annimo doble). Es-tos trabajos demuestran que selogra en un porcentaje variable,50-80%43,44. El xito no parecedepender de la poltica de la re-

vista, pues en un estudio en quese valoraron manuscritos conannimo doble, en 3 revistas queutilizaban habitualmente el an-nimo doble y 4 que usaban elannimo simple, el autor no fueidentificado en un 60 y 58%,respectivamente; los revisores

con ms experiencia identifica-ron ms frecuentemente a los au-tores16. En el estudio estadouni-dense comentado47, con 118 ma-nuscritos y 5 revistas, se logr elannimo doble en un 68% de loscasos, pero no hubo diferenciasrespecto a los manuscritos en losque se identific al autor; los ma-nuscritos de autores muy conoci-dos fueron ms fcilmente iden-tificados.El fundamento experimental del

annimo en la revisin por pareses muy dbil, tanto para el sim-ple como para el doble. Parecems una cuestin de costumbre,de apariencia de neutralidad yde ecuanimidad, que una cues-tin bien fundada. La ciencia sealeja progresivamente de los in-formes y actividades annimas,que exponen a los autores a unacaja negra21, a un tribunal kaf-kiano25, a un soviet sin control42

y al oscurantismo de la Inquisi-

cin. Por ejemplo, en EstadosUnidos las cartas de recomenda-cin para los puestos de trabajoen las universidades son pbli-cas en la actualidad; empezaronsiendo secretas, pasaron despusa ser pblicas y annimas, y hanterminado siendo pblicas y fir-madas. El nico argumento con-tra un proceso de revisin abier-to en ambos sentidos evaluacio-nes firmadas, manuscritos conautores identificados es la difi-

cultad que pueden tener los revi-sores que evalen manuscritos

de autores de mayor autoridadcientfica o acadmica25, pero lasdesventajas son mltiples, algu-

nas no bien estudiadas todava;por ejemplo, arbitrariedad, dog-matismo, freno a la publicacinde resultados, rechazo a la inno-

vacin, robo de ideas y mtodos ysesgos a favor de los autores es-tablecidos y de las institucionesprestigiosas (cuyos trabajos seidentifican con facilidad, por msque se quiera ocultar su filia-cin). Frente a estos ltimos, elefecto Rosenthal, la expectati-

va de que sus trabajos sern de

calidad e innovadores, hace a losevaluadores sensibles a evitarlos falsos negativos (evitar el re-chazo de trabajos de buena cali-dad)7, como si fueran el directorde la revista; por el contrario,frente a los trabajos que se sabe,o se suponen, de instituciones/autores no conocidos, estos eva-luadores sern sensibles a evitarlos falsos positivos (aceptar tra-bajos de baja calidad). Si el pro-ceso es abierto, al menos se pue-

de intentar medir la sensibilidady especificidad sin el falso espejodel annimo parcial.Frente al annimo hay, final-mente, razones ticas. Repugnaa la mente que la transparenciaque se pide y exige al proceso, almtodo y al resultado cientfico,se rompa, precisamente, cuandose valora para su publicacin osu financiacin (y sin que hayaexperimentacin cientfica quelo justifique). Todo informe cien-

tfico debe tener elegancia, cali-dad y neutralidad suficientespara ser exhibido en pblico sinque su firmante se avergence.Por las mismas razones no seentiende que la calidad mejoreal dar opinin sobre autor (apa-rentemente) desconocido, y aslo demuestra la experimenta-cin. Las revisiones cientficasdeberan ser, pues, abiertas enlos dos sentidos. Si el mundocientfico es una fraternidad, y

no un mundo en guerra, sobranlas celadas.

Conclusin

Las revistas cientficas y las agen-

cias que financian la investigacinnecesitan filtrar los trabajos de in-

vestigacin, pues no todo lo que seproduce merece ser publicado y/ofinanciado. La revisin por pares yel annimo, simple o doble, de laevaluacin han permitido el avan-ce de la ciencia pero carecen debase experimental que justifiquesu amplia aceptacin y su implan-tacin rutinaria. Existe un movi-miento mundial de crtica y expe-rimentacin acerca de estas cues-

tiones al que podra sumarseEspaa sin dificultad, pero el pri-mer escollo es lograr romper launanimidad, establecer un debateque agite las tranquilas aguas dela evaluacin cientfica. Nada im-pide que: a) se experimente conInternet, en el sentido propuestopor los australianos11,13, por lospediatras norteamericanos24 y por

Varmus, el director de los Natio-nal Institutes of Health de Esta-dos Unidos4; b) se abra por com-

pleto el proceso de revisin, comopractica British Medical Jour-nal25 y se valoren sus consecuen-cias; c) se analice con detenimien-to el proceso de decisin de losevaluadores, con el esquema pro-puesto por Kassirer y Campion8 ocon otro alternativo, y tambinque se estudie el proceso de selec-cin de los evaluadores y los con-flictos de inters que se generan, yd) se consideren alternativas tansencillas como las propuestas por

Medical Care, de pedir al autorque enve el manuscrito con los in-formes de revisores elegidos se-gn su buen criterio23, o las suge-rencias de Fabiato, de pedir al au-tor que sugiera revisores y dehacer constar en el texto publica-do los nombres de los revisores delmanuscrito14 u otras alternativas,como incluir los informes de losrevisores junto a las notas de re-traccin de los artculos fraudu-lentos o que se han publicado por

duplicado. En cualquier caso, esnecesaria una cura de humildad,



7/8

438 136

pues la revisin por pares no evitaque las publicaciones sirvan msa los autores que a los lectores48 o

la publicacin duplicada49,50.La ciencia no existe en el vaco, si-no que depende de los cientficos.Los cientficos progresan cuandoconocen sus lmites, cuando expo-nen sus ideas y hallazgos al p-blico escrutinio. Hay que buscarun equilibrio entre la innovaciny la calidad que ayude al progresocientfico, al trabajo de los inves-tigadores, a la difusin y financia-cin de sus trabajos. La revisinpor pares no tiene fundamentos

claramente establecidos y no esun mtodo infalible; vale la pena,pues, el debate cientfico acercade su continuidad.

Bibliografa

1. Committee on the Conduct of Science.On being a scientist. Proc Natl AcadSci USA 1989; 86: 9053-9074.

2. Rodrguez Artalejo F. Ocultar la iden-

tidad de los autores y evaluadores deartculos. Gac Sanit 1996; 10: 159-160.

3. Burnham JC. The evolution of edito-rial per review. JAMA 1990; 263:1323-1329.

4. Relman AS. The NIH E-Biomedproposal. A potential threat to theevaluation and orderly disseminationof new clinical studies. N Engl J Med1999; 340: 1828-1829.

5. Ingelfinger FJ. Peer review in biome-dical publication. Am J Med 1974; 56:686-692.

6. Harnard S. Peer commentary on peer

review. Behav Brain Sciences 1982; 5:185-186.

7. Peters DP, Ceci SJ. Peer-review prac-tices of psychological journals. The fa-te of published articles, submittedagain. Behav Brain Sciences 1982; 5:187-255.

8. Kassirer JP, Campion EW. Peer re-view. Crude and understudied, but in-dispensable. JAMA 1994; 272: 96-97.

9. Pierie JPEN, Walvoort HC, OverbekeJPM. Readers evaluation of effect ofpeer review and editing on quality ofarticles in the Nederlands Tijdschrift

voor Geneeskunde. Lancet 1996; 348:1480-1483.

10. Jimnez Villa J. La calidad de las pu-blicaciones. Aten Primaria 1996; 17:367-368.

11. Bingham C. Peer review on the Inter-

net: a better class of conversation.Lancet 1998; 351 (Supl 1): 10-14.

12. Reid AJ. Canadian Family Physis-cians peer reviewers. Unsung heros.Can Fam Physician 1998; 44: 13-14.

13. Bingham CM, Higgins G, Coleman R,Weyden MBVD. The Medical Journalof Australia Internet peer-reviewstudy. Lancet 1998; 352: 441-445.

14. Fabiato A. Anonymity of reviewers.Cardiovasc Res 1994; 28: 1134-1139.

15. Taylor R. NIH panel to monitor peerreview in action. Nature 1995; 375:438.

16. Cho Mk, Justice AC,Winker MA, Ber-lin JA, Waeckerle JF, Callaham ML etal. Masking author identity in peer re-

view. What factors influence maskingsuccess? JAMA 1998; 280: 243-245.

17. Yankauer A. Who are the peer revie-wers and how much do they review.JAMA 1990; 263: 1338-1340.

18. Olsen CM. Peer review of the biome-dical literature. Am J Emerg Med1990; 8: 356-358.

19. Rodrguez Artalejo F. Prevencin deenfermedades vasculares en las muje-res. Aten Primaria 1998; 22 (Supl 1);200-295.

20. Petitti DB. Hormone replacementtherapy and heart disease preven-tion. Experimentation trumps obser-

vation. JAMA 1998; 280: 650-652.21. Smith R. Peer review: reform or revo-

lution. Time to open up the black boxof peer review. BMJ 1997; 315: 759-760.

22. Smith R. Promoting research into pe-er review. An invitation to join it.BMJ 1994; 309: 143-144.

23. Neuhauser D. Peer review and the re-search commons. A problem of suc-cess. Med Care 1997; 35: 301-302.

24. Anderson KR, Lucey JF. Una nuevacapacidad: la revisin post-publica-cin por expertos para Pediatrics. Pe-diatrics (ed. esp.) 1999; 48: 1.

25. Smith R. Opening up BMJ peer re-view. BMJ 1999; 318: 4-5.

26. Plasncia A. Gaceta Sanitaria: unmensajero en la casa comn de la sa-lud pblica. Gac Sanit 1999; 13: 4-5.

27. Horton R. Luck, lotteries and loopho-les of grant review. Lancet 1996; 348:1255-1256.

28. LaPorte RE, Marler E, Akazawa S,Sauer F, Gamboa C, Shenton C et al.

The death of biomedical journals.BMJ 1995; 310: 1387-1390.

29. Squires BP. Peer review under scru-tiny. Report on the third Internatio-nal Congress in Prague, 1997. CanFam Physician 1998; 44: 15-16.

30. Klein MC. Studying episotomy: whenbeliefs conflict with science. J FamPract 1995; 41: 483-488.

31. Abby M, Massey MD, Galandiuk S,Polk HC. Peer review is an effectivescreening process to evaluate medicalmanuscripts. JAMA 1994; 272: 105-107.

32. Roberts J, Fletcher RH, Fletcher SW.Effects of peer review and editing onthe readability of articles publishedin Annals of Internal Medicine. JA-MA 1994; 272: 119-121.

33. Justice AC, Berlin JA, Fletcher SW,

Fletcher RH, Goodman SN. Do rea-ders and peer reviewers agree on ma-nuscript quality? JAMA 1994; 272:117-119.

34. Godlee F, Gale CR, Martyn CN. Effecton the quality of peer review of blin-ding reviewers and asking them tosign their reports. A randomized con-trolled trial. JAMA 1998: 280: 237-240.

35. Lock S, Wells F, editores. Fraud andmisconduct. Londres: BMJ Pub.,1996.

36. Vilarroya O, editor. tica de la pu-blicacin mdica. En: Varios, edito-res. Medicina clnica. Manual de es-tilo. Barcelona: Doyma, 1993; 117-135.

37. Smith R. Misconduct in research: edi-tors respond. The Committee on Pu-blications Ethics (COPE) is formed.BMJ 1997; 315: 201-202.

38. Horrobin DF. The philosophical basisof peer review and the suppression ofinnovation. JAMA 1990; 263: 1438-1441.

39. Polak JF. The role of the manuscriptreviewer in the peer review process.

Am J Roentgenol 1995; 165: 685-688.

40. Rennie D, Knoll E. Investigating peerreview. Ann Intern Med 1988; 109:181.

41. Kronick DA. Peer review in 18th-cen-tury scientific journalism. JAMA1990; 262: 1321-1322.

42. Horrobin DF. Peer review of grant ap-plications: a harbinger for mediocrityin clinical research? Lancet 1996;348: 1293-1295.

43. Evans AT, McNutt RA, Fletcher SW,Fletcher RH. The characteristics ofpeer review who produce good qualityreviews. J Gen Intern Med 1993; 8:

422-428.44. McNutt RA, Evans AT, Fletcher RH,



8/8

137 439

Fletcher SW. The effects of blindingon the quality of peer review. A ran-domized trial. JAMA 1990; 263: 1371-1376.

45. Fischer M, Friedman SB, Strauss B.The effects of blinding on acceptanceof research papers by peer review. JA-MA 1994; 272: 143-146.

46. Rooyen SV, Godlee F, Evans S, SmithR, Black N. Effect of blinding and un-masking on the quality of peer review.

A randomized trial. JAMA 1998; 280:234-237.

47. Justice AC, Cho MK, Winker MA,Berlin JA, Rennie D, PEER investiga-

tors. Does masking author identifyimprove peer review quality? A ran-domized controlled trail. JAMA 1998;280: 240-242.

48. ODonnell M. Evidence-based illite-racy: time to rescue the literature.Lancet 2000; 355: 489-491.

49. Navarro V. La relevancia de la expe-riencia norteamericana en la reformadel sistema nacional de salud britni-co. El caso del GP budget holding. Gac

San 1991; 5: 276-283.50. Navarro V. The relevance of the US:

experience to the reforms in the Bri-tish National Health Service: the caseof general practitioner fund holding.Internat J Health Services 1991; 21:381-397.


la revision por pares en las revistas cientificas

Documents