el impacto social de la investigación biomédica en cataluña. [464

131Monográfico

Introducción

La magnitud de los esfuerzos humanos y de la inver-sión en investigación de todo tipo justifica que, desde hace unos años, la evaluación de su impacto social se considere una necesidad pública. Para decirlo en pala-bras de Weiss referidas a la investigación biomédica: “Así como la financiación de la investigación ha contri-buido a cambios espectaculares en todo tipo de conoci-miento médico, la cuantificación del impacto específico de esta financiación en la prevención y mejora de las enfermedades representa un reto abierto. ¿Cuál es la mejor manera en que nosotros, vinculados a la comu-nidad de investigación biomédica, podemos comunicar al contribuyente y a los filántropos el valor que el dinero que nos han confiado ha producido para la sociedad”?.1

* El contenido de este artículo recoge de manera inevitable las contribu-ciones de los miembros del equipo de la evaluación de la investigación de la AATRM (ahora AIAQS) que durante los últimos años han trabajado en ello. Los autores también agradecemos a Imma Guillamón la revisión que ha hecho del documento.

1. A.P. Weiss, 2007.

Teniendo en cuenta que se destaca la relevancia de la evaluación del impacto de la investigación, qui-zás otra cita literal sirva para ejemplarizar la comple-jidad de perspectivas, procesos e impactos de la in-vestigación. Como escribía el editor de una de las más importantes revistas médicas: “Mucha de la in-vestigación que los científicos juzgan como de alta calidad no tiene un efecto medible en la salud, en gran parte por el largo intervalo entre la investigación y su impacto. Los científicos, pues, juzgan como im-portantes los trabajos originales sobre la apoptosis (muerte celular programada genéticamente), sin em-bargo, décadas después de que fuera descrita, no ha habido ningún impacto medible en la salud. En cam-bio, una investigación que difícilmente sería juzgada como de alta calidad, pongamos por ejemplo un es-tudio coste-efectividad sobre los diferentes pañales para tratar la incontinencia en personas mayores, puede tener un impacto social inmediato e im-portante”.2

2. R. Smith, 2001.

El impacto social de la investigación biomédica en Cataluña*

Paula AdamAgencia de Información, Evaluación y CalidadCIBER en Epidemiología y Salud Pública, CIBERESP

Gaietà Permanyer-MiraldaUnidad de Epidemiología, Servicio de Cardiología, Hospital Vall d’HebronCIBER en Epidemiología y Salud Pública, CIBERESP

Joan M.V. PonsDepartamento de Salud, Generalitat de CatalunyaCIBER en Epidemiología y Salud Pública, CIBERESP

132 Nota d’economia 97-98. 3.er cuatrimestre 2010

En España y en 2008, un 1,2% del PIB se destina-ba a investigación científica y desarrollo (I+D), y la I+D en salud era de poco más del 0,2% del PIB. El PIB catalán es de unos 202.000 millones de euros (2008); representa en torno al 18,6% del PIB español. El porcentaje de este PIB catalán destinado a I+D es del 1,67%.3 A pesar de que no haya datos concretos de la proporción de I+D en salud, respecto al presu-puesto del Departamento de Salud y en 2009, un 0,33% (30.927.000 euros) de éste se destina, de for-ma directa, a I+D en ciencias de la salud. Como en muchos otros países, la adjudicación de estos recur-sos se rige por las decisiones estratégicas de los pla-nificadores. No obstante, la evaluación del retorno de esta inversión es una asignatura pendiente, ya sea el objetivo de esta orientar futuras decisiones estra-tégicas, abogar por ciertas tipologías de investigación o evaluar la responsabilidad de las agencias financia-doras y evaluadoras de la investigación y los propios investigadores.

Objetivo

El objetivo de este artículo es presentar una síntesis del proceso de I+D en el ámbito de las ciencias de la salud, la importancia y necesidad de evaluar su impacto social, los diferentes modelos propuestos, cuestiones metodológicas relacionadas con estos modelos y problemas que comparten. Por último, se presentan dos experiencias de evaluación del impacto de la investigación realizadas en nuestro país: en un caso, la investigación biomédica finan-ciada por una fundación y, en el otro, por una agen-cia pública financiadora de investigación clínica y en servicios sanitarios (o investigación aplicada). No tenemos constancia de otras experiencias catala-nas (y españolas) que hayan realizado un análisis de este tipo.

3. Generalitat de Catalunya, 2010.

1

Evaluación del impacto social de la investigación biomédica

1.1

Razones económicas el apoyo público a la investigación

El interés económico por la ciencia no es nuevo, viene de lejos, y responde a varias razones. La primera y más importante reside en el impacto económico que la ciencia y la tecnología tienen y en el efecto de la última en la productividad y el crecimiento. Es lo que el economista Schumpeter calificó de “destrucción creativa”, mediante la cual el recambio tecnológico empuja al progreso.4 El aumento en el stock de cono-cimiento y en su aplicación conduce a una mejora en la eficiencia, sea para obtener productos con menos recursos (costes más bajos) o para producir nuevos o mejores productos y servicios. Mientras nadie discu-te la importancia de este elemento en el crecimiento, otros economistas dan también relevancia a factores como el aumento del stock de capital, especialmente para el ahorro, la expansión comercial, también in-fluidos por el progreso tecnológico y el crecimiento en la población, y efectos de escala.5

Está, también, el mercado de trabajo en el ámbito científico y el capital humano que los científicos per-sonifican. En tercer lugar, la particularidad de las re-compensas que incentivan la actividad científica. Por último, teniendo en cuenta que hoy en día tenemos que hablar de “big-science” y del interés de la economía por la ciencia, hay que considerar el gran volumen de recursos, públicos y privados, que se dedican a la in-vestigación científica.6

Desde la perspectiva económica, el conocimiento científico es un bien peculiar, sin rival, en el que nadie se empobrece por compartirlo y donde difícilmente,

4. N. Rosenberg, 1993.

5. J. Mokyr, 1992.

6. P. Stephan, 1996.

133Monográfico. El impacto social de la investigación biomédica en Cataluña

teóricamente, se puede excluir a nadie de utilizarlo. Tiene, pues, características de un bien público y, de acuerdo con eso, la teoría económica predice que el mercado o el sector privado no dará los incentivos suficientes para su producción. Eso se debe, según se interpreta, a los efectos del conocimiento científico sobre otros agentes fuera del investigador (knowledge spillovers) y a la información asimétrica, en la que los diferentes agentes no disponen de la misma informa-ción (como puede ser el caso entre los investigadores y los inversores de capital o agencias financiadoras de la investigación).

El amplio abanico que ofrece el conocimiento cons-tituye uno de los argumentos principales para la fi-nanciación pública de la investigación, pero también para defender y reforzar la apropiación de los resul-tados del trabajo creativo (incluida la investigación) en forma de derechos a la propiedad intelectual (pa-tentes, marcas, modelos de utilidad, derechos de au-tor). Esta posibilidad de excluir a otras personas de su utilización ha pasado a ser considerada, si no erró-neamente sí exageradamente,7 elemento imprescin-dible para el ingenio y la invención. Como consecuen-cia de la asimetría de la información, puede surgir la selección adversa (investigadores o grupos poco cua-lificados que acaban recibiendo financiación), que la revisión por parte de semejantes procura minimizar (pero sin eliminar potenciales amiguismos y el cono-cido conservadurismo ante proyectos innovadores), y el riesgo moral (modificaciones de la conducta al no ser observado y al no sufrir sobre uno mismo las consecuencias de la conducta), que sin duda se ha ido modificando en la medida en que se ha ido acentuan-do el grado de dependencia de los investigadores a financiación externa y la propia competitividad en la búsqueda de estos fondos.8

Los sociólogos han delimitado con acierto los me-canismos, no basados en el mercado, de recompensa de la actividad científica, y han destacado el papel de la prioridad en la descubierta y el reconocimiento

7. M. Boldrin, 2007.

8. P. Brutscher, W. Wooding y J. Grant, 2008.

(reputación) que otorgan los semejantes.9 La publi-cación científica tiene un papel fundamental, no so-lo en la difusión del conocimiento, sino también en este reconocimiento de la comunidad científica, has-ta el punto de considerar que las citas que un artícu-lo recibe son una medida de la importancia de la contribución o aportación científicas. De la misma forma que las patentes, la prioridad supone un juego de todo o nada, ya que el primero es quien recibe toda la recompensa, cuando propiamente, todo el mundo lo sabe, no es así por el hecho de haber siempre pre-cedentes.

A pesar de estas particularidades del conocimiento científico como bien público, es innegable que puede haber apropiación de éste a través de la patente, la cual, a la vez que excluye a otras personas de su utilización y acaba favoreciendo conductas monopolísticas, supo-ne poner el conocimiento en el dominio público y facilitar subsiguientes investigaciones y progresos. Sin embargo, se ha ido constatando repetidamente en los últimos años un crecimiento en la comercialización de la investigación, en especial de la investigación biomédica, lo cual, aparte de generar un encendido debate social, preocupa a los propios investigadores, que pueden ver frenadas sus líneas de investigación (patentes genéticas, de líneas celulares y de organismos modificados genéticamente).10

La consideración de que el mercado no funciona lo bastante bien en la producción del conocimiento cien-tífico, en particular de aquél que se tiene como funda-mental o sin aplicaciones prácticas a la vista, ha hecho, desde la Segunda Guerra Mundial, que la investigación científica reciba importantes subsidios por parte de los poderes públicos. Sin embargo, ya a finales del siglo xix, los estados europeos desarrollaron sus ins-titutos y centros de investigación para responder a las necesidades de expansión colonial (medicina tropical) y de los sectores productivos como la agricultura y la industria.

9. R. Merton, 1973.

10. P. Webber, 2003; R. Nelson, 2003; T. Lemmens, 2004; G. Dutfield, 2003.


En los diferentes ámbitos de la actividad científica, el apoyo público (infraestructura, equipamientos, con-vocatorias de proyectos, becas, etc.) suele darse hoy en día a través, mayoritariamente, de vías competitivas. Está, también, sin embargo, el sector privado indus-trial, que también invierte considerablemente en in-vestigación, sea propia o externa, más en la investiga-ción aplicada y desarrollo, las cuales, a pesar de estar previstas como fases adelantadas del proceso de I+D, no suponen una completa ausencia de riesgos o in-certidumbres. Hay que añadir, en el caso del ámbito biomédico, todo un conjunto de organizaciones sin ánimo de lucro, fundaciones en especial, que invierten recursos, más o menos dirigidos, a este campo.

1.2

La producción del conocimiento científico

La investigación y el desarrollo experimental (I+D) son, según el Manual Frascati (1982) de la Organiza-ción para la Cooperación y el Desarrollo Económico (OCDE),11 todo trabajo realizado sistemáticamente para incrementar el volumen de conocimientos, in-cluido el conocimiento de los humanos, la cultura y la sociedad, y el uso de este conocimiento para crear nuevas aplicaciones. Con el término I+D se incluyen tres tipos de actividades principales: la investigación básica (trabajos experimentales o teóricos para averi-guar el cimiento de los fenómenos y hechos observa-bles sin pensar en ninguna aplicación o utilización determinada), la investigación aplicada (trabajos ori-ginales dirigidos también a obtener un nuevo conoci-miento, pero con un objetivo práctico específico) y el desarrollo experimental (trabajos sistemáticos que, aprovechando el conocimiento derivado de la investi-gación y de la experiencia práctica, están dirigidos a la producción de nuevos materiales, productos o dis-positivos, nuevos procesos, sistemas o servicios, o a la mejora sustancial de los ya existentes). El propio Manual Frascati de la OCDE, a través de la recopila-ción de las actividades y de los recursos dirigidos a

11. OCDE, 2002.

I+D, pone de manifiesto la importancia que los go-biernos dan a esta actividad, su relevancia económica y la necesidad de unificar conceptos y estandarizar procedimientos que permitan una medida más es-merada que posibilite el análisis, las comparaciones internacionales y el examen de tendencias.

El conocimiento es, a pesar de poder ser un bien apropiable en parte, un bien indivisible, y la inversión en la investigación básica, sin finalidad práctica a la vista, ha pasado a ser, en especial a mediados del siglo xx, una empresa que supone una gran inversión. Siendo considerada la investigación, casi por defini-ción, una actividad de resultados muchas veces im-previsibles, se puede hablar de inversión de riesgo o con retorno incierto. De aquí, la visión tradicional referida al hecho de que corresponde a los poderes públicos invertir en la investigación básica, con exter-nalidades que puedan beneficiar a múltiples sectores, mientras que la investigación más aplicada y el desa-rrollo tienen que quedar más en manos del sector privado. La primera se llevaría a cabo en el sector universitario y en centros de investigación (OPI, or-ganismos públicos de investigación), mientras que la segunda quedaría para el sector con afán de lucro, sea manufacturero o de servicios.

El conocimiento, sin embargo, sea en forma de capital humano o tecnología, no solo es un producto de la investigación, sino que también es un elemen-to del proceso productivo. Por otra parte, dentro de los sectores económicos, el sector salud se caracteri-za por un uso intensivo de conocimiento, sea en las empresas de servicios (atención sanitaria, hospitales y centros de atención primaria) o en las empresas manufactureras de alta tecnología que proveen de los fármacos y los productos sanitarios (incluida toda la instrumentación) utilizados en la provisión de estos servicios.

La investigación en ciencias de la vida, en concreto la biomédica, presupone, con un lapso de tiempo va-riable, una aplicación práctica que tiene que contribuir a la prevención de la enfermedad, a su diagnóstico y tratamiento. Es, por lo tanto, una investigación dirigi-da a la mejora de la supervivencia (reducción de la


muerte prematura o incremento en longevidad) y de la calidad de vida de los individuos y de las poblaciones. El hecho de que se pueda perseguir un conocimiento fundamental y, a la vez, que se hagan consideraciones de aplicabilidad y uso lleva a ubicar de manera multi-dimensional la motivación o utilidad de la investiga-ción biomédica:12 1) la investigación impulsada por la búsqueda del conocimiento por el conocimiento (knowledge-driven research); 2) la investigación del co-nocimiento con finalidades sociales (societal-driven research), como las ganancias directas e indirectas en salud y calidad de vida; 3) la investigación impulsada por la economía (economic-driven research) y orienta-da a la mejora del coste-efectividad y del coste-eficien-cia del sistema de salud, i 4) la investigación orientada a identificar oportunidades o posiciones de mercado (market-driven research).

La investigación biomédica constituye uno de los ámbitos de investigación científica donde actualmen-te se destinan más recursos, públicos y privados, aun-que a nivel global persiste lo que se denomina gap 10/90 (solo un 10% del gasto global en I+D en salud se destina a problemas que afectan al 90% de la po-blación mundial más pobre).13

La investigación biomédica es también de las más productivas en cuanto a revistas y artículos científicos, que se publican año por año. Igualmente, es crecien-te la apropiación del conocimiento, sobre todo cuando las instituciones públicas pueden patentar (y licenciar) los nuevos hallazgos con aplicaciones prácticas que surgen de la investigación financiada públicamente. Además, las relaciones entre universidad e industria han tomado un cariz particular con las consecuencias, positivas y negativas, que eso comporta y que quizás son más manifiestas en el ámbito biomédico.14 Los conflictos de intereses, no solo financieros, ponen en riesgo la confianza pública inherente en la investiga-ción (percepción de la independencia del investigador,

12. J. Spaapen, H. Dijstelbloem y F. Wamelink, 2007; P. Adam y G. Permanyer-Miralda, 2009.

13. Global Forum for Health Research, 2009.

14. J. Kassirer, 2005; S. Krimsky, 2003.

fondos públicos para la investigación provenientes de los impuestos), y dejan al margen los debates sociales sobre algunos tipos o elementos particulares de la investigación (células madre embrionarias, generación de embriones para la investigación, clonación repro-ductiva, semillas modificadas genéticamente, etc.).

1.3

Evaluación del impacto social de la investigación

En los últimos años se han propuesto diferentes modelos e indicadores para la evaluación de la I+D.15 La razón principal que hay detrás de estos se puede sintetizar en cuatro objetivos fundamentales que se suelen perseguir y que no son excluyentes: 1) por responsabilidad o para rendir cuentas (accountabili-ty), tanto por parte de los investigadores, como de los planificadores y las agencias financiadoras, en la mejora de la transparencia; 2) para promover y orien-tar (steer/advocacy) el proceso de la investigación, de manera que se maximicen las posibilidades del re-sultado deseado; 3) para informar de la gestión del proceso, a través de una mejor comprensión de éste y del aprendizaje sobre la base de las experiencias previas (learning), y 4) para dar apoyo a los rendi-mientos óptimos, ya sean de buscadores y grupos, ya de planificadores y agencias financiadoras de la in-vestigación (advocacy).

Detrás de las diferentes propuestas está presente el interés por configurar una política (pública) cientí-fica más informada o fundamentada, y así favorecer el desarrollo económico y el bienestar social. Por eso no tiene que extrañar el número creciente de experien-cias internacionales (Reino Unido, Canadá, Australia, etc.) en la modelización de evaluaciones ex-post, que se presentan en el cuadro 1. Por evaluación del impac-to de la investigación se tiene que entender, pues, el proceso sistemático que analiza la relevancia, la efi-ciencia y la efectividad, bien sean proyectos, programas

15. P. Brutscher, P. Wooding y W. Grant, 2008; CAHS Panel Experts, 2009a.


o, incluso, políticas, en la consecución de los objetivos planificados. Sus resultados tienen que retroalimentar el proceso de toma de decisiones, aportar transparen-cia y rendir cuentas.16

Respecto a las medidas aplicadas en la evaluación, estas suelen incluir, siguiendo en gran parte el mode-lo lineal: 1) entradas, los recursos consumidos, sean estructurales, de equipamiento, humanos o financie-ros; 2) salidas primarias, como los bienes o servicios directamente producidos como consecuencia de la investigación, tales como las publicaciones o patentes;

16. P. Adam y G. Permanyer-Miralda, 2009.

3) salidas secundarias, como resultados derivados de la producción, tales como nuevos proyectos o aplica-ción industrial de los resultados, y 4) resultados fina-les, los más tardíos con los cambios a más largo plazo como consecuencia de la investigación, el conocimien-to producido y su aplicación práctica.17 El modelo Pay-back18 y las posteriores derivaciones y adaptaciones19

17. P. Brutscher, W. Wooding y J. Grant, 2008; CAHS Panel Experts, 2009d.

18. M. Buxton y S. Hanney, 1996; S. Hanney, J. Grant, S. Wooding y M. Buxton, 2004.

19. CAHS Panel Experts, 2009d; Canadian Institutes of Health Re-search, 2005.

Cuadro 1

Modelos de evaluación de la investigación en ciencias de la salud

Modelo Paybacky posteriores adaptaciones

(CIHR y CAHS ROI) PART Vinnova MORIA CDMRP LUMC DIUS UE

Principales objetivos

rendir cuentas + +

dirigir el proceso de investigación +

informar de la gestión del proceso + + + + + +

dar apoyo al rendimiento + +

Medidas de evaluación

entrada (consumo recursos) + +

salida (bienes/servicios producidos) + + + + + + +

resultado (impacto inicial) + + + + + + + +

impacto (cambios a largo plazo) + + + + +

Agrupación de medidas

científicas + + + + +

sociales + + + + + +

culturales + + +

económicas + + + + + +

Nivel de agregación

bajo (investigador, grupo, proyecto) + + + +

intermedio (centro, programa) + + +

alto (disciplina, fundación, universidad) + + +Payback (2001): desarrollado por Health Economic Research Group en la Universidad de Brunel y aplicado en diferentes contextos (Reino Unido, Canadá); CIHR (2005): Canadian Institutes of Health Research adopta y modifica el modelo de Payback; CAHS ROI (2009): Canadian Academy of Health Science adopta y modifica los modelos Payback y de CIHR; PART (2001): Program Assessment Rating Tool es introducido por la Administración americana para evaluar todos los programas federales, incluido los National Institutes of Health; Vinnova (2001): desarrollado por la agencia sueca (Vinnova) de innovación; MORIA (2005): Measure of Research Impact and Achievement, desarrollado por el National Health and Medical Research Council de Australia; CDMRP (2005): Congressionally Directed Medical Research Programs, desarrollado por US Army Medical Research and Material Command; LUMC (2007): Leiden University Medical Center; DIUS (2007): desarrollado por UK Department of Innovation, University, and Skills; UE (2007): 7o programa marco de la Unión Europea.Fuente: P. Brutscher, W. Wooding y J. Grant, 2008.


incorporan, en esta relación lógica de producción y trazo de vías hacia los impactos, una categorización multidimensional de impactos de la investigación en cinco grandes categorías de impacto (véase cuadro 2): avance en el conocimiento, capacitación, toma de de-cisiones informadas, resultados en salud y beneficios económicos.

Todos los modelos propuestos para la evaluación de la investigación miden las salidas y los resultados, en el sentido del conocimiento generado, el desarrollo de recursos humanos (investigadores) y la translación del conocimiento a una utilidad práctica. Las medidas de resultados se pueden combinar con las de salidas en dirección hacia arriba (bottom-up) o en dirección

Cuadro 2

Niveles de impacto de la investigación biomédica según el modelo CAHS ROI

Niveles de impacto Definición Ejemplos

Avance en el

conocimiento

• Medidas de calidad de la investigación producida

• Medidas de la actividad de investigación

• Medidas de alcance a otros investigadores

• Medidas estructurales de las estrategias de

investigación

Media de citas.

Número de artículos originales producidos.

Medidas de interacción entre investigadores, facilita

dores o barreras.

Capacitación • Medidas relacionadas con los investigadores

• Medidas relacionadas con la financiación de la

investigación

• Medidas de infraestructuras

La información resultante de la investigación que

permite emprender otras líneas de investigación;

desarrollo en el ámbito individual y de grupo de las

capacidades y habilidades como investigadores; ca

pacidad de hacer uso y compartir la investigación

local e internacionalmente.

La capacidad de captar fondos o participar en pro

yectos y colaboraciones.

Aspectos relacionados con la infraestructura necesa

ria para llevar a cabo la actividad de la investigación.

Toma de

decisiones

informadas

• Decisiones relacionadas con la salud

• Decisiones relacionadas con la investigación

• Decisiones relacionadas con productos de la

industria

• Decisiones relacionadas con el público en general

Los beneficios clínicos y administrativos derivados

de un mejor conocimiento y una toma de decisiones

más informada, lo cual supone su implementación

(por ej., las guías de práctica clínica). Beneficios en

el ámbito del producto o los servicios que traducen

los resultados de la investigación en una innovación

que se puede comercializar.

Beneficios en el

ámbito de la

salud y el sistema

sanitario

• Estado de salud

• Determinantes del estado de salud

• Funcionamiento y resultados del sistema sanitario

Mejoras en la esperanza de vida y en la calidad de

vida por los avances en la prevención, el diagnóstico

y el tratamiento que se derivan de la investigación.

Mejoras en la eficiencia de los servicios y las organi

zaciones que los proveen. Mejoras en la equidad del

sistema.

Beneficios

económicos en

sentido amplio

• Actividad de la investigación en sí misma

• Comercialización

• Valor de la salud

• Bienestar

• Beneficios sociales

Beneficios en la economía como consecuencia de la

investigación biomédica. Puede incluir el retorno de

la inversión derivada de la comercialización de nue

vos productos y servicios y la mejora en salud de la

población activa.

Fuente: CAHS Panel Experts, 2009d.


hacia abajo (top-down), muy en función de los objetivos que se planteen. Así, como se ha sugerido, si lo que se pretende es rendir cuentas y dar apoyo a un buen ren-dimiento, serán más apropiadas las medidas de resul-tados y de salidas (bottom-up), que tienen más inme-diatez; mientras que, si el objetivo pretende orientar e informar de la gestión de la investigación, se tenderá a medidas de resultados y de impacto (top-down), que son las que muestran mejor los efectos, tempranos o tardíos, en los individuos y la sociedad.20 Las evalua-ciones de arriba a abajo (top-down) se han aplicado mucho en la evaluación del impacto económico de la investigación, y los casos más ilustrativos son los de The Lasker Foundation21 y de Australia,22 que muestran unos rendimientos económicos de la investigación biomédica de gran magnitud.

En el ámbito de las ciencias de la salud, hay varios ejemplos recientes de evaluaciones top-down con la aplicación de modelos econométricos, que monetarizan las ganancias en esperanza y calidad de vida y aportan propiamente lo que se denomina retorno de la inver-sión.23 Sin embargo, se tiende a considerar un concep-to de retorno más amplio; por eso, la preferencia por el término impacto, en el sentido de los resultados eco-nómicos y sociales de las innovaciones en cuanto a competitividad, creación de bienestar y calidad de vida. El retorno de la inversión, pues, tendría que ir más allá del rendimiento obtenido por el sector privado de la comercialización de productos y servicios, e incorporar los beneficios sociales relacionados con la calidad de vida de los ciudadanos y la difusión del conocimiento.24 El modelo Payback y sus posteriores derivaciones y adaptaciones parten de esta premisa en el afán de cap-turar un amplio abanico de beneficios (multidimen-sional), sin dejar al margen los beneficios económicos en el sentido más común de este término.

20. P. Brutscher, W. Wooding y J. Grant, 2008.

21. L.E. Rosenberg, 2002.

22. Access Economics Australia Economic Consulting, 2003.

23. K. Murphy y R. Topel, 2003b; A. McGuire y M. Raikou, 2007.

24. CAHS Panel Experts, 2009d; Canadian Institutes of Health Re-search, 2005.

En la evaluación de la investigación se tiene que considerar, también, el nivel de agregación en el que se realiza el análisis. Éste puede ser bajo (investigador individual, grupo de investigación, proyecto de inves-tigación), intermedio (centro de investigación, progra-ma de investigación) y alto (ámbito científico, funda-ción o agente financiador de la investigación, industria o universidad). Las medidas de resultados y su direc-ción (hacia arriba con salidas o hacia abajo con impac-tos) tienen relación con los objetivos de la evaluación, y estos también se relacionan con el nivel de agrega-ción. Parece lógico pensar que en medidas de resulta-dos y de impactos (hacia abajo) interese más un alto nivel de agregación, mientras que en medidas de re-sultados y salidas (hacia arriba) se favorezcan niveles más bajos de agregación. Sin embargo, a medida que se baja en el nivel de agregación, los problemas de atribución (poder establecer una clara relación entre la investigación y los efectos subsiguientes) se acen-túan por el hecho de intervenir un número mayor de factores de confusión.25

Por último, está el tiempo en el que se hace la eva-luación. Los análisis pueden ser longitudinales, que examinan los diferentes efectos resultantes de un so-lo punto de partida (un proyecto, un programa, una disciplina), o transversales, en un período concreto, a modo de corte, que examinan diferentes efectos que pueden surgir de diferentes puntos de partida (grupo de investigación, institución). Hay que decir que estas dos perspectivas, longitudinal y transversal, no son excluyentes. Como las salidas, los resultados y los im-pactos se dan en diferentes intervalos una vez un pro-yecto ha finalizado (por ejemplo, las publicaciones científicas, a pesar de ser más inmediatas, suelen apa-recer al cabo de uno o dos años de acabar el proyecto; las patentes tienen una vigencia limitada de veinte años), la selección de medidas que se realice determi-nará en gran parte el período temporal de análisis.26




1.4

Retos en la evaluación del impacto

Las diferentes experiencias internacionales en la eva-luación del impacto de la investigación, específica-mente de la investigación biomédica, han constatado una serie de dificultades comunes.27

La primera es la atribución, en el sentido de la di-ficultad de asociar las salidas y los resultados con las mejoras subsiguientes (impacto), sea en términos de salud, bienestar o prosperidad. Este vínculo no es fácil de establecer, menos aún para un proyecto concreto, precisamente por el hecho de ser la misma actividad científica una tarea incremental, pero también social, con múltiples investigadores trabajando en campos próximos con el apoyo de diferentes agencias finan-ciadoras de la investigación.

La propia atribución a las innovaciones médicas de la gran mejora en la esperanza de vida de finales del siglo xix y principios del xx en los países industriali-zados no resulta tan evidente. En gran parte, se con-sidera que esta fue debida a las mejoras en la higiene, la alimentación, la vivienda y las condiciones laborales y sociales, aunque muchas de estas mejoras derivaran también de procesos de investigación. Son conocidas las tesis de Thomas McKeown, quien, examinando el importante crecimiento de la población en los países desarrollados a finales del siglo xix y principios del xx, no lo atribuía a innovaciones médicas, sino a cambios sociales, espoleados muchos de ellos por la salud pú-blica y la investigación subyacente.28 La mortalidad por enfermedades infecciosas había ido bajando bas-tante antes de que aparecieran tratamientos efectivos o de que se introdujeran vacunas para su prevención. Que las medidas en el ámbito social, la salud pública, puedan ser más determinantes, se puede ver apoyado por estudios más recientes, donde se muestra que el tratamiento inicial de las aguas de consumo, prime-ramente mediante filtros y posteriormente con la clo-

27. P. Brutscher, W. Wooding y J. Grant, 2008; CAHS Panel Experts, 2009d; CAHS Panel Experts, 2009c.

28. J. Colgrove, 2002.

ración, marcó claramente el declive de la morbilidad y mortalidad asociadas a las infecciones transmitidas por esta vía.29

Así pues, poder trazar un camino y retroceder has-ta los hallazgos primordiales que posteriormente comportaron innovaciones tecnológicas no es un pro-ceso simple de emprender. Sobre todo en medicina, donde son conocidas técnicas de las cuales, a pesar de demostrar de manera práctica su efectividad, se desconocía en los momentos iniciales de su aplicación su cimiento racional (la tecnología digital, la vacuna de la viruela, el lavado de manos en la prevención de la fiebre puerperal, etc.). No hace falta mencionar, tampoco, la serendipidad que se puede encontrar en muchos de los medicamentos y técnicas de amplia utilización actual (los rayos X, la penicilina, la ciclos-porina, etc.).30

Algunos estudios han buscado, a partir de la apli-cación tecnológica, el trazo del progreso científico en biomedicina. Uno de los más citados es el de Comroe y Dripps sobre las técnicas aplicadas a las enfermeda-des cardiovasculares y pulmonares.31 Este estudio, mencionado muchas veces abusivamente a favor de una mayor financiación de la investigación biomédica básica, mostró que el 41% de los artículos considerados esenciales en los avances clínicos posteriores no pro-venían de una investigación clínicamente orientada y que el 62% de los artículos eran resultado de la inves-tigación básica. Estudios posteriores, también de ca-rácter bibliométrico, no constatan los mismos resul-tados y en ellos pierde precedencia la investigación considerada básica.32

La segunda dificultad, relacionada con la de atri-bución, hace referencia a qué habría pasado si la in-vestigación no hubiera tenido lugar. Este problema (counterfactual) es difícil de determinar, ya que no acos-tumbra a haber controles apropiados en este sentido (contextos muy parecidos pero sin los resultados de la

29. D. Cutler y G. Miller, 2005.

30. M. Meyers, 2007.

31. J. Comroe y R. Dripps, 1976.

32. J. Grant, L. Green y B. Mason, 2003.


investigación). La medida del impacto de la investiga-ción asume que esta ha contribuido a los efectos que se están midiendo sin necesidad de establecer un vín-culo definido entre investigación e impacto (saber y hacer).33

Otro elemento problemático lo encontramos en las medidas. Incluso los indicadores bibliométricos (pu-blicaciones, citas, factor de impacto), sobradamente aceptados entre la comunidad científica, presentan sus equívocos y dificultades.34 Los análisis del valor econó-mico, en términos monetarios, del impacto de la in-vestigación se suelen centrar en los beneficios (valor) obtenidos por una sociedad concreta y por una deter-minada investigación (coste). El mayor interés en este tipo de análisis es para proveer a los que toman las decisiones (políticos, planificadores) de estimaciones del retorno de la inversión que pueda ser comparable con otras inversiones sociales (infraestructuras, edu-cación, medio ambiente, etc.). En estos análisis, mayo-ritariamente realizados en los EEUU, los beneficios se pueden categorizar en cuatro tipos principales: ahorros en los costes directos del sistema sanitario; ahorros en costes indirectos de las pérdidas de producción como consecuencia de una población activa más sana; bene-ficios obtenidos de la comercialización de nuevos o mejores (innovación) productos y servicios, y el valor intrínseco para la sociedad de las ganancias en salud (esperanza de vida y calidad de vida).35

Los estudios más conocidos que analizan el impac-to de la investigación en forma de análisis coste-bene-ficio, con expresión monetaria, tanto de la inversión (en investigación y en la implantación de las innova-ciones subsiguientes) como de los resultados (años de vida ganados, años de vida ajustados a la calidad), son los de Murphy y Topel.36 Para estos autores, la inver-sión pública en investigación biomédica básica puede tener un gran retorno social,37 aunque algunas de las

33. C. Frank y E. Nason, 2009.

34. D. Adam, 2002.

35. M. Buxton, S. Hanney y T. Jones, 2004.

36. K. Murphy y R. Topel, 2003b.

37. K. Murphy y R. Topel, 2003a.

asunciones son discutidas.38 Por su parte, Cutler ha estimado el valor actual de los costes del tratamiento a largo plazo de la enfermedad coronaria. La reducción en las últimas décadas de la mortalidad, ganancia en longevidad, se atribuye en 2/3 partes a las mejoras en el tratamiento (1/3 a los tratamientos invasivos y 1/3 al tratamiento farmacológico) y en 1/3 a los cambios en la conducta y estilos de vida, y también estos últimos son consecuencia de la investigación (prevención pri-maria y tratamiento de los factores de riesgo). Com-parando los beneficios de mejora en la supervivencia con los costes del tratamiento a largo plazo, la razón resultante era de 10.000 $ por año de vida ganado, bastante por debajo de los umbrales actualmente apli-cados en los estudios coste-efectividad para determinar la introducción o no de nuevas prestaciones sanitarias. Atendiendo a todos los costes incurridos (investigación y tratamiento) y a todos los beneficios obtenidos (años productivos, reducción mortalidad prematura, ahorros sanitarios), la razón en ganancias resultante era de 4 a 1 para el tratamiento de la enfermedad coronaria. En el caso de la enfermedad depresiva, se obtenía una razón próxima a este margen. El mismo autor estima-ba que el coste-efectividad de la modificación conduc-tual en la reducción de la mortalidad coronaria y el rendimiento todavía era superior: 30 a 1.39

Unido al problema de la trazabilidad y de la atribu-ción, está la cuestión del lapso de tiempo que puede transcurrir, incierto muchas veces, entre la descubier-ta y su aplicación práctica (puesta en el mercado, co-mercialización), un aspecto que se tiene que tener en cuenta. Desde la investigación básica hasta las inter-venciones aplicadas a la práctica, puede haber lapsos de dos a treinta años, y se puede añadir la dificultad de evaluar un retorno en un momento determinado. Los estudios longitudinales, mayormente retrospecti-vos, aunque puedan ser los más idóneos, pueden pasar por alto importantes impactos.40

38. M. Siegler, A. Weisfeld y D. Cronin, 2003.

39. D.M. Cutler y S. Kadiyala, 2003.

40. C. Frank y E. Nason, 2009.


2

Experiencias en la evaluación del impacto social de la investigación en Cataluña

A pesar de la proliferación de modelos conceptuales para la aplicación real (véase cuadro 1), son pocos los países con larga trayectoria en la implementación de este tipo de evaluación. Destacan Gran Bretaña y Canadá41 con un predominio de estudios bottom-up. El objetivo común es responder a la necesidad, por parte de las organizaciones financiadoras de investi-gación, de saber su impacto y definir estrategias fu-turas. Apar te del impacto de programas u organiza-ciones específicas, también ha habido estudios (menos numerosos) del impacto a nivel nacional desde una orientación bottom-up en el caso de Gran Bretaña,42 y top-down en el caso de los Estados Uni-dos43 y Australia.44

En la mayoría de los estudios con orientación bottom-up, se consigue una estimación detallada de los impactos en producción de conocimiento, en ca-pacitación y (en menor medida) en impacto en toma de decisiones o tecnologías adoptadas. Los análisis orientados bottom-up más difícilmente capturan resul-tados generalizables sobre el impacto en salud o im-pactos económicos. En cambio, las aproximaciones top-down acostumbran a capturar el impacto económi-co de manera más representativa a niveles de agrega-ción elevados,45 pero son de menos utilidad para res-ponder a las necesidades de planificación estratégica de las agencias financiadoras.

En Cataluña y en el resto del Estado, no se ha iden-tificado ninguna evaluación del retorno en crecimien-to y en ganancias en salud de la inversión pública en investigación competitiva biomédica. No obstante, sí

41. P. Brutscher, W. Wooding y J. Grant, 2008; S. Marjanovic, S. Hanney y S. Wooding, 2009.

42. Health Economics Research Group (HERG) BU, Office of Health Economics (OHE) y RAND Europe, 2008.

43. Funding First, 2000.

44. Access Economics Australia Economic Consulting, 2003.

45. K. Murphy y R. Topel, 2003b.

que existen experiencias promovidas por entidades financiadoras o promotoras de investigación desde una perspectiva bottom-up para rendir cuentas (o res-ponsabilizarse) de la inversión hecha. En particular, la anterior Agencia de Evaluación de Tecnología e In-vestigación Médica, AATRM (ahora Agencia de Infor-mación, Evaluación y Calidad en Salud o AIAQS), promovió una evaluación del impacto de la investiga-ción promovida a través de las diferentes ediciones de La marató de TV3 y, posteriormente, a través del pro-yecto ISOR,46 ha evaluado el impacto de la investiga-ción promovida a través de las convocatorias de la AATRM. A continuación, se detallan los resultados de estas evaluaciones.

2.1

La Marató de TV3

La Marató de TV3 es una Fundación de la Corpora-ción Catalana de Radio y Televisión. Siguiendo la tradición del teletón que se realiza en otros países (el primero, el de Jerry Lee Lewis en los EEUU por la distrofia muscular en 1966), recauda fondos para la investigación biomédica, pero hay otra razón im-portante, que es sensibilizar a la ciudadanía sobre las enfermedades a las cuales se dedica. La primera edi-ción de La marató de TV3 fue en 1992 y, a diferencia de otros teletón, cambia de año en año su foco de atención y destina los recursos recaudados a proyec-tos de investigación. A pesar de desarrollar activida-des a lo largo del año, la culminación de la campaña de sensibilización de La marató de TV3 está en el pro-grama televisivo de larga duración que se realiza en fechas próximas a la Navidad, que es cuando se hace la mayor recaudación de fondos.

Desde 2001 la AATRM (ahora AIAQS) de Cataluña gestiona la selección de proyectos que reciben finan-ciación a través de la revisión por semejantes de ám-bito internacional y de un panel ad hoc que selecciona un número determinado de proyectos que pueden ser financiables. La Agencia también hace un seguimien-

46. <http://impacte.aatrm.net/>


Cuadro 3

Impacto de La Marató de TV3 en la investigación biomédica de Cataluña

Entradas1

• 32,3 millones de euros invertidos• inversión en infraestructuras, 2.054.610 €, y en material de inventario, 4.876.062 €• recursos humanos: 2.620 investigadores, 432 investigadores principales• 91 instituciones (47,5% hospitales, 31,7% universidades y 16,4% centros públicos de investigación) correspondientes a los 432

investigadores principales• colaboraciones: 79,2% de ámbito catalán, 10,1% al menos una institución estatal y 10,7% al menos una institución internacional

Salidas• resultados primarios2

– 9 patentes Ejemplo:3 identificación de nuevos marcadores moleculares con potencial aplicación en la clasificación y evaluación de pro

nósticos de cáncer colorectal. Caracterización de la inestabilidad cromosómica presente en cánceres colorectales. Detección de vías de evolución convergente en tumores de colon de pacientes con poliposis adenomatosa familiar. Patente: Diagnosis of Epithelial Cell Abnormalities, como método de separación de células epiteliales de otros tipos celulares y contaminantes, con ventajas respecto a otros métodos.

• interfase de diseminación2

– 1.710 referencias bibliográficas aportadas por los investigadores – 674 documentos atribuibles a la financiación de La Marató de TV3 por el hecho de haber un reconocimiento explícito – 5.951 citas recibidas por los 624 documentos (media de 9,5 citas/documento) – las citas recibidas superan en un 18% la media internacional y en un 60% la media española• resultados secundarios2

– 132 becarios financiados – 179 tesis doctorales – 117 becarios formados que continúan en investigaciones similares – 77% de los proyectos reutilizan el material inventariable en nuevos proyectos Ejemplo:3 mejora de los criterios diagnósticos de algunos tipos de cáncer colorectal y de la valoración del pronóstico de la

enfermedad. Avance en el conocimiento de los procesos moleculares implicados en el cáncer. Puesta en marcha, por primera vez en España, de las técnicas de CGH y de MFISH. El laboratorio ha sido centro de referencia

para el aprendizaje de estas técnicas que actualmente son utilizadas por numerosos investigadores. Elaboración de nuevos proyectos centrados en el diseño de estrategias que permitan cuantificar la inestabilidad cromosómica

numérica y estructural. Se tienen que buscar fármacos que restituyan los niveles de proteínas reguladoras del ciclo celular a sus valores normales.

Resultados e impacto2

• 219 nuevos proyectos Ejemplo:3 la invención tiene aplicación en el diagnóstico de determinados cánceres y de otras enfermedades. La detección

de los factores implicados en su desencadenamiento puede ser muy importante a la hora de buscar nuevas estrategias terapéuticas.

A partir de los resultados sobre la inestabilidad cromosómica estructural, otros autores han empezado a considerar la posibilidad de medirla, utilizando el modelo propuesto.

Las técnicas de CGH y MFISH desarrolladas en nuestro laboratorio se utilizan en otros centros de investigación.• impacto final Ejemplo de un caso:3 en general, los tumores más agresivos presentan una mayor inestabilidad cromosómica y una peor res

puesta a la terapia. Los resultados influyen en el manejo clínico, pero no afectan todavía a la selección de un tratamiento más eficaz. Una mejor identificación de los enfermos en riesgo comporta un diagnóstico precoz y, por lo tanto, menos mortalidad.

1. Estudio sobre 320 proyectos (10 convocatorias) de las ediciones 19932002 de La marató de TV3.2. Estudio sobre 137 proyectos de las ediciones 19931999 de La marató de TV3 finalizados en diciembre de 2004 y validados por los investigadores principales.3. Textos recogidos de los cuestionarios (preguntas abiertas) contestados por los principales investigadores de un mismo proyecto.El análisis presentado se llevó a cabo el año 20052006.Fuente: S. Berra y J.M. Pons, 2006.


to periódico de las memorias anuales que los investi-gadores hacen sobre el desarrollo del proyecto, que acondiciona los subsiguientes pagos, y colabora en el simposio que se realiza cinco años después de su edi-ción televisiva, donde se presentan los resultados de la investigación. La Agencia recibió el encargo de eva-luar el impacto de La Marató de TV3 en la investigación biomédica de Cataluña, cosa que derivó en la publica-ción, en 2006, del estudio que se presenta en este artículo.47

La Agencia, después de una amplia revisión de la literatura y de los diferentes esquemas presentados para evaluar (ex-post) el impacto de la investigación en ciencias de la salud, optó por considerar el modelo Payback examinando las entradas, las salidas, los re-sultados y los impactos de los proyectos de investigación finalizados en diciembre de 2004. Solo se consideraban los efectos derivados de la investigación, sin tener en cuenta la otra misión importante de La Marató de TV3, la sensibilización ciudadana, que habría requerido una metodología diferente y de más amplio alcance.

La metodología aplicada, siguiendo una simplifica-ción del modelo Payback, aprovecha datos recogidos en la gestión de los proyectos y en el análisis de bases de datos de la producción científica, así como en el análisis de cuestionarios dirigidos a los investigadores principales de los proyectos. Se aplicaron técnicas cuantitativas y cualitativas, con inclusión de las entra-das y medidas de los efectos (resultados e impacto), siguiendo longitudinalmente los diferentes proyectos finalizados (cinco años posteriores a la adjudicación), pero con una ventana temporal (corte transversal) has-ta finales de 2004. El nivel de agregación es múltiple, ya que se analizan proyectos (nivel bajo), convocatorias (nivel intermedio, en equivalencia a un programa y considerando cada edición como una convocatoria diferenciada por la temática) y una institución, la fun-dación La Marató de TV3 (nivel alto). Al mismo tiem-po, se analizaba La Marató de TV3 respecto de otras iniciativas parecidas de agencias financiadoras de la

47. S. Berra y J.M. Pons, 2006.

investigación biomédica en España.48 Una síntesis de los resultados se presenta en el cuadro 3.

2.2

Convocatorias de la AATRM de investigación médica aplicada

Las convocatorias de la AATRM49 de investigación se han producido de forma bienal desde 1996. Ha habi-do, por lo tanto, siete convocatorias hasta ahora. Se trata de convocatorias públicas de investigación clíni-ca, epidemiológica, en salud pública y en servicios sanitarios, orientadas a favorecer e informar de la to-ma de decisiones específicas en estos campos. Se trata, por lo tanto, de una orientación en cuanto a in-vestigación aplicada, y queda excluida la investiga-ción en ciencia básica. Siguiendo la clasificación de la investigación basada en la curiosidad (o el conocimien-to) y la basada en las necesidades sociales,50 la investiga-ción promovida en esta convocatoria es claramente del segundo tipo, en consonancia con la misión de la Agencia vinculada al uso racional y eficiente de las tecnologías médicas y al fomento de la reducción de los vacíos de conocimiento en investigación clínica y en servicios sanitarios. Éste es, como se verá, un pun-to importante para considerar la evaluación del im-pacto. Con el fin de favorecer que estas convocatorias representen la satisfacción de una necesidad de la comunidad profesional sanitaria, sus temas son prio-rizados por su comité científico a partir de propuestas hechas por los propios investigadores y profesionales sanitarios relevantes de Cataluña, además de las prio-ridades derivadas de los planes de investigación y sa-lud. Un amplio abanico de usuarios (entre los que destacan investigadores y profesionales sanitarios) son convocados periódicamente con el fin de hacer propuestas en este sentido (call for topics).51

48. S. Berra y J.M. Pons, 2006.

49. <http://www.gencat.cat/salut/depsan/units/aatrm/html/ca/dir215/index.html>

50. P. Adam y G. Permanyer-Miralda, 2009; J. Spaapen, 2008.

51. S. Berra, E. Sánchez, J.M. Pons, C. Tebé y M. Aymerich, 2008; S. Be rra, E. Sánchez, J.M. Pons, C. Tebé, J. Alonso y M. Aymerich, 2010.


La evaluación de impacto de esta convocatoria se ha elaborado sobre la plantilla sugerida por el modelo CAHS ROI de la Canadian Academy of Health Scien-ce,52 dado que muestra especificidades propias del tipo de investigación aplicada y por el interés de los indicadores que se proponen. El gráfico 1 muestra el modelo CAHS ROI, consistente en una modelización lógica de la investigación y en la definición multidi-mensional de los cinco niveles de impacto antes men-cionados. El modelo presenta diferentes versiones de los impactos según el tipo de investigación objeto de evaluación. Este gráfico se muestra en referencia a uno de los tipos de investigación prioritario en las convocatorias de la AATRM: la investigación en servi-cios sanitarios. En el proyecto ISOR se analizan, en primer lugar, las diferentes características, y se conti-núa con un análisis, tanto cuantitativo (descriptivo de los proyectos, bibliométrico, etc.) como cualitativo, de la contribución al conocimiento científico que los diferentes proyectos han llevado a cabo.53 Posterior-

52. CAHS Panel Experts, 2009d.

53. P. Adam, S. Berra, I. Guillamón, G. Permanyer-Miralda y J. Pons, 2010a; P. Adam, S. Berra, I. Guillamón, G. Permanyer-Miralda y J. Pons, 2010b.

mente, se analiza la contribución que estos proyectos han tenido en la capacitación y el apoyo para la toma de decisiones clínicas y sanitarias.54 Dado que la in-vestigación evaluada es, como ha quedado bien paten-te, eminentemente aplicada, este punto es tanto o más importante que el análisis de la contribución al cono-cimiento, y justifica una orientación múltiple. Es im-portante recordar que el apoyo a la toma de decisiones representa la justificación de las convocatorias de la Agencia y de la inversión social realizada, y que, por lo tanto, es el punto prioritario donde evaluar el cum-plimiento de la misión de la Agencia en términos de responsabilización o accountability. Es por este motivo que la fase de estudio sobre el impacto en la toma de decisiones se ha profundizado con un estudio cuali-tativo para el caso de un grupo de proyectos, los espe-cíficos en enfermedades respiratorias.55

En el cuadro 4 se puede ver la evolución de las ca-racterísticas de cada convocatoria respecto a número de temas priorizados, proyectos presentados, proyectos seleccionados y financiación. La financiación media para cada proyecto ha sido de 37.600 euros. En total,

54. M. Solans, G. Permanyer-Giralda, I. Guillamón y P. Adam, 2010.

55. P. Adam, G. Permanyer-Miralda, I. Guillamón y M. Solans, 2010.

Gráfico 1

Modelo CAHS ROI de retorno de la inversión en investigación biomédica

Iniciación y difusión de los impactos de la investigación en salud

Retroalimentación de los impactos en entradas para futura investigación

Estados de salud, capacidades funcionales, bienestar, condiciones económicas

Investigaciónglobal

Industriabiomédica

Público generalInformación

GruposR

esul

tado

s de

la in

vest

igac

ión

Capacitación dey para la

investigación

Mejoras ensalud y

bienestar

Prosperidadeconómica

y social

Investigación en Cataluña / España

• Biomédica• Clínica• Serviciossanitarios

• Población y salud pública

Con

ocim

ient

o

Inte

racc

ione

s/R

etro

acci

ón

Servicios sanitariosy asistenciales

appropriateness,efectividad, acceso,

seguridad, etc.

Prevención ytratamiento

Determinantesde la salud

Progreso en el conocimiento Beneficios económicos globales Toma de decisiones informadas CapacitaciónBeneficios en salud

Otras industrias

Gobiernos

Planificación de lainvestigación


entre 1996 y 2004 (período objeto de la evaluación), se invirtieron casi cuatro millones de euros. Más de la mitad de la financiación ha representado una inversión en recursos humanos, hecho representativo de esta convocatoria, en que no se delimita la proporción de gasto en recursos humanos ni en material inventaria-ble. Desde la publicación del call for topics (de la pro-puesta de temas) hasta la finalización de los proyectos seleccionados y la presentación pública de sus resul-tados, transcurren unos cinco años de cada convoca-toria. El proceso de priorización de temas y de evalua-ción y selección de proyectos es llevado a cabo por un comité científico de expertos que realiza esta función de forma sistemática y rigurosa.

En el gráfico 2 se presenta la distribución de los proyectos según el carácter de la investigación. Aunque la clasificación se realizó con el consenso de tres ob-servadores independientes, hay que mencionar la di-ficultad que presenta este tipo de agrupación en cuan-to a la delimitación de uno u otro tipo de investigación. En el análisis de la clasificación, destaca que una cuar-ta parte de proyectos se consideró de investigación clínica pura y otra cuarta parte, de servicios sanitarios, mientras que el resto, una combinación de estas con la epidemiología. Esta distribución da una idea bastan-te orientativa del carácter de la investigación evaluada.

En las convocatorias participaron 1.320 investiga-dores, con una media de 10,4 por proyecto (225 inves-tigadores repitieron en más de un proyecto).

2.2.1

Evaluación del impacto en el avance del conocimiento

Análisis de los indicadores CAHS ROI

Este estudio se realizó analizando el rendimiento en términos de producción científica de las convocato-rias de la Agencia, excluyendo la de 2006, al conside-rar que era demasiado reciente para disponer de un intervalo de tiempo válido para la generación de citas. La obtención de los datos sobre citas se hizo median-te solicitud de información a cada investigador, com-

Cuadro 4

Características de las convocatorias de la AATRM

Edición

Característica 1996 1998 2000 2002 2004 2006 2008

Núm. temas presentados a la

propuesta de temas

- 205 116 216 190 210 241

Núm. temas seleccionados por

convocatoria

15 20 30 35 30 29 20

Núm. proyectos presentados a

la convocatoria

71 51 120 103 176 99 121

Núm. proyectos seleccionados 18 19 25 25 22 18 14

Financiación (€) 510.860 540.911 841.417 841.417 1.021.721 1.021.721 1.021.214

Fuente: P. Adam, S. Berra, I. Guillamón, G. PermanyerMiralda y J. Pons, 2010a.

Gráfico 2

Distribución de los proyectos según el tipo de investigación. Convocatoria de la AATRM, 1996-2006 (n = 127)

Epidemiologíay salud pública

11,8%

Epidemiologíay salud pública +

servicios sanitarios18,1%

Clínica12,6%

Clínica + servicios sanitarios

25,2%

Clínica + epidemiología y salud pública

7,9%

Servicios sanitarios24,4%

Fuente: P. Adam, S. Berra, I. Guillamón, G. PermanyerMiralda y J. Pons, 2010a.


plementada con una revisión sistemática de las bases Web of Science ISI-Reuters (WOS), Google Scholar y Índice Médico Español.

Se adaptaron los resultados de la búsqueda al con-junto general de indicadores56 propuestos por el mo-delo canadiense CAHS ROI, clasificados en cuatro ámbitos que se ilustran en el gráfico 3: calidad, activi-dad, alcance y contexto/estructura.

Respecto a los indicadores de calidad, tanto el núme-ro de artículos derivados de los proyectos de las con-vocatorias de la AATRM, como el impacto de las pu-blicaciones donde se han dado a conocer y el número de citas alcanzado por estas, son destacables: se obser-vó, por ejemplo, un total de 102 artículos originales (definidos en términos específicos), un 32% de los cuales habían sido citados en revistas con un factor de impacto superior a 4. El número absoluto de citas que estos artículos recibieron fue de casi 2.000, una media de 17 por artículo cuando se eliminan las autocitas. En el 15% de artículos más citados, el número de citas recibidas osciló entre 30 y 459. Asimismo, se observó que, con el paso del tiempo, el número de proyectos que no había recibido ninguna cita tendía a cero. Es difícil evaluar estas cifras, ya que no es fácil de definir ni es asequible un comparador adecuado. No obstan-te, resulta evidente que las convocatorias de la Agencia han generado una producción científica de volumen

56. CAHS Panel Experts, 2009d; CAHS Panel Experts, 2009b.

e impacto visibles. Esta producción, sin embargo, tie-ne que ser considerada teniendo en cuenta tanto el problema de la atribución (en qué medida un produc-to científico se puede considerar derivado de un de-terminado fenómeno, en este caso, la convocatoria de la Agencia), nada sencillo de analizar, como el desfase temporal entre los artículos de las diferentes convoca-torias. Se llama así a la tendencia a disminuir el nú-mero de citas con el tiempo al reducirse la oportunidad de un artículo de ser citado.

Los indicadores de actividad utilizados mostraron que, de todos los tipos de documentos derivados de las convocatorias de la Agencia, un 12% corresponde a artículos científicos registrados en el WOS, y se ob-serva una tendencia con el tiempo al aumento de la proporción de productos revisados por expertos sobre los no revisados.

Respecto al alcance de la producción, cabe destacar que solo un 5% se publicó en revistas de epidemiolo-gía, salud pública y medio ambiente. El resto se pu-blicó en revistas consideradas clínicas. Éste es un hallazgo interesante, si se recuerda la proporción me-nos importante que tuvo la investigación clínica pura entre los proyectos. Aunque su análisis es complejo, puede reflejar el mayor prestigio de este tipo de revis-tas a la hora de escoger un portal de comunicación, o la dificultad consiguiente de comunicación de los pro-yectos dedicados a epidemiología, servicios sanitarios o salud pública. Respecto a la lengua de los artículos,

Gráfico 3

Selección y adaptación de los indicadores CAHS ROI sobre impacto en el avance en el conocimiento para el proyecto ISOR

Fundamentalmente basada en el análisis de:

• Citas de artículos de originales• Publicaciones científicas altamente citadas• Artículos originales sin citas• Revistas

Calidad

Análisis condicionada a estándares de calidad:

• Ratio de documentación producida sobre publicaciones científicas / artículos originales

Actividad

Análisis de coautorías y lengua vehicular:

• Afiliaciones de los autores• Lengua de las publicaciones y de las citas• Especialidad de la revista

Alcance

% investigación básica sobre el total

Tipología de instituciones participantes

Contexto/Estructura


el artículo original fue escrito en castellano en un 82% de los artículos originales, mientras que un 89% de citas estaban en artículos escritos en inglés.

En cuanto a la estructura, la investigación ha sido primordialmente llevada a cabo en hospitales univer-sitarios (46% del total de instituciones involucradas), aunque el 76% de los proyectos fueron multicéntricos, es decir, con la participación de más de un centro. En cuanto al resto, el 21% de las instituciones fueron otros centros públicos de investigación, el 13% fueron hos-pitales no universitarios y un 9% fueron universidades (véase gráfico 4).

Evaluación cualitativa de los proyectos con mayor impacto y citas

Aparte de los indicadores CAHS ROI, se analizó el contenido y el carácter de un grupo de proyectos se-leccionados por su calidad en términos de impacto bibliométrico. Se seleccionaron los diez primeros proyectos en función de tres criterios: factor de im-pacto acumulado, número de citas en revistas de ex-celencia (ISI WOS) y número de citas acumuladas en un ámbito más extenso (Google Scholar). Resultó que nueve de estos diez proyectos estaban represen-tados como mínimo en dos de estas tres escalas. És-

tos fueron, por lo tanto, los nueve escogidos con ma-yor exce lencia, según estos criterios, para analizar su con tenido y características. Se leyeron los proyectos originales, las memorias de sus resultados y, como mínimo, los resúmenes de los artículos que se deri-varon de ellos, y fueron analizados por el equipo in-vestigador del proyecto ISOR.

La temática de estos proyectos corresponde con algunas de las áreas de la medicina que son respon-sables de mucha de la problemática sanitaria actual, como cáncer, infecciones, depresión, insuficiencia cardíaca o enfermedad pulmonar obstructiva crónica. Llama la atención la ausencia de la enfermedad coro-naria y del ictus, pero este pequeño número de pro-yectos solo permite constatarlo.

El diseño de estos nueve proyectos corresponde a ensayos clínicos en tres casos y a estudios prospectivos observacionales o de cohortes en cuatro; el resto tienen otros diseños, como una metanálisis. Es tentador pen-sar que esta proporción de ensayos clínicos, como di seño más preciado y sofisticado, es la que permitió un mayor impacto bibliométrico. Pero no es así, o al menos de manera directa, dado que los artículos de-rivados del proyecto que fueron objeto de publicación con resultado brillante eran estudios observacionales derivados del proyecto original y no directamente este. En todo caso, el hecho ilustra la actividad productiva de los grupos capaces de diseñar un ensayo clínico.

Una característica señalada de estos nueve proyec-tos de excelencia es su procedencia: ocho de los nueve procedían de grandes hospitales o centros de investi-gación, y solo uno del ámbito de la atención primaria. Por lo tanto, a pesar de la intención de la Agencia de promover la investigación a nivel de centros pequeños y de la atención primaria, este hallazgo (de sentido no demasiado diferente, ciertamente, del conjunto de la investigación biomédica actual) ilustra que la mayor parte de la investigación de impacto continúa en ma-nos de los centros más potentes y con más posibilida-des. Es destacable, por lo tanto, la presencia de un proyecto de atención primaria en el grupo de excelen-cia. Saber en qué medida las convocatorias de la Agen-cia han fomentado publicaciones valiosas en grupos

Gráfico 4

Distribución de las tipologías de afiliaciones de los investigadores principales de los proyectos de investigación de las convocatorias de la AATRM

Hospitales universitarios

46%

Otros centros públicosde investigación

21%

Hospitalesno universitarios

13%

Universidades9%

Centros privadosde investigación

6%

Atención primaria5%


más modestos que disponían solo de su financiación es un punto a aclarar en otras fases del proyecto ISOR. Alguna observación en este sentido se podrá encontrar en el estudio de los proyectos sobre patología respira-toria que se está finalizando actualmente.

Otra característica de estos proyectos de excelencia es que una pequeña proporción de los artículos gene-rados a partir de estos se hizo con colaboradores de ámbito estatal o internacional no incluidos en el equi-po investigador original. Aunque el número absoluto de estos artículos es pequeño (6), destaca el hecho que la gran mayoría de los artículos con colaboración ex-terna fueron publicados en revistas de impacto supe-rior a 5. Esto sugiere, por una parte, que puede haber un efecto de la colaboración asociado con la excelencia, mientras que, por otra, queda bien patente, a partir de la alta proporción de artículos escritos por el equipo original, la capacidad productiva de algunos de los grupos de investigación locales.

2.2.2

Evaluación del impacto en la toma de decisiones

Siguiendo el esquema conceptual del modelo CAHS ROI, el impacto en la toma de decisiones se puede ilustrar a través de una batería de indicadores que, tal

como muestra el gráfico 5, se agrupan en los ámbitos siguientes: decisiones relacionadas con la salud, deci-siones relacionadas con la investigación, decisiones relacionadas con la industria y decisiones del público en general.

Dado que la misión de la AATRM es muy clara en cuanto en cuál de los ámbitos de impacto en la toma de decisiones quiere incidir, la evaluación de este as-pecto se ha estructurado en dos subestudios en que se tienen solo en cuenta las decisiones clínicas y sani-tarias. El primero, las tiene en cuenta de forma gene-ral para todos los proyectos financiados y el segundo, para un subgrupo de proyectos seleccionados.

El primero de los subestudios57 analiza los resulta-dos de una encuesta enviada a todos los investigadores principales de los proyectos financiados y finalizados en febrero de 2009 en las convocatorias de la Agencia sobre el efecto que, a su parecer, su proyecto ha tenido en la toma de decisiones clínicas y sanitarias, y en la evolución ulterior del propio proceso de investigación. El cuestionario remitido en este subestudio incluía preguntas sobre la utilidad potencial de los hallazgos del proyecto, los destinatarios directos de sus resulta-dos (clínicos, gestores, planificadores, pacientes, bases de datos, etc.), las posibles acciones de transferencia

57. M. Solans, G. Permanyer-Miralda, I. Guillamón y P. Adam, 2010.

Gráfico 5

Indicadores CAHS ROI sobre impacto en la toma de decisiones informadas

• Ámbito sanitario (ejemplo: uso de los hallazgos en guías de práctica clínica)

• Salud pública• Servicios sociales• Otros (uso en otros ámbitos como transportes, medio

ambiente, etc.)• Educación relacionada con aspectos de la salud

Decisiones en el ámbito de la salud

• Financiación de investigación nueva (usar citas en memorias de nuevos proyectos)

• Políticas de I+D• Formación (uso de resultados o citas en libros de texto)

Decisiones en el ámbito de la investigación

• Número de patentes• Clusterización o co-location (análisis de la ubicación de la

industria en relación con los centros de investigación)• Consultas a la industria (número de investigadores que

han recibido consultas por parte de la industria)• Colaboraciones con la industria• Uso de descubrimientos para informes de la industria

Decisiones en el ámbito de la industria

• Grupos de abogacía (ejemplo: investigación citada en documentos editados por grupos de pacientes)

• Educación del público en general (conferencias hechas ante el público en general)

Decisiones del público en general


hacia estos, si los resultados habían sido utilizados o tenidos en cuenta en la práctica y si habían influido en cambiarla. Asimismo, se preguntaba si otros inves-tigadores habían recogido, promovido o utilizado los resultados para desarrollar nuevas hipótesis o proyec-tos. Se obtuvo una tasa global de respuesta lo bastan-te adecuada (71%) para dar validez a los resultados que se presentan del cuestionario. Este subestudio repre-senta una primera aproximación a la evaluación del impacto de los proyectos de investigación sobre la toma de decisiones clínicas y sanitarias, y puede ser ampliado en investigaciones ulteriores.

Sobre la utilidad potencial de los resultados, tanto como un 44% de los que respondieron consideraron que sus resultados podían ser útiles para la toma de decisiones o cambios organizativos, y fue más limita-da la utilidad reconocida para el uso de tecnologías e innovaciones. El grueso de los destinatarios poten-ciales de los proyectos se consideraron los clínicos, gestores y planificadores. Aunque solo un 14% de los encuestados reconocieron no haber hecho ninguna acción de transferencia de sus resultados, las caracte-rísticas del cuestionario no permitían evaluar la mag-nitud o relevancia de estas acciones.

Un hallazgo destacable fue que el 30% reconoció que no se habían tenido ulteriormente en cuenta sus resultados para la práctica o que no lo sabía. Por otra parte, un 70% contestaba afirmativamente y, de éste, el 41% declaró que la acción correspondiente fue lle-vada a cabo por gestores o planificadores. En contras-te con este 70% que había declarado que los resultados habían sido utilizados o tenidos en cuenta, solo un 59% reconoció que efectivamente habían provocado algún cambio.

Una evaluación global de esta parte de la encuesta permite un juicio globalmente positivo: una buena proporción de encuestados reconoció que sus hallaz-gos habían provocado cambios en la práctica. No se puede juzgar actualmente la magnitud o la relevancia de estos cambios y, por otra parte, no abundan los estudios similares que se pudieran utilizar de com-paradores válidos. Vale la pena destacar que, en un ámbito muy lejano a nosotros, la Alberta Heritage

Foundation for Medical Research, en Canadá, en un estudio58 similar, recogió que el 51% de beneficiarios de sus ayudas reconocían que su trabajo no había provocado cambios en la práctica, cifra no alejada de las nuestras. Hasta qué punto son aceptables estas proporciones en la investigación clínica financiada es una cuestión a debatir, y, actualmente, todavía poco analizada y que justifica la existencia de iniciativas para la evaluación del impacto de la investigación y la rentabilidad de su financiación.

A pesar de este juicio positivo, la encuesta muestra también puntos mejorables, como sugiere el 30% de respuestas negativas o el desconocimiento en la pre-gunta de si los resultados habían sido ulteriormente tenidos en cuenta por clínicos o gestores.

La segunda parte de la encuesta hacía referencia a la capacitación. Es destacable que el 58% de los inves-tigadores que contestaron admitían que otros investi-gadores o centros habían recogido los resultados de sus proyectos en ulteriores trabajos para la continua-ción del estudio inicial o para el desarrollo de nuevas hipótesis a partir de éste. Por otra parte, el 64% de los que respondieron reconocieron que, a partir del pro-yecto inicial, habían colaborado con otros equipos. Es decir, el 36% declaró ausencia de colaboración y, hecho de interpretación difícil, otro 36% no respondió esta pregunta. Es interesante asociar este hallazgo con el que se hizo en el estudio mencionado antes sobre el alto rendimiento bibliométrico de las colaboraciones, y señala una clara área de eventual mejora. Sin em-bargo, la visión global es positiva (aunque, otra vez, no se puede medir el alcance) y, además, se refiere al conjunto de las convocatorias y no a proyectos selec-cionados. Hay que recordar, sin embargo, que una evaluación completa de la capacitación no se podría llevar a cabo sin un estudio más exhaustivo y preciso de la actividad generada y, muy especialmente, de las oportunidades formativas y profesionales provocadas.

En conjunto, pues, y a pesar de las limitaciones impuestas por el hecho de tratarse de una encuesta y, además, una encuesta dirigida a los propios interesa-

58. Barrington Research Group, 2003.


dos, este estudio ofrece un panorama de la utilidad o impacto global que las convocatorias de la Agencia pueden haber tenido en la toma de decisiones clínicas u organizativas y la capacitación ulterior para la inves-tigación. Este panorama tendría que ser continuado y complementado por otros estudios con otras orienta-ciones. No tan solo en nuestro ámbito, sino de forma generalizada, el conocimiento de los efectos e interac-ciones de la investigación con el mundo de la toma de decisiones sanitarias es todavía una tarea pendiente o solo iniciada, a pesar de las poderosas razones que existen para ponerla en práctica.

En un segundo subestudio,59 en fase adelantada de ejecución, se ha querido conocer con más profundidad el impacto sobre la toma de decisiones en el subgrupo de proyectos (estudio de casos). Este estudio se está llevando a cabo mediante entrevistas semiestructuradas a los principales investigadores de los proyectos anali-zados, a otros investigadores de su equipo y a gestores sanitarios implicados en las decisiones correspondien-tes. En la entrevista se han abordado temas similares a los explorados en el primer subestudio, pero con mayor profundidad, y se ha inquirido también sobre cuál ha sido la interacción de los investigadores con los gesto-res sanitarios con el fin de aplicar los resultados del proyecto, y cuáles han sido las barreras encontradas por el investigador para esta aplicación. Como la extensión de esta investigación más profundizada no permitía aplicarla a la totalidad de los proyectos de las convoca-torias de la Agencia, se decidió realizarla solo a la tota-lidad de proyectos de una área específica. Por diferentes razones, se decidió que esta área fuera la correspon-diente a los proyectos sobre patología respiratoria. Este estudio es en estos momentos objeto de análisis.

2.3

Valoración conjunta del impacto de ambas convocatorias

¿Cuál es, pues, el impacto social de estas dos convo-catorias? Los estudios con metodologías bottom-up

59. P. Adam, G. Permanyer-Miralda, I. Guillamón y M. Solans, 2010.

han permitido conocer con bastante detalle los im-pactos en el avance en el conocimiento, en la capa-citación y en la toma de decisiones informadas si-guiendo, en la medida de lo posible, la batería de indicadores del modelo CAHS ROI (véase el anexo). No hay que olvidar, sin embargo, que las comparacio-nes tienen limitaciones, fundamentalmente por la gran diferencia en el intervalo de realización de cada estudio (tres años desde la última convocatoria en el caso de La Marató de TV3, y cinco años en el caso de la convocatoria de la AATRM) y por las diferencias entre convocatorias y medidas utilizadas para el aná-lisis. En cuanto a los impactos en salud y a los impac-tos económicos y sociales de amplio alcance, surge la necesidad de estudios con metodologías top-down que pueden dar respuesta no a nivel de convocatoria, sino a nivel territorial para la totalidad de Cataluña o de España.

El volumen de recursos invertidos en la convocato-ria de la AATRM (aproximadamente un millón de euros cada dos años) representa una pequeña parte de la inversión en investigación biomédica realizada en Cataluña y en toda España. No obstante, la tipología de investigación que esta convocatoria financia (inves-tigación aplicada y en gran parte llevada a cabo desde los centros sanitarios) está posiblemente menos re-presentada en otras convocatorias. La singularidad de las convocatorias de la Agencia representa un elemen-to cualitativo a tener en cuenta a la hora de evaluar los productos que se han derivado de estas.

A pesar de las limitaciones, la comparación presen-tada en el anexo es de utilidad. Mientras la convoca-toria de la AATRM no destina recursos a investigación básica y, por lo tanto, las salidas tienen menos proba-bilidades de impacto bibliométrico, los estándares de calidad son altos en ambos casos. La distribución de las tipologías de instituciones que participaron en ge-nerar el conocimiento difiere en una mayor participa-ción de hospitales en la convocatoria de la AATRM (60% versus 51%) y una mayor participación de uni-versidades en La Marató de TV3 (32% versus 9%); pa-ra el resto de instituciones, las distribuciones son parecidas.


En cuanto a la capacitación, se observa en ambos casos que las ayudas han servido para capacitar beca-rios y, potencialmente, carreras profesionales (89% de becarios en La Marató de TV3 y 75% en las convo-catorias de la AATRM han continuado dentro del equi-po investigador). Aunque una gran cantidad ha sido destinada a recursos humanos (40% de los recursos de La Marató de TV3 y 61% en las convocatorias de la AATRM), las instituciones también se han beneficiado de ello, sobre todo en el caso de La Marató de TV3: el 17% de los recursos se destinaron a material inventa-riable, tres cuartas partes del cual serían utilizadas para nueva investigación, mientras que, en el caso de las convocatorias de la AATRM, se destinó el 9% y, de éste, un 66% se reutilizó.

Finalmente, el cuadro A.3 del anexo muestra una comparativa de las respuestas de los investigadores principales cuando se les preguntó por aspectos rela-cionados con la utilización de los resultados por parte de los destinatarios o actores implicados. En el caso de las convocatorias de la AATRM, un 70% declara que la investigación que llevó a cabo iba dirigida a personal sanitario, clínicos, gestores y planificadores. Este porcentaje contrasta con las bajas proporciones para otros destinatarios, tales como un 6% a otros investigadores y un 10% a pacientes y familiares. Si bien este dato no se puede comparar con La Marató de TV3 (por no tener resultados en este sentido), la elevada proporción de personal sanitario y gestores entre los destinatarios ilustra una característica propia de esta convocatoria. De hecho, el 57% de los investi-gadores declaran haber producido resultados de apli-cación clínica o sanitaria en el caso de la convocatoria de la AATRM, porcentaje que se eleva al 77% en el caso de La Marató de TV3. Cuando se pregunta sobre la utilización real en el ámbito clínico y sanitario, un 57% de los encuestados de la convocatoria de la AATRM declaran tener conocimiento de aplicaciones reales o cambios en la práctica clínica u organizativa. Éste es un dato importante, dado que uno de los objetivos que persigue esta convocatoria es justamente éste: contri-buir a la toma de decisiones clínicas y sanitarias, y, por lo tanto, a cambios reales. Sin embargo, un último

dato ilustrativo de las diferencias entre ambas convo-catorias es el número de patentes obtenidas: ocho en el caso de La Marató de TV3 y ninguna en el caso de la AATRM.

3

Conclusiones

Evaluar el impacto de la investigación biomédica más allá de las publicaciones científicas es una empresa con pocos precedentes en nuestro país y, sin embar-go, una actividad de utilidad para los decisores econó-micos y sociales en el mundo de la investigación, la ciencia y la tecnología (I+D). Es de utilidad a nivel nacional o para el ámbito científico para estudiar el cumplimiento de estrategias, y es de utilidad a nivel de las organizaciones planificadoras y financiadoras o grupos de investigación para valorar el cumplimiento de objetivos. Aunque, en última instancia, siempre se busca la mejora en la salud de la población, la disci-plina que estudia y evalúa el impacto social va más allá y toma en consideración aspectos tan directos como el contexto y el alcance del conocimiento gene-rado, la difusión y la aplicación de éste, los cambios en las prácticas asistenciales y clínicas, la toma de decisiones de los actores implicados tanto dentro co-mo fuera del ámbito de la I+D y el sector I+D como un motor económico. Al fin y al cabo, como en cual-quier otro ámbito, la investigación también se fomen-ta y financia con unos objetivos, y el cumplimiento de estos es, por lo tanto, objeto de evaluación, ya sea para mejorar la planificación estratégica, para promo-ver líneas de investigación con rendimientos sociales demostrados o para rendir cuentas a los órganos rec-tores de las organizaciones en cuestión.

El impacto social de los recursos destinados a la investigación a través de los proyectos beneficiarios de ayudas de La Marató de TV3 fue evaluado durante los años 2004 y 2005, siguiendo un esquema lineal de “producción” de investigación, en que se consiguie-ron medidas cuantitativas de las entradas y de las sa-lidas primarias, mientras que las salidas secundarias


y los resultados se capturaron desde una perspectiva más cualitativa.

La AATRM (ahora AIAQS) ha hecho un paso más con la evaluación del impacto social de seis ediciones de las convocatorias de la AATRM en investigación aplicada o clínica y en servicios sanitarios, entre 1996 y 2004, que tiene por misión llenar vacíos de conoci-miento y ayudar en la toma de decisiones de los pro-fesionales clínicos y asistenciales del sistema sanitario catalán (proyecto ISOR). Por una parte, se ha evaluado el impacto en el avance en el conocimiento y, por otra parte, se ha evaluado el impacto en la toma de deci-siones informadas. Los resultados muestran una uti-lización responsable de los recursos y, más importan-te aún, un número significativo de vías para intentar

mejorar el impacto y conseguir, así, una mejor gestión y planificación de la convocatoria. Aunque el tipo de investigación que financia esta convocatoria es menor en términos de inversión (por ejemplo, en relación con las inversiones en investigación básica), su impac-to en cambios clínicos o asistenciales reales es más probable. Conociendo las barreras existentes en la actualidad, sería posible planificar para intentar supe-rarlas.

A pesar de las limitaciones obvias de la comparación entre ambos estudios de evaluación, los resultados apuntan mensajes en referencia al valor social de estas convocatorias, la responsabilización de los investiga-dores y las entidades promotoras y gestoras de la in-vestigación y de su evaluación.


AnexoCuadro A.1

Impacto en el avance en el conocimiento1 en diferentes ámbitos y en dos convocatorias de investigación biomédica catalana

España(1993-2002)

Cataluña(1993-2002)

La Marató de TV3 (1993-2002)

Hospitales de Cataluña

(1992-2002)

Convocatoria de la AATRM(1996-2004)

Ámbito científico biomedicina biomedicina biomedicina todos los ámbitos científicos

investigación clínica y en servicios sanitarios

(bienal)

Ventana temporal 10 años 10 años 10 años(10 convocatorias)

10 años 9 años(5 convocatorias)

Fecha de la recogida de la información2

2005 2005 2005 2009 2009

Intervalo del análisis3 3 años 3 años 3 años * 5 años

Calidad

Núm. citas en publicaciones científicas4

675.800 citas en doc. citables

209.181 citas en doc. citables

5.951 citas en doc. citables y atribuibles

* 2.548 citas en doc. citables

Media de citas por pu blicaciones científicas5

8,11 9,44 9,5 * 9,29

% no cita6 29,1 25,9 17,5

Actividad

Núm. publicaciones científicas4

83.335 doc. citables

22.151 doc. citables

802 doc. citables;624 doc. citables

y atribuibles

12.637 doc. citables 274 pub. científicas

Alcance

% colaboraciones internacionales7

24,4% 27,0% 33,8% 21% 15%

Contexto/estructura

% investigación básica sobre el total

* * 54% investigación básica;

15% puramente clínica

* 0% investigación básica;

12% puramente clínica

Tipología de instituciones participantes

* * 48% hosp. univ.;16% otros centr.

públ. investigación;2,5% hosp. no univ;

32% universidad

* 46% hosp. univ.;21% otros centr. públ.

investigación;13% hosp. no univ.;9% universidades

5% atención primaria

* Datos no disponibles o no aplicables.1. Las definiciones de los indicadores se han efectuado siguiendo como base de referencia los indicadores propuestos por el modelo CAHS ROI (CAHS Panel Experts, 2009d; CAHS Panel Experts, 2009b). Los datos de este cuadro se basan en una encuesta realizada a los investigadores principales de los proyectos que han recibido ayudas y en una búsqueda efectuada en la base de datos bibliográfica ISI Web of Knowledge (S. Berra y J.M. Pons, 2006; P. Adam, S. Berra, I. Guillamón, G. PermanyerGiralda y J. Pons, 2010a). La tasa de respuesta de la encuesta fue de 72% (La Marató de TV3) y de 71% (convocatoria de la AATRM).2. Los datos para España y Cataluña se han escogido del 2005 por razones de comparabilidad con los datos de las convocatorias. Los datos actualizados son: 127.409 documentos, de los cuales 108.543 son documentos citables; 1.137.020 de citas y 242.432 autocitas, con una media de 9,69 citas por documento (SCImago. (2007). SJR SCImago Journal & Country Rank. Retrieved October 22, 2010. <Http://www.scimagojr.com>).3. En el caso de convocatorias, el intervalo se calcula como los años transcurridos entre la última convocatoria analizada y el momento de la búsqueda bibliográfica. En los otros casos, se calculan los años transcurridos entre el último año analizado y el momento de la búsqueda bibliográfica.4. La definición de publicación científica incluye artículos originales, cartas, editoriales y revisiones. Incluye autocitas. Por documento citable, se entienden los artículos, revisiones y proceedings que aparecen en ISI Web of Knowledge, y por documento citable atribuible se entienden aquellos que hacen referencia a la fuente de financiación en el apartado de los agradecimientos.5. La diferencia entre las medias de las tres primeras columnas (datos recogidos en 2005) y las dos últimas (datos recogidos en 2009) es debida a la diferencia de tiempo en el recuento de las citas.6. Publicaciones que no reciben ninguna cita en el momento del análisis sobre el total de publicaciones científicas.7. Número de publicaciones donde al menos uno de los coautores tiene una afiliación de fuera de España.


Cuadro A.2

Impacto en la capacitación1 de dos convocatorias de investigación biomédica catalana

La Marató de TV3(1993-2002)


Ámbito científico biomedicina investigación clínica y en servicios sanitarios (bienal)

Ventana temporal 10 años(10 convocatorias)

9 años(5 convocatorias)

Fecha de la recogida de la información 2005 2009

Intervalo del análisis2 3 años 5 años

Recursos humanos

Becarios3 132 24

Tesis y tesinas4 179 44

Continuidad de los becarios5 117 (89%) 18 (75%)

% inversión en recursos humanos6 40% 61%

Capacidad financiadora

Inversión total 43,3 millones € 3,8 millones €

Núm. proyectos 320 92

Cofinanciación según lo declarado en las memorias científicas del proyecto7

25,2% 20,9%

Cofinanciación pública según lo declarado en las memorias científicas del proyecto8

80,4% 63,2%

Infraestructura

Inversión en material inventariable9 17% 9%

Material inventariable utilizado para nuevos proyectos 77% 66%

1. Las definiciones de los indicadores se han efectuado siguiendo como base de referencia los indicadores propuestos por el modelo CAHS ROI (CAHS Panel Experts, 2009d; CAHS Panel Experts, 2009b). Los datos de este cuadro se basan en una encuesta realizada a los investigadores principales de los proyectos que han recibido ayudas y en los datos de gestión de la evaluación de las convocatorias llevadas a cabo por la AATRM (Berra y J.M. Pons, 2006; P. Adam, S. Berra, I. Guillamón, G. PermanyerGiralda y J. Pons, 2010a). Las tasas de respuesta a la encuesta fueron del 72% (La Marató de TV3) y del 71% (convocatoria del AATRM).2. Años transcurridos entre la última convocatoria analizada y el momento de la búsqueda bibliográfica.3. Número de becarios que han participado en la totalidad de los proyectos.4. Tesis y tesinas efectuadas por los becarios u otros investigadores a partir de la investigación llevada a cabo.5. Número (y % sobre el total) de becarios que continuaron en la misma línea de investigación (o en una línea parecida).6. Porcentaje de recursos humanos sobre la inversión total en investigación efectuada.7. Porcentaje de proyectos en los cuales se ha identificado una cofinanciación declarada por los investigadores principales en las memorias científicas de los proyectos.8. Porcentaje de ayudas públicas declaradas por los investigadores en las memorias científicas de los proyectos de investigación.9. Porcentaje de proyectos en los cuales se ha identificado una cofinanciación declarada en los artículos originales derivados de los proyectos de investigación.


Cuadro A.3

Impacto en la toma de decisiones informadas1 de dos convocatorias de investigación biomédica catalana

La Marató de TV3(1993-2002)


Ámbito científico biomedicina investigación clínica y en servicios sanitarios (bienal)

Ventana temporal 10 años(10 convocatorias)

9 años(5 convocatorias)

Fecha de la recogida de la información 2005 2009

Intervalo del análisis2 3 años 5 años

Destinatarios de la investigación

Actores que han utilizado o tenido en cuenta los resultados

* 29% clínicos; 41% gestores y planificadores; 21% otros investigadores

Decisiones relacionadas con los servicios sanitarios

Proyectos que han producido resultados que han cambiado la práctica clínica, sanitaria o asistencial

57% admiten cambios reales, de los cuales un 24% hace referencia a cambios organizativos sanitarios

Destinatarios directos de los resultados obtenidos * 42% clínicos; 37% gestores y planificadores

Beneficios sanitarios de la investigación(escala de 1 a 5)

37% asigna las puntuaciones más bajas y el 27% la puntuación central

*

Decisiones relacionadas con la investigación

Inicio de nuevos proyectos 78,8% 62,9%

Otras personas o centros han recogido, promovido o utilizado ideas desarrolladas

65% 58%

Herramientas o técnicas desarrolladas que han sido adoptadas por otros investigadores o centros

38,8% 29%

Beneficios sobre la propia institución(escala de 1 a 5)

77% de los investigadores dan puntuación alta

*

Decisiones relacionadas con la industria

Han obtenido patentes 8 0

Acciones de transferencia orientadas al mercado/industria

* 3% de los investigadores responden positivamente

Decisiones relacionadas con el público en general

Acciones de transferencia orientadas a la sociedad, política y/o público en general

* 12% de los investigadores responden positivamente

Destinatarios directos de los resultados obtenidos * 10% pacientes o familiares

* Datos no disponibles o no aplicables.1. Las definiciones de los indicadores se han efectuado siguiendo como base de referencia los indicadores propuestos por el modelo CAHS ROI (CAHS Panel Experts, 2009d; CAHS Panel Experts, 2009b). Los datos de este cuadro se basan en una encuesta realizada a los investigadores principales de los proyectos que han recibido ayudas (S. Berra y J.M. Pons, 2006; P. Adam, S. Berra, I. Guillamón, G. PermanyerGiralda y J. Pons, 2010a). La tasas de respuesta fueron del 72% (La Marató de TV3) y del 71% (convocatoria de la AATRM).2. Años transcurridos entre la última convocatoria analizada y el momento de la búsqueda bibliográfica.


Referencias

AcceSS economicS AuStrAliA economic conSultinG (2003). “Exceptional returns: the value of investing in health R&D in Australia”.

AdAm, D. (2002). “The counting house”. Nature, 415, pág. 726-729.

AdAm, P.; BerrA, S.; GuillAmón, i.; PermAnyer-mi-rAldA, G.; PonS, J. (2010a). Impacte de la recerca clí-nica i en serveis sanitaris en l’avenç en el coneixement. Estudi aplicat a les Convocatòries AATRM. Segunda edición.

AdAm, P.; BerrA, S.; GuillAmón, i.; PermAnyer-mi-rAldA, G.; PonS, J. (2010b). Impact of clinical and health services research in advancing knowldegde. Study applied to CAHTA Calls. Tercera edición. Catalan Agen-cy of Health Technology Assessment and Research.

AdAm, P.; PermAnyer-mirAldA, G. (2009). És la re-cerca biomèdica una bona inversió social? L’avaluació de l’impacte de la investigació mèdica. Barcelona, AATRM.

AdAm, P.; PermAnyer-mirAldA, G.; GuillAmón, i.; So-lAnS, M. (2010). Impacte de la recerca aplicada en malal-ties respiratòries (título provisional). Barcelona, Agència d’Informació, Avaluació i Qualitat en Salut.

BArrinGton reSeArch GrouP (2003). Assessment of Health Research Fund Outputs and Outcomes: 1995-2003.

BerrA, S.; PonS, J.M. (2006). Avaluació de l’impacte de La Marató de TV3 en la recerca biomèdica a Catalunya. AATRM y Fundació Marató de TV3.

BerrA, S.; Sánchez, e.; PonS, J.m.; teBé, c.; Aymerich, m. (2008). Avaluació del procediment de priorització de la recerca clínica i en serveis sanitaris de Catalunya. Bar-celona, AATRM.

BerrA, S.; Sánchez, e.; PonS, J.; teBé, c.; AlonSo, J.; Aymerich, M. (2010). “Setting priorities in clinical and health services research: Properties of an adapted and updated method”. International Journal of Technology Assessment in Health Care, 26(2), pág. 217-224.

Boldrin, m.; leVine, d. (2007). Against intellectual monopoly.

BrutScher, P.; woodinG, w.; GrAnt, J. (2008). Health Research Evaluation Frameworks: An International Com-parison. Reino Unido, Rand Europe.

Buxton, m.; hAnney, S. (1996). “How can payback from health services research be assessed?”. J Health Serv Res Policy, 1(1), pág. 35-43.

Buxton, m.; hAnney, S. (2008). “Desarrollo y aplica-ción del Modelo Payback para la evaluación del impac-to socioeconómico de la investigación en salud”. Med Clin (barc), 131 (supl. 5), pág. 36-41.

Buxton, m.; hAnney, S.; JoneS, T. (2004). “Estimating the economic value to societies of the impact of health research: a critical review”. Bulletin of the World Health Organisation, 82(10), pág. 733-739.

cAhS PAnel exPertS (2009a). “Evaluation fra-meworks and methods”. CAHS Panel Experts (ed.). Making an impact. A preferred framework and indicators to measure returns on investment in health research. Appendices.

CAHS PAnel exPertS (2009b). “Indicators”. CAHS Panel Experts (ed.). Making and Impact. A preferred framewor and indicators to measure return on investment in health research. Appendices.

cAhS PAnel exPertS (2009c). “Issues for research evaluation”. CAHS Panel Experts (ed.). Making an impact. A preferred framework and indicators to mea-sure returns on investment to health research. Appen-dices.


cAhS PAnel exPertS (2009d). Making and impact. A peferred framework and indicators to measure returns on investment in health research.

cAnAdiAn inStituteS oF heAlth reSeArch (2005). Developing a CIHR Framework to Measure the Impact of Health Research. Ottawa, Ontario, CIHR.

colGroVe, J. (2002). “The Mckeown thesis: a histori-cal controversy and its enduring influence”. Am J Pu-blic Health, 92, pág. 725-729.

comroe, J.; driPPS, R. (1976). “Scientific basis for the support of biomedical science”. Science, 192, pág. 105-111.

cutler, d.m.; KAdiyAlA, S. (2003). “The return to biomedical research: treatment and behavioral effects”. K.M. Murphy i R.H. Topel (ed.). Measuring the gains from medical research. An economic approach. Chicago y Londres, The University of Chicago Press.

cutler, d.; miller, G. (2005). “The role of public health improvements in health advances: the twentie-th-century US”. Demography, 42, pág. 1-22.

dutField, G. (2003). Intellectual property rights and the life science industries. A twentieth century history. Reino Unido, ASHGATE.

FrAnK, c.; nASon, e. (2009). “Health research: mea-suring the social, health and economic benefits”. Canadian medical Association Journal, 180(5), pág. 528-534.

FundinG FirSt (2000). Exceptional returns: the economic value of America’s investment in medical research. Nueva York, The Lasker Foundation.

GenerAlitAt de cAtAlunyA (2010). Plan de Investiga-ción e Innovación de Catalunya 2010-2013. Oficina de Coordinación en Investigación e Innovación. Depar-tamento de Innovación, Universidades y Empresa.

Global Forum for Health Research (helping co-rrect the 10/90 gap) (2009). Monitoring financial flows for health research 2006. Behind the global numbers.

GrAnt, J.; Green, l.; mASon, B. (2003). “From Bedsi-de to Bench: Comroe and Dripps revisited”. HERG Research (Uxbridge, Middlesex), 30.

hAnney, S.; GrAnt, J.; woodinG, S.; Buxton, m. (2004). “Proposed methods for reviewing the outco-mes of health research: the impact of funding by the UK’s ‘Arthritis Research Campaign’“. Health Res Poli-cy Syst, 2(1), pág. 4.

heAlth economicS reSeArch GrouP (herG) Bu; oFFice oF heAlth economicS (ohe); rAnd euroPe (2008). Medical Research: what’s it worth? Estimating the economic benefits from medical research from the UK. Londres, UK Evaluation Forum.

KASSirer, J. (2005). On the take. How medicine’s com-plicity with big business can endanger your health. Nueva York, Oxford University Press.

KrimSKy, S. (2003). Science in the private interest. Has the lure of profits corrupted biomedical research? Lanham, EEUU, Rowman & Littlefield Publishers, Inc.

lemmenS, T. (2004). “Leopards in the temple: restoring scientific integrity to the commercialized research scene”. J Law Med Ethics, 32, pág. 641-657.

mArJAnoVic, S.; hAnney, S.; woodinG, S. (2009). “A historical reflection on research evaluation studies, their recurrent themes and challenges”. RAND Euro-pe Technical Report.

mcGuire, A.; rAiKou, M. (2007). “Inferring the Value of Medical Research to the UK”. LSE Working Paper, 5.

merton, R. (1973). “The reward system of science”. R. Merton (ed.). The sociology of science. Theoretical and


empirical investigations. Chicago, EEUU, Storer NW, The University of Chicago Press.

meyerS, M. (2007). Happy accidents. Serendipity in modern medical breackthroughs. Nueva York, Arcade Publishing.

moKyr, J. (1992). The lever of riches. Technological crea-tivity and economic progress. Nueva York, EUA, Oxford University Press.

murPhy, K.; toPel, R. (2003a). “Diminishing returns? the cost and benefits of improving health”. Perspectives in biology and medicine, 46 (supl.).

murPhy, K.; toPel, r. (2003b). Measuring the Gains from Medical Research: An economic approach. The Uni-versity of Chicago Press.

nelSon, R. “The advance of technology and the scientific commons”. Phil Trans R Soc Lond, 361, pág. 1691-1708.

OCDE (2002). Manual Frascati. Propuesta de norma práctica para encuestas de investigación y desarrollo ex-perimental. España, FECYT.

roSenBerG, L.E. (2002). “Exceptional economic returns on investments in medical research”. MJA, 34, pág. 177.

roSenBerG, N. (1993). Dentro de la caja negra: tecnolo-gía y economía. Barcelona, La Llar del Llibre.

SCImAGo (2007). SJR - SCImago Journal & Country Rank. Retrieved October 22, 2010. <http://www.sci-magojr.com>

SieGler, m.; weiSFeld, A.; cronin, D. (2003). “Is medical research cost effective? Response to Murphy and Topel”. Perspectives in biology and medicine, 46 (supl.).

Smith, R. (2001). “Measuring the social impact of research. Difficult but necessary”. BMJ, 323.

SolAnS, m.; PermAnyer-mirAldA, G.; GuillAmón, i.; AdAm, P. (2010). Impacte de les convocatòries de recer-ca clínica i en serveis sanitaris en la presa de decisions informades i la capacitació. Visió dels investigadors. Bar-celona, Agència d’Informació, Avaluació i Qualitat en Salut.

SPAAPen, J. (2008). Motivation, mission and profile.

SPAAPen, J.; diJStelBloem, h.; wAmelinK, F. (2007). Evaluating research in context. A method for comprehen-sive assessment. La Haya, Países Bajos, Consultative Committee of Sector Councils for Research and De-velopment (COS).

StePhAn, P. (1996). “The economics of science”. J Econom Liter, 34, pág. 1199-1235.

weBBer, P. (2003). “Protecting your inventions: the patent system”. Nature Reviews Drug Discovery, 2, pág. 823-830.

weiSS, A.P. (2007). “Measuring the impact of me-dical research: Moving from outputs to outcomes”. The American Journal of Psychiatry, 126(2), pág. 206-214.

el impacto social de la investigación biomédica en cataluña. [464

Documents