V JORNADAS DOCENTES

Asesor Científico-TécnicoInstituto de Salud Carlos III

Proyectos europeos: Evaluación (calendario, comisiones internas, evaluadores externos, circuito, criterios,

puntuación, evaluación final, reclamaciones)

Juan E. Riese PhD MBA

V JORNADAS DOCENTES

Resumen de aspectos a tratar

§ Evaluación de proyectos europeos: introducción a la dinámica de los proyectos y aspectos generales§ Procedimientos de evaluación en una y 2 fases en proyectos europeos consorciados de H2020 en Salud

§ El caso especial de IMI§ Otros casos especiales: ERC y sus modalidades

§ La base de datos de evaluadores externos: ventajas de participar y condiciones§ Criterios de evaluación en propuestas europeas.

§ Puntuación§ El procedimiento de evaluación en detalle

§ Etapas§ Los informes de evaluación § Garantías de imparcialidad§ Gestión de los potenciales conflictos de interés

§ El procedimiento de reclamación

V JORNADAS DOCENTES

3 criterios de evaluación para propuestas completas:1. Excelencia (relevante a la descripción de la convocatoria y al topic)2. Impacto3. Calidad y eficacia de la implementación (gestión del proyecto)

§ Se debe comprobar si hay solicitud de financiación excepcional por terceros países no incluidos en el Anexo

Se debe tener en cuenta que cada criterio se adapta a cada tipo de acción según el Programa de Trabajo (texto de la convocatoria) Nota: El criterio de impacto se refiere a los especificados en la sección ‘Impacto esperado’ en cada topic. Al evaluar se debe tener en cuenta éstos.

Criterios de evaluación en las Acciones de Investigación e Innovación (RIA, proyectos europeos clásicos) – (I)

V JORNADAS DOCENTES

§ En la 1ª fase de evaluación en el caso de propuestas de 2 fases, solo se consideran los 2 primeros criterios (en rojo en la imagen anterior).

§ En la 1ª fase se fija el umbral general de manera que la suma de presupuestos solicitados que se admiten a la fase 2 sea lo más cercano posible a 3 veces y no menos de 2,5 veces al presupuesto disponible para el topic en cuestión (Umbral dinámico).

Criterios de evaluación en las Acciones de Investigación e Innovación (RIA, proyectos europeos clásicos) – (II)

V JORNADAS DOCENTES

Criterios y subcriterios de evaluación para RIAs e IAs

V JORNADAS DOCENTES

La persona que evalúa debe analizar si cada socio solicitante tiene la capacidad operativa básica para realizar las actividades propuestas. Información relevante: 1. CV o descripción del perfil del solicitante2. Publicaciones u otros logros relevantes: patentes, otros.

§ Proyectos o actividades previas relacionadas con la temática de la propuesta§ Descripción de cualquier infraestructura significativa o equipamiento principal § Descripción de terceras partes que contribuirán al trabajo pero que no participan como

socios del proyecto3. En casos excepcionales, se valoran las medidas concretas propuestas para obtener la capacidad

operarativa durante la duración del proyecto. § Durante las reuniones de consenso, el evaluador considerará si es oportuno comentar que se da

una falta de capacidad operativa.§ No se aplica a propuestas en fase 1 de evaluación (propuestas de 2 fases)

Análisis de la capacidad operativa

V JORNADAS DOCENTES

Sistema de puntuación

V JORNADAS DOCENTES

El proceso de evaluación en SC1 – H2020

Tiempo total desde cierre de la convocatoria hasta envío de resultados:4 meses

V JORNADAS DOCENTES

Controles previos de la CE – aspectos formales

V JORNADAS DOCENTES

§ Participantes

§ Países Miembro de la UE

§ Países Asociados

§ Terceros Paíseso ¿Pueden participar?o ¿Pueden recibir financiación?o Países BRICo Canadá y los EEUU

§ Excepciones

§ Condiciones específicas según topico Basado en acuerdos bilateraleso Por requerimiento de la temática de I+io Exclusiones indirectas

Controles previos por la CE – aspectos de elegibilidad

V JORNADAS DOCENTES

No existe fase de negociación tras la evaluación en propuestas seleccionadas para financiar

V JORNADAS DOCENTES

§ El grupo de Consenso está formado por la Comisión, los evaluadores y eventualmente expertos

§ El evaluador presenta un informe individual donde se incluyen:

§ Puntuaciones de cada criterio con comentarios

§ Informe sobre la capacidad operacional de cada participante (basado solo en la información aportada, CV, publicaciones...) Si alguno es deficiente, la propuesta habrá sido evaluada sin considerar su aportación

§ Explicación de las limitaciones o deficiencias, sin hacer recomendaciones

El consenso

V JORNADAS DOCENTES

§ Son moderadas por personal funcionario (‘Officers’) de la CE§ Gestión de la evaluación§ Facilitan el consenso antes de proceder a la puntuación. No se trata de hacer una

media aritmética de las calificaciones§ No opinan ni evalúan§ Se redacta el informe in situ con un redactor seleccionado, que no es evaluador

§ Presencia de observadores independientes§ Comprueban la objetividad § Vigilan la transparencia del proceso§ Pueden proponer mejoras al procedimiento§ No evalúan§ Pueden preguntar aspectos formales§ Informan posteriormente al Comité de Programa

Las reuniones de consenso

V JORNADAS DOCENTES

El ranking

V JORNADAS DOCENTES

La evalución en la Iniciativa de Medicamentos Innovadores – IMI2. ¿Qué es IM2? https://www.imi.europa.eu/about-imi

V JORNADAS DOCENTES

Las convocatorias IMI2

V JORNADAS DOCENTES

El procedimiento de evalución en IMI2

V JORNADAS DOCENTES

Procedimiento de evalución en IMI2El proceso de evaluación tiene 3 fases:§ Fase 1 — Evaluación individual en remoto (3 -5 expertos/as por propuesta):§ Fase 2 — Grupo de consenso§ Fase 3 — Revisión por el panel

§ Antes de empezar, a los expertos se les informa (y forma) acerca de:• El proceso de evaluación y los procedimientos de evaluación (Incluyendo los criterios de selección y financiación)• El contenido de los topics en cuestión• Los términos del contrato (p.ej. Confidencialidad, imparcialidad, conflictos de interés, tareas e informes a realizar,

y penalizaciones en caso de no cumplimiento)• A no tener en cuenta las páginas que exceden el número límite establecido, y• La necesidad de evaluar las propuestas en el estado en el que están, más que el potencial que tendrían si se

hicieran modificaciones.

§ Se utilizan los mismos criterios y la misma escala de calificación que en la evaluación de proyectos europeos

V JORNADAS DOCENTES

El proceso de evaluación en el programa ERC¿Qué es el ERC?

http://ec.europa.eu/programmes/horizon2020/en/h2020-section/european-research-council

V JORNADAS DOCENTES

La evaluación ERCStarting, Consolidator, Sinergy y Advanced Grants§ Un solo envío de la solicitud con una parte resumida y otra parte extendida. Pero evaluación en 2

etapas

§ El/la solicitante selecciona el paneles de evaluación previamente según temática

§ Etapas de la evaluación§ Etapa 1: se evalúa la sinopsis extendida, los méritos y su CV§ Etapa 2: En caso de superar la 1ª evaluación, se valúa la propuesta completa y se seleccionan las propuestas más

competitivas§ Etapa 3: Presentación ante tribunal evaluador en Bruselas con preguntas (solo StG, CG en la fase 2 y SG en la fase 3)

§ Pueden existir evaluaciones extra

V JORNADAS DOCENTES

La evaluación ERC - criterios§ Un único criterio: la excelencia científica, con subcriterios

§ Naturaleza rompedora de la idea§ El enfoque científico del proyecto § Capacidad intelectual, creatividad y compromiso del IP

En el caso de Synergy Grant§ Se evalúa también que existe espíritu colaborativo entre los investigadores

principales§ Se utiliza software para detección de plagio

V JORNADAS DOCENTES

Criterios deevaluación ERC (I)§

V JORNADAS DOCENTES

Criterios deevaluación ERC (II)

V JORNADAS DOCENTESPuntuación en la evaluación en el programa ERC

• Calificación 'A’: cumple totalmente el criterio y subcriterios de excelencia de la ERC y se recomienda la financiación del proyecto si hay fondos suficientes disponibles.

• Calificación 'B’: Cumple algunos pero no todos los subcriterios de excelencia, por lo que no será financiado. • Penalización: si obtiene una B en la fase 1, el IP no podrá enviar una

nueva propuesta hasta 2 años más tarde. No se aplica si obtieneuna B en la fase 2

• Calificación 'C’: La propuesta no tiene suficiente calidad para pasar a la fase 2. • Penalización: el/la solicitante no podrá enviar de nuevo la

propuesta hasta 3 años más tarde.

V JORNADAS DOCENTES

https://ec.europa.eu/info/funding-tenders/opportunities/portal/screen/programmes/h2020

Enlace expertos en la página de H2020 (I)

V JORNADAS DOCENTES

El papel de los expertos/as independientes en la evaluación de proyectos europeos

• Instrucciones recibidas antes de iniciar la evaluación.• Evaluación de una sola convocatoria.• La actividad es personal y no delegable.• Los informes se envían por vía telemática en el plazo determinado• Requisito contractual.• La compensación económica puede verse afectada en caso de incumplimiento.• Concienciación de la responsabilidad.• Objetividad – imparcialidad.• Conflicto de intereses.• Avisar de plagios, cualquier otra anormalidad detectada.• La parte ética será revisada por un panel separado de expertos.

V JORNADAS DOCENTES

• Independenciao El evaluador no representa a su institucióno Evalúa según su capacidad personal

• Imparcialidado Todos las propuestas de proyectos deben ser tratadas y evaluadas

imparcialmente según sus méritos, independientemente de su origen o identidad de los solicitantes

• Objetividado Se evaluarán las propuestas tal como están, no como debieran estar si fueran

modificadas• Exactitud

o Se evalúa de acuerdo con los criterios de evaluación fijados y el topic de la convocatoria (y nada más)

• Consistenciao Se aplicará el mismo juicio a todas las propuestas

Principios de actuación

V JORNADAS DOCENTES

Se está obligado a:• No comentar las evaluaciones (contenido de las propuestas, los resultados de la evaluación,

opiniones d e los expertos) con nadie, incluyendo:• Otros expertos, empleados/funcionarios de la CE no directamente involucrados en la

evaluación de la propuesta• Única excepción: los expertos que evalúan la misma propuesta en un grupo de

consenso o panel.• No contactar socios del consorcio, subcontratados o cualquier tercera parte.• No revelar los nombres de los expertos evaluadores del panel.• Anualmente, la CE publica la lista con todos los evaluadores sin relacionarlo con los topics.• Mantener la confidencialidad de los documentos en cualquier momento y lugar.• Se deben destruir todos los documentos físicos y electrónicos tras terminar la evaluación,

así como notas, etc.

La confidencialidad

V JORNADAS DOCENTES

Los conflictos de interés

§ Necesidad de absoluta imparcialidad en el procedimiento§ Firma de contrato con anexo ad hoc

§ Avisar de cualquier eventual conflicto de interés§ Durante la evaluación§ Durante el panel de evaluación

§ En caso de conflicto no declarado puede haber penalización

V JORNADAS DOCENTES

§ En el informe aparece la opción de ‘redress’ (reclamación) que puede ejercer el coordinador pero solo para revisión de aspectos de procedimiento, no acerca de los méritos de la propuesta.

§ A enviar por el coordinador de la propuesta en un plazo de 30 días tras recibir el informe de evaluación.

§ Una vez enviado por vía telemática, se recibe un mensaje automático de confirmación de recepción por la CE que es el que fija el calendario de las próximas acciones.

§ Se recibirá un mensaje 15 días hábiles después del cierre del plazo de presentación de la reclamación. § Respuesta definitiva: no cabe proseguir con la reclamación§ O se informa de cuándo se recibirá la respuesta definitiva

§ Tiempo de espera a la resolución: hasta 5 meses

El procedimiento de reclamación (‘redress’)