Evaluación y segumiento de proyectos. Acceso a instalaciones

científicas.Xavier Barcons

Instituto de Física de Cantabria (CSIC-UC)Presidente del Consejo del European

Southern Observatory (ESO)

ContenidosEvaluación y seguimiento científico-técnico de

proyectosSelecciónInformes anualesMid-term reviewInforme final y evaluación ex-post

Acceso a ICTS y GICsConceptos básicos: selección, acceso, modos, etc.Mapa de ICTSParticipación en OOII GICsPolítica de acceso a grandes instalaciones en generalHoja de ruta ESFRI. Prioridades para España (2010)

Financiación de proyectos de invesigación. Convocatorias públicas

Comisión Europea (FP7, H2020, programa IDEAS)

Plan Nacional de I+D+I y futuros PEICYT y PEI

Planes regionales (inexistente en la actualidad)Convocatorias de entes privados

Fundaciones, bancos, etc.Habitualmente temáticosReglas de juego hecahas a medida en cada

caso.

Gestión del Plan Nacional de I+D+iPendiente de reforma de acuerdo con la Ley

de la Ciencia (en vigor)Creación de la Agencia Nacional de

InvestigaciónEncomienda al CDTI como “Agencia Nacional

de la Innovación”La SG de Proyectos de Investigación, de la

DG de I+D+i gestiona la convocatoria, selección y seguimiento de Proyectos y Acciones complementariasCada área tiene un Gestor, científico de la

comunidad que colabora con la SG durante un período de 3-4 años

Con

voca

tori

a

Sele

cció

n

Mid

-term

revi

ew

Eva

luaci

ón

ex-

post

Soli

citu

d

Ace

pta

ción

Info

rme a

nu

al

Info

rme a

nu

al

Info

rme fi

nal

Con

voca

tori

a

Sele

cció

n

Mid

-term

revi

ew

Eva

luaci

ón

ex-

post

Soli

citu

d

Ace

pta

ción

Info

rme a

nu

al

Info

rme a

nu

al

Info

rme fi

nal

El proceso de selección

El proceso de selección (I)(1) Evaluación científico-técnica

Encargada a la ANEP, a través de un coordinadorEvaluadores sólo conocidos por la ANEPValora la calidad del equipo investigador y la

valía científico-técnica del proyecto.

(2) Comisión de Selección (por áreas)SG de Proyectos, Jefe Depto, Gestor de área, más

5-10 expertos de la comunidad investigadoraDos expertos de la comisión de selección y el

Gestor de área evalúan la oportunidad y viabilidad de cada proyecto.

El Proceso de Selección (II)(3) Comisión de Selección

Priorización de las solicitudes de proyectosRecomendaciones (recortes) sobre el presupuestoPropuesta de asignación de personal en

formación (FPI y técnicos)Basado en

Calidad del equipo investigador y del proyecto de investigación

Viabilidad y oportunidad del mismo

(4) Resolución provisional por parte de la autoridad convocante

Proceso de selección (III)(5) Trámite de audiencia

Aceptación de la propuesta de financiación o alegaciones a la misma

Comisión de reclamaciones (por áreas), parte de la Comisión de Selección.

(6) Resolución definitiva por parte de la autoridad convocante

(7) Envío de las cartas de concesión del proyecto a los IPs y Representantes Legales de cada Organismo

Características del proceso de SelecciónExtremadamente garantista (casi “judicial”)Cada proyecto es examinado en profundidad

por al menos 6 personas:ANEP: Mínimo 2 evaluadores externos y

coordinadorComisión de selección: 2 expertos y Gestor de

áreaConflictos de intereses:

Evitados en todo el proceso de evaluación y selección

Los proyectos en los que participan Gestores de área los evalúa una única comisión independiente.

Con

voca

tori

a

Sele

cció

n

Mid

-term

revi

ew

Eva

luaci

ón

ex-

post

Soli

citu

d

Ace

pta

ción

Info

rme a

nu

al

Info

rme a

nu

al

Info

rme fi

nal

Desarrollo del proyecto

Informes anualesEsenciales para librar los fondos de la

siguiente anualidadInforme económico-administrativo

fundamentalInforme cientifico-técnico:

Progresos frente al programa planteado en la solicitud

Evaluado habitualmente por el Gestor de Área.

Mid term reviews(Jornadas de segumiento)Fundamentales para proyectos que presentan

algún aspecto crítico durante el proceso de selección:Por ejemplo la puesta en marcha de un equipo

experimental, la contratación de un técnico, etc.

Organizado en unas Jornadas habitualmente públicas, frente a un panel de expertos del área.

Es el único de seguimiento del proyecto capaz de aportar “feedback” tanto al equipo investigador como a la Comisión de Selección o a la autoridad convocante.

Con

voca

tori

a

Sele

cció

n

Mid

-term

revi

ew

Eva

luaci

ón

ex-

post

Feedback

Al IPAl órgano de selección

Con

voca

tori

a

Sele

cció

n

Mid

-term

revi

ew

Eva

luaci

ón

ex-

post

Soli

citu

d

Ace

pta

ción

Info

rme a

nu

al

Info

rme a

nu

al

Info

rme fi

nal

Finalización del proyecto

Informe final y evaluación ex-postInforme final:

Científico-técnico elaborado por el IPEconómico-administrativo, por el Organismo del IP

Científico-técnicoDebe recoger todos los resultados generados al

amparo del proyecto: publicaciones, congresos, tesis leídas, charlas de divulgación, etc.

Grado de cunplimiento de objetivos planteados en la solicitud

Evaluado por el Gestor de ÁreaPrácticamente imposible que genere “feedback”

Variantes en proyectos Programa IDEAS del ERC (StG, Consolid, AdRG)

Alrededor de un investigadorSelección en 2 pasos. Sólo se valora IP y proyectoDuración 5 añosCualquier tema es elegibleSolo mid-term review, y presumiblemente ex-

post.Otros proyectos FP7 (ITNs, etc)

Enfatizan la cooperación (redes multinacionales, etc.)Bastante restrictivo en la temáticaInformes anuales de corte más bien

administrativo.

Acceso a grandes instalaciones

Conceptos básicosInstalaciones de carácter único, más allá de las

posibilidades de instituciones individuales (Universidades, centros de investigación), para realizar I+D+IInstalaciones Científico-Técnicas Singulares (ICTS), de

ámbito nacional Frecuentemente gestionadas por Organismos Públicos de

Investigación o UniversidadesGrandes Instalaciones Científicas (GICs), de carácter

internacional Frecuentemente gestionadas por Organismos Internacionales

Habitualmente con participación pública importante, lo que se refleja en las fórmulas de acceso a las mismas.

ICTSMapa definido en 2007Condiciones:

Deben ser instalaciones verdaderamente únicas

El acceso a las mismas debe realizarse por méritos científico-técnicos

Acceso gratuito para el sistema español de I+D+i Gran Tanque de Ingeniería marítima

Mapa de ICTS

Instalaciones y Organismos Internacionales en los que España participa

(Algunos) Organismos Internacionales de Investigación

Hoja de ruta ESFRIForo de ámbito

europeo en el que se discuten las prioridades para las futuras (10-20 años) GICs (RIs)

Actualemnete consta de 47 GICs, cuya financiación no está consolidada

Prioridades ESFRI para España (2010)Ciencias Sociales y

HumanidadesSHARE

Ciencias ambientalesEuro-ArgoCOPAL

Ciencias biológicas y médicasELDORInfrafrontierInstruct

EnergíaIFMIF

MaterialesILL 20/20ESRF actualización

Ciencias Fisicas e IngenieríaEELTFAIR

E-CienciaPRACE

Acceso a ICTS y GICs: principios generalesUna parte del tiempo de la instalación, la explota

científicamente el Organismo que lo opera.La mayoría del acceso está abierto a la

comunidad investigadora:Anuncios de oportunidad periódicos (cada 6 ó 12

meses o más largos)Las solicitudes son evaluadas y priorizadas por un

comité de expertos (Comité de Accesos), en base a la calidad/excelencia de las mismas.

Existe la posibilidad de que las empresas o terceras partes “compren” acceso a la instalación

Acceso: Buenas prácticasLos miembros del Comité de Accesos deben

ser representativos de la comunidad investigadora

Nombrados por la autoridad responsable del Organismo gestor

Se deben evitar al máximo conflictos de intereses

No se debe aplicar una política de café para todos

Dado que las ICTS y las IOI están financiadas por fondos públicos, no se carga coste alguno a los investigadores del sistema público de I+D+i

Acceso: modosModo visitante

El investigador o su grupo viaja a la instalación y realiza el experimento, con asistencia del personal especializado

Modo servicioEl personal especializado de la instalación realiza el

experimento, siguiendo instrucciones específicas del investigador

Modo remotoIdéntico al modo visitante, pero con el investigador

conectado remotamente en tiempo real

Ejemplo 1: experimento en el CERN Cuando se va a poner en marcha un nuevo

acelerador, se solicitan ideas a la comunidad para realizar experimentos, instalando los correspondientes instrumentos

Plazos:Concepción, diseño, desarrollo, instalación y

comisionado ~15 años.Explotación científica ~5-20 años

Consorcios muy amplios (miles de científicos), apoyados en instituciones y de composición variable

Ejemplo 2: Caracterización de un material en un sincrotrónPropuestas científicas de uso de la instalación

cada 6 ó 12 meses. Evaluadas por un comité de expertos.

Si el investigador tiene éxito en el proceso de selección, viaja al sincrotrón y realiza las medidas apoyado por el personal técnico.

Desde la solicitud hasta la obtención de resultados ~entre 1 y 2 años

Ejemplo 3: Observaciones astronómicas en el VLT (ESO)Cada 6 meses se abre un ciclo para presentar

propuestas (tiempo solicitado ~5 veces tiempo disponible).

Selección por comité de expertos (OPC), priorización

Ejecución de las observaciones de mayor prioridad en modo Servicio y asignación de horas de observación en modo visitante.

Tiempo transcurrido ~ 1-2 años.

ResumenAcceso a ICTS y GICs imprescindible para

muchos proyectos de I+DTiempo típico de ejecución de accesos va

desde 1 año hasta 25.Poco o mal sintonizado con los ciclos de la

financiación de proyectos de I+DDado el régimen de concurrencia competitiva,

es imposible asegurar en la solicitud de un proyecto de I+D que se va a poder acceder a una determinada instalación