CIVRComitato di Indirizzo per la Valutazione della Ricerca

VTR 2001- 2003Incontro CRUI

con i Presidenti dei Nuclei di Valutazione 13 Aprile 2006

Mario Bressan

• Strutture partecipanti 102

• Ricercatori coinvolti 64.028

• Aree di Ricerca 20

• Panelist 151

• Esperti esterni 6.661

• Prodotti valutati 17.329

• Valutazioni 35.440

• Consulenze 30.000

• Costi diretti di processo 3.550.000 euro

Numeri del VTR

Prodotti valutati

Prodotti presentati dalle Strutture 18.508

dei quali: 

1.876 presentati da 2 Strutture -938

273 presentati da 3 Strutture -182

32 presentati da 4 Strutture -24

15 presentati da 5 Strutture -12

6 presentati da 6 Strutture -5

34 presentati 2 volte dalla Struttura -17

1 escluso per erronea tipologia -1

Prodotti valutati dai Panel 17.329

Prodotti ISI

Nel triennio 2001-2003

Valutate nel VTR2006

Produzione complessiva italianaa 97,000

11,000c

(11%)

Produzione delle Strutture che hanno partecipato al VTRb

80,000 (14%)

a fonte: Science, Technology and Innovation, European Commission, Key Figures, ed. 2002, 2003-2004 & 2005 bStimacdi cui ca 4,000 valutati eccellenti

Percorso di valutazione dei prodotti

Criteri di valutazione CIVR Criteri Indicatori peso

QUALITÀ; RILEVANZA; ORIGINALITÀ / INNOVAZIONE; INTERNAZIONALIZZAZIONE

Giudizi di merito dei Panel sui prodotti selezionati 4

PRODUTTIVITÀ (relativamente ai prodotti selezionati)

Grado di proprietà medio dei prodotti selezionati 2

MOBILITÀ INTERNAZIONALERicercatori in mobilità all'estero + Ricercatori residenti all’estero a contratto / Ricercatori ETP 1

IMPATTO SOCIO-ECONOMICO

Giudizi di merito CIVR su brevetti e altri aspetti di valorizzazione e trasferimento dei risultati e delle competenze generati dalla ricerca 1Dottorandi + Assegnisti + Borsisti post dottorato / Ricercatori ETP

ATTRAZIONE DELLE RISORSE

Entrate complessive - Trasferimento statale ordinario / Entrate complessive 1

GESTIONE DELLE RISORSE

Ricercatori ETP / Personale complessivo

1Finanziamento (e/o cofinanziamento) di progetti di ricerca / Ricercatori ETP

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

Totale

Prodotti eccellenti

15f. Beni Culturali

15e. Sviluppo

15d. Sc Aerospaziali

15c. Nano e Micro Tec

15b. Qualità Alimenti

15a ICT

14. Sc Politiche - Sociali

13. Economia -

12. Sc Giuridiche

11. Sc Stor Filos Psic

10. Sc Filol-Lett Stor-Art

9. Ing Industriale -

8. Ing Civile - Arch

7. Sc Agrarie -

6. Medicina

5. Biologia

4. Geologia

3. Chimica

2. Fisica

1. Matematica

Grado di proprietà (1)

Grado di proprietà di ogni prodotto, riferito alla struttura che lo ha selezionato

• Il grado di proprietà è stato calcolato dalla struttura stessa, prodotto per prodotto, sulla base del numero degli autori afferenti alla struttura (anche tenendo conto di eventuali affiliazioni multiple) diviso per il numero totale degli autori

• Una critica frequente – un grado di proprietà basso può significare una grande

apertura a collaborazioni esterne e quindi, lungi da essere un dato negativo, potrebbe essere un dato positivo.

Collaborazioni

• Tra le collaborazioni, le più significative sono quelle con istituzioni straniere

• Il grado di proprietà, come calcolato, non è in grado di distinguere tra autori nazionali e stranieri

• Tuttavia:– La collaborazione internazionale è presa in adeguata

considerazione dall'esercizio– la mobilità internazionale dei ricercatori (sia in uscita

che in entrata) è valutata area per area e struttura per struttura e costituisce uno dei sei criteri di giudizio del CIVR, con peso formale 10% sul totale

Grado di proprietà dei prodotti “eccellenti”

• I lavori di elevata qualità, quando associati ad elevato grado di proprietà, sono indicativi di leadership di area/settore– Prodotti, anche di elevata qualità. ma con grado di

proprietà sensibilmente al di sotto della media di Area, sono riconducibili all'impegno prevalente di gruppi esterni alla struttura, in collaborazione con i quali operano (lodevolmente) unità "subcritiche" della Struttura stessa

• L'indicatore che proponiamo è il grado di proprietà (medio, per struttura e in ogni area), dei prodotti valutati come "eccellenti”

La Valutazione delle Strutture

Il sito http://vtr2006.cineca.it sarà progressivamente implementato fino a raggiungere la configurazione finale

Rapporto Triennale del Nucleo di Valutazione

• Elementi di valutazione dell’attività scientifica;• Elementi di valutazione dell’impatto socio-economico;• Elementi conoscitivi e di valutazione sul management;• Elementi di valutazione della congruità e competenza

delle risorse umane;• Elementi conoscitivi e di valutazione sulla mobilità e le

collaborazioni internazionali;• Elementi conoscitivi e di valutazione sulle dotazioni

strumentali e dei servizi;• Elementi di valutazione sulla capacità di attrarre/

accedere /impegnare risorse finanziarie finalizzate alle attività di ricerca;

• Principali punti di forza e di debolezza, raccomandazioni e conclusioni.

(1) elementi di valutazione dell’attività scientifica

Descrizione della metodologia di selezione dei prodotti, adottata dalla Struttura

Ragioni dell’eventuale assenza o carenza di prodotti selezionati in specifiche Aree, assumendo a riferimento i prodotti selezionati trasmessi al CIVR

(2) elementi di valutazione sull’impatto socio-economico delle attività di ricerca (A)

Analisi delle attività di trasferimento di conoscenze con l’esterno (brevetti, spin off,

partnership, accordi di confidenzialità, etc), sulla base di un commento critico dei dati (brevetti depositati,

brevetti attivi, entrate e costi della gestione dei brevetti) e informazioni (sintesi descrittiva e finanziaria sulle altre

attività di trasferimento di conoscenze) trasmessi contestualmente al CIVR

DATI & INFORMAZIONI sui risultati di valorizzazione applicativa

dato 9 Brevetti depositati nel triennio e brevetti attivi al 31 /12 / 2003 (distinti per tipologia di deposito: nazionale, estera)

dato 10

Ricavi e costi derivanti dalla vendita di brevetti e di loro licenze e dai costi di deposito e di gestione

dato 11

Sintesi descrittiva e finanziaria sulle altre attività di trasferimento di conoscenze (anche in termini di ricavi, risorse investite e impatto occupazionale), nonché delle modalità di rafforzamento delle attività di valorizzazione applicativa della ricerca

18%

44%

29%

9%

Eccellente Buono Accettabile Limitato

Distribuzione dei giudizi sul totale dei brevetti

310 brevetti

30%

46%

19%

5%

Eccellente Buono Accettabile Limitato

17.329 prodotti

Distribuzione dei giudizi sul totale dei prodotti

analisi degli aspetti di valorizzazione e trasferimento di risultati e competenze (1)

• Brevetti: dati e gli indicatori richiesti sui brevetti depositati in Italia e all'estero, sul portafoglio brevetti, ed eventuali ulteriori informazioni

• Contratti e progetti sviluppati in collaborazioni con le imprese: opportunità di sviluppo prodotte (brevetti, prototipi, co-pubblicazioni ...); impatto occupazionale generato dall'interazione pubblico-privato

• Strutture di ricerca e sviluppo in collaborazione con imprese: iniziative congiunte per la creazione di strutture permanenti di ricerca

• Strutture di trasferimento tecnologico, create dalle università, ritorno economico e collegamento con le realtà locali

• Spin off: caratteristiche e valore economico delle nuove imprese avviate, derivanti da ricerche e competenze della struttura

analisi degli aspetti di valorizzazione e trasferimento di risultati e competenze (2)

• Consulenza e servizi a carattere socio economico: attività di servizio, consulenza e formazione, commissionate da enti territoriali o da imprese operanti nel territorio. Sono incluse le partecipazioni a progetti POR-PON, e in genere tutti i trasferimenti di know-how, anche svolti all'interno di Consorzi, Fondazioni e organismi privati

• Partnership di ricerca: accordi di collaborazione strategica con localizzazione di attività di ricerca presso la struttura, con entrate complessive nel triennio di almeno 500.000 euro

• Altre attività: azioni svolte per il mercato culturale e per la diffusione della cultura scientifica, attraverso attività formative ed espositive

(2) elementi di valutazione sull’impatto socio-economico delle attività di ricerca (B)

Analisi dell’attività formativa post-lauream e post-dottorato, finalizzata al settore della ricerca (evidenziando le collaborazioni con strutture

esterne e la mobilità internazionale degli allievi), sulla base di un commento critico dei dati (dottorandi,

assegnisti) trasmessi contestualmente al CIVR (assumere a riferimento anche le relazioni annuali dei NUV

sullo stato dei Dottorati di Ricerca)

(3) elementi conoscitivi e di valutazione sul management della struttura

Obiettivi principali realizzati nel triennio (limitatamente alla ricerca)

Eventuali obiettivi da realizzare a breve-medio termine (limitatamente alla ricerca), relative azioni strategiche e presumibili fonti di finanziamento

Modalità di collegamento tra valutazione della ricerca e processi decisionali interni

DATI sulle risorse finanziarie complessive

dato 6

Entrate totali della Struttura (valori di competenza)

- (di cui) da trasferimenti correnti dallo Stato

- (di cui) da trasferimenti per investimenti dallo Stato

- (di cui) da alienazione di beni patrimoniali

- (di cui) da prestiti

- (di cui) partite di giro, contabilità speciali e gestioni speciali

(4) elementi di valutazione della congruità e competenza delle risorse umane

Analisi degli equilibri esistenti tra i diversi settori del personale (personale complessivo / ricercatori; personale tecnico / ricercatori; pers. tecnico / pers. amm.vo; distribuzione dei ricercatori

tra le varie Aree), sulla base di un commento critico dei dati (ricercatori, personale tecnico e amm.vo) trasmessi contestualmente al CIVR

Descrizione delle iniziative generali per formazione e aggiornamento (assumendo a riferimento le Relazioni annuali dei responsabili delle Strutture, unitamente ai pareri resi contestualmente dai NUV)

(5) elementi conoscitivi e di valutazione sulla mobilità e le collaborazioni internazionali

Analisi del grado di internazionalizzazione della Struttura (mobilità verso l’estero e dall’estero,

limitatamente ai soggiorni >3 mesi) sulla base di un commento critico dei dati (ricercatori della Struttura in mobilità all’estero, ricercatori stranieri a

contratto nella Struttura) trasmessi contestualmente al CIVR

(6) elementi conoscitivi e di valutazione sulle dotazioni strumentali e dei servizi

Adeguatezza delle dotazioni strumentali e dei servizi, finalizzati alle attività di ricerca, con specifico riferimento all’uso di tecnologie avanzate ed evidenziando le acquisizioni di importanti (>500

000 €) strumentazioni o software di esclusivo interesse scientifico-culturale, sulla base di un commento critico dei dati (investimenti della Struttura finalizzati all’acquisto di apparecchiature tecnico-scientifiche e

informatiche) trasmessi constestualmente al CIVR

(7) elementi di valutazione sulla capacità di attrarre/ accedere /impegnare risorse finanziarie finalizzate alle

attività di ricerca

Capacità di accedere a finanziamenti per progetti di ricerca, banditi a livello nazionale e internazionale, sulla base di un commento critico dei dati (entrate dei Dipartimenti provenienti da soggetti esterni e destinate a progetti di ricerca) trasmessi contestualmente al CIVR

Capacità di attrarre risorse finanziarie (e/o strumentali) destinate alla ricerca, attraverso donazioni, convenzioni, contratti e partnership con enti pubblici, fondazioni e imprese, sulla base di un commento critico dei dati (trasferimenti correnti alla Struttura da soggetti esterni) trasmessi contestualmente al CIVR

Capacità di impegnare risorse finanziarie proprie per progetti di ricerca, sulla base di un commento critico dei dati (entrate dei Dipartimenti provenienti dalla Struttura e destinate a progetti di ricerca) trasmessi contestualmente al CIVR

(8) principali punti di forza e di debolezza, raccomandazioni e conclusioni

Focalizzazione degli aspetti più significativi, tra quelli trattati ai punti 1-7, suggerendo possibili interventi correttivi

• Gruppo di lavoro del CIVR: Sebastiano Miscia, Riccardo Palumbo, Emanuela Reale, Paolo Sacchetta, Massimo Sargiacomo.

• Allievi del Dottorato in Valutazione della ricerca dell’Università “G. d’Annunzio” di Chieti – Pescara: Anna Barbara, Antonio Costantini, Marco Costantini, Milena Impicciatore, Luisella Romano, Marco Seeber.

• CINECA: Gianna Fabiani, Barbara Frabboni, Natascia Kapoustina, Marco Lanzarini

Hanno partecipato