Valutazione della Qualità della Ricerca

VQR 2004-2010

SOGGETTI INTERESSATI (Strutture)• Università statali;• Università non statali, autorizzate a rilasciare titoli accademici;• Enti di ricerca pubblici vigilati dal MIUR;• Altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta.

AVVIO DEL PROCESSO DI VALUTAZIONECon l’emissione di apposito schema di DM e relativo bando del 7 novembre (visionabile sul sito ANVUR: http://www.anvur.org/sites/anvur-miur/files/bando_vqr_def_07_11.pdf).

Il sistema di informatizzazione è affidato al CINECA.

Saranno oggetto di valutazione:• Strutture (Atenei)• Dipartimenti• Ricercatori\docenti

I soggetti valutati sono TUTTI i ricercatori (a tempo indeterminato e determinato), gli assistenti, i professori associati e ordinari (a tempo indeterminato e determinato ai sensi dell’art. 1, comma 12, L. 230/2005), in servizio alla data di pubblicazione ufficiale del bando VQR (7 novembre 2011). Sono esclusi, pertanto, coloro i quali, in tale data, sono collocati in aspettativa, ai sensi dell’articolo 13 del DPR 382 del 1980.

Adempimenti delle Strutture:

•Risorse umane (art. 4 DM)•Selezione delle pubblicazioni (art. 5 DM)•Altri dati e informazioni (art. 6 DM)•Rapporto del Nucleo di Valutazione (art. 7 DM)

Sono valutate le 14 aree disciplinari CUN, per ognuna delle quali viene costituito un Gruppo di Esperti della Valutazione (GEV) - 450 in tutto - i cui Presidenti sono già stati nominati e sono visionabili sul sito ANVUR:

Area CUN valutatori PresidenteArea 1 25 Alfio QuarteroniArea 2 18 Giorgio ParisiArea 3 23 Vincenzo BaroneArea 4 9 Filippo GiorgiArea 5 38 Clara NerviArea 6 79 Giorgio SestiArea 7 24 Lorenzo MorelliArea 8 28 Francesco GarofaloArea 9 39 Marco Ajmone MarsanArea 10 42 Maria Teresa GiavieriArea 11 38 Andrea GraziosiArea 12 37 Giacinto Della CananeaArea 13 36 Tullio JappelliArea 14 13 Ivo Colozzi

Pesi attribuiti ai ricercatori:

•A ciascun professore e ricercatore di ruolo o a contratto delle Università è attribuito un peso di 0.5 ETP (Equivalenti a Tempo Pieno);

•Ai professori e ricercatori universitari di ruolo, affiliati da almeno 3 anni a Enti di ricerca, è attribuito un peso aggiuntivo di 0.5 ETP;

•Ai ricercatori degli Enti di Ricerca è attribuito un peso di 1 ETP.

Ciascun docente\ricercatore delle Università presenta, inserendole nella banca dati predisposta dal CINECA, 3 pubblicazioni di cui è autore o coautore, riferite al settennio.

• I professori e ricercatori universitari di ruolo, affiliati con incarico formale di ricerca - ancora attivo alla data di emanazione del bando - da almeno 3 anni (anche non continuativi) a Enti di ricerca devono inserire 3 ulteriori pubblicazioni per l’Ente di afferenza.

• I punteggi di tutte e 6 le pubblicazioni (3 per l’Università e 3 per l’Ente) inserite da docenti\ricercatori affiliati a Enti di Ricerca verranno sommati e attribuiti nella misura del 50% tanto all’Università quanto all’Ente in modo da evitare disparità di punteggio proveniente dalla scelta delle pubblicazioni da attribuire all’Università e quelle da attribuire all’Ente.

Numero Prodotti da Presentare:

Professore ordinario\associato\assistente 3

Ricercatore Universitariose in servizio da prima del 1/1/2006 3se presa servizio tra 1/1/2006-31/12/2007 2 se presa servizio tra 1/1/2008 -31/12/2009 1 se presa servizio successiva al 1/1/2010 0

Professore ordinario\associato\ricercatoreincaricato di ricerca presso Ente di ricerca peralmeno 3 anni anche non continuativi altre 3 per l’Ente

Nel caso di periodi di congedo avvenuti nel settennio ai sensi dell’articolo 13 del DPR 382 del 1980 o, comunque, per motivi estranei allo svolgimento di attività di ricerca, quali maternità, congedo parentale, malattia, ecc., il numero di prodotti da presentare è ridotto: di 1/3 per congedi di durata complessiva compresa fra 2 e 4 anni; di 2/3 per congedi di durata complessiva compresa fra 4 e 6 anni; per congedi superiori ai 6 anni si è esentati dalla valutazione.

Il numero di prodotti attesi risultante, se decimale,si arrotonda per difetto.

• I ricercatori che non presentano alcuna pubblicazione sono considerati non attivi.

• I ricercatori che presentano un numero di pubblicazioni inferiore a quello previsto sono considerati parzialmente attivi.

in entrambi i casi, la struttura acquisiscein entrambi i casi, la struttura acquisisceun punteggio negativo.un punteggio negativo.

VTR 2001-2003 VQR 2004-2010Strutture partecipanti 102 107Ricercatori del sistema 64.028 65.544Aree di ricerca 20 14Gruppi di valutazione 151 450Esperti esterni 6.661 ….Prodotti selezionati (n. max) 18.508 216.453Prodotti in valutazione 17.329 ----

Fonte: ANVUR

Sono valutabili dai GEV:a) articoli su riviste;b) libri e loro capitoli, inclusi atti di congressi, con ISBN; c) edizioni critiche, traduzioni e commenti scientifici;d) brevetti registrati;e) composizioni, disegni, mostre ed esposizioni, prototipi, opere d’arte,

banche dati e software, carte tematiche, esclusivamente se corredati da pubblicazioni atte a consentirne adeguata valutazione.

Non sono valutabili dai GEV:a) attività editoriali e di curatela;b) lettere, correzioni e abstract di conferenze, anche se su riviste;c) testi e software di esclusivo interesse didattico o divulgativo;d) prove e analisi di routine;e) rapporti tecnici interni.

I prodotti non valutabili, se conferiti, fanno attribuire alla struttura un punteggio negativo.

1. Metadati bibliografici del prodotto (ISBN,…)

2. Identificazione del soggetto valutato di riferimento (autore)

3. Identificazione dell’area e del settore scientifico disciplinare

4. Indicazione della presenza di almeno un coautore con afferenza ad un ente straniero

5. Abstract del prodotto (da redigere a cura del valutato)

6. La eventuale segnalazione, a cura della struttura, che il prodotto proviene da attività di ricerca in aree emergenti a livello internazionale o in aree di forte specializzazione o a carattere interdisciplinare, per le quali si suggerisce l’adozione preferenziale della metodologia di peer review in ragione della minore rappresentazione di tali aree negli indicatori bibliometrici

7. Ogni altra informazione che si ritenga utile alla valorizzazione del prodotto (premi ricevuti, autorevolezza della rivista/editore, ecc.)

Per ciascun prodotto devono essere rese disponibili le seguenti informazioni:Per ciascun prodotto devono essere rese disponibili le seguenti informazioni:

I GEV valutano la qualità delle pubblicazioni seguendo le seguenti 2 metodologie (in alternativa o in combinazione):

a) valutazione diretta, anche utilizzando l’analisi bibliometrica, basata sulle citazioni del prodotto e sul fattore di impatto della rivista ospitante il prodotto (ove applicabile);

b) peer-review affidata ad esperti esterni fra loro indipendenti scelti dal GEV (di norma due per prodotto), che si esprimeranno, in modo anonimo, sulla qualità delle pubblicazioni selezionate.

Almeno la metà più uno dei prodotti complessivi (includendo tutte le aree) sarà valutata utilizzando la peer review

L’analisi dei seguenti aspetti è parte integrante del giudizio di qualità:

•rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di congruità, efficacia, tempestività e durata delle ricadute;•originalità/innovazione: contributo all’avanzamento di conoscenze o a nuove acquisizioni nel settore di riferimento;•internazionalizzazione e/o potenziale competitivo internazionale: posizionamento nello scenario internazionale, competitività, diffusione editoriale, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni;•relativamente ai brevetti, i giudizi devono contenere anche riferimenti al trasferimento, allo sviluppo tecnologico e alle ricadute socio-economiche (anche potenziali);•per le pubblicazioni in collaborazione i GEV potranno pesare i contributi sulla base del ruolo avuto dai partecipanti, valorizzando il ruolo di primo autore o autore corrispondente, secondo le prassi delle diverse comunità scientifiche.

Il giudizio su ciascuna pubblicazione deve essere descrittivo ma associato a un livello di merito:

•Eccellente – Top 20% (punteggio: 1)

•Buono – segmento 60-80% (punteggio: 0.8)

•Accettabile – segmento 50-60% (punteggio: 0.5)

•Limitato – segmento 50% inferiore (punteggio: 0)

•Non valutabile – tipologia esclusa dal presente esercizio (punteggio: -1)

•Plagio o Frode (punteggio: -2)

Per ciascuna pubblicazione mancante rispetto al numero atteso è assegnato un peso negativo

(punteggio: -0.5).

Scadenze dei GEV

•Nomina sottogruppi: 15 dicembre 2011

•Definizione criteri di valutazione: 31 gennaio 2012

•Fase di valutazione peer: 30 novembre 2012

•Fase di valutazione diretta: 30 novembre 2012

•Rapporto finale GEV: 31 gennaio 2013

Indicatore Variabile peso

IRAS1 Qualità dei prodotti valutati 0,5

IRAS2 Fondi ricevuti su bandi competitivi 0,1

IRAS3 Qualità della mobilità in ruolo 0,1

IRAS41. Mesi-uomo della mobilità dei ricercatori (IN & OUT) 2. Qualità prodotti con autori stranieri

0,1

IRAS5 Ricercatori in formazione 0,1

IRAS6 Fondi non vincolati destinati alla ricerca 0,05

IRAS7 Confronto esiti VTR e VQR 0,05

Ricerca: Indicatori di Area

Indicatore Variabile peso

ITMS1 Fondi provenienti da c/terzi per ricerca 0,2

ITMS2 Brevetti 0,1

ITMS3 Spin-off 0,1

ITMS4 Presenza incubatori d’impresa 0,1

ITMS5 Consorzi, anche per il trasferimento tecnologico 0,1

ITMS6 Siti archeologici 0,1

ITMS7 Poli museali 0,1

ITMS8 Altre attività di 3° missione 0,2

3a missione: Indicatori di StrutturaAr

ee te

cnol

ogic

heSc

ienz

e um

ane

Indicatore Variabile peso

IRD1 Qualità dei prodotti valutati 0,5

IRD2 Fondi ricevuti su bandi competitivi 0,2

IRD31. Mesi-uomo della mobilità dei ricercatori (IN & OUT) 2. Qualità prodotti con autori stranieri

0,2

IRD4 Ricercatori in formazione (Dottorandi, assegnisti, post-doc) 0,1

Ricerca: Indicatori di Area

Indicatore Variabile peso

ITMD1 Fondi provenienti da c/terzi per ricerca 0,3

ITMD2 Brevetti 0,2

ITMD3 Spin-off 0,1

ITMD4 Siti archeologici 0,1

ITMD5 Poli museali 0,1

ITMD6 Altre attività di 3° missione 0,2

3a missione: Indicatori di Dipartimento

•Nomina GEV: 30 novembre 2011

•Posizionamento internazionale SNR: 31 marzo 2013

•Rapporto finale ANVUR: 30 giugno 2013

Attori e ruoli:

1. Cabina di regia d’Ateneo (VQR);

2. Docenti/ricercatori (prodotti e relative schede);

3. Direttori di dipartimento (prodotti, dati, autovalutazioni e informazioni sulla terza missione);

4. Commissioni scientifiche d’area (prodotti);

5. Commissione Ricerca di Ateneo (prodotti);

6. Amministrazione centrale (dati).

La Cabina di regia d’ateneo è costituita da:• Comitato scientifico:

→ Rettore;→ Direttore amministrativo;→ Delegato alla Ricerca scientifica strategica;→ Delegato alla Valutazione;→ Presidente Commissione ricerca d’Ateneo.

• Comitato tecnico:→ Dirigente Area della ricerca o suo delegato;→ Ufficio del Nucleo di valutazione;→ Ufficio di valutazione strategica.

Comunicazione:

Pagina web dedicata;

E-mail dedicata;

Incontri di disseminazione del processo.

Cabina di regia UniCT

01

Commissione Ricerca di Ateneo

ARI

ADI

CAPITT

AGAP

ARITControllo e risoluzione

«conflitti»

Inserimento pubblicazioni

Docenti

Nucleo di Valutazione

Dipartimenti

Raccolta e trasmissione dati

02 14

Ogni docente sarà chiamato a inserire un numero di prodotti pari a quello richiesto dal Ministero ordinati per priorità (dal migliore al meno importante).

I prodotti da inserire da parte di ciascun docente saranno 3, corredati da tutte le informazioni richieste (scheda e pdf del prodotto).

Per le aree per cui l’analisi bibliometrica è applicabile nello stabilire la priorità, è importante tener conto del numero di citazioni, dell’impact factor della rivista e della presenza di collaborazioni internazionali.

Pubblicazioni comuni fra più docenti dovranno essere presentate da UN SOLO docente in modo da massimizzare il valore dei prodotti presentati

dall’Università.

Le Commissioni scientifiche di area, di concerto con i direttori di dipartimento, dovranno:

monitorare e stimolare l’inserimento dei prodotti da parte di TUTTI i docenti dell’area.

Una volta conclusa la fase precedente, la Commissione Ricerca di Ateneo dovrà:

verificare e risolvere gli eventuali “conflitti” in modo da puntare alla migliore valutazione possibile.

Amministrazione centrale: fornire i dati e le informazioni da trasmettere all’ANVUR, insieme a quelle utili per la redazione del rapporto di valutazione del Nucleo (si veda slide successiva).

Dipartimenti: fornire i dati e le informazioni da trasmettere all’ANVUR; inoltre, ai fini della redazione del rapporto del Nucleo (si veda slide successiva), per alcuni dei punti in cui la stessa si articola saranno richieste autovalutazioni ai responsabili delle attività scientifiche.

Redazione di un rapporto di autovalutazione sui seguenti aspetti(allegato I del bando di partecipazione):

Scad_interna UniCT

Riferimento VQR Dati e informazioni da trasmettere Area referente dei dati e

delle informazioni

5 dicembre 2011

Definizione dipartimentale Elenco nuova organizzazione dipartimentale ASeG / ARIT

15 dicembre 2011 Accreditamento Certificazione elenco dei "soggetti valutati", in servizio alla data di

pubblicazione del bando. AGAP

1 marzo 2012 Mobilità dei ruoli

Mobilità dei docenti da un ruolo all'altro, compresa l'immissione in ruolo o il trasferimento da altra struttura AGAP

1 febbraio 2012

Figure in formazione

Certificazione elenco degli iscritti a corsi di dottorato di ricerca, specificando se con borsa, indicando l’Area, il Dipartimento, il soggetto finanziatore e l’eventuale Struttura convenzionata

ADi

Certificazione elenco dei titolari di borse post-doc, con sede di fruizione, Area e Dipartimento ADi

Certificazione elenco degli iscritti alle scuole di specializzazione di area sanitaria ADi

Certificazione elenco dei titolari di assegni di ricerca, specificando Area e Dipartimento ARi

vedi scheda Trasmissione prodotti

Selezione dei prodotti di ricerca utilizzando unicamente le liste predisposte dai soggetti valutati afferenti alla struttura, compilazione di ciascuna scheda prodotto e inserimento pdf

Docenti / Presidenti e Comm.ni d'area /

Direttori di dipartimento/ Cabina di regia

vedi scheda Rapporto di autovalutazione

Redazione del rapporto secondo lo schema in appendice I e relativa trasmissione NdV

Trasmissione prodotti di ricerca

calendario attività responsabile

1a fase: fino al 15 febbraio

Selezione prodotti da parte di ciascun docente, con indicazione delle priorità e reperimento pdf dei prodotti conferiti . Monitoraggio schede prodotto e inserimento pdf

Docenti/Direttori di dipartimento/Commissioni di Area

2a fase: dal 16 febbraio al 30 aprile Monitoraggio sui prodotti e negoziazione eventuali conflitti

Commissione ricerca di Ateneo/ Cabina di regia

Rapporto di autovalutazione

calendario attività responsabile

1a fase: fino al 31 gennaio Rilevazione dati, informazioni ed autovalutazioni * Direttore dipartimento

2a fase: dall'1 al 28 febbraio Controllo ed eventuale richieste di integrazioni/chiarimenti

Comitato tecnico/Nucleo di valutazione

3a fase: dall'1 marzo al 30 aprile Redazione rapporto di valutazione Nucleo di Valutazione

4a fase: dall'1 al 31 maggio Eventuali suggerimenti/integrazioni Comitato scientifico

* Le autovalutazioni richieste riguardano non solo gli aspetti presenti nell'Appendice I del bando (Articolazione del rapporto di autovalutazione), ma anche quanto richiesto tra gli «Altri dati ed informazioni» (si veda la slide seguente) .

Scad_interna UniCT

Riferimento VQR Dati e informazioni da trasmettere Area referente dei dati e delle

informazioni

30 aprile 2012

Trasmissione ulteriori dati

Elenco di Brevetti di cui sia titolare o co-titolare la struttura, con entrate di cassa derivate dalla vendita di brevetti o loro licenze, corredate da informazioni sulla natura e caratteristica dei soggetti acquirenti, nei limiti di eventuali obblighi contrattuali di riservatezza

CAPITT

Elenco di Spin-off accreditati presso la struttura, specificando l'anno di costituzione ed il fatturato negli ultimi 3 anni, ove applicabile CAPITT

Elenco di incubatori di imprese compartecipati dalla struttura CAPITTElenco dei consorzi compartecipati dalla struttura che abbiano tra le loro finalità il trasferimento tecnologico ARIT

30 aprile per siti archeologici e poli museali Elenco dei Siti archeologici, dei Poli museali gestiti o cogestiti e delle

altre attività significative di Terza Missione non qualificabili come attività conto terzi

Resp. amm.vo Progetto “CT-Lecce” / Dipartimenti31 gennaio per

attività di terza missione

28 febbraio 2012

Elenco dei docenti e ricercatori a tempo determinato e indeterminato ospitati da istituzioni estere nonché dei docenti e ricercatori affiliati a istituzioni estere ospitati nella Struttura, per periodi > 3 mesi continuativi

ARi / AGAP / Dipartimenti

Entrate di cassa derivate da finanziamenti di progetti di ricerca, per ciascuna annualità del settennio, specificando i progetti finanziati da PRIN, FIRB, FAR, Programmi EU e ERC e da altri soggetti

AFi / APiCoG/ ARi / Dipartimenti / CGA/ Centri di Ricerca

Entrate di cassa derivate da attività conto terzi (finanziamenti di contratti di ricerca/consulenza con soggetti pubblici e privati derivanti da contrattazione diretta)

AFi / APiCoG/ Dipartimenti / CGA Centri di Ricerca

Finanziamenti e cofinanziamenti destinati dalla Struttura a progetti di ricerca, suddivisi per Area, su fondi non aventi vincolo di destinazione AFi / APiCoG/ ARi

Questa presentazione ed altro materiale sarà disponibile sulla pagina dedicata al VQR 2004-2010 presente sull’homepage di UniCT, sezione ricerca:

http://www.unict.it/VQR

Per dubbi o comunicazioni, l’indirizzo è:

vqr@unict.it