Embed Size (px)
Citation preview
1
Valutazione della Qualità della Ricerca 2011-2014
(VQR 2011-2014)
Criteri per la valutazione dei prodotti di ricerca
Gruppo di Esperti della Valutazione dell’Area 02 - Scienze Fisiche
(GEV02)
Roma - ANVUR, 19 novembre 2105
2
1. INTRODUZIONE .............................................................................................................................................. 3
2. DELIMITAZIONE DELL’AREA GEV .......................................................................................................... 3
3. ORGANIZZAZIONE DEL GEV ..................................................................................................................... 6
3.1 COMPOSIZIONE DEI SUB-GEV ....................................................................................................................... 7
3.2 ATTRIBUZIONE DEI PRODOTTI DI RICERCA ALL’INTERNO DEL GEV .............................................................. 7
3.3 REGOLE DI FUNZIONAMENTO DEL GEV ........................................................................................................ 8
4. LA VALUTAZIONE DEI PRODOTTI DI RICERCA .................................................................................. 9
5. LA VALUTAZIONE TRAMITE PEER REVIEW ......................................................................................... 9
5.1 L’INDIVIDUAZIONE DEI REVISORI PEER ESTERNI ........................................................................................... 9
5.2 LA VALUTAZIONE PEER ............................................................................................................................... 10
6. ANALISI BIBLIOMETRICA ......................................................................................................................... 11
6.1 LE BASI DI DATI ........................................................................................................................................... 11
6.2 LA FINESTRA TEMPORALE DELLE CITAZIONI ............................................................................................... 11
6.3 LE AUTO-CITAZIONI .................................................................................................................................... 12
6.4 GLI INDICATORI BIBLIOMETRICI .................................................................................................................. 12
6.5 L’ALGORITMO PER LA CLASSIFICAZIONE DEI PRODOTTI.............................................................................. 13
6.6 PROCEDURA DI CALIBRAZIONE ................................................................................................................... 15
7. PRODOTTI VALUTABILI ............................................................................................................................ 19
8. CONFLITTI DI INTERESSE ........................................................................................................................ 21
3
1. Introduzione
Questo documento descrive l'organizzazione del Gruppo di Esperti della Valutazione dell’Area
02 - Scienze Fisiche (d'ora in poi, GEV02) e i criteri che il Gruppo utilizzerà per valutare i
prodotti di ricerca. Il documento si divide in 8 parti. La sezione 2 elenca i Settori Scientifico-
Disciplinari, i Settori Concorsuali e i Settori ERC di pertinenza del GEV. La sezione 3 riassume
le regole interne di funzionamento del GEV. La sezione 4 descrive i criteri di valutazione dei
prodotti di ricerca. La sezione 5 descrive il processo di peer review e le linee guida per la scelta
dei revisori esterni. La sezione 6 descrive i criteri bibliometrici: le banche dati, gli indicatori
bibliometrici scelti dal GEV, l’algoritmo e la procedura di calibrazione. La sezione 7 indica
l’insieme dei prodotti ammissibili a valutazione per il GEV 02 e le eventuali specifiche regole di
valutazione. Infine, la sezione 8 descrive come il GEV opera al fine di risolvere i conflitti di
interesse tra i componenti del GEV e gli autori dei prodotti di ricerca.
2. Delimitazione dell’Area GEV
Il Gruppo di Esperti della Valutazione dell’Area 02 (nel seguito GEV02) si occuperà della
valutazione dei prodotti presentati dagli addetti alla ricerca appartenenti ai Settori Scientifico
Disciplinari (SSD), Settori Concorsuali (SC) e Settori ERC (ERC) indicati nelle Tabelle 1-3.
Area 02 – Scienze Fisiche
Settori scientifico-disciplinari (SSD) di riferimento
FIS/01 Fisica Sperimentale
FIS/02 Fisica Teorica, Modelli e Metodi Matematici
FIS/03 Fisica della Materia
FIS/04 Fisica Nucleare e Subnucleare
FIS/05 Astronomia e Astrofisica
FIS/06 Fisica per il Sistema Terra e per il Mezzo Circumterrestre
FIS/07 Fisica Applicata (a Beni Culturali, Ambientali, Biologia e Medicina)
FIS/08 Didattica e Storia della Fisica
Tabella 1. I settori scientifico- disciplinari (SSD) di riferimento dell’Area 02
4
Area 02 – Scienze Fisiche
Settori concorsuali (SC) di riferimento
02/A1 Fisica Sperimentale delle Interazioni Fondamentali
02/A2 Fisica Teorica delle Interazioni Fondamentali
02/B1 Fisica Sperimentale della Materia
02/B2 Fisica Teorica della Materia
02/D1 - Fisica applicata, didattica e storia della fisica
02/C1 Astronomia, Astrofisica, Fisica della Terra e dei Pianeti
Tabella 2. I settori concorsuali (SC) di riferimento dell’Area 02
Area 02 – Scienze Fisiche
Settori ERC (ERC) di riferimento
PE2 Fundamental constituents of matter: particle, nuclear, plasma, atomic, molecular,
gas, and optical plasma
PE2_1 Fundamental interactions and fields physics
PE2_2 Particle physics
PE2_3 Nuclear physics
PE2_4 Nuclear astrophysics
PE2_5 Gas and plasma physics
PE2_6 Electromagnetism
PE2_7 Atomic, molecular physics
PE2_8 Ultra-cold atoms and molecules
PE2_9 Optics, non-linear optics and nano-optics
PE2_10 Quantum optics and quantum information
PE2_11 Lasers, ultra-short lasers and laser physics
PE2_12 Acoustics
PE2_13 Relativity
PE2_14 Thermodynamics
PE2_15 Non-linear physics
PE2_16 General physics
PE2_17 Metrology and measurement
PE2_18 Statistical physics (gases)
5
PE3 Condensed matter physics: structure, electronic properties, fluids, nanosciences
PE3_1 Structure of solids and liquids
PE3_2 Mechanical and acoustical properties of condensed matter
PE3_3 Transport properties of condensed matter
PE3_4 Electronic properties of materials, surfaces, interfaces, nanostructures, etc.
PE3_5 Semiconductors and insulators: material growth, physical properties
PE3_6 Macroscopic quantum phenomena: superconductivity, superfluidity, etc.
PE3_7 Spintronics
PE3_8 Magnetism and strongly correlated systems
PE3_9 Condensed matter – beam interactions (photons, electrons, etc.)
PE3_10 Nanophysics: nanoelectronics, nanophotonics, nanomagnetism,
nanoelectromechanics, etc.
PE3_11 Mesoscopic physics
PE3_12 Molecular electronics
PE3_13 Structure and dynamics of disordered systems: soft matter (gels, colloids, liquid
crystals, etc.), glasses, defects, etc.
PE3_14 Fluid dynamics (physics)
PE3_15 Statistical physics: phase transitions, noise and fluctuations, models of complex
systems, etc.
PE3_16 Physics of biological systems
PE4 Physical and Analytical Chemical Sciences: Analytical chemistry, chemical
theory, physical chemistry/chemical physics
PE4_1 Physical chemistry
PE4_2 Spectroscopic and spectrometric techniques
PE4_4 Surface science and nanostructures
PE9 Universe sciences: astro-physics/chemistry/biology; solar systems; stellar, galactic
and extragalactic astronomy, planetary systems, cosmology, space science,
instrumentation
PE9_1 Solar and interplanetary physics
PE9_2 Planetary systems sciences
PE9_3 Interstellar medium
PE9_4 Formation of stars and planets
PE9_5 Astrobiology
PE9_6 Stars and stellar systems
PE9_7 The galaxy
PE9_8 Formation and evolution of galaxies
PE9_9 Clusters of galaxies and large scale structures
6
PE9_10 High energy and particle astronomy – X-rays, cosmic rays, gamma rays,
neutrinos
PE9_11 Relativistic astrophysics
PE9_12 Dark matter, dark energy
PE9_13 Gravitational astronomy
PE9_14 Cosmology
PE9_15 Space sciences
PE9_16 Very large data bases: archiving, handling and analysis
PE9_17 Instrumentation – telescopes, detectors and techniques
PE10 Earth System Science: Physical geography, geology, geophysics, atmospheric
sciences, oceanography, climatology, cryology, ecology, global environmental change,
biogeochemical cycles, natural resources management
PE10_1 Atmospheric chemistry, atmospheric composition, air pollution
PE10_2 Metereology, atmospheric physics and dynamics
PE10_3 Climatology and climate change
PE10_7 Physics of earth’s interior, seismology, volcanology
PE10_8 Oceanograpy (Physical, chemical, biological, geological)
Tabella 3. I settori ERC (ERC) di riferimento dell’Area 02
3. Organizzazione del GEV
Il GEV 02 è organizzato come segue:
Coordinatore: prof. Riccardo Zecchina
Assistente: Vittorio Leproux
7
3.1 Composizione dei sub-GEV
Nome del SUB-GEV e aree di
ricerca (SSD) Coordinatore Componenti
SUBGEV I
Fisica Sperimentale, Particelle e
Nucleare
(FIS/01, FIS/04)
Clara Troncon
Angela Bracco, Nadia
Pastrone, Laura Patrizii,
Monica Pepe, Paolo Spinelli
SUBGEV II
Fisica Teorica
(FIS/02, FIS/03, FIS/04)
Vincenzo Marinari
Stefano Baroni, Gino Isidori,
AlbertoLerda, Roberto Livi,
Antonio Marco Saitta, Sandro
Stringari
SUBGEV III
Astrofisica e Astronomia
(FIS/05)
Sabino Matarrese
Paolo De Bernardis, Maria
Francesca Matteucci, Lauro
Moscardini, Salvatore
Sciortino, Paolo Tozzi, Silvia
Zane
SUBGEV IV
Fisica Sperimentale della Materia
(FIS/01, FIS/03)
Vincenzo Guidi
Lorenzo Avaldi, Davide
Ceresoli, Elisabetta Comini,
Cinzia Giannini, Fabio
Sciarrino
SUBGEV V
Fisica Applicata, Fluidodinamica,
Fisica dell'Atmosfera, Biofisica,
Storia della Fisica
(FIS/03, FIS/06, FIS/07, FIS/08)
Roberto Bartolino
Guido Boffetta, Mauro Dalla
Serra, Ernesto Lamanna,
Giulio Peruzzi,Pier Luigi
San Biagio
Tabella 4. Sub-GEV, corrispondenti settori scientifico- disciplinari (SSD), coordinatori e componenti
3.2 Attribuzione dei prodotti di ricerca all’interno del GEV
L’attribuzione dei prodotti di ricerca al GEV si basa sul SSD dell’addetto. Il GEV può decidere
sulla base dell’indicazione del SSD contenuta nella scheda prodotto di attribuire il prodotto ad un
8
altro GEV, qualora si riscontri che il contenuto sia ad esso più appropriato; in questo caso, la
valutazione del prodotto si baserà sui criteri del GEV di destinazione.
L’attribuzione dei prodotti di ricerca ai componenti GEV02 incaricati di gestire la loro
valutazione sarà effettuata sulla base del settore scientifico disciplinare (SSD) indicato
dall’autore nella scheda prodotto e dei Pacs Numbers. Il SSD assegnato al prodotto di ricerca
potrà essere diverso da quello dell’autore, in quanto si riferisce al GEV02 e, al suo interno, al
SSD che, secondo l’autore, è più competente per valutare il prodotto. Il GEV02 dividerà i
prodotti scientifici per tipo di pubblicazione e area di ricerca e li assegnerà al Sub-GEV più
appropriato. Il Coordinatore di sub-GEV li affiderà a due componenti di sub-GEV sulla base del
criterio di maggiore competenza.
Se un prodotto di ricerca è assegnato a più di un GEV (ad esempio, perché i coautori hanno
indicato diversi SSD appartenenti a GEV diversi), esso sarà valutato secondo le Linee Guida per
i Gruppi di Esperti della VQR (punto 2 della Sezione 3). Se necessario, i Coordinatori dei GEV
coinvolti costituiranno specifici Gruppi di Consenso Inter-Area.
3.3 Regole di funzionamento del GEV
Le regole di funzionamento del GEV sono di seguito richiamate:
La convocazione del GEV avviene almeno 15 giorni prima della riunione. La riunione è
convocata dal Coordinatore, che fissa anche l’ordine del giorno;
Le decisioni all’interno del GEV vengono prese a maggioranza semplice dei presenti. Per
partecipare alla votazione non è necessario essere fisicamente presenti alle riunioni,
purché presenti in modalità telematica;
Alle riunioni del GEV partecipa, con funzioni di segretario senza diritto di voto,
l’assistente del GEV assegnato dall’ANVUR al GEV. Al termine di ciascuna riunione
viene redatto un resoconto della seduta in lingua italiana, e un verbale sintetico che
riporta le decisioni principali in lingua italiana e inglese. I verbali vengono fatti circolare
tra i membri del GEV, approvati dal Coordinatore e dai membri e successivamente inviati
all’ANVUR per essere archiviati.
9
4. La valutazione dei prodotti di ricerca
La valutazione dei prodotti da parte dei GEV segue il metodo della informed peer review, che
consiste nell’utilizzare metodi di valutazione diversi, possibilmente indipendenti tra loro,
armonizzandoli all’interno del GEV che ha comunque la responsabilità finale e collegiale della
valutazione.
I metodi di valutazione utilizzati sono:
La peer review affidata a revisori esterni (di norma due), scelti di regola
indipendentemente da due membri diversi del GEV.
La valutazione diretta da parte del GEV, che svolge una peer review interna al GEV
secondo le stesse modalità di svolgimento della peer review affidata ai revisori esterni.
L’analisi bibliometrica, effettuata utilizzando indicatori e algoritmi definiti di seguito nel
documento. I prodotti di ricerca suscettibili di valutazione bibliometrica non sono
automaticamente (cioè utilizzando in automatico la classe finale suggerita
dall’applicazione dell’algoritmo bibliometrico) attribuiti alle classi di merito previste dal
Decreto Ministeriale (DM) e dal Bando. L’attribuzione finale è responsabilità del GEV,
che utilizzerà ogni possibile elemento di valutazione oltre gli indicatori bibliometrici
(previa opportuna verifica di congruità e coerenza), quali le competenze dei membri GEV
e le informazioni contenute nella scheda descrittiva del prodotto.
5. La valutazione tramite peer review
Ciascun prodotto di ricerca da valutare in peer review sarà inviato a due revisori esterni, scelti
indipendentemente dai due componenti del GEV cui il prodotto era stato attribuito, oppure sarà
valutato, sussistendo le competenze e le condizioni di assenza di conflitti di interesse, all’interno
del GEV utilizzando le stesse procedure.
5.1 L’individuazione dei revisori peer esterni
La selezione dei revisori esterni, italiani e stranieri, attese le sue rilevanti finalità di pubblico
interesse, si uniforma al principio di leale cooperazione istituzionale ed è retta da criteri di
correttezza, obiettività e imparzialità.
10
Grande attenzione verrà posta al mantenimento dell’anonimato dei revisori, sia nella fase di
predisposizione dell’elenco dei revisori sia nella fase operativa di valutazione. I risultati della
valutazione dei singoli prodotti e la loro associazione con i revisori esperti che li hanno valutati
non saranno resi pubblici. L’elenco nominativo dei revisori sarà reso pubblico dall’ANVUR
entro e non oltre 30 giorni dalla pubblicazione del Rapporto finale della VQR.
I revisori saranno scelti tra gli studiosi e specialisti più autorevoli e scientificamente qualificati
delle discipline cui appartengono i prodotti di ricerca da esaminare, scientificamente attivi nel
periodo della VQR.
Il GEV preparerà, a partire dall’elenco reso disponibile dall’ANVUR, un elenco aggiornato di
revisori esterni che soddisfino nel giudizio del GEV standard soddisfacenti di qualità scientifica
e di esperienza nella valutazione, integrandolo se necessario con nuovi revisori proposti dal GEV
stesso. In particolare, il Coordinatore chiederà ai componenti GEV, tramite i coordinatori dei
sub-GEV, di suggerire un numero significativo di esperti che soddisfano i criteri stabiliti e che
siano disponibili all’attività di valutazione. Il Coordinatore GEV raccoglierà le indicazioni
corredate di informazioni fornite sulla base di una scheda condivisa e provvederà a integrare la
lista iniziale.
Il processo di integrazione della lista continuerà per tutta la durata della valutazione, sulla base
delle necessità che dovessero emergere a valle della trasmissione dei prodotti da parte delle
Istituzioni.
Al fine di ridurre i possibili conflitti di interesse, i GEV utilizzeranno, ove possibile, revisori che
operano in università e istituzioni straniere.
5.2 La valutazione peer
La valutazione dei revisori esterni o interni al GEV si basa su una apposita scheda revisore e
sulle linee guida per i revisori predisposte dal GEV, anche servendosi, se ritenuto opportuno,
delle indicazioni fornite dai gruppi di ricerca sulla valutazione organizzati dall’ANVUR nei mesi
precedenti il lancio della VQR. La scheda revisore è costitruita in modo da consentire al revisore
di attribuire un punteggio per ciascuno dei tre criteri di valutazione stabiliti da stabiliti dal DM e
dal Bando, vale a dire originalità, rigore metodologico e impatto attestato o potenziale, e da un
campo libero con numero limitato di parole nel quale inserire obbligatoriamente un breve
giudizio riassuntivo dei motivi che hanno determinato le valutazioni numeriche.
11
Il GEV trasforma le indicazioni contenute nella scheda revisore in uno dei cinque livelli previsti
dal Bando.
Nel caso di valutazioni non convergenti o di eventuali controversie dei revisori peer, il sub-GEV
si può avvalere di un giudizio di un terzo esperto o utilizzare al suo interno il Gruppo di
Consenso (o commissione di arbitrato) appropriato con il compito di proporre al GEV il
punteggio finale del prodotto oggetto del giudizio difforme dei revisori mediante la metodologia
del consensus report.
In caso di conflitto di valutazione tra i componenti del Gruppo di Consenso, il Gruppo di
Consenso sarà integrato con il Coordinatore del Sub-GEV o con il Coordinatore del GEV02.
In ogni caso la responsabilità della valutazione conclusiva è in capo al GEV.
6. Analisi bibliometrica
I prodotti di ricerca suscettibili di valutazione bibliometrica sono i prodotti pubblicati su riviste
indicizzate nelle basi di dati citazionali ISI WoS e Scopus, e in particolare:
articoli scientifici, anche nella forma di Articles, Letters o di Conference Papers
pubblicati su rivista.
articoli scientifici di rassegna critica della letteratura (Review).
Il 10% degli articoli per i quali la classificazione finale sarà fatta utilizzando l’algoritmo
bibliometrico verrà inviato anche alla peer review, al fine di valutare il grado di correlazione tra i
due metodi di valutazione. Gli articoli del campione saranno scelti mediante un campione
casuale stratificato per Sub-GEV.
6.1 Le basi di dati
Il GEV utilizzerà le basi di dati Web of Science di Thomson Reuters (WoS) e Scopus di Elsevier
(Scopus) secondo le indicazioni fornite dall’autore/istituzione nella scheda prodotto.
6.2 La finestra temporale delle citazioni
Nel calcolo dell’indicatore bibliometrico il GEV utilizzerà le citazioni aggiornate al 29 Febbraio
2016.
12
6.3 Le auto-citazioni
L’opportunità di includere o escludere le autocitazioni nella valutazione bibliometrica è tuttora
oggetto di dibattito nella comunità scientifica. Il GEV02 ha deciso, sulla base dei suggerimenti
forniti dal Gruppo di lavoro sulla valutazione bibliometrica costituito in occasione della prima
riunione plenaria dei Coordinatori GEV, di non escludere le autocitazioni ma di esaminare con
particolare attenzione gli articoli con un numero di autocitazioni superiore al 50% del totale delle
citazioni. La decisione finale sulla classe di tali prodotti sarà presa tenendo conto delle
informazioni riportate dall’autore nella scheda prodotto e ricorrendo, qualora ciò sia ritenuto
necessario, a informed peer review che potrà essere basata sulla opinione di membri del GEV o
di revisori esterni. Inoltre, il GEV02 ha deciso di includere nel Rapporto Finale di Area dei test a
campione al fine di verificarne l’impatto.
6.4 Gli indicatori bibliometrici
La valutazione utilizzerà, per tutti gli articoli pubblicati su riviste indicizzate nelle basi di dati
WoS e Scopus, un algoritmo che tiene conto, in misura diversa a seconda dell’anno di
pubblicazione dell’articolo, sia del numero di citazioni, sia dell’indicatore di impatto (o Journal
Metric -JM) della rivista ospitante.
Coerentemente con l’orientamento della comunità scientifica internazionale nel settore della
bibliometria, e tenendo conto della diversità con cui i vari indicatori misurano l’impatto di una
rivista, il GEV02, su indicazione del gruppo di lavoro sulla valutazione bibliometrica
dell’ANVUR, ha deciso di impiegare più di un indicatore di JM. In particolare, per ciascuna base
di dati, verranno usati un indicatore atto a misurare la popolarità della sede di pubblicazione
(nella cui definizione le citazioni ricevute sono considerate indipendentemente dalla provenienza
di ciascuna di esse) e un indicatore atto a misurarne il prestigio (nella cui definizione le citazioni
sono pesate sulla base dell’autorevolezza della sede di pubblicazione di provenienza). Più
precisamente si utilizzeranno:
per WoS (https://www.webofknowledge.com): 5-year Impact Factor (5YIF), quale
indicatore di popolarità, e Article Influence (AI), quale indicatore di prestigio1;
per Scopus (http://www.journalmetrics.com): Impact per Publication (IPP), quale
indicatore di popolarità, e SCImago Journal Rank (SJR), quale indicatore di prestigio2.
1 La scelta è caduta sul 5YIF anziché sul più noto Impact Factor (IF) dato che a) il primo ha maggiori caratteristiche
di stabilità al variare dell’anno di pubblicazione, e b) che la finestra temporale in cui le citazioni sono considerate (5
anni) è la medesima impiegata per l’AI..
13
Nella scheda prodotto all’autore/istituzione sarà chiesto di indicare la base di dati preferita (WoS
o Scopus) e un solo indicatore di impatto, fra i due ad essa associati, che dovrà essere utilizzato
per la valutazione3.
La scelta dell’indicatore di impatto non è obbligatoria. Qualora l’autore/istituzione non compia la
scelta dell’indicatore di impatto della rivista, il GEV02 effettuerà la valutazione del prodotto
presentato basandosi su una scelta di default per JM. Considerata l’esigenza di far riferimento a
indicatori che siano il più comunemente possibile compresi e utilizzati all’interno della comunità
scientifica di riferimento, la scelta di default sarà il 5-year Impact Factor (5YIF) nel caso in cui
la base di dati scelta per la valutazione dall’autore/struttura sia WoS e l’Impact per Publication
(IPP) nel caso in cui essa sia Scopus.
6.5 L’algoritmo per la classificazione dei Prodotti
L’algoritmo utilizzato per la classificazione degli articoli nelle 5 classi di merito definite nel
bando è basato su un uso combinato dell’indicatore bibliometrico che riguarda l’impatto della
rivista su cui l’articolo è stato pubblicato (JM) e dell’indicatore citazionale che misura l’impatto
del singolo articolo (CIT). A seconda dell’anno di pubblicazione il primo o il secondo indicatore
possono avere un maggiore peso relativo. Ogni articolo viene valutato all’interno di una specifica
categoria di riferimento (maggiori dettagli nel seguito) e nell’anno di pubblicazione. La
procedura di valutazione nella categoria di riferimento è preventivamente calibrata al fine di
assicurare che la probabilità ex ante a livello mondiale di ogni articolo di una data categoria e un
dato anno di cadere in una delle classi di valutazione sia quella definita dal dal bando:
Eccellente [top 10% della distribuzione della produzione scientifica internazionale
dell’area cui appartiene];
Elevato [10% - 30 % della distribuzione della produzione scientifica internazionale
dell’area cui appartiene];
Discreto [30% - 50% della distribuzione della produzione scientifica internazionale
dell’area cui appartiene];
2 La finestra temporale in cui le citazioni sono considerate è, in questo caso, di 3 anni per entrambi gli indicatori.
Inoltre la definizione di IPP è la medesima del 5YIF mentre quella del SJR, pur se non identica, è molto simile a
quella dell’AI. 3 In WoS le riviste di recente creazione potrebbero non avere 5YIF e AI. In questo caso, qualora l’autore/struttura
indicasse WoS quale database di riferimento per il prodotto presentato, sarà utilizzato l'IF quale indicatore di default.
Qualora uno tra IPP o SJR fossero assenti in Scopus per una particolare rivista, verrà utilizzato quello dei due
presente.
14
Accettabile [50% - 80% della distribuzione della produzione scientifica internazionale
dell’area cui appartiene];
Limitato [80% - 100% della distribuzione della produzione scientifica internazionale
dell’area cui appartiene].
L’indicazione dei percentili in relazione alle classi di merito non si riferisce ai risultati
percentuali attesi della valutazione dei prodotti presentati per la VQR. La valutazione dei singoli
articoli non è comparativa: ogni articolo sarà collocato nelle classi di merito indipendentemente
dalla collocazione degli altri prodotti.
Il primo passo per la valutazione di un dato l’articolo è l’individuazione della categoria di
riferimento nota come Subject Category (SC) in WoS e All Science Journal Classification
(ASJC) in Scopus (d’ora in avanti SC). Una rivista può appartenere ad una o più SC, e la
indicazione di quale debba essere impiegata per la valutazione del prodotto in essa pubblicato
dovrà essere effettuata dall’autore/istituzione che ha proposto l’articolo. Tale indicazione non è
tuttavia vincolante e può essere modificata da parte del GEV qualora il contenuto dell’articolo
risulti maggiormente pertinente a un'altra delle SC a cui la rivista appartiene.
Una categoria multidisciplinare è presente sia in WoS (Multidisciplinary Sciences) sia in Scopus
(Multidisciplinary) e include riviste, quali Nature, Science, ecc., caratterizzate da una pluralità di
argomenti scientifici. Gli articoli pubblicati su una rivista che compare solo in tale categoria
saranno riassegnati ad un’altra SC sulla base (i) delle citazioni contenute nell’articolo e (ii) delle
citazioni fatte all’articolo. In particolare, per ognuna delle riviste citate/citanti si individuerà una
(o più) SC di appartenenza e verrà poi scelta la SC finale con una regola di decisione
maggioritaria. In questo modo la pubblicazione sarà confrontata con pubblicazioni della stessa
area tematica e/o disciplinare. Nell’assegnazione alla nuova SC, l’articolo porterà con sé il JM
della rivista e il numero di citazioni ricevute, senza modificare le distribuzioni della SC di
destinazione. Medesima procedura verrà utilizzata anche per le riviste appartenenti solo alle altre
categorie multidisciplinari di WoS e di Scopus (es. Physics, Multidisciplinary di WoS).
Gli articoli pubblicati nelle riviste appartenenti a queste SC saranno assegnate a una nuova SC
coerentemente con il procedimento riportato sopra.
Come accennato in precedenza, l’attribuzione dall’articolo a una delle 5 classi previste dal bando
è effettuata in seguito a una calibrazione delle soglie nella SC individuata nello specifico anno.
Tale procedura consente di avere, quali che siano la categoria analizzata e l’anno in questione, la
percentuale di articoli definita dal DM e dal Bando.
15
6.6 Procedura di calibrazione
La calibrazione dell’algoritmo bibliometrico è funzione della particolare SC nel particolare anno
analizzato. L’algoritmo distingue inoltre la tipologia journal article4 e letter da quella review,
calcolando distribuzioni cumulative empiriche separate a causa del diverso numero di citazioni
tipicamente ricevuto da questo tipo di pubblicazioni.
Viene calcolata la distribuzione cumulativa empirica dell’indicatore bibliometrico JM per le
riviste appartenenti alla SC individuata, per l’anno di pubblicazione dell’articolo da valutare e si
assegna un percentile a ognuna delle riviste. Viene poi calcolata la funzione di distribuzione
cumulativa empirica del numero di citazioni CIT di tutti gli articoli pubblicati dalle riviste
appartenenti alla SC individuata e si assegna un percentile ad ognuno degli articoli. Al termine
della procedura ogni articolo avrà dunque due percentili associati (percentile rivista e percentile
citazioni). I due percentili ottenuti individuano un punto nella regione Q = [0,1]x[0,1] del piano
cartesiano, delimitato dal percentile della JM della rivista (asse X) e dal percentile delle citazioni
CIT (asse Y). Si suddivide quindi Q in cinque zone o regioni tali per cui siano rispettate le
percentuali di articoli appartenenti a ciascuna regione definite nel bando VQR.
Tale suddivisione si realizza mediante semplici rette individuate da:
nCIT A JM B
Il coefficiente angolare delle rette che delimitano le zone (A) è imposto uguale per tutte le rette
al fine di aumentare l’omogeneità del criterio adottato. Le intercette Bn sono calcolate da
ANVUR, a seconda della distribuzione della particolare SC, per garantire che le percentuali del
bando siano rispettate. Un esempio di suddivisione di Q nelle 5 zone è rappresentato in Figura 1.
Nonostante la distribuzione degli articoli vari da una categoria a un’altra e da un anno all’altro,
l’algoritmo consente di ottenere una valutazione tarata rispetto all’insieme prescelto.
La pendenza A delle rette di soglia è stabilita dal GEV. Essa ha un ruolo molto importante
poiché, a seconda del valore di A, la classificazione finale sarà maggiormente basata sul
percentile delle citazioni (per pendenze in valore assoluto minori di 1) o viceversa sul percentile
della metrica della rivista (per pendenze in valore assoluto maggiori di 1). Ad esempio, con
riferimento alla Figura 1, una retta orizzontale corrisponde a una valutazione unicamente basata
sul percentile delle citazioni. Tenendo conto di quanto riportato dallo stato dell’arte della
4 Sono considerati in questa classe anche i conference papers pubblicati su rivista.
16
letteratura in campo bibliometrico, sia dai diversi statement sul corretto uso della bibliometria a
fini valutativi5, l’uso di pendenze molto elevate deve essere il più possibile evitato, data
l’assoluta impossibilità di impiegare il solo JM di una rivista quale surrogato (proxy)
dell’impatto del singolo articolo in essa pubblicato. In altri termini, dovranno essere usati, per
quanto possibile, valori di A minori di 1 in valore assoluto, in modo da privilegiare
l’informazione fornita da CIT che costituisce una misura di impatto a livello del singolo prodotto
oggetto di valutazione (article level metric). Tale scelta non è però assoluta, ma dipende dalle
diverse pratiche citazionali delle varie discipline/comunità, oltre che dalla numerosità e dalla
composizione delle SC, che rendono più o meno affidabile, al decrescere dell’anno di
pubblicazione, l’informazione fornita dal dato citazionale.
Figura 1. Rappresentazione in percentili di tutti gli articoli pubblicati in una particolare SC in un particolare anno.
Ogni pubblicazione è posizionata nel piano a seconda del percentile dell’indicatore di impatto della rivista JM (riga)
e del percentile del numero di citazioni CIT (colonna). Il piano è suddiviso in 5 zone secondo le percentuali
riportate nel bando VQR. Il coefficiente angolare delle rette che delimitano le zone è imposto uguale per tutte le
rette. Le intercette Bn sono calcolate da ANVUR, a seconda della distribuzione della particolare SC, per garantire
che le percentuali del bando siano rispettate.
5 Si veda per esempio la San Francisco Declaration on Reseach Assessment (DORA) - http://www.ascb.org/dora/ - e
l’ IEEE Statement on Appropriate use of Bibliometric Indicators
- https://www.ieee.org/publications_standards/publications/rights/bibliometrics_statement.html.
Thresholds: nCIT A JM B
17
Basandosi su numerose simulazioni effettuate dal gruppo di lavoro sulla valutazione
bibliometrica dell’ANVUR, il GEV02 ha ritenuto di considerare sufficientemente stabile il dato
citazionale già a partire dal 2013. Pertanto, le pendenze da utilizzare al variare degli anni sono le
seguenti:
2011: −0,4
2012: −0,6
2013: −0,9
2014: −1,5
Le pendenze potranno variare di un massimo del 30% negli anni 2011, 2012, 2013 per evitare
casi degeneri6. Nel 2014, dove il dato citazionale è meno stabile, la pendenza sarà compresa
nell’intervallo [−2,0, −1,0]
A titolo di esempio, viene mostrata in Figura 2 la calibrazione di una SC mediante quattro rette
parallele. Il coefficiente angolare è stato scelto pari a −0,6 al fine di privilegiare il peso delle
citazioni nella valutazione finale. Come è possibile notare dalla figura, i punti, che rappresentano
gli articoli della SC, si distribuiscono in maniera disomogenea. Scegliendo opportunamente i
valori delle intercette, è possibile garantire che le percentuali del bando siano rispettate, con
accuratezza superiore al decimo di punto percentuale. In altre parole, quando l’algoritmo
bibliometrico viene applicato alla produzione “mondiale” su rivista si ottengono le percentuali
definite nel DM e nel Bando. Ne consegue che lo specifico articolo sottomesso alla VQR avrà
una valutazione sempre riferita al percentile della “produzione scientifica internazionale dell’area
a cui appartiene”.
6 Come, per esempio, la possibilità di classificare in classe eccellente prodotti che non abbiano ricevuto alcuna
citazione
18
Figura 2. Esempio di applicazione dell’algoritmo bibliometrico a una SC campione. La suddivisione del sub-spazio
Q mediante le rette parallele consente di rispettare le percentuali definite nel bando quando l’algoritmo è applicato
alla popolazione mondiale della specifica SC.
Una volta effettuata la procedura di calibrazione, l’attribuzione di un prodotto sottoposto alla
VQR è la seguente. Si calcolano i percentili di JM per la rivista in cui l’articolo è stato
pubblicato e quello delle citazioni ricevute e si colloca il punto nello spazio sopra descritto. In
base alla zona in cui cade il punto si ottiene la valutazione del prodotto secondo l’algoritmo
bibliometrico.
Esistono casi limite in cui gli articoli sono pubblicati su riviste di alto prestigio ma ricevono
poche citazioni (zona in basso a destra nella Figura 2) o pubblicati su riviste con basso valore di
JM, ma con un elevato impatto citazionale (zona in alto a sinistra nella Figura 2). In tali casi di
incertezza la valutazione avverrà tramite procedura di informed peer review che prevede anche
una fase di valutazione peer interna al GEV o esterna se non ci sono le competenze necessarie
nel GEV. Per individuare gli articoli di questo tipo, è sufficiente tracciare ulteriori due rette, con
pendenza positiva, che individuano le zone in alto a sinistra ed in basso a destra di Q (vedi
Figura 3).
19
Per individuare gli articoli di questo tipo, il GEV02, coerentemente con quanto condiviso con gli
altri GEV delle aree bibliometriche, ritiene di dover tracciare (vedi esempio in Figura 3) due rette
con pendenza positiva, in modo da formare due triangoli. Quello nella parte superiore sinistra è
determinato dai lati sinistro e superiore di Q e dal segmento che congiunge il punto (0; 0,5) con
l’intersezione tra la retta di confine della zona di classificazione “Eccellente” e il lato superiore
di Q. Quello nella parte inferiore a destra è un triangolo rettandolo isoscele che consente di
individuare il 5% dei prodotti per il 2011 e 2012 e il 7% per il 2013.
Infine, vista la scarsa consistenza numerica relativa del dato citazionale per articoli pubblicati nel
2014, il GEV02 ha deciso di sottoporre a informed peer review tutti gli articoli pubblicati nel
2014 la cui classificazione sulla base dell’algoritmo proposto non determini una valutazione
finale “Eccellente”.
Figura 3. Esempio di definizione delle zone incerte da gestire tramite informed peer review (IR).
7. Prodotti valutabili
Della tipologia 1 (Monografia scientifica e prodotti assimilati), il GEV02 ritiene valutabili
esclusivamente le tipologie (a) “Monografie di ricerca”, intendendo anche i libri e la tipologia (f)
“Edizione critica di testi”, limitatamente al SSD FIS/08.
Non sono dunque ritenute valutabili le tipologie:
20
b. Raccolta coerente di saggi propri di ricerca
c. Concordanza
d. Commento scientifico
e. Bibliografia Critica o ragionata
g. Edizione critica di scavo
h. Pubblicazione di fonti inedite con introduzione e commento
i. Manuali critici, di contenuto non meramente didattico
j. Grammatiche e dizionari scientifici
k. Traduzione di libro (su decisione del GEV).
Della tipologia 2 (Contributo in rivista), si ritengono valutabili esclusivamente le tipologie (a)
“Articolo scientifico”, (b) “Articolo scientifico di rassegna critica di letteratura o Review essay” e
(c) “Lettera”.
Non sono dunque valutabili le tipologie:
d. Contributo a Forum su invito della redazione della rivista
e. Nota a sentenza
f. Traduzione in rivista.
Della tipologia 3 (Contributo in volume), il GEV ritiene valutabile esclusivamente la tipologia
(a) “Capitolo o Saggio” e la tipologia (b) “Articolo scientifico in atti di conferenza con processo
di revisione peer”.
Non sono dunque ritenute valutabili le tipologie:
c. Prefazione/Postfazione con carattere di saggio
d. Curatela di volume con saggio introduttivo
e. Catalogo con saggio introduttivo
f. Voce critica di dizionario o enciclopedia
g. Traduzione in volume
h. Schede di catalogo, repertorio o corpora.
Si sottolinea dunque che i proceeding pubblicati senza processi di peer review non sono
considerati valutabili.
Della tipologia 4 (Altro), il GEV ritiene valutabile esclusivamente la lettera (a) “Composizioni”,
intesa dal GEV come manufatto e o dispositivo e/o prototipo, la lettera (f), “mostre”, intese come
iniziative di divulgazione, (h) “Banche dati e software”, intendendo per software anche
algoritmi.
Non sono dunque ritenute valutabili le tipologie:
b. Disegni
c. Progetti architettonici
21
d. Performance
e. Esposizioni
g. Prototipi d'arte e relativi progetti
i. Carte tematiche.
La tipologia 5, i Brevetti concessi nel quadriennio della VQR (dal 1/1/2011 al 31/12/2014), è
ritenuta valutabile.
Si sottolinea inoltre che, per tutte le tipologie valutabili diverse da quelle del punto 2, la struttura
dovrà fornire documentazione a supporto sufficiente a consentirne la valutazione tramite peer
review.
Infine, il GEV ritiene non valutabili le tipologie “Riedizioni e traduzioni di lavori già pubblicati
prima del 2011”, “Introduzioni e/o postfazioni a riedizioni di lavori già pubblicati prima del
2011” e “Abstracts”.
8. Conflitti di interesse
I membri dei GEV si asterranno dal valutare o dall’assegnare ad altri membri dei GEV o a
esperti esterni:
prodotti di cui siano autori o co-autori;
prodotti di cui siano autori o co-autori coniugi, parenti o affini fino al 4° grado;
prodotti presentati da università presso cui i membri stessi abbiano o abbiano avuto un
rapporto di lavoro o con le quali abbiano svolto incarichi o collaborazioni ufficiali,
inclusa l’affiliazione a enti di ricerca, negli anni a partire dal 1/1/2011;
prodotti presentati da enti di ricerca vigilati dal MIUR e da altri soggetti pubblici e privati
sottoposti volontariamente alla VQR presso cui i membri stessi abbiano o abbiano avuto
un rapporto di lavoro o con le quali abbiano svolto incarichi o collaborazioni ufficiali,
inclusa l’affiliazione a enti di ricerca, negli anni a partire dal 1/1/2011.
Per questi prodotti, esiste conflitto di interesse:
nel caso in cui la Istituzione abbia una permanente suddivisione interna di tipo territoriale
o disciplinare (es. sezione locale di ente di ricerca, istituto, dipartimento), limitatamente
ai prodotti presentati dalla stessa articolazione;
22
nel caso in cui la Istituzione non abbia una permanente articolazione interna di tipo
territoriale o disciplinare (es. sezione locale di ente di ricerca, istituto, dipartimento), in
riferimento a tutti i prodotti presentati;
nel caso in cui l’articolazione interna sia basata su più livelli gerarchici (es. più istituti
riuniti sotto un dipartimento) il conflitto di interesse sorge al livello più basso (es.
membri GEV affiliati a istituti diversi di uno stesso dipartimento, sono in conflitto di
interesse soltanto rispetto a prodotti presentati da autori appartenenti allo stesso istituto).
Nei casi di conflitto di interesse, il Coordinatore del GEV incaricherà delle procedure di
valutazione un altro membro del GEV per i quali non vi siano conflitti di interesse.
Nel caso di conflitti di interesse che coinvolgano il Coordinatore del GEV, l’assegnazione dei
prodotti relativi sarà fatta dal Coordinatore della VQR o da persona da lui incaricata.
Il GEV, ad ogni modo, si impegnerà a massimizzare il numero di revisori non appartenenti alla
medesima Istituzione dalla quale proviene il prodotto soggetto a valutazione.
