Verso la prossima VQR

Verso la prossima VQR

Alberto Baccini Roars 3.0Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma19 giugno 2015

Alberto Baccini, Verso la prossima VQR

Indirizzo, valutazione e controllo

1. Limitati interventi ordinamentali; fiducia ai meccanismi di autoregolazione e controllo orizzontale dei pari.

Enfasi sul carattere di bene pubblico della conoscenza scientifica e dell’istruzione.

2. Regolazione diretta attraverso norme e direttive attuate da agenzie.

Rendimenti privati della ricerca e interesse privato individuale ad «investire» in capitale umano.

L’Italia ha scelto, con decenni di ritardo la seconda via.

Costruendo un sistema istituzionale sbilanciato


Governance by indicators

1. Governance by targets Individuazione di indicatori che

diventano i target delle azioni di policy

RAE/REF VQR

2. Governance by information Pubblicazione di indicatori che

modificano i comportamenti delle istituzioni

OECD-PISA University rankings



Tra il 2011 e il 2013…



“Do not use journal-based metrics … as a surrogate measure of the quality of individual articles, to assess individual scientist’s contributions, or in hiring, promotion, or funding decisions”

“while bibliometrics may be employed as a source of additional information for quality assessment within a specific area of research, the primary manner for assessment of either scientific quality of a research project or of an individual scientist should be peer review”



Guidelines and principles for science assessment

1. Context matters2. Do not harm

Attempts to link funding allocation directly to specific indicators have the potential to lead to unintended consequences

3. Transparency is critical Indicator construction and validation; data sources;

criteria; procedures for selecting expert reviewers

4. The judgement of scientific experts remains invaluable


1. La valutazione quantitativa deve supportare il giudizio qualitativo2. Misurare le prestazioni in relazione alla missione di ricerca

dell’istituzione, del gruppo o del ricercatore3. Salvaguardare l’eccellenza nella specifica ricerca locale4. Mantenere aperto, trasparente e semplice il processo di

acquisizione dei dati e quello di analisi5. Consentire ai valutati di verificare i dati e l’analisi6. Tenere conto delle differenze tra aree disciplinari nelle pratiche di

pubblicazione e citazione7. Basare la valutazione dei singoli ricercatori su un giudizio

qualitativo del loro portafoglio scientifico 8. Evitare finta concretezza e falsa precisione9. Riconoscere gli effetti sistemici della valutazione e degli indicatori10. Verificare regolarmente la qualità degli indicatori ed aggiornarli


Una VQR leggera

Ridurre i costi della VQR In particolare i costi indiretti imposti alle

strutture oggetto di valutazione; ~300m€ (Sirilli); ~100m€ (Geuna)


Una VQR poco invasiva

Dalla governance by targets alla governance by information Per ridurre al minimo l’impatto sulle scelte in termini di

strategie di ricerca e pubblicazione Per evitare i comportamenti opportunistici e le

conseguenze non volute: Guest authorship Citation cartels IF boosting

Eliminare automatismo tradistribuzione risorse FFO erisultati VQR


Fonte: Todeschini-Baccini 2015 su dati Amos 2014


Una VQR trasparente

Nelle procedure di selezione dei membri GEV di definizione delle responsabilità della

valutazione all’interno dei GEV di scelta dei referee

nomi resi pubblici al termine della valutazione con il numero dei prodotti valutati

Nella pubblicazione dei risultati


ANVUR dichiara di non fare classifiche…

Fon

te:

rap

port

o fi

nale

p.

7


… poi pubblica graduatorie.



Una VQR basata soltanto sulla revisione dei pari


Una VQR che non usa le classifiche delle riviste

“Do not use journal-based metrics … as a surrogate measure of the quality of individual articles, to assess individual scientist’s contributions, or in hiring, promotion, or funding decisions”


Una VQR molto simile al REF non è comunque esente da problemi


Come sarà la VQR 2011-2014? Sul modello della VQR 2004-2010

Nessuna «revisione di spesa» 7,5m€ a Cineca burocrazia bibliometrica stabile o in aumento

(prev.) mix revisione dei pari e bibliometria

Che non ha funzionato Con uso massiccio di ranking di riviste

opaca Procedura GEV già partita (prima del DM !) Referee anonimi Risultati sotto forma di classifiche Dati non disponibili per la comunità scientifica

(prev.)


Raccomandazione DORA per i ricercatori

“18. Mettere in dubbio le pratiche di valutazione della ricerca che fanno affidamento impropriamente su fattori di impatto delle riviste, e promuovere e insegnare le migliori pratiche centrate sul valore e l’influenza dei singoli prodotti della ricerca”

Education

Verso la prossima VQR