Programma  •  10.30  Inizio  dei  lavori  

•  prof.  Emilia  Perassi,  membro  del  Senato  Accademico:  salu?  e  presentazione  dell’inizia?va  

•  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI:  salu?  delle  Autorità  accademiche  

•  10.45  relazione  I:  prof.  Massimo  Florio,  presidente  del  Nucleo  di  Valutazione  UNIMI  -­‐  La  ricerca  umanis?ca:  i  risulta?  del  Nucleo  di  Valutazione    

•  11.15  relazione  II:  do=.ssa  Paola  Galimber@,  Ufficio  pianificazione  organizza?va  e  valutazione  UNIMI  –  La  ricerca  umanis?ca:  i  risulta?  della  VQR  

•  11.45  Interven?    –  Interven@  dei  Dire=ori  dei  Dipar@men@  della  Facoltà  di  Studi  Umanis@ci  

–  Interven@  brevi  programma@  

–  Domande  dei  presen@  e  dibaJto    

•  Conclusioni:  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI  

La  valutazione  della  ricerca  umanis@ca:  appun@  

Giuseppe  De  Nicolao  Dip.  Ingegneria  Industriale  e  dell’Informazione  

Università  di  Pavia  

La  valutazione:  scienza  o  

stregoneria?  

Scienza  o  stregoneria?  (1/2)  

1.  Bibliometria  e  valutazione:  esiste  una  vasta  le4eratura  scien6fica  internazionale  a)  La  produzione  scien?fica  e  la  sua  valutazione  è  un  oggeAo  di  

studio  scien?fico  che  per  la  sua  interdisciplinarietà  u?lizza  metodologie  traAe  da  diverse  discipline  sia  delle  scienze  dure  che  delle  HSS  (Human  and  Social  Sciences).  

b)  Valgono  le  regole  del  metodo  scien?fico.  c)  Inu?le  re-­‐inventare  la  ruota    ...  magari  quadrata  o  triangolare.  

Scienza  o  stregoneria?  (2/2)  

2.  In  Italia  non  esiste  uno  specifico  SSD  a)  La  valutazione  è  appannaggio  di  esper?  di  altre  aree  che  si  

muovono  da  dileAan?  più  o  meno  coscien?  dei  risvol?  scien?fici.  b)  Pregiudizio:  essere  un  buono/o\mo  scienziato  è  sufficiente  per  

essere  un  buon  valutatore  senza  documentarsi  sulla  leAeratura  specifica.  

c)  Non  essendoci  esper?  accredita?,  le  chiacchiere  da  “Bar  Sport”  ed  il  “fai-­‐da-­‐te”  hanno  libera  circolazione  a  tu\  i  livelli.  

d)  Che  fare?  Cercare  di  essere  degli  “ones?  dileAan?”  che  imparano  il  mes?ere  documentandosi  coscienzosamente  sullo  stato  dell’arte  e  le  esperienze  internazionali.  D’altronde,  la  capacità  di  studiare  e  il  metodo  scien?fico  non  dovrebbero  esserci  del  tuAo  estranei.    

VQR:  Confron?  e  proporzioni  

Valutazione  =  classifiche?    

“Ogni  valutazione  deve  me4ere  capo  a  una  classifica.  Questa  è  la  logica  della  valutazione.  Se  non  c'  è  una  classifica,  non  c'  è  neanche  una  reale  valutazione”  Giulio  Tremon?,  “Il  passato  e  il  buon  senso”  CdS  22-­‐08-­‐08  

vediamo  come  fanno  gli  inglesi  ...  

NO RANKINGS PLEASE!WE’RE BRITISH!!

“RAE2008 results are in the form of a quality profile for each submission made by an HEI [Higher Education Institution]. We have not produced any ranked lists of single scores for institutions or Units of Assessment, and nor do we intend to.”

Quante  sono  le  VQR?    

Non  è  stata  svolta  una  VQR  ma  ce  ne  sono  state  16,   perché   due   delle   14   aree   CUN   sono   state  sdoppiate   in   so4o-­‐area   bibliometrica   e   non  bibliometrica.  

Cosa   dice   l’ANVUR   rela6vamente   alla  comparabilità   dei   risulta6   VQR   delle   diverse  aree?  

Ma  allora  come  si  fa  a  ripar@re  la  quota  premiale  del  FFO?  

•  È   necessario   a4ribuire   un   peso   a   ciascuna   delle  16   aree   tenendo   conto   anche   dei   diversi   cos6  della  ricerca.  

•  Una   volta   no6   i   pesi   diventa   possibile   anche  ripar6re   la   quota   premiale   tra   le   diverse   aree   di  un  ateneo  

•  A  chi  spe4a  questa  decisione?  Vediamo  cosa  dice  l’ANVUR  ...  

L’Appendice  D  della  Relazione  VQR  

Per   la   natura   stessa   del   problema,   osservazioni  più   tecniche   e   metodologiche   si   fondono  necessariamente   con   valutazioni   di   indirizzo  poli6co   generale   che   esulano   dal   compito  dell’ANVUR  e  rimangono  pienamente  in  capo  al  MIUR,   in   par6colare   nel   momento   in   cui   vi   si  facesse   riferimento   per   la   ripar6zione   di   risorse  finanziarie.  

Altra  ques@one:  come  usare  la  VQR  per  valutare  i  singoli  ricercatori?  

Vediamo  cosa  dice  l’ANVUR  ...  

Valutazione  intra-­‐dipar@mentale  Last   but   not   least,   l’ANVUR   so4olinea   che   i   risulta<   della   VQR  non  possono  e  non  devono  essere  u<lizza<  per  valutare  i  singoli  soggeY.   I   mo6vi   sono   molteplici,   e   qui   ne   ci6amo   alcuni  rilevan6:   la   scelta   dell’associazione   prodoY-­‐soggeY   valuta6,  de4ata   dall’oYmizzazione   del   risultato   di   stru4ura   e   non   del  singolo   sogge4o,   la   richiesta   di   conferire   solo   tre   prodoY   di  ricerca  pubblica6   in  se4e  anni,  che  cos6tuiscono   in  mol6  se4ori  della   scienza   un’immagine   della   produzione   complessiva   dei  singoli   soggeY   molto   parziale,   la   non   considerazione   del  contributo   individuale   al   prodo4o   nel   caso   di   presenza   di  coautori,  e,  infine,  l’u6lizzo  di  metodi  di  valutazione  la  cui  validità  dipende   fortemente   dalla   dimensione   del   gruppo   di   ricerca   cui  sono  applica6.  

Relazione  Finale  VQR  –  Parte  Prima,  pag.  9  

Il  leAo  di  Procuste  del  paradigma  

“hard  sciences”  

Il  paradigma  “hard  sciences”  

•  Risulta?   della   ricerca   diffusi   prevalentemente   su   riviste  internazionali   con   citazioni   indicizzate   dai   database  bibliometrici.  

•  Indici   bibliometrici   (Impact   Factor,   citazioni,   h-­‐index,   etc)  associa?  a  pubblicazioni,  ar?coli  e  ricercatori.  

•  Idea:  la  valutazione  automa?ca  è  a  portata  di  mano  (IF  per  le  riviste,  citazioni  e  h-­‐index  per  i  ricercatori).  Esempi:  VQR  nei  seAori  bibliometrici,  mediane  ASN.  

•  DORA  -­‐  San  Francisco  Declara?on  on  Research  Assessment  (hAp://am.ascb.org/dora/):   la   comunità   scien?fica   e   le  esperienze  internazionali  mostrano  diffidenza  crescente  nei  confron?  delle  valutazioni  automa?che.  

Bri@sh  REF  (Research  Excellence  Framework)  

Bibliometrics   are  not   sufficiently   robust   at   this   stage  to  be  used  formulaically  or  to  replace  expert  review  in  the  REF  

Report  on  the  pilot  exercise  to  develop  bibliometric   indicators  for  the  Research  Excellence  Framework,  September  2009  

Australian  ERA    (Excellence  of  Research  in  Australia)  

There  is  clear  and  consistent  evidence  that  the  [journal]  rankings  were  being  deployed  inappropriately  …  in  ways  that  could  produce  harmful  outcomes  

         Ministro  K.  Carr,  30  Maggio  2011  

La  valutazione  delle  scienze  dure:  un  paradigma  da  esportare?  

1.  Esempi  del  paradigma:  a)  Gli  scienzia?  italiani  e  in  par?colare  gli  umanis?  non  sono  adeguatamente  produ\vi  perché  

hanno  pochi  lavori  sul  Web  of  Science    della  Thomson-­‐Reuters.  b)  La  scheda  di  valutazione  calibrata  sulle  scienze  dure  (vedi  giudizio  sulla  internazionalizzazione).  c)  In  mol?  SeAori  Concorsuali  un  ar?colo  pubblicato  su  rivista  di  fascia  A  vale  quanto  una  monografia  

di  ricerca.  

2.  Cosa  dice  la  le4eratura  per  le  HSS?    a)  One  size  does  not  fit  all  (D.  Hicks,  hAp://www.confero.ep.liu.se/issues/2013/v1/i1/121207b/).  Ci  

sono  quaAro  “dis?nct,  yet  par?ally  overlapping  worlds  each  serving  a  different  purpose”:  interna?onal  journals  literature,  books,  na?onal  journals,  non  scholarly  press      

b)  Distorsioni  (i  dieci  lavori  di  sociologia  spagnoli  più  cita?  sono  sulla  rivista  Annals  of  tourism  research)  

c)  Pericoli:      •  inaridire  seAori  di  studio  di  interesse  nazionale  pubblica?  in  sedi  non  indicizzate;    •  scoraggiare  la  scriAura  di  lavori  di  enlightenment  (divulgazione)  rivol?  a  pubblico  non  accademico;        •  scoraggiare  la  scriAura  di  monografie.  

3.  Cosa  dicono  i  rappor6  d’area  della  VQR?  a)  Impossibile  sos?tuire  la  peer  review  con  le  classifiche  delle  riviste  b)  Specificità  delle  HSS  (monografie  per  es.)  che  esigono  modelli  di  valutazione  adegua?  (no  le\  di  

Procuste)  

Programma  •  10.30  Inizio  dei  lavori  •  prof.  Emilia  Perassi,  membro  del  Senato  Accademico:  salu?  e  presentazione  dell’inizia?va  

•  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI:  salu?  delle  Autorità  accademiche  

•  10.45  relazione  I:  prof.  Massimo  Florio,  presidente  del  Nucleo  di  Valutazione  UNIMI  -­‐  La  ricerca  umanis?ca:  i  risulta?  del  Nucleo  di  Valutazione    

•  11.15  relazione  II:  do=.ssa  Paola  Galimber@,  Ufficio  pianificazione  organizza?va  e  valutazione  UNIMI  –  La  ricerca  umanis?ca:  i  risulta?  della  VQR  

•  11.45  Interven?    

•  a)  Interven@  dei  Dire=ori  dei  Dipar@men@  della  Facoltà  di  Studi  Umanis@ci    

•  Dipar?mento  di  Beni  culturali  e  ambientali:  prof.  Paolo  Inghilleri  

•  Dipar?mento  di  Filosofia:  prof.  Guido  Canziani  

•  Dipar?mento  di  Lingue  e  LeAerature  straniere:  prof.  Marco  Modenesi  

•  Dipar?mento  di  Scienze  della  Mediazione  Linguis?ca  e  di  Studi  interculturali:  prof.  Marie  Chris?ne  Jullion  

•  Dipar?mento  di  Studi  LeAerari,  Filologici  e  Linguis?ci:  prof.  Fabrizio  Conca  

•  Dipar?mento  di  Studi  Storici:  prof.  Grado  Merlo  (membro  del  Senato  Accademico)  

•  b)  Interven?  brevi  programma?  

•  c)  Domande  dei  presen?  e  diba\to    

•  Conclusioni:  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI