Valutare le scienze umane e sociali con indicatori bibliometrici. Si può fare?

Valutare le scienze umane e sociali con indicatori bibliometrici. Si può fare?

Alberto Baccini (Unisi)

La valutazione della ricercaSassari, 24 novembre 2011

Alberto Baccini, Bibliometria per le SSH?

Lo «scontro» sulla valutazione Impact Factor, H-index e derivati sono spesso usati come una

clava per scardinare le baronie nazionali. Altri negano che gli indicatori bibliometrici abbiano qualsiasi

significato ed utilità. Specialmente per le scienze umane. Le misure bibliometriche sintetizzano informazioni sulla

qualità e l’impatto della ricerca basate sulla peer review, secondo le pratiche condivise da secoli nella comunità accademica internazionale.

Non esistono discipline cui per la loro natura speciale non possano essere applicati indicatori bibliometrici; per alcune discipline al momento gli indicatori bibliometrici sono scarsamente affidabili.

Il loro uso “accorto e consapevole” è utile per le decisioni sul finanziamento della ricerca.


Qualità, importanza, impatto

Per qualità di un contributo scientifico si intende il riconoscimento che la ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità, rilevanza, rigore metodologico…) in un certo momento del tempo. Un articolo pubblicato su una rivista che usa la peer review è di qualità Indicatori bibliometrici di produzione di qualità

Per impatto si intende il riconoscimento tributato ad contributo scientifico dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale. Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica Indicatori bibliometrici citazionali

Per importanza di un contributo scientifico si intende la capacità di un contributo scientifico di influenzare nel lungo periodo le ricerche condotte da altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la strada a nuove vie per lo sviluppo della scienza Ricerca dimenticata e belle addormentate


Ma gli archivi bibliografici e citazionali contengono tutte le informazioni rilevanti? Database commerciali

WoS, Thomson Reuters Scopus, Elsevier Google Scholar

Archivi disciplinari PubMed; EconLit; Philosopher’s index;

Sociological abstracts; Historical abstracts etc.


Le quattro letterature delle SSH (Hicks 2004) Riviste accademiche internazionali

In inglese, peer reviewed, indicizzate Riviste nazionali

In lingua nazionale, peer reviewed?, non indicizzate

Libri In inglese, in lingua nazionale

Pubblicazioni non accademiche Trasferimento di «conoscenza nuova» per i

lettori


European SSH journal coverage

Diana Hicks and Jian Wang. 2010. "Coverage and overlap of the new social science and humanities journal lists" forthcoming in JASIST.


Adeguatezza del grado di copertura


Misure della produzione scientifica

Scopus Scholar

Umberto Eco 6 >1000

A.L. Barabasi 169 793

H. Moed 78 >1000

(26 settembre 2011)


Quanto producono umanisti e scienziati sociali? E

txeb

arria

, Goio

an

d G

om

ez-U

ran

ga, M

ikel (2

01

0), 'U

se

of S

cop

us a

nd

Goog

le S

chola

r to m

easu

re so

cial

scien

ces p

rod

uctio

n in

fou

r majo

r Sp

an

ish u

nive

rsities',

Scie

nto

metrics, 8

2 (2

), 33

3-4

9.


Un caso italiano

Area CUN n. docenti%

docenti

Docenti non

presenti su

Scopus

% docenti presenti

su Scopus

Pubblicazioni 08-10 su Scopus

% pubbl.

01 - Scienze matematiche e informatiche 39 4,1% 8 79,5% 176 2,9%02 - Scienze fisiche 14 1,5% 0 100,0% 621 10,2%03 - Scienze chimiche 57 6,0% 0 100,0% 791 13,0%04 - Scienze della terra 28 3,0% 0 100,0% 124 2,0%05 - Scienze biologiche 107 11,3% 1 99,1% 855 14,0%06 - Scienze mediche 240 25,3% 2 99,2% 2674 43,8%07 - Scienze agrarie e veterinarie 2 0,2% 1 50,0% 1 0,0%08 - Ingegneria civile e Architettura 3 0,3% 3 0,0% 0 0,0%09 - Ingegneria industriale e dell'informazione 43 4,5% 2 95,3% 599 9,8%10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche 111 11,7% 93 16,2% 34 0,6%11 - Scienze storiche, filosofiche, pedagogiche e psicologiche 98 10,3% 72 26,5% 56 0,9%12 - Scienze giuridiche 93 9,8% 85 8,6% 10 0,2%13 - Scienze economiche e statistiche 91 9,6% 28 69,2% 155 2,5%14 - Scienze politiche e sociali 21 2,2% 15 28,6% 12 0,2%(vuoto) 1 0,1% 1 0,0% 0 0,0%Totale complessivo 948 311 67,2% 6108

AREE 10-14 414 43,7% 293 29,2% 267 4,4%Fonte: Nucleo di valutazione UNISI; elaborazioni su dati Scopus


Le citazioni visibili


Le citazioni visibili nelle varie discipline


Per valutare le SSH servono strumenti speciali? Ranking delle riviste/editori (Pontille-Torny 2010)

ERIH (European Reference Index for the Humanities) AERES list (Agence d’Evaluation de la Recherche e

de l’Enseignement Superieur) Australian ranking (5:15:30:50) (Vanclay 2011) Norway ranking (20:80) Ranking SISCO (20:30:50), Area 12 CUN (44:26:30)

Libcitations (White et. Al. Jasist 2009) Diffusione nelle biblioteche di volumi (Torres-

Salinas-Moed 2009)

Diffusione di un libro ha la stessa funzione della citazione (?)


La peer review come strumento speciale per le SSH Il controllo accademico nelle discipline al

riparo dalla scienza internazionale determina problemi nei processi di peer review PRIN 2009 CIVR 2001-2003.

Diritto costituzionale«Se si parte dall’assunto che l’internazionalizzazione si misuri dal numero dei prodotti

pubblicati in lingua straniera, allora la conclusione è che, essendo nel settore IUS/08 questi appena 5, il risultato è assai debole. Ma forse può proporsi un parametro diverso, o almeno concorrente, cioè quello delle tematiche affrontate, del loro respiro non angustamente rinserrato nella chiusa esperienza nazionale. Se si ritiene non irragionevole questo punto di vista, la presenza nel triennio 2001-2003 di numerosi prodotti che trattano temi di Diritto costituzionale generale, o attenti all’esperienza di altri ordinamenti, può comportare una valutazione più rassicurante»


Riflessioni conclusive

Costruzione di database bibliografici trasparenti e controllabili -possibilità di accesso ai dati elementari- (ANPREPS) Indicatori di produzione/produttività

Database citazionali (la definizione di liste di riviste nazionali può spingere i duopolisti a includerle?)

Evitare l’uso di strumenti semiautomatici (classifiche di riviste/editori)

Negli esercizi di valutazione la peer review al momento sembra la via obbligata: Rendere trasparenti le procedure di revisione: pubblicazione

ex post degli elenchi dei revisori; controlli statistici sulla robustezza dei risultati


Riferimenti essenziali

Hicks, D. (2004). The four literatures of social science in Handbook of Quantitative Science and Technology Research, H. Moed (ed.) Kluwer Academic: 473-496.Hicks, D. (2009). Towards a bibliometric database for the social sciences and humanities. 2009.Vanclay, J. K. (2011). "An evaluation of the Australian Research Council's journal ranking." Journal of Informetrics 5(2): 265-274.

www.roars.it

Education

Valutare le scienze umane e sociali con indicatori bibliometrici. Si può fare?