Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Corso:
Banche dati e sistemi per l’informazione e la valutazione
della ricerca (6-7 aprile 2016)
Metodi quantitativi e qualitativi per la valutazione della ricerca scientifica
Gaetana Cognetti [email protected]
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
“La gloria e il merito di alcuni è di scrivere bene, di altri di non scrivere
affatto”
J. La Bruyère
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Quali prodotti della ricerca valutare?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Come stabilire la validità di una ricerca e il suo impatto sul mondo
scientifico?
Quali sono gli strumenti di valutazione disponibili?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Strumenti per la valutazione
Qualitativi
• revisione tra pari (peer review)
• Valutazione comitati di esperti
• Revisione dopo pubblicazione (es. Faculty 1000, ACP Journal ecc)
• Commenti nei blogs o sulla piattaforma della rivista o su reti sociali (twitter, blog ecc.)
Quantitativi
• Valutazioni bibliometriche basate per lo più sulle citazioni
• Inserimento dell’articolo o della rivista in basi dati che indicizzano la letteratura
• Numero di visualizzazioni degli articoli da parte dei ricercatori e altri parametri altmetrici
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Strumenti per la valutazione bibliometrica: un po’ di storia
Anni ’60: nascono i primi indici citazionali (ISI):
Science Citation Index
Social Science Citation Index
Art&Humanities Citation Index
3 Novembre 2004 nasce Scopus
18 novembre 2004 nasce Google Scholar
2005 nasce “H Index”
26 ottobre 2010 manifesto “Altmetrics”
2012 DORA (Declaration on Research Assessment S. Francisco)
2015 una nuova metrica? “Relative citation rate”
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Utilizzo delle citazioni nella valutazione della ricerca
• Il Web of Science è stato per anni, l’unico sistema che offriva valutazioni su base citazionale (parametri bibliometrici) allo scopo di valutare le collezioni bibliotecarie
• Solo in un secondo momento si sono utilizzati questi parametri per valutare la ricerca scientifica
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Pro e contro del valutare la ricerca con i parametri bibliometrici
Pareri…………….
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Come sono ordinati i risultati da Google?
Gent.ma Silvia, per ora abbiamo solo frequenze autorizzate e anche queste sono momentaneamente sospese. Giro il curriculum al la mia collaboratrice, mi faccia sapere se è interessata alla frequenza che non è retribuita. A maggio, se non ha superato i 28 anni dovrebbe esservi un bando del servizio civile per la nostra biblioteca del paziente. In tal caso è previsto una remunerazione di 400 euro al mese. Se Le interessa si tenga in contatto.
Cordiali saluti
I gruppo
Le citazioni sono importanti?
Possibili distorsioni….
Discutere su metodi quantitativi e qualitativi
differenze pro e contro…
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
II gruppo
• Che cos’ è Numero grezzo di citazioni
• A chi si riferisce?
Distorsioni
• Immediacy Index
sue distorsioni
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Le citazioni sono importanti?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Le citazioni…..
Testimoniano dell' interesse della comunità scientifica verso un lavoro
Sono un criterio misurabile quantitativamente (non soggettivo/arbitrario)
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Distorsioni....
• Autocitazioni
• Citazioni di favore
• Citazioni negative (memoria dell' acqua)
• Settori disciplinari
• Tipi di pubblicazione (es..review)
• Pubblicazioni e citazione di studi mai effettuati (truffe)
• Lingua di pubblicazione (inglese più citato…)
• Citazioni di “favore”
• Nel caso di attribuzione al lavoro di un autore dell’ IF di una rivista può essere che l’autore in questione non venga mai citato
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Quali parametri bibliometrici conoscete per la valutazione della
ricerca?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Numero delle pubblicazioni
• E’ un criterio valido?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Numero grezzo di citazioni?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Numero delle citazioni
E' un conteggio grezzo delle citazioni ricevute da un autore, da una rivista, da una istituzione, da un articolo
Ha molte distorsioni dovute al numero dei lavori pubblicati (tanti ricercatori, tanti articoli tante citazioni) al settore disciplinare, al tipo di articolo (es review o ricerca)
E' la base per calcolare altri parametri più complessi
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Impact factor ?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Fattore di impatto (Impact factor)
• Calcola la frequenza media di citazione degli articoli pubblicati in una data rivista in un determinato periodo
• Si ottiene dividendo il numero di citazioni ottenute da una rivista in un dato anno, riferite ad articoli pubblicati nei due anni precedenti, per il numero degli articoli pubblicati
• entro due anni dalla pubblicazione si registra in media il maggior numero di citazioni
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Fattore di impatto grezzo
Il fattore di impatto grezzo è quello ottenuto attraverso la procedura descritta ma la distorsione maggiore è che non tiene conto dei settori disciplinari
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Fattore di impatto normalizzato
Quartili…………
Percentuali…..
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Indice di immediatezza?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Indice di immediatezza (Immediacy Index)
Si può definire l'impact factor “immediato” non riferito alle citazioni di articoli dei due anni precedenti ma alle citazioni ricevute dagli articoli di una rivista nello stesso anno di pubblicazione
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
L' indice di immediatezza
È maggiore nelle discipline umanistiche o in quelle scientifiche?
L
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Emivita La rivista è citata per articoli vecchi o recenti?
La rivista cita articoli vecchi o recenti ? (obsolescenza)
Esempio di calcolo
Il termine, mutuato dalla fisica, indica per una rivista il numero di anni di pubblicazione a partire dall’ anno preso in considerazione e andando indietro nel tempo necessari a raggiungere il 50% delle citazioni ottenute nell’ anno oggetto di valutazione
Se una rivista nel 2012 riceve 60 citazioni di cui:
20 relative ad articoli del 2011
10 ad articoli del 2010
la sua emivita sarà 2
Se la rivista riceve le 30 citazioni su lavori pubblicati nei cinque anni precedenti la emivita sarà di 5
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
L’ emivita
È maggiore nelle discipline umanistiche o in quelle scientifiche?
L
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
H - index
Introdotto da Jorge Hirsch (2005) in alternativa all’ IF misura la produttività e l’impatto del
ricercatore sulla base del numero dei lavori più citati.
Può essere applicato ad una istituzione, ad un dipartimento o anche ad una rivista
Es: se un autore pubblica 15 articoli e 9 di essi sono stati citati almeno 9 volte e gli altri sei meno di 9 l’ H index è 9
* An index to quantify an individual's scientific research outputwww.pnas.org/content/102/46/16569.abstract (2005)
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
H5 index =
Normalizzazione per discipline
Normalizza sulla base dellì H index medio per disciplina l’impatto degli autori con differenti modelli citazionali
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
H index
Molto utile per valutare nella ricerca studiosi con buon pedigree
Meno per giovani ricercatori
Distorsioni se ho 100 lavori con 10 citazioni ho lo stesso H index di un autore che ha solo 10 lavori con 10 citazioni
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
H index in parole semplici
Mette in rapporto il numero di pubblicazioni prodotte da un autore con il numero di
citazioni ricevute. Se un autore ha 20 pubblicazioni citate
almeno 20 volte ha un H index di 20 Chi ha 10 pubblicazioni citate almeno 10
volte ha un indice di 10
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
H index
Varianti
• a index
• hb index
• g index
• hc index ( contemporary h index)
• hl index (individual h index)
• AWCR (age - weighted citation rate)
Strumenti per calcolare
Scholarometer
Quadsearch
ScHolarIndex
ecc. ecc.
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Le citazioni in realtà……….
• Sono legate ad un contesto accademico in cui si utilizzava il supporto cartaceo…
• Le riviste elettroniche rendono possibile il recupero di altri parametri….
• Nascono così le metriche alternative
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Altmetrica?
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Altmetrica (Altimetrics) article level metrics o metrica alternativa?
Nasce nel 2010
Valutazioni alternative Con i sistemi elettronici sono
possibili Sono molto più rapide delle
citazioni Sono “sociali” misurano impatto
non solo in ambito accademico Basate su strumenti, come il Web
2.0. Il termine Altmetrics può
significare sia ‘Article Level Metrics’ sia ‘Alternative Metrics’.
Web 2.0
blog
Mendeley
Zotero
Google +
Slideshare
Wikipedia
ecc. ecc.
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Ideatore: Jason Priem, studente di dottorato in Scienza dell’ informazione – Università North Carolina
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto
J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto
Nessuno può leggere tutto … i tradizionali filtri sono travolti
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
803 volte visto e scaricato
Il lavoro è recente nessuna citazione ma Altmetrica ….
Primo editore a inserire Altmetrica
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
https://www.biomedcentral.com/search?query=journal+of+experimental+cancer+clinical+research&searchType=publisherSearch
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Articolo pubblicato il 27 novembre 2015 nella stessa data ha raccolto il link da un blog e 7 twitters
Intanto si discute su IF e valori citazionali (2012)
• San Francisco Declaration On Research Assessment (DORA).
• Un gruppo di redattori (editors) e editori (publishers) di riviste scientifiche si sono riuniti a San Francisco, California, il 16 Dicembre 2012 durante la riunione annuale della società americana di biologia cellulare (The American Society for Cell Biology ASCB)
• ed hanno messo a punto la prima bozza del documento che è adesso pubblicato con la firma di 78 organizzazioni (riviste -tra cui Science, Plos e PNAS – e associazioni scientifiche -tra cui unica italiana Telethon) e 151 studiosi promotori.
• E’ appena iniziata l’adesione di studiosi ed organizzazioni alla dichiarazione.
• Firme raccolte di migliaia di studiosi e centinaia di riviste ed associazioni scientifiche.
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
http://www.ascb.org/dora-old/files/DORA_poster_2013.pdf
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Non usare metriche basate sulle riviste come JIF come surrogati della qualità della ricerca per valutare i contributi degli scienziati o per promozioni o decisioni sui finanziamenti
17 raccomandazioni
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Differenti metriche per letteratura primaria e rassegne
Non promuovere riviste sulla base dell’ IF ma utilizzare diverse metriche anche altmetrica
Considerare tutti i prodotti della ricerca: anche dati (datasets) e programmi (software)
Valutare contenuto scientifico di un documento non solo IF! Cambia la cultura! Cita
la letteratura primaria Usa diverse metriche Attenti alla qualità dei contenuti
Relative Citation Ratio: una misura innovativa?
Il 90% degli articoli importanti per la scienza appaiono su riviste con modesto IF
Gruppo di lavoro NIH condotto da George Santangelo nell’ Ufficio del Direttore NIH
“There is no silver bullet in research evaluation; qualitative review by experts remains the gold standard for assessment”
http://www.Ascb.Org/nature-of-scientific-impact/
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Relative Citation Ratio: la rete di co-citazioni
Chiave del parametro è la rete delle co-citazioni.
Vengono confrontate le citazioni di un articolo sulla base della sua rete citazionale rilevante
cioè con l’ intera collezione di documenti che sono citati nei documenti che citano quello da valutare.(denominatore del RCR)
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
La scoperta dell’ anatra necrofila
http://www.ted.com/talks/kees_moeliker_how_a_dead_duck_changed_my_life?language=it
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Premio IG Nobel Sponsorizzati dalla rivista scientifica
umoristica statunitense Annals of Improbable Research (AIR)
l premio Ig Nobel conosciuto in Italia anche come premio Ignobel, viene assegnato annualmente a dieci ricercatori autori di ricerche "strane, divertenti, e perfino assurde", quel tipo di lavori improbabili che "prima fanno ridere e poi danno da pensare
Lo scopo dichiarato del riconoscimento è "premiare l'insolito, l'immaginifico, e stimolare l'interesse del pubblico generale alla scienza, alla medicina, e alla tecnologia". I vincitori sono selezionati in base ad articoli pubblicati anche su riviste scientifiche autorevoli
https://it.wikipedia.org/wiki/Premio_Ig_Nobel
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
La valutazione dipende dalle finalità che si ritiene utile valutare
Se una delle finalità è la divulgazione scientifica allora occorre valutare anche i documenti scritti per i pazienti
Sicuramente la valutazione della ricerca è un fatto complesso e ogni metrica ha le sue distorsioni……
Occorre mettere in gioco molti fattori per poter esercitare un buon giudizio
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016
Corso: Banche dati e sistemi informativi per la valutazione della ricerca - 6-7 aprile 2016