Att mäta (human)vetenskap: publicerings- och citeringsanalys i

vetenskapsteoretiskt ljus.

Gustaf NelhansFilosofi, lingvistik och vetenskapsteori

GU

Presenterad vid Teknik och vetenskapshistoriska dagarna, Göteborg 2010-11-11

Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges.

Citeringen som kvalitetsmått

• Eugene Garfield:– One purpose of this communication is to record

my forewarning concerning the possible promiscuous and careless use of quantitative citation data for sociological evaluations, including personel and fellowship selection (Garfield, 1963).

• Vidare:– ”Impact is not the same as importance or

significance” (Garfield, 1963)

Garfield, E. 1963. Citation Indexes in Sociological and Historical Research. American Documentation 14:289-91.

Upphovsrättskyddat material. Citera gärna, om källan anges.

Citeringen som kvalitetsmått

• Tidskrifter:– Dock menade Garfield att SCI kunde brukas för

evaluering av tidskrifter:• Journal Impact Factor– Beräknas genom att dividera antalet erhållna

citeringar med antal publicerade artiklar under en viss tidsperiod.

Garfield, E. 1972. Citation analysis as a tool in journal evaluation. Science 178:471-79Upphovsrättskyddat material. Citera gärna, om källan anges.

Citeringsanalysens problematik

• Teoretiska överväganden• Metodologiska överväganden• Praktiska överväganden

Upphovsrättskyddat material. Citera gärna, om källan anges.

Citering som prestation

• Traditionellt:– Citering som ”belöning”, – citeringsindexet som representation av

publiceringsmönster• Förslag:– Citering som ”prestation”– Citeringsindexet som performativ arena (för

publikationer)• Författare positionerar sig genom val av tidskrifter/fält

Upphovsrättskyddat material. Citera gärna, om källan anges.

Resursfördelning

• Regeringens proposition 2008/09:50 Ett lyft för forskning och innovation:– 10 % av forskningsmedlen till lärosätena

omfördelas ”i konkurrens och tilldelas utifrån respektive lärosätes resultat mätt med indikatorerna externa medel och vetenskaplig produktion [och citeringar]”.

Upphovsrättskyddat material. Citera gärna, om källan anges.

Alternativa resursfördelningssystem

• Australien: tidigare endast ISI-publikationer• Storbritannien: RAE, panelbaserad granskning.

Från 2014: REF• Norge, system baserat på kanal och kvalitet

(impact factor, internationalitet)• Sverige Fältfaktor samt Waringmetod

Upphovsrättskyddat material. Citera gärna, om källan anges.

Det svenska resursfördelningssystemet

• Publikationsmått: Waringmetod• Citeringsmått: Fältnormalisering

• Bibliometriskt index= Waringfördelade publikationer * Fältnormaliserade citeringar

• Data hämtade ut Thomson Reuters Web of Science

Upphovsrättskyddat material. Citera gärna, om källan anges.

Humaniora

• Hur faller Humaniora ut i regeringens modell?– Publikationsmått går att beräkna.– Citeringsmått går inte att beräkna.• Lösning: all humaniora får fältnormerad citeringsgrad =

1,0 (genomsnitt för fältet).

– Regeringen inför en egen viktning utöver denna arbiträra

Upphovsrättskyddat material. Citera gärna, om källan anges.

Regeringens ”egen” viktning

Vetenskapsområde Vikt

Medicin och teknik 1

Naturvetenskap 1,5

Humaniora och samhällsvetenskap

2

Övriga områden 1,1

Prop. 2008/09:50. 2008. Ett lyft för forskning och innovation. edited by Utbildningsdepartementet. Stockholm.Upphovsrättskyddat material. Citera gärna,

om källan anges.

Motiv till viktning”-Vi har gjort en hel del körningar när det gäller vilka effekter olika varianter av anslagssystem skulle ge. /…/- Jag kan bara säga att ett stort problem för mig var att detta system rent och naket skulle slå negativt mot humaniora och samhällsvetenskap. Vi införde denna fördubblingsfaktor för att se till att ha en kupa, en skyddande hand, inte minst över humaniora.- Vi får väl se hur det blir. Vår bedömning är att denna multiplikator 2 är tillräcklig för att skydda humaniora. Jag kan inte garantera att det är så. Naturligtvis får vi följa det. Men jag tror att det kommer att vara positivt.”- (Applåder)

Lars Leijonborg, utdrag ur riksdagsdebatten inför omröstning om proposition 2008/09:50,Internet: http://www.riksdagen.se/webbnav/index.aspx?nid=101&bet=2008/09:64 (hämtad2010-10-14)

en kupa, en skyddande hand, inte minst över humaniora.

Upphovsrättskyddat material. Citera gärna, om källan anges.

Humanioras problem (i citeringskulturen)

• Annorlunda publiceringstradition– Böcker, snarare än ISI-indexerade tidskriftsartiklar– Ofta på modersmålet

• Andra kategorier– Hum:s tidskriftsartiklar ofta av kategori som inte

värderas i bibliometriska system• T ex book review

• Samtidigt, prestationsbaserad tilldelning presenteras som ett incitament för forskningen.

Upphovsrättskyddat material. Citera gärna, om källan anges.

Framtiden

• Såväl förespråkare som kritiker efterlyser prestationsbedömningar av svensk forskning som innefattar multipla indikatorer.

• Transparens • Dessa kan utgöras av allt från panelgranskningar

och mått på olika slag av outcomes till publikations- och citeringsmått.

• Sådana mått bör valideras mot varandra, för att man bättre skall kunna förstå hur resultaten av olika mått relaterar till varandra.

Upphovsrättskyddat material. Citera gärna, om källan anges.

Evidensbaserad bibliometri?• Vad kan göras till indikatorer på vetenskaplig prestation?• Outputs

– publikationer, patent, PhD:s, Nobelpris …• Impact

– citeringsmått• Outcomes

– Bidrag till samhället– Avknoppning av företag– Förändrade praktiker– Intellektuell stimulans (humaniora!)

• Förståelse• Reflektion(Hur) kan dessa värdesättas i kvantitativa mått?

Upphovsrättskyddat material. Citera gärna, om källan anges.

Tack!

g u s t a f . n e l h a n s @ t h e o r y s c . g u . s ehttp://www.flov.gu.se/om/personal/gustaf-nelhans/

Upphovsrättskyddat material. Citera gärna, om källan anges.