FOKUS Forsknings- kvalitetsutvärdering i Sverige

FOKUS –Forsknings-kvalitetsutvärdering i Sverige

Redovisning av ett regeringsuppdrag

19 december 2014

UoH intäkter för forskning och forskarutbildning 2013

Prestationsbaserat 10 % (20 % fr.o.m. 2014)

Direkta anslag40%

Forskningsråd18%

Övriga statliga myndigheter

9%

ALF-medel4%

Kommuner och landsting

4%

EU5%

Org. utanvinstsyfte inkl. stift.

13%

Företag i Sverige

4%

Utl.2%

Övrigt1%

Totalt ca 36 miljarder kronor

BakgrundTidigare utredningar kring prestationsbaserad resurstilldelning

• Resurser för kvalitet (SOU 2007:81), Dan Brändström

• Prestationsbaserad resurstilldelning av en del av basanslaget infördes 2009

• Prestationsbaserad resurstilldelning för universitet och högskolor (2011, Anders Flodström)

• Forskningspropositionen 2012

Forskningskvalitetsutvärdering i Sverige – FOKUS

UPPDRAG (14 mars 2013):

Att – i samråd med Forte, Formas och Vinnova – utreda och lämna

förslag till en modell för resursfördelning till universitet och högskolor

som innefattar kollegial bedömning av forskningens kvalitet och

relevans

• Göra det möjligt att fördela resurser på ett sådant sätt att det premierar kvalitet och prestation i forskning

• Bedömning av vetenskaplig kvalitet och av forskningens relevans och nytta för samhället

• Möjliggöra långsiktig planering på lärosätena

• Bör göras utifrån resp. forskningsområdes förutsättningar och områdesvis vart fjärde till sjätte år

• Kan innefatta indikatorer

• Ska redovisas 31 december 2014

Regeringsbeslut I:8 U2013/1700/F, 14 mars 2013


InformativResurseffektiv

Vetenskapsrådets utgångspunkter

• Kvalitetsdrivande

• All bedömning görs av paneler

• Begriplig – så enkel som möjligt

• Transparent

• Rättvis

• Inkludera alla forskningsområden

• Bred tolkning av relevans och samhällsnytta

• Balans mellan två principer:

Arbetsprocess

• Förstudie nov 2012–maj 2013 (rapport publicerad på vr.se)

• Löpande dialog och inhämtande av synpunkter inom och utom akademin

• Referensgrupper

• Avstämning med olika intressentgrupper och berörda myndigheter

• Hearings med universitet och högskolor (maj 2014)


Steg 1: Utvärderingsmodellen –

bedömningskomponenter och föreslagen

viktning


All forskning utvärderas samtidigt vart sjätte år – på sikt.

FOKUS – Forskningskvalitetsutvärdering i SverigeÖvergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till

samhällets utveckling

Bakgrunds-

information

(betygssätts ej)

70 %

Vetenskaplig/

konstnärlig

kvalitet

15 %

Kvalitets-

utvecklande

faktorer

15 %

Genomslag

utanför

akademin

Rapporterande enheter

• Bygger på SCB:s och UKÄ:s klassificeringssystem

• Hänsyn kommer att tas till tvärvetenskap

NL T M S HK

A B C D E F B H I J K L M N O P Q R S T U V W X

5 vetenskaps-områden

24 forsknings-områden

O


Rapporterande enheter


Insamling av underlag till panelerna

Uppgifter Ansvarig (system)

Ekonomi UKÄ/SCB

Ekonomi - externa bidrag VR (SweCRIS)

Personal UKÄ/SCB

Doktorander UKÄ

Studenter UKÄ

Examina UKÄ

Publikationer KB (SwePub)

Citeringar VR (WoS data)

Fallstudier UO* (Prisma)

Egna beskrivningar UO (Prisma)

Huvudprinciper: • Minimera arbetsbördan för den enskilda forskaren

• Använda så mycket befintliga data som möjligt

* Utförande organisation

Panelstruktur


Ordförandemöten

Forskningsområdespaneler Huvudpaneler

ca 500 externa granskareca 400 panelmedlemmar



Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin

Bakgrundsinformation till

panelerna

• Egen beskrivning:

– forskningsprofil (t.ex. inriktning, tvärvetenskap)

– lärosätets vision och strategi

– organisation, ledning, styrning och rekrytering

– infrastruktur (tillgång till)

• Kvantitativa uppgifter:

– intäkter för forskning och forskarutbildning

– personalstatistik

– forskarutbildning

– publikationsprofiler


Vetenskaplig/konstnärlig

kvalitet

• Vikt: 70 %, baserat på kvalitet i forskningsproduktionen på nivå forskningsområde.

• Kriterier: nytänkande och originalitet, betydelse för forskningsområdet, samt vetenskaplig tillförlitlighet och stringens

• Panelernas omdömen omfattar toppresultat och kvalitet och potential överlag, dvs. ”spets” och övergripande kvalitet.

• Inför betygssättning ska enhetens produktivitetbeaktas, dvs. forskningsvolym i relation till personella och ekonomiska resurser. Resurseffektivitet ska premieras om två enheter uppvisar lika hög kvalitet.




Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin

Vetenskaplig/konstnärlig kvalitetUnderlag till panelerna

• Egen beskrivning

• För att bedöma ”spets”:- sakkunniggranskning (dvs. läsning/motsv.) av verk inom alla forskningsområden, görs av samtliga paneler

• Alternativ för att bedöma övergripande kvalitet: - citeringsanalys- extern sakkunniggranskning

• Särskilda mekanismer för att redovisa och bedöma tvärvetenskaplig forskning



Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin


Vetenskaplig/konstnärlig kvalitetUnderlag till panelerna Urval av forskningsproduktionen över en sexårsperiod

Övergripande kvalitet: Runt 50 %

av resterande forskningsproduktion

nomineras av lärosätena för att

representera den övergripande

produktionen – gäller

forskningsområden utan

citeringsanalys.

Totalt nomineras drygt hälften av

produktionen för dessa områden.

Spets: 5 % av

forskningsproduktionen

nomineras av

lärosätena som ”spets”

och granskas av

panelmedlemmarna –

gäller samtliga

forskningsområden

En enhets totala vetenskapliga

produktion Panelmedlemmarna använder

publikationsprofilerna för att få en

helhetsbild av den totala

produktionen och de nominerade

verken.

En delmängd (ca 40 %) av de

nominerade verken, väljs ut av

panelmedlemmarna för bedömning

av externa granskare.



Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin

Sammanfattning: forskningsområdespanelerna –

underlag och utvärdering

Egen beskrivning

- Forskningsprofil, t.ex.

tvärvetenskap

- Vision och strategi

- Organisation, ledning

och styrning

- Infrastruktur

Egen beskrivning

- Forskningsfokus,

t.ex. tvärvetenskap

- Potential

- Övrigt

Kvantitativa uppgifter

- Intäkter forskning och

forskarutbildning

- Personal

- Forskarutbildning

- Publikationsprofiler

Nominerat urval

(”spets”)

5 % av enhetens

forskningsproduktion,

granskas av panelerna

Citeringsanalys eller

nominerat urval (ca

50 %), (”övergripande

kvalitet”)

granskas av panelerna

(citeringsanalys) eller

externa granskare

(nominerat urval)

Vetenskaplig/konstnärlig kvalitetBakgrunds-information

(betygssätts ej)

70 %

Pro

du

kti

vit

et

(pro

du

ktion

svo

lym

i r

ela

tio

n till

pe

rson

alv

oly

m o

ch

fin

an

sie

ring)

Bedömningskriterier

• Nytänkande och

originalitet

• Betydelse för

forskningsområdet

• Vetenskaplig

(motsv.)

tillförlitlighet och

stringens

Panelens resultat

• Betygsprofil

• Betygsmotivering

Kvalitetsutvecklande faktorer

• Vikt: 15 %, bedömning på nivå vetenskapsområde

• Kriterier: potential för förnyelse och långsiktighet

• Kvalitetsutvecklande faktorer:

– Forskarutbildning och återväxt av nya forskare

– Samarbete och mobilitet inom akademin

(internationellt + nationellt)

– Samverkan och mobilitet utanför akademin

(internationellt + nationellt)

– Forskningens utbildningsanknytning

– Jämställdhet




Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin

• Kvantitativa uppgifter om de kvalitets-

utvecklande faktorerna

• Korta motiveringar och kommentarer i

relation till lärosätets övergripande

strategier

Kvalitetsutvecklande faktorerUnderlag till panelerna




Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin

Forskningens genomslag

utanför akademin

• Definition: en tillämpning av forskning för att

åstadkomma sociala, ekonomiska, miljömässiga

eller kulturella effekter (”impact”)

• Vikt: 15 %, bedömning på nivå vetenskapsområde

• Kriterier: räckvidd och betydelse




Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin

Forskningens genomslag

utanför akademinUnderlag till panelerna

• Fallstudier, förslagsvis 2 per lägst 10 och högst 50

helårspersoner

• Egen beskrivning av strategier och resurser för

att arbeta med resultatspridning och samverkan

med det omgivande samhället, främjande av

forskningsresultatens användning utanför

akademin




Bakgrunds-

information

(betygssätts

ej)

70 %

Vetenskaplig

kvalitet

15 % Kvalitets-

utvecklandefaktorer

15 %

Genomslag

utanför

akademin

Sammanfattning: vetenskapsområdespanelerna – underlag och

utvärdering

Egen beskrivning

- Forskningsprofil,

t.ex. tvärvetenskap

- Vision och strategi

- Organisation,

ledning och styrning

- Infrastruktur

Kvantitativa uppgifter

- Forskarutbildning

och återväxt av

unga forskare

- Samarbete och

mobilitet inom

akademin (int+nat)

- Samverkan och

mobilitet utanför

akademin (int+nat)

- Forskningens

utbildningsanknytn.

- Jämställdhet

Fallstudier

Exempel på

aktiviteter:

- Dialog och

resultatspridning

- Samverkan

- Nya produkter och

processer

- Användning

- Dokumenterade

effekterKvantitativa uppgifter

- Intäkter forskning &

forskarutbildning

- Personal

- Forskarutbildning

- PublikationsprofilerEgen beskrivning

- Resultat

- Strategier

- Dokumentation kring processer

Egen beskrivning

- Strategier och

resurser för

resultatspridning och

främjande av

användning utanför

akademin

Genomslag utanför akademinKvalitetsutvecklande faktorerBakgrunds-information

(betygssätts ej)

15 % 15 %

Be

dö

mn

ing

sk

rite

rie

r

Po

ten

tia

l fö

r fö

rnye

lse o

ch

lån

gsik

tigh

et

Bed

öm

nin

gs

kri

teri

er

Räckvid

d o

ch

be

tyd

els

e

Pa

ne

len

s r

es

ult

at:

be

tyg o

ch

mo

tive

rin

g

Pa

ne

len

s r

es

ult

at:

be

tyg o

ch

mo

tive

rin

g

Resultatet av utvärderingen för ett

lärosäte- För vetenskaplig kvalitet: betygsprofiler per forskningsområde

- För kvalitetsutvecklande faktorer och genomslag utanför akademin: ett

sammanvägt betyg per vetenskapsområde

- Betygsmotiveringar lämnas också av panelerna


Vad utvärderas?


Steg 2: Hur omvandla resultat till resurser?Utgångspunkter för resurstilldelningen

• Andelen av basanslaget som prestationsbaseras uppgår till 20 procent som i dagens modell.

• Viktning 70:15:15.

• Ingen omfördelning om alla har samma betyg.

• Ev. omfördelningar mellan lärosäten: inte för stora – men inte heller försumbara.

• En inte helt linjär viktning av betygen (6,4,3,2,0).


Principer för beräkning av resurstilldelning

• Resursfördelningen beräknas utifrån två mått: betyg och ett kombinerat volymmått.

• Kombinerat volymmått: lärosätets andel av basanslaget, fördelat på forskningsområden i form av respektive områdes andel av lärosätets personal (forskande helårspersoner)

• En fördelningspoäng räknas fram genom att multiplicera betyg med det kombinerade volymmåttet.

• Lärosätena beslutar även fortsättningsvis om hur den totala summan av de prestationsbaserade medlen som tilldelas ett lärosäte fördelas internt.


Preliminär kostnadsuppskattning

Organisation Vad Kostnader

Utförande organisation(er)

Paneler, personal, insamling av data etc.

ca 75 miljoner kronor

UoH Koordinering, inrapportering, nomineringar etc.


S:a utvärderings-omgång (6 år)

ca 170 miljoner kronor*

*Vilket motsvarar ca 0,2 procent av det totala basanslaget (eller ca 1 procent av den prestationsbaserade andelen av basanslaget) för en sexårsperiod.

Organisation Vad Direkta kostnader

Utförande organisation, KB, SCB och UKÄ

Datasystem, kvalitetssäkring, administration, kommunikationetc.


UoH Datasystem, rapporteringsrutiner etc.


S:a uppbyggnad ca 65 miljoner kronor

Uppbyggnadskostnader

Kostnader för en utvärderingsomgång

Konsekvensanalys: styrkor och

möjligheter

• Kvalitetsdrivande

• Inkluderande modell – alla forskningsområden

• Möjlighet identifiera ”pockets of excellence”,

framtida potential och genomslag

• Kartläggning av nationellt forskningsläge,

möjlighet identifiera styrkeområden, se trender

• Underlätta strategiska beslut på olika nivåer

• Bättre forskningsstatistik, bättre uppföljningar och

analyser


Konsekvensanalys: svagheter och

utmaningar

• Utmaning utvärdera tvärvetenskap och nya

framväxande områden

• Högre kostnader (men fler fördelar) än dagens

resurstilldelningsmodell

• Verkar konserverande?

• Forskarutbildning och utbildning riskerar att

nedprioriteras av UoH?

• Fallstudier mindre prövad metod


Tidsplan

Forts. tidsplan

Organisation• Internationellt sett vanligast att den utförande

organisationen är en fristående myndighet/motsvarande (t.ex. UK: HEFCE, IT: ANVUR, FR: AERES).

• Australien är undantaget – AustralianResearch Council.

• Vetenskapsrådets förslag är organisationsneutralt, men erforderlig kompetens finns för ett genomförande.

• Två rådgivande organ bör skapas för att följa process och implementering.


Sammanfattningsvis föreslår

Vetenskapsrådet att:• FOKUS remissbehandlas under 2015

• Vetenskapsrådet och övriga berörda myndigheter under 2015 får i uppdrag att förbereda pilotstudier

• pilotstudier med efterföljande analys och justeringar genomförs under 2016/2017 och att särskilda resurser avsätts för dessa

• samordningsmöjligheter med utvärdering av ALF-medel respektive Vinnovas uppdrag utreds

• en första utvärderingsomgång genomförs under 2017/2018

• FOKUS implementeras med en andra utvärderingsomgång 2021/2022 och därefter sexårscykler.


Documents

FOKUS Forsknings- kvalitetsutvärdering i Sverige