Utvikling av nye spørsmål til Studiebarometeret:

Kvalitativ og kvantitativ testing

Kristoffer F. Øygarden, Førstekonsulent Avdeling for Evaluering og Analyse

Dagens presentasjon

• Overordna: korleis jobbar NOKUT med testing og utvikling av spørsmål?

• Kva fører til at vi endrar / legg til spørsmål?

• Prosess• Kvalitativ testing: valideringsintervju med studentar

• Kvantitativ testing: surveyundersøking

• Eksempel• Utvikling av spørsmål om praksis til SB2019

• Testing av ulike skalaar

Kva fører til at vi endrar / legg til spørsmål?

• Referansegruppe

• Tematiske satsingar / tidsaktuelle tema (dynamisk del i skjemaet)

• Tilbakemeldingar frå sektoren

• Interne evalueringar av spørsmål / tema

Referansegruppa

• Medlemmar: representantar frå institusjonane og andre relevante aktørar (KD,

NSO, Rådgiverforum, NIFU, SPS, NHO, SSB, UHR, etc.)

• Viktig kjelde til innspel til utvikling av Studiebarometeret

• To møter i året• Rundt lansering (januar, februar)

• Før sommarferien (mai, juni)

Kvalitetiv testing: fokusgruppeintervju

• Fokusgruppeintervjuer – som regel i april/mai

• Rekrutterer på institusjonane gjennom Studiebarometers kontaktpersonar

• Studentar frå ulike studieprogram og fagfelt – avhengig av målgruppe

Kvanititativ testing: spørreundersøking

• Spørjeskjema

• Respondentar som har sagt seg villige til å delta I framtidige undersøkingar i

førre Studiebarometer• N=11 000 i 2018

• Testar ofte ulike variantar av spørsmål på to eller fleire randomiserte grupper

• Analyse av resultat• Sjå på og samanlikne svarfordelingar

• Sjekke andel “veit ikkje”

• Kvantitative analyser – faktoranalyse, korrelasjonar, etc.

• Lese fritekstfelt

Eksempel 1: spørsmål om praksis og arbeidsliv 2019

Eksempel 1: spørsmål om praksis 2019

• Praksisbatteri i SB sidan 2014 (stort sett uendra)

• Praksis fordjupningstema for årets Studiebarometer• Komande stortingsmelding om arbeidslivsrelevans, NOKUTs eiga praksissatsing

• Operasjon Praksis: https://www.nokut.no/prosjekter-i-nokut/operasjon-praksis-

20182020/

• Til glede og besvær – praksis i høyere utdanning (NOKUTs analyser - 2018)

• Samtidig: spørsmålsbatteri om arbeidslivstilknytning

Eksempel 1: spørsmål om praksis 2019

• Steg 1: Idemyldring

• Steg 2: Fokusgruppeintervju

• Steg 3: Kvantitativ testing 1 – spørjeskjema

• Steg 4: Analyse av resultat / presentasjon av resultat til referansegruppa

• Steg 5: Kvantitativ testing 2 (nylig avsluttet)

• Steg 6: Ferdigstille endeleg batteri

• Tidsperiode: April-September 2019 (5-6 månadar)

Eksempel 1: spørsmål om praksis 2019

26,5 %

23,9 %

17,8 %

22,0 %

3,9 %1,8 % 0,9 % 0,9 % 0,1 % 1,0 % 0,2 %

0,0 %

5,0 %

10,0 %

15,0 %

20,0 %

25,0 %

30,0 %

1 2 3 4 5 6 7 8 9 10 12

Tal praksisperiodar

Kor mange praksisperiodar har du hatt i løpet av studieprogrammet ditt?

Eksempel 1: spørsmål om praksis 2019

57%

28%

15%

0%

10%

20%

30%

40%

50%

60%

Ja Nei Veit ikke

Ga praksisopphaldet studiepoeng?

Eksempel 1: spørsmål om praksis 2019

50%

31%

2%

7%9%

0%

10%

20%

30%

40%

50%

60%

Eg blei tildeltpraksisplass av

studieprogrammetutan moglegheit

for å påvirkeutfallet

Eg blei tildeltpraksisplass av

studieprogrammetpå bakgrunn av

eigeønske/prioritering

Eg måtte søke påpraksisplass

Eg måtte finnepraksisplass heilt

sjølv

Anna

Korleis fekk du praksisplass?

Eksempel 2: Test av svarskala

Eksempel 2: test av svarskala

• Vår 2018: testa ulike svarskalaar i valideringsundersøkelsen

• Bakgrunn: Hypotese om at labels kan påvirke svarmønster

• Test av tre varianter, i to rundar: • Variant 1 – labels på kvar svarkategori

• Variant 2– nye labels på endekategoriane (meir symmetrisk skala)

• Variant 3 – tilfredshetsskala vs. eininghetsskala

Runde 1 – labels på kvar svarkategori

Runde 1 – labels på kvar svarkategori

0

5

10

15

20

25

30

35

40

45

50

1 2 3 4 5 999

Pro

sen

t

Blå søyler: Fire spm om engasjement, label på 1 og 5Oransje søyler: Fire spm om engasjement, label på alle

Eige engasjement

Runde 1 – labels på kvar svarkategori

4,0

4,2

3,7

3,9

3,4

3,6

3,8

3,9

1,0 2,0 3,0 4,0 5,0

Eg er motivert for studieinnsats

Eg er motivert for studieinnsats (label-alle)

Eg nyttar meg av dei organiserte læringsaktivitetane som…

Eg nyttar meg av dei organiserte læringsaktivitetane som…

Eg møter godt budd til undervisinga

Eg møter godt budd til undervisinga (label-alle)

Eg opplever at studieinnsatsen min er høg

Eg opplever at studieinnsatsen min er høg (label-alle)

Eige engasjement (gj. snitt)

Serie1

Runde 2 – ny label på endekatogori

Runde 2 – ny label på endekatogori

0

5

10

15

20

25

30

35

40

45

50

1 2 3 4 5 999

Blå søyler: Fire spm om engasjement, 1=ikkje einig, 5=heilt einigOransje søyler: Fire spm om engasjement, 1=heilt ueinig, 5=heilt einig

Eige engasjement

Runde 2 – gradsskala vs. tilfredsheitsskala

Dette er kun nokre eksempel på testing…

Spørsmål?

Takk for merksemda!