Arbeidsgruppen for nasjonal delprøve i medisin

Nasjonal delprøve i medisinstudiet

Rapport til Nasjonalt utdanningsmøte i medisin

2015

2

Tittel: Nasjonal delprøve i medisinstudiet: Rapport til Nasjonalt utdanningsmøte i medisin.

Forfattere: Jan Frich, Hanne-Guro Aabelvik, Tobias S. Slørdahl, Marte Laugen, Anders

Bærheim, Eirik Dalheim, Kristin Walter, Elin Holm, Henrik Schirmer, Stine Andersen og

Eivind Valestrand.

Bergen/Oslo/Tromsø/Trondheim, 2015.

3

Innhold 1. Bakgrunn, mandat og gruppens arbeid ............................................................................... 4

2. Oppsummering av arbeidsgruppens forslag og anbefalinger .............................................. 5

3. Læringsutbytte og læringsutbyttebeskrivelser .................................................................... 7

4. Studentperspektivet på en nasjonal prøve i medisinstudiet ................................................ 8

5. Nasjonale prøver i et internasjonalt perspektiv ................................................................. 10

6. Testing av klinisk resonnement ved en skriftlig prøve ..................................................... 13

7. Godkjenning, standardsetting og tilbakemelding til studentene ....................................... 17

8. Utvikling, kvalitetssikring og vedlikehold av oppgaver ................................................... 19

9. Bencharking og kvalitetsutvikling ved det enkelte studiested .......................................... 21

10. Administrativ organisering ............................................................................................... 21

11. Budsjett, ressursbehov og fremdriftsplan ......................................................................... 25

4

1. Bakgrunn, mandat og gruppens arbeid Det nasjonale utdanningsmøtet i medisin vedtok 10. oktober 2014 å starte arbeidet med en

pilot på en nasjonal delprøve i medisin. Forslag til mandat ble forelagt nasjonalt

utdanningsmøte 11. mars 2015. Godkjent mandat var klart 7. april, sammen med en oppnevnt

arbeidsgruppe. Arbeidsgruppen ble bedt om å levere et løsningsforslag til det Nasjonale

utdanningsmøte i medisin i høstsemesteret 2015.

Arbeidsgruppen har bestått av Jan Frich (UiO), Hanne-Guro Aabelvik (UiO), Tobias S.

Slørdahl (NTNU), Marte Laugen (NTNU), Anders Bærheim (UiB), Eirik Dalheim (UiB),

Kristin Walter (UiB), Elin Holm (UiT), Henrik Schirmer (UiT), Stine Andersen

(studentrepresentant UiT) og Eivind Valestrand (studentrepresentant, UiB). Studentene

representerer både læresteder som har innført gradert karakterskala A-F og læresteder som

bruker karakterskalaen bestått/ikke bestått. Arbeidsgruppen har vært ledet av Jan Frich og har

hatt sitt sekretariat ved UiO.

Mandatet har vært «å utarbeide en skriftlig digital delprøve i klinisk resonnement som bygger

på læringsmål som er gjenfinnbare i studieplanen på alle fire læresteder til og med 11.

semester. Delprøven gis til 6. års studenter som er inne i sitt 12. semester, tidlig i

vårsemesteret. Prøven skal ha et omfang på 2-4 timer og vurderes med godkjent/ikke

godkjent». Videre heter det at: «De 4 læresteder må definere piloten av den nasjonale

delprøven som et arbeidskrav i det aktuelle 6. års emne. Arbeidskravet er gjennomført pilot

nasjonal delprøve. Gruppen kan foreslå løsning for hvordan man får testet vårkullet ved UiO

og UiB.» Det er på det rene at delprøven i pilotfasen skal ha status som «obligatorisk

arbeidskrav» og ikke skal være en erstatning for regulære eksamener ved de enkelte

studiesteder.

Arbeidsgruppen mener mandatet har lagt tydelige rammer for arbeidet, og at det legger opp til

benchmarking og samordning/standardisering som målsettinger for en nasjonal delprøve.

Videre mener vi at resultater fra en slik nasjonal prøve vil kunne brukes av det enkelte

studiested for å vurdere egne eksamener og standardsetting. Resultatene fra prøven må

tilrettelegges slik at studiestedene kan få tilbakmeldinger og muligheter for å sammenlikne

resultater på tvers av studiestedene. Fakultetenes arbeid med å heve kvaliteten og utvikle egen

studieplan og undervisning må forankres lokalt gjennom programråd, andre etablerte organer

og i dialog med studentene.

De vitenskapelige representantene samt studentrepresentantene har undersøkt lærestedenes

læringsmål og foreslår at et arbeid med en pilot tar utgangspunkt i klinisk resonnement knyttet

opp mot tre fagområder (kardiologi/thoraxkirurgi, gastroenterologi/gastrokirurgi,

nefrologi/urologi). De administrative representantene har sett på hvordan en nasjonal delprøve

kan gjennomføres, særlig med tanke på at den skal kunne gis digitalt. De har også sett på

hvordan den kan knyttes opp mot de aktuelle kursene som et obligatorisk arbeidskrav.

Gruppens arbeid har bestått av samlinger 11. juni og 14. oktober samt telefonmøter underveis.

Eksterne interessenter som NOKUT, NSO og Legeforeningen har vært involvert, sistnevnte

blant annet gjennom dialog med Nmf.

Jan Frich,

Leder av arbeidsgruppen

5

2. Oppsummering av arbeidsgruppens forslag og anbefalinger

Om videre arbeid med nasjonal prøve:

Arbeidsgruppen er enig om at det er mulig å jobbe frem en prøve på bakgrunn av de

eksiterende læringsmålene til tross for at de er ulike i detaljeringsnivå. Utviklingen av

konkrete oppgavesett basert på læringsmålene er et større arbeid som krever mer tid

enn arbeidsgruppen har til rådighet (med leveranse til 30.10.2015). Vi anbefaler at

arbeidsgruppen fortsetter som et prosjekt som viderefører arbeid med en pilot 2016.

Vi anbefaler at det videre arbeidet med prøve tar utgangspunkt i et begrenset antall

fagområder: kardiologi og thoraxkirurgi, gastroenterologi og gastrokirurgi, samt

nefrologi og urologi. Oppgavene bør ha en allmennmedisinsk vinkling.

Arbeidsgruppen foreslår en videre fremdriftsplan for et pilotprosjekt, hvor det tas sikte

på å gjennomføre to piloter, en minre pilot høst 2016 og en pilot ved alle studiesteder

vår 2017.

Om prøveformatet:

Vi anbefaler at nasjonal delprøve i medisin består av én enkelt oppgavetype og da

fortrinnsvis ett-beste-svar-flervalgsoppgaver av A-type.

Vi anbefaler at hovedvekten av spørsmålene er enkeltstående men at man tar sikte på

å prøve ut inntil 25 % sekvensielle oppgaver i prøven (maksimalt 3 spørsmål i

sekvens).

Vi anbefaler at man etter hvert som man tilegner seg erfaring med prøveformatet

vurderer å utvide nasjonal delprøve med maksimalt ett spørsmålsformat

Man bør tilstrebe å lage en delprøve med så høy reliabilitet og validitet som mulig. Dette kan oppnås ved å utnytte maks testtid innenfor mandatet, altså 4 timer og ved å

benytte et prøveformat som tillater så mange oppgaver som mulig på 4 timer

o I en pilot anbefaler vi å starte med 120 spørsmål (2 minutter per oppgave) og at

antallet kan vurderes økt på sikt

Delprøvens reliabilitet (interne konsistens) bør ligge >0.90

Registrering av prøvedata må være slik at man lett kan beregne psykometri etter prøveadministrasjon

Om godkjenning, standardsetting og tilbakemelding

I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og

at godkjenningskravet vil være «gjennomført prøve». På sikt bør det etableres et

minimumskrav for tilfredsstillende resultat

Det gis ikke graderte karakterer på den nasjonale prøven, men det bør gis en automatisert skriftlig tilbakemelding til alle studenter.

Det skal brukes en internasjonalt anerkjent og validert metode for standardsetting på den nasjonale delprøven

Alle oppgaver inneholder en fasit med forklaring for senere læring

Alle delprøver med fasit er offentlig tilgjengelig

Vi anbefaler at det kjøpes inn, evt. utvikles, et studentbrukergrensesnitt til en nasjonale flervalgsoppgavedatabasen som kan brukes til læring.

Om utvikling, kvalitetssikring og vedlikehold av eksamensspørsmål:

Vi anbefaler at det opprettes nasjonale fagkomiteer bestående av representanter fra

hvert av de 4 fakultetene som har ansvar for å lage et rammeverk (blueprint) for

6

spørsmål i det enkelte fag. Fagkomiteene må samarbeide med faglig prosjektleder om

dette.

Vi anbefaler at disse komiteene lager og kvalitetssikrer spørsmål i sine fag.

Vi anbefaler at det utføres ekstern og anonym fagfellevurdering av alle eksamensspørsmål. En slik gruppe bør bestå av nyutdannede sykehusleger, en

spesialist og allmennleger.

Vi anbefaler at det utføres oppgaveanalyse etter hver eksamen og at spørsmål som ikke har fungert, fjernes eller revideres. Det må etableres en sensurkomite som

vurderer sensureringen og gjør analyse av oppgavene og kvalitetssikrer tilbakemelding

til studentene.

Studenter som har tatt prøven bør gis anledning til å komme med sine tilbakemeldinger på enkeltspørsmål, i tillegg til at eksamen som helhet evalueres-

Vi anbefaler at alle eksamensspørsmål oppbevares i en nasjonal databank for spørsmål

til nasjonal delprøve. Det må utarbeides en kravspesifikasjon som legger grunnlaget

for å sjekke ut om det finnes en løsning på markedet

Vi anbefaler at det opprettes en stilling som vedlikeholder og oppdateringer eksamensdatabasen.

Om benchmarking og kvalitetsutvikling

Resultater fra prøven må tilrettelegges slik at studiestedene kan få tilbakmeldinger og

muligheter for å sammenlikne resultater på tvers av studiestedene.

Om administrativ organisering

Vi anbefaler at det prosjektet støttes av en nasjonal administrativ koordinator for delprøven i 50 % stilling.

Hvert lærested må sette av ressurser som jobber opp mot den nasjonale koordinatoren

Det må utvikles en løsning for prøven i et format som kan eksporteres til de

verktøyene som benyttes ved de ulike universitetene.

7

3. Læringsutbytte og læringsutbyttebeskrivelser Arbeidsgruppen har hatt i oppgave å finne læringsmål lærestedene har felles innen klinisk

resonnement. Vi har samlet inn læringsutbyttebeskrivelser og læringsmål fra alle

studiestedene og disse er blitt vurdert og diskutert. Vi har gjort oss følgende observasjoner og

vurderinger:

På et overordnet nivå er det god overenstemmelse i utbyttebeskrivelser og mål nasjonalt, men

samtidig har de ulike studiestedene ulik grad av detaljnivå i sine beskrivelser. Læringsmålene

for 11. og 12. semester ved studiet i Oslo har et omfang på 6-7 sider. De deler som spesifikt

kan sies å omhandle klinisk resonnement er relativt generelt formulert:

«Forstå kompleksiteten i vanlige sykdomsbilder og lære seg en systematisk

fremgangsmåte i klinisk arbeid. Kunne foreslå og begrunne ulike typer terapeutisk

intervensjon, spesielt medikamentell og kirurgisk, og opplegg for kontroll og

pasientinformasjon under og etter behandling»

Vi finner tilsvarende formuleringer i beskrivelsene av forventet læringsutbytte for 6. året ved

Universitetet i Tromsø:

«Foreslå supplerende undersøkelser som kan bidra til å stille sikrere diagnose; Tolke

og vurdere resultater av vanlige klinisk-kjemiske, farmakologiske, hematologiske,

mikrobiologiske og immunologiske undersøkelser, ut fra oppgitte referanseverdier;

Tolke og vurdere billeddiagnostiske undersøkelser (rtg, CT, MR) utfra oppgitte

vanlige og/eller viktige avvik fra det normale; Redegjøre for og diskutere prinsippene

for behandling av vanlig forekommende sykdommer; Gjøre rede for og diskutere

medikamentvalg og andre behandlingsformer; Gjøre rede for og diskutere prinsipper

for palliativ behandling ved langt-kommende sykdom, inkludert alternativ og

komplementær medisin».

Her er eksempler på formuleringer fra Universitetet i Bergen:

«kunne ta opp ein god anamnese og utføre ei klinisk allmennmedisinsk undersøking

innan ulike fagområder; «kunne avklare tidlige, ikkje-differensierte stadium av

sjukdom og ta avgjørsler om enkle tilstander som kan ferdigbehandlas i

allmennpraksis; kunne ta stilling til kva for pasientar som skal visast til

spesialisthelsetenesta og med kva hastegrad.»

Utbyttebeskrivelser og mål er gjennomgående formulert ved utgangen av 6. året (12.

semester), og det må etableres en mekanisme for å avklare med lokale miljøer hva som er

undervist frem til første del av 12. semester.

Flere studiesteder har pågående revisjon av sine studieplaner, med tilhørende revisjon av

læringsmål og læringsutbyttebeskrivelser, slik at mål og beskrivelser er under endring og

kommer til å gjennomgå endringer de nærmeste årene.

Konsekvensen av dette er at det er vanskelig å tenke seg å forankre en nasjonal prøve eller

eksamen i spesifikke læringsmål og beskrivelser. Vi ser for oss at det må etableres nasjonale

fagkomiteer for ulike fagområder, med representasjon fra alle studiesteder, og at slike

8

komiteer vil kunne utvikle og vurdere eksamensspørsmål opp mot hva som faktisk blir

undervist eller dekket i de ulike studieplaner. Komiteene bør ha representasjon fra de enkelte

spesialiteter innen indremedisin og kirurgi, samt fra allmennmedisin. Det bør etableres en

ordning med «peer review» i form av at nylig utdannede kandidater vurderer og gir

tilbakemelding på spørsmål.

Arbeidsgruppens anbefalinger:

Arbeidsgruppen er enig om at det er mulig å jobbe frem en prøve på bakgrunn av de

eksiterende læringsmålene til tross for at de er ulike i detaljeringsnivå. Utviklingen av

konkrete oppgavesett basert på læringsmålene er et større arbeid som krever mer tid

enn arbeidsgruppen har til rådighet (med leveranse til 30.10.2015). Vi anbefaler at

arbeidsgruppen fortsetter som et prosjekt som viderefører arbeid med en pilot 2016.

Vi anbefaler at det videre arbeidet med prøve tar utgangspunkt i et begrenset antall

fagområder: kardiologi og thoraxkirurgi, gastroenterologi og gastrokirurgi, samt

nefrologi og urologi. Oppgavene bør ha en allmennmedisinsk vinkling.

4. Studentperspektivet på en nasjonal prøve i medisinstudiet Nasjonal eksamen eller prøve har det siste året vært et omdiskutert tema i student-Norge.

Temaet debatteres i mange ulike fagområder, og medisinstudentene er blant dem som har tatt

diskusjonen mest på alvor. Arbeidsgruppen har vært opptatt av en god dialog med studentene

og å få frem deres synspunkter. I det følgende vil vi oppsummere de innspillene studentene

har fremmet utfra hvordan prosessen ser ut i dag.

Norsk medisinstudentforening

De lokale studentdemokratiene arrangerte i samarbeid med Norsk medisinstudentforening

(Nmf) våren 2015 allmøter om nasjonal prøve ved alle de medisinske studiestedene i Norge.

Debattene ble brukt til å sende innspill til hva Nmf skulle vedta som sin offisielle politikk

omkring nasjonal prøve på deres landsmøte i mars 2015. Nmf tok noen klare standpunkt, som

en kan anta at vil også gjelde for store deler av studentmassen på medisinstudiet1. Nmf mener

en nasjonal prøve for medisinstudiet skal:

i hovedsak benyttes til å forbedre utdanningskvaliteten

ikke kunne brukes av arbeidsgiver i vurdering av jobbsøknader

ta utgangspunkt i nasjonale læringsmål. Nmf har argumentert for nasjonale læringsmål

i flere år

gi studenter en formativ tilbakemelding, slik at den kan benyttes som et pedagogisk

verktøy

Norsk studentorganisasjon

Der Nmf ikke tok noe standpunkt for eller mot nasjonal prøve, og heller signaliserte

studentenes behov i en slik prøve, valgte Norsk studentorganisasjon (NSO) å gå hardt ut mot

1 Fråsegn frå Norsk medisinstudentforening om nasjonal prøve for medisinstudiet. Trondheim: Norsk

medisinstudentforening, 2015. http://legeforeningen.no/Student/Norsk-

medisinstudentforening/Nyheter/2015/Frasegn-fra-Norsk-medisinstudentforeining-om-nasjonal-prove-for-

medisinstudiet/ (22.09.2015)

9

nasjonale deleksamener2. Dette i hovedsak grunnet en oppfatning av at nasjonal deleksamen

er et angrep på, og en spiker i kisten for, akademisk frihet. Deres frykt er at nasjonale prøver

vil ta fokus bort fra andre fag som ikke testes nasjonalt, og slik kunne bli drepen for faglig

integritet og kreativitet hos den enkelte institusjon. Nasjonal standardisering kan være til

hinder for lokale tilpasninger. De mener også at karaktergiving på en slik eksamen, som

følger studentens vitnemål, vil være uheldig. Særlig er de skeptiske grunnet at de mener dette

vil medføre en urettferdig rangering av de ulike institusjonene.

Selv om NSO har tatt et sterkt standpunkt mot nasjonale deleksamener, er det tydelig delte

meninger om dette i student-Norge. Norsk sykepleierforening student (NSFs) har stilt seg

positiv til innføring av nasjonal deleksamen på sykepleiestudiet3. De mener det er viktig å

fastsette nasjonale standarder og krav, og samtidig utvikle systemer som kan etterprøve disse.

Derfor anser NSFs innføringen av nasjonal deleksamen på sykepleiestudiet som et viktig

virkemiddel i arbeidet med kvalitetsutvikling og -sikring av undervisning og studentenes

læringsutbytte på sentrale fagfelt.

Særlig viktige momenter for studentene

Forberedelse til prøven

Det er viktig at studentene opplever det som konkret hva som ligger i prøven slik at de vet hva

de skal forberede seg til. Det bør derfor foreligge eksempel oppgaver, samt tydelig og god

informasjon om rammene for prøven, hva den vil benyttes til og hvilket utbytte studentene vil

ha av å gjennomføre prøven.

Omfang av prøven

Prøven kan ikke være av et slikt omfang at den tar vekk fokus fra ordinært studie. Her vil det

også være viktig med god informasjon, slik at studenter ikke gjør mer ut av prøven enn det

den er ment å være. Det må ansees som svært viktig at nasjonal prøve ikke blir et stort

arbeidskrav som gir mye ekstraarbeid for studentene. Dette vil kunne øke stressnivå og føles

som en stor belastning, i en allerede krevende fase av studiet.

Tidsbruk

I tillegg til selve prøvedagen vil prøven også stjele tid som potensielt kunne vært brukt på

utdanningen ved sitt studiested i forberedelse til prøven. Det må unngås at nasjonal prøve blir

så tidkrevende at den blir på bekostning av ordinære studier.

Tilbakemelding

Det er særlig viktig at studentene får en tilbakemelding om hvordan de gjør det på prøven,

gjerne i form av en score. Slik kan studentene også oppleve en nytte av å ta prøven, og

dermed ha motivasjon til å gjennomføre prøven på en god måte. Det er særlig ønskelig med

tilbakemelding som konkretiserer hvordan studenten har gjort det i hver enkelt del av prøven,

slik at studenter får informasjon om hva den mestrer og hva den kan utvikle videre. Samtidig

oppfatter vi en tydelig holdning om at prøven ikke skal være karaktergivende og kunne føres

på vitnemålet.

2 Nasjonale deleksamen - ensretting og overformynderi. Oslo: Norsk studentorganisasjon, 2015.

http://student.no/content/uploads/2014/05/Resolusjon-Nasjonale-deleksamener-ensretting-og-

overformynderi.pdf (22.09.2015) 3 Jensen AB. Karakterkrav splitter sykepleien. Studvest 03.09.2015 http://www.studvest.no/karakterkrav-splitter-

sykepleien/ (22.09.2015)

10

Form

Det er helt nødvendig at de ulike studiestedene gir en lik trening i vurderingsformen til

nasjonal prøve. Her er det per nå store forskjeller mellom studiestedene, og dette må det tas

høyde for ved vurdering av eksamensscore mellom studiesteder. Vi anser dette som et av de

viktigste poengene fra studentene.

Medisinstudenter i utlandet

For norske medisinstudenter i utlandet kan det være viktig at en eventuell nasjonal eksamen

etter autorisasjon også åpnes for dem slik at de ikke risikerer å bli diskriminert i mangel på en

eventuell prøve. Dette kan også være viktig for å gi dem mulighet til å bevise at de er

jevngode med leger utdannet i Norge, samt som en kvalitetssikring på dem som skal inn i det

norske helsevesenet.

Arbeidsgruppen noterer at:

Medisinstudentenes oppfatning er at en nasjonal prøve kan utvikles til å bli et verktøy i arbeid med utdanningskvalitet.

Studentene ønsker først og fremst at prøven skal fungere som et pedagogisk verktøy

for den enkeltes læring og at prøven må gjennomføres ut i fra like betingelser hva

gjelder trening i å besvare oppgavetypene som benyttes.

5. Nasjonale prøver i et internasjonalt perspektiv Dersom en nasjonal prøve skal utvikles i Norge, er det naturlig å undersøke hvordan det

arbeides med dette i en internasjonal sammenheng. Nasjonale prøver finnes i mange land, og i

de fleste land er dette prøver som må bestås for å få lisens for å praktisere som lege.

Arbeidsgruppen har gått gjennom de største og mest kjente prøvene (Tyskland, USA,

Canada), samt den yngste nasjonale prøven (Sveits). I tillegg har vi sett på progresjonstesten,

som bl.a. benyttes i Nederland, og gis regelmessig underveis i et studieløp for å måle

individuell progresjon. Vi oppsummerer her kort hvordan de ulike prøvene gjennomføres.

USA

National Board of Medical Examiners (NBME)4 har arrangert nasjonale prøver i USA siden

1922. Prøven heter nå The United States Medical Licensing Examination (USMLE)5. Det

administreres årlig 141.000 prøver. Den totale testiden er 39 timer og prisen for alle prøvene

er US$2700. Prøven finansieres, lages og administreres av Educational Commission for

Foreign Medical Graduates, Federation of State Medical Boards og National Board of

Medical Examiners. Selve eksamensoppgavene oppstår i eksamenskomiteer bestående av

medisinske undervisere og klinikere. Komitémedlemmene består av representanter fra

lærings-, praksis- og lisenseringsmiljøene i hele landet. Alle som vil praktisere i USA, fra

nasjonale og internasjonale universiteter, må bestå disse eksamenene. Av amerikanske

studenter er det >95 % som består på første forsøk. USMLE består i dag av 4 separate

eksamener:

Step 1: Tester anvendt kunnskap i basalfag. Prøven går over 1 dag på 8 timer og består av 308

flervalgsoppgaver.

Step 2 – «Clinical Skills CS»: Tester kommunikasjon, somatisk undersøkelse og tolkning av kliniske data. Arrangeres i

siste studieår og gjennomføres som en OSKE.

4 http://www.nbme.org/

5 http://www.usmle.org/

11

Step 2 – «Clinical Knowledge CK»: Tester kunnskap i klinisk medisin. Arrangeres på siste studieår, 1 dag 9 timer og 350

flervalgsoppgaver.

Step 3: Tester applikasjon av klinisk kunnskap og pasienthåndtering. Eksamen går over 2 dager

hvor 1. dag på 7 timer består av 256 flervalgsoppgaver og inkluderer også en

legemiddelreklame og et vitenskapelig abstrakt, mens 2. dag på 9 timer består av 198

flervalgsoppgaver og 13 kasussimuleringer.

Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver av A-type og R-type (se kapittel 6 for

forklaring). De har også sekvensielle oppgaver i sett.

Canada

Eksamen arrangeres av Medical Council of Canada (MCC) og heter MCCs qualifying

examinations. De administrerer årlig 10.000 tester, den totale testtiden er 10.5 timer og prisen

for alle prøvene er US$2150. Internasjonale studenter må ta en fortest. Prøven lages av bredt

sammensatte testkomiteer. Den kanadiske prøven er en lisenseringsprøve som består av to

deler6:

Part 1: Etter fullført studium og tester legens kunnskaper, kliniske ferdigheter og

holdninger. Prøven går over 1 dag hvor 3,5 timer er satt av til 196 flervalgsoppgaver og 4

timer er satt av til en klinisk beslutningslære komponent hvor de bruker meny og

kortsvarsspørsmål.

Del 2: Tester de samme ferdighetene som i part 1, men arrangeres som en OSKE.

Spørsmålsformatet på er ett-beste-svar-flervalgsoppgaver.

Tyskland

Institut für medizinische og pharmazeutische Prüfungsfragen (IMPP) lager eksamen,

forbereder testen og bestemmer poenggivningen, mens det er Landesprüfungsämtern (LPÄ)

som gjennomfører eksamen og informerer studentene om resultatet. Læringsmål er kjent

gjennom IMPP sin ”Gegenstandkatalog”. Den tyske prøven er en lisenseringsprøve

bestående av 3 deler7:

Erster Abschnitt: Også kalt ”Das Physikum”, hvor basalfagene testes. Kan tidligst gjennomføres etter 4.

Semester. Har en muntlig-praktisk del i anatomi, biokjemi, fysiologi og

psykologi/sosiologi) og en skriftlig del over 2 dager á 4 timer som består av totalt 320

flervalgsoppgaver.

Zweiter Abschnitt: Skriftlig prøve før studentenes ”Praktisches Jahr” – altså før 5. studieår. Går over 3 dager

á 5 timer og består av 320 flervalgsoppgaver.

Dritter Abschnitt:

Muntlig-praktisk prøve etter ”Praktisches Jahr” og består av 2 dager, 4 x 45-60 minutter

og man testes i indremedisin, kirurgi og et valgt fag.

Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver av A-type og R-type. De har også

sekvensielle oppgaver i sett.

6 http://mcc.ca/examinations/

7 Chenot, J.F. Undergraduate medical education in Germany. GMS German Medical Science 2009;Vol.7, 1612-

3174

12

Sveits

Swiss federal licencing examination (FLE) er den yngste av de store nasjonale eksamenene og

ble gjennomført for første gang i 2011. Eksamen utvikles sentralt, men administreres lokalt.

Spørsmålene ble skrevet av erfarne klinikere fra alle de fem sveitsiske fakultetene og disse ble

igjen kvalitetssikret av interfakultet og interdisiplinære grupper av sykehusleger og

allmennleger. Den sveitsiske prøven er en lisenseringsprøve bestående av 2 deler8:

MCQ: Tester klinisk resonnering. Oppgaver med pasientvignett. Prøven går over 2 dager

á 4,5 timer med totalt 300 flervalgsoppgaver.

CS (clinical skills): OSKE med standardiserte pasienter. Består av 12 stasjoner på 3 timer

og 45 minutter.

Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver og multiple true/false-

flervalgsoppgaver.

Interuniversity Progress Test Medicine - Progresjonstesten

Progresjonstesten er en standardisert test bestående av 200 flervalgsoppgaver fra hele

medisinstudiet. Testen benyttes i mange land, men stammer opprinnelig fra Maastricht

University i Nederland og University of Missouri-Kansas City School of Medicine i USA9.

Nederland benytter testen og har ikke en avsluttende prøve knyttet til lisensering. Testen

utvikles og vedlikeholdes i et samarbeid mellom de deltagende institusjonene mens selve

prøveadministrasjonen administreres lokalt.

Hver tredje måned får alle medisinstudenter ved de medisinske fakultetene samme test,

uavhengig av hvor langt de har kommet i studiet. Spørsmålene hentes fra en database med

over 60 000 spørsmål på originalspråket og over 10 000 spørsmål på engelsk. Benyttede

spørsmål får en karantenetid på tre år før de kan anvendes på nytt. Studentene kan følge sin

egen utvikling gjennom studiet ved å følge egne resultater i et studieadministrativt system10

.

Ved å analyse gruppescore på testen, har en internasjonalt (Nederland, Tyskland og Italia)

sammenlignet hvordan ulike studiesteder gjør det på ulike fagområder11

.

Oppsummert

Felles for alle de store nasjonale prøvene er at de i stor grad er lisenseringsprøver som

utvikles av egne institusjoner i det landet de gis. Administrasjon av prøvene er sentralt

(USA, Canada) eller lokalt (Tyskland, Sveits). Dette er prøver med store konsekvenser

for studentene hvis stryk, noe som stiller høye krav til reliabilitet og validitet.

Fellesnevneren for alle prøvene er at alle benytter seg av flervalgsoppgaver av A-type

pluss ett eller flere andre formater, som er noe ulikt fra land til land.

8 Guttormsen S et al. The new licencing examination for human medicine: from concept to implementation.

Swiss licensing examination for human medicine. Swiss Medical Weekly. 2013;143:w13897 9 Van der Vleuten CPM, Verwijnen GM, Wijnen WHFW, et al. Fifteen years of experience with progress testing

in a problem-based learning curriculum. Medical Teacher 1996;18:103-110. 10

Bærheim A, Høvding G, Wiker H, et al. Rapport fra Arbeidsgruppe 3: Utredning om lærings- og

vurderingsformer i ny studieplan i medisin - ’Gi oss ansvar!’. Universitetet i Bergen, 2013 http://www.uib.no/filearchive/rapport-fra-arbeidsgruppe-3-for-ny-studieplan-2-.pdf 11

Albano MG, Cavallo F, Hoogenboom R, et al. An international comparison of knowledge levels of medical

students: the Maastrich Progress Test. Medical Education 1996;30:239-245

13

Progresjonstesten er eksempel på en formativ test som ikke er knyttet opp mot

lisensering. Arbeidsgruppen mener en kan se på muligheten for å kjøpe innsikt i den

engelskspråklige databasen, for å hente inspirasjon til spørsmål som hjelp til nasjonale

fagkomiteer. Ved å benytte den engelske versjonen av progresjonstest kan en og se på

muligheten for å utvikle seg mot internasjonalt samarbeid over tid og slik kunne gi

større utviklingspotensial til andre typer nasjonale prøver for medisinstudiet.

6. Testing av klinisk resonnement ved en skriftlig prøve

Hva er klinisk resonnement?

Klinisk resonnement kan beskrives og kanskje defineres som de vurderinger en lege foretar i

samspill med pasienten og basert på tre sett kliniske data. Legens vurderinger kan lede til

kliniske handlinger og beslutninger. En novise vil ofte følge læreboka i sitt kliniske

resonnement, mens en erfaren kollega med et erfarent blikk og noen få kontrollspørsmål kan

komme til sin konklusjon. Deler av klinisk resonnement kan ha narrativ karakter.

Flere kunnskapssett møtes i et klinisk resonnement. Det første settet kunnskaper innehar legen

ved sin kliniske kompetanse (kunnskaper, ferdigheter og diverse andre profesjonelle

egenskaper). Denne profesjonelle kompetansen er operasjonell i klinisk arbeid, men er også

høylig situert idet dens operasjonelle uttrykk vil variere med klinisk kontekst, avhengig av

interaksjon med pasienten, tidligere erfaringsgrunnlag og den sosiokulturelle settingen den

kliniske interaksjonen foregår i.

Den andre delen av de tre kunnskapsbasene som klinisk resonnement forutsetter er data fra

pasienten. En har oftest tilgang til bakgrunnsdata og ikke minst kunnskap en får gjennom å

snakke med pasienten, pluss ved å benytte de fleste andre sansene, inklusive lukt og berøring.

Sykehistorien er imidlertid ofte underkodet, det vil si at dataene ikke er tilstrekkelige nok til å

kunne ta beslutninger eller gjøre konkrete eksplisitte resonnementer.

Det tredje datasettet en benytter kommer fra det sosiokulturelle landskapet som

konsultasjonen foregår i. En leges kunnskap er ujevnt fordelt over dette store kontinuumet av

kunnskaper, innsikter og kanskje visdom. Kunnskapsutviklingen i konsultasjonen og de

kliniske resonnementene vil variere med for eksempel legens kommunikative innsikt i en

platearbeiders arbeidsdag (eks. kvinne med vond rygg) eller i en ung abortsøkendes

livssituasjon. Tørrhoste vil eksempelvis vurderes forskjellig avhengig av pasientens alder og

bakgrunn. Ofte er imidlertid pasientens bakgrunn og livssituasjon mye mer kompleks, og det

bildet en får er sterkt avhengig av hvordan en kommuniserer med pasienten.

Det kliniske resonnementet kan bevege seg frem og tilbake mellom disse tre

kunnskapskildene avhengig av hvilke prosesser som aktiveres. Taus kunnskap vil spille inn på

måter en vanskelig kan få oversikt over.

Man kan argumentere for at testing av klinisk resonnement best gjøres i faktiske kliniske

situasjoner der kandidaten møter en reell pasient. Som vist ovenfor er prøver knyttet til

lisensering internasjonalt gjerne av en blanding av skriftlig testing og muntlige og praktiske

tester. Det samme er tilfellet for medisinstudiene i Norge, hvor studentene gjennom et

studieløp møter både skriftlige, muntlige og praktiske vurderingsformer.

14

Prøveformatet – oppgavetyper og oppgavesett

Mandatet gir en bestilling om en skriftlig prøve. I det følgende vil vi derfor diskutere hvilke

muligheter man har når man skal lage en skriftlig nasjonal delprøve i klinisk resonnement.

Det finnes to hovedoppgavetyper av skriftlige oppgaver; konstruerte svar (constructed-

response)-oppgaver og valgte svar (selected-response)-oppgaver. Etter at man har tatt stilling

til hvilken oppgavetype(r) man skal ha kan man i det videre ta stilling til hvorvidt man skal ha

sett bestående av enkeltoppgaver, multiple oppgaver i sett eller sekvensielle oppgaver.

Konstruerte svar-oppgaver

Konstruerte svar-oppgaver benyttes av alle de medisinske fakultetene i Norge i dag og er

oppgavetyper hvor studenten selv må formulere et svar på et spørsmål. Eksempel på slike

oppgaver er essay- og kortsvarsoppgaver. Fordelene med konstruerte-svar oppgaver er at

disse tillater at man tester studentens evne til å formulere seg, deres skriveferdigheter, evne til

å drøfte, evne til å organisere logiske tanker osv. Disse oppgavene har også muligheten for

sensor å gi en gradert poengsum basert på en skjønnsmessig vurdering, fremfor en alt-eller-

intet poengsum som man har i valgte svar-oppgaver. Disse fordelene oppveier dog ikke

ulempene med slike oppgavetyper. Disse oppgaveformatene er vanskelig å skåre nøyaktige og

reliabelt. Sensurering av slike oppgavetyper utfordres av mange bias hos den menneskelige

sensor. Det tar også lang tid å sensurere eksamensbesvarelser med konstruerte svar og det er

lite kostnadseffektivt.

Validitet er en annen hovedutfordring med konstruerte svar-oppgaver. Dette gjelder spesielt

når store fagfelt skal testes. Det tar lengre tid å besvare konstruerte svar-oppgaver og dermed

får man testet en relativt liten del av eksamenspensum på en prøve på 4 timer.

Eksamensvaliditeten blir derfor lav12

. Ingen av de kjente store nasjonale prøvene benytter seg

av konstruerte svar-oppgaver, med unntak av i Canada13,

14,

15

.

Anvendelse av denne typen oppgaver vil også medføre noe større ressursbehov i

gjennomføringen i form av sensorer som retter manuelt (selv i et digitalt system). Ved denne

oppgavetypen er det derfor vanlig å gjøre analyser for å kalibrere de ulike sensorenes

vurderinger for å sikre like betingelser for kandidatene.

Valgte svar-oppgaver

Valgte svar-oppgaver, med flervalgsoppgaven (FVO) som vanligste format, er det mest brukte

og standardiserte eksamensformatet man har. Som nevnt tidligere bruker de store nasjonale

prøvene dette eksamensformatet, noe som sikrer høy reliabilitet og validitet. I Norge benyttes

flervalgsoppgaver som eksamensformat både ved UiO og NTNU. NTNU har lengst erfaring

mer formatet og hvor det i dag utgjør 60 % av alle skriftlige eksamener. UiO har i dag digital

eksamen med flervalgsoppgaver ved 6 av 9 skriftlige eksamener innenfor medisinstudiet og

antallet vil være økt til 8-10 når ny studieplan er innført i 201716

. UiB har begynt å ta i bruk

slike oppgavetyper i forbindelse med innføring av digitale eksamener ved medisinstudiet, og

UiT har flervalgsoppgaver som i noen av sine eksamener og underveistester.

12

Downing SM. Written Tests - Contructed-Response and Selected-Response Formats. In: S.M. D, R. Y, editors.

Assessment in Helath Professions Education. New York: Routledge, 2009: 149-84. 13

Chenot JF. Undergraduate medical education in Germany. Ger Med Sci 2009; 7: Doc02 14

Guttormsen S, Beyeler C, Bonvin R, et al. The new licencing examination for human medicine: from concept

to implementation. Swiss Med Wkly 2013; 143: w13897. 15

Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical Licensing Examination

(USMLE): enhancing assessment of practice-related competencies. JAMA 2013; 310: 2245-6. 16

P.g.a. arbeid med ny studieplan er vurderingsform ikke avklart i to av de nye modulene og eksakt antall kan

dermed ikke anslås pt.

15

De som trolig har lengst erfaring med bruk av flervalgsoppgaver på store medisinske

eksamener internasjonalt er The National Board of Medical Examiners (NBME) i USA. I

1951 gjorde de en studie hvor de sammenlignet flervalgsoppgaver med essayformatet og

basert på denne gikk de etter hvert over til rene flervalgsoppgave-eksamener17

.

Flervalgsoppgaver kan deles inn i to hovedgrupper, sant/usant-oppgaver (true/false) og de

som ber kandidaten angi et beste alternativ (one-best-answer). Sant/usant formatet ber

studenten angi alle svar som er ”sanne”. Dette er ikke uproblematisk i medisinske fag da

mange ting er sjeldent 100 % sant eller 100 % usant. Studenten må derfor gjøre vurderingen

som ikke nødvendigvis er knyttet til klinisk erfaring eller kunnskap, som for eksempel å tenke

seg til hva oppgaveskriver tenkte på da han laget oppgaven18

.

Gjennom årenes løp har NBME testet ut mange ulike flervalgsoppgaveformater innenfor disse

gruppene og disse oppsummeres i vedlegg 1, sammen med en kort kommentar til hver19

. Et

format som brukes av alle de store nasjonale prøvene og som har vist seg å være svært

anvendelig i medisinske fag er formatet ett-beste-svar-oppgave, A-type. Slike oppgaver består

av en vignett (for eksempel en sykehistorie), et klart formulert spørsmål med ett riktig svar og

et varierende antall distraktorer. Det riktige svaret skal være det beste, men de øvrige

svaralternativene trenger ikke å være direkte feil, men skal være klart mindre bra. Denne

typen benyttes av både UiO og NTNU.

Eksempel ett-beste-svar-oppgave, A-type:

Kona til en 73 år gammel tidligere stort sett frisk mann ringer deg fortvilet på legevakt

da hennes mann akkurat har blitt skjev i ansiktet, mistet kaffekoppen i gulvet og bare

snakker tull. De bor 20 minutter unna legevakten og 45 minutter unna nærmeste

lokalsykehus. Hva gjør du som legevaktslege?

A. Du kontakter AMK og ber de sende en drosje til pasienten som kan ta han med til

legevakten for nærmere undersøkelse og administrering av acetylsalisylsyre 300 mg.

B- Du kontakter AMK for umiddelbar transport til lokalsykehuset for CT caput og

eventuell trombolyse.

C. Du kontakter AMK og ber de umiddelbart sende en ambulanse til pasienten for

prehospital trombolyse.

D. Du kontakter AMK og ber de sette opp en time hos fastlegen neste dag for

nevrologisk undersøkelse og eventuell henvisning til nevrologisk poliklinikk med

EEG.

Basert på de erfaringer man har hatt over mange år på store medisinske eksamener i utlandet,

vil det være hensiktsmessig å velge et oppgaveformat på en norsk nasjonal prøve som er

17

Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical Licensing Examination

(USMLE): enhancing assessment of practice-related competencies. JAMA 2013; 310: 2245-6. 18

Ibid. 19

Ibid.

16

internasjonalt anerkjent. A-type eller R-type spørsmål vil derfor være å foretrekke20

, hvor

førstnevnte er mest brukt og velkjent for de fleste undervisere og studenter i Norge.

Enkeltoppgaver, multiple eller sekvensielle oppgavesett

Enkeltoppgaver i sett er relativt selvforklarende. Multiple oppgaver i sett består av en felles

vignett på flere spørsmål, mens sekvensielle oppgaver i sett består av en vignett, ett spørsmål,

supplerende vignett og nytt spørsmål osv. Sekvensielle oppgaver i sett, hvor man følger en

sykehistorie og får nye spørsmål underveis, er et attraktivt format når man tester medisinske

kasus. Det er likevel en del momenter man må være klar over når man lager slike oppgaver:

Når man skal gjøre psykometriske beregninger på oppgaven så må man gjøre det for hele

oppgaven som helhet (inklusive alle delspørsmål). Dette vil som regel gjøre den

psykometriske beregningen etter en prøve eller eksamen mer kompleks. Den andre

utfordringen med sekvensielle oppgaver er at man kan få forholdsmessig mange spørsmål

knyttet til en del av fagområdet (for eksempel én sykdom) som gjør at man risikerer å senke

validiteten på eksamen ved å introdusere ”construct underrepresentation”. På en prøve på kun

4 timer (for eksempel ca. 120 flervalgsoppgaver) kan derfor sekvensielle oppgaver føre til

reduksjon i bredden av det som testes.

Ved etableringen av en nasjonal delprøve bør man legge opp til enkle og robuste løsninger.

Samtidig vil det være interessant å teste ut to ulike format på oppgavesettene selv om dette vil

øke kompleksiteten.

Utvalgets anbefaling om prøveformatet:

Vi anbefaler at nasjonal delprøve i medisin består av én enkelt oppgavetype og da fortrinnsvis ett-beste-svar-flervalgsoppgaver av A-type.

Vi anbefaler at hovedvekten av spørsmålene er enkeltstående men at man tar sikte på å

prøve ut inntil 25% sekvensielle oppgaver i prøven (maksimalt 3 spørsmål i sekvens).

Vi anbefaler at man etter hvert som man tilegner seg erfaring med prøveformatet vurderer å utvide nasjonal delprøve med maksimalt ett spørsmålsformat

Reliabilitet og validitet

Reliabilitet og validitet har en sentral rolle i vurderingsformer innen utdanning. Reliabilitet og

validitet henger nøye sammen. Reliabilitet handler om en tests pålitelighet, altså dens evne til

å kunne bli reprodusert og administrert med samme testresultat under like betingelser. En test

har høy reliabilitet dersom to studenter som har den samme kunnskapen får det samme

resultatet på samme prøve, og at de oppnår samme resultat hvis de tar en tilsvarende prøve

som er ment å eksaminere det samme. Det finnes flere måter å beregne en tests reliabilitet på,

men det vanligste er å måle testens interne konsistens. En mye brukt metode for å beregne

intern konsistens er koeffisient alfa, ofte kalt Cronbachs alfa21

. En annen metode som brukes,

blant annet ved NTNU, er Kuder-Richardson 2022

. I medisinsk utdanningslitteratur er det

anbefalt at man i summative tester som av høy viktighet (som for eksempel nasjonale prøver)

har en Cronbachs alfa på mellom 0.90 og 1.0023

.

20

Case SM, Swanson DB. Constructing Written Test Questions For the Basic and Clinical Sciences, Third

Edition ed. Philadelphia: National Board of Medical Examiners; 2002. 21

Cronbach LJ. Coefficient Alpha and the Internal Structure of Tests. Psychometrika 1951; 16: 297-334. 22

Kuder GF, Richardson MW. The theory of the estimation of test reliability. Psychometrika 1937; 2: 151–60 23

Axelson RD, Kreiter CD. Reliability. In: S.M. D, R. Y, editors. Assessment in Health Professions Education.

New York: Routledge, 2009: 57-73.

17

Validitet handler om prøvens evne til å måle det den er ment å måle. Ved en nasjonal prøve i

klinisk resonnement vil det i praksis si at man tester det man mener en nyutdannet norsk lege

skal kunne innenfor de fagene som testes. Når man skal lage en prøve med høy validitet er det

viktig å være klar over to kilder som utfordrer testens validitet; construct underrepresentation

(CU) og construct-irrelevant variance (CIV). CU handler om at enkelte fagfelt er

underrepresentert eller at det er bias i oppgaveutvelgelsen. For eksempel hvis man lager en

prøve i indremedisin og ikke stiller noen spørsmål om nefrologi og kardiologi, eller at den

som velger ut spørsmålene i kardiologi bare interesserer seg for sære kardiomyopatier og

velger ikke å spørre om akutte koronarsyndromer og atrieflimmer. Er man klar over denne

utfordringen er den lett å unngå. Har man nok oppgaver og et klart rammeverk for hva man

skal spørre om, unngår man CU. Dette er nok forklaringen på at nasjonale prøver ofte består

av lang testtid og mange spørsmål. For eksempel består den amerikanske lisenseringsprøven

USMLE av 3 eksamener på mellom 300 og 450 flervalgsoppgaver24

. CIV handler om

systematiske feil i prøven som påvirker validiteten. Dette kan være feil i oppgaveformatene,

oppgavene er for lett/vanskelig, for lav/høy diskriminerende evne osv. CIV kan unngås ved

god opplæring og klare retningslinjer for hvordan eksamen og de enkelte oppgavene skal

utformes25

.

Forskning gjort på eksamener viser at det er to forhold som er svært viktig når det gjelder å

øke en tests reliabilitet og validitet; prøvens testtid og antall oppgaver i en prøve. Øker man

testtid og antall oppgaver øker man testens reliabilitet og validitet. Videre øker en fremtidens

testers reliabilitet ved at man gjør oppgaveanalyser i etterkant og fjerner, reviderer eller

erstatter oppgaver som ikke fungerer bra. Det er derfor viktig å gjøre gode psykometriske

beregninger etter hver testadministrasjon.

Utvalgets anbefaling:

Man bør tilstrebe å lage en delprøve med så høy reliabilitet og validitet som mulig. Dette kan oppnås ved

o å utnytte maks testtid innenfor mandatet, altså 4 timer

o å benytte et prøveformat som tillater så mange oppgaver som mulig på 4 timer

I en pilot anbefaler vi å starte med 120 spørsmål (2 minutter per oppgave) og at

antallet kan vurderes økt på sikt

Delprøvens reliabilitet (interne konsistens) bør ligge >0.90

Registrering av prøvedata må være slik at man lett kan beregne psykometri etter prøveadministrasjon

7. Godkjenning, standardsetting og tilbakemelding til studentene I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og at

godkjenningskravet vil være «gjennomført prøve», slik mandatet legger opp til. Med tanke på

å utvikle en prøve som holder internasjonal standard og som oppfattes som relevant blant

studentene bør allikevel kriterier for tilfredsstillende resultat diskuteres helt fra starten av

utviklingsprosessen.

Standardsetting refererer til prosessen med å lage grenser for karakterer og for skillet mellom

bestått/ikke-bestått ved en eksamen. En standard bestemmer om en gitt skår er god nok for et

24

United States Medical Licensing Examination: http://www.usmle.org (01.06.15). 25

Downing SM, Haladyna TM. Validity and Its Threats. In: S.M. D, R. Y, editors. Assessment in Helath

Professions Education. New York: Routledge, 2009: 21-55.

18

formål. Det finnes ingen gullstandard for standardsetting av eksamener26,27,28

. Man må derfor

søke en balanse mellom ikke å være for streng, samtidig som man er sikker på at studentene

har nok kunnskap til å passere. Standardsettingsmetoder kategoriseres som enten relative

(norm-baserte) eller absolutte (kriterie-baserte). Relative metoder tar utgangspunkt i

prestasjonene til en definert gruppe og setter en grensepoengsum basert på denne gruppen.

Ved absolutte metoder setter man en grense før eksamen administreres. De norske fakultetene

bruker i dag stort sett en absolutt metode, i form av en pre-fiksert grensepoengsum for å bestå

eksamen. Ved en slik tilnærming til standardsetting er det i liten grad mulig å korrigere for

eksamenens vanskelighetsgrad. Man bør ved en nasjonal prøve forsøke å tilstrebe og benytte

seg av en internasjonalt anerkjent og validert metode. Absolutte metoder som Ebel og Angoff

brukes mye, og benytter seg av ekspertpaneler som vurderer hvert enkelt spørsmål og deretter

setter en grense for bestått på den enkelte eksamen29

. Dette er ressurskrevende. En ny og

relativ metode er Cohens metode, som tar utgangspunkt i studentene på 90-95 %-percentilen

og lar disse være referanse for hva som blir grenseverdien for bestått på eksamen (for

eksempel 70 % av poengsummen til studenten på 95 % percentilen. Dette har vist seg å være

en metode som gir mindre varians i strykrate enn absolutte pre-fikserte grenser og er lite

ressurskrevende30,31

. Det gjøres i dag en forskningsstudie ved NTNU på historiske

eksamensdata for å se om Cohens metode er bedre egnet enn dagens metode. Resultater vil

være klare i løpet av 2016.

Prøven som læringsarena

Testing driver læring. En nasjonal delprøve i medisin vil være en svært viktig læringsarena for

medisinstudenter i Norge. Det er derfor viktig med en god tilbakemelding til studentene. Av

praktiske hensyn bør denne tilbakemeldingen gis skriftlig og bli generert på en automatisert

måte fra et digitalt testverktøy.

Videre er det viktig at alle flervalgsoppgaver i en nasjonal prøve har en god begrunnelse for

hvorfor det riktige svaret er riktig. En slik fasit bør gjøres tilgjengelig for kandidatene straks

etter gjennomført prøve. Dette fremmer læring. Spørsmål som har vært brukt i en nasjonal

prøve bør være offentlig tilgjengelig. Dette er viktig for at kommende kandidater kan trene

seg på eksamensformatet frem mot sin delprøve. Videre er dette svært viktig da en høy andel

av norske leger utdannes i utlandet og vil ikke være berammet av en nasjonal delprøve. De

bør ha tilgang til å se hvilke krav som stilles av norske universiteter ved utdanningen av

medisinske kandidater, slik at de er best mulig forberedt når de senere skal jobbe i Norge. For

at tidligere eksamensoppgaver skal fungere som et godt læringsverktøy bør det kjøpes, evt

utvikles, et studentbrukergrensesnitt til den nasjonale flervalgsoppgavedatabasen, hvor

studentene til enhver tid kan genere prøver innenfor de fagene/temaene man ønsker å teste seg

selv i. Dette brukergrensesnittet må kunne appliseres som en applikasjon på mobiltelefoner og

nettbrett.

26

Cohen-Schotanus J, van der Vleuten CP. A standard setting method with the best performing students as point

of reference: practical and affordable. Med Teach 2010; 32: 154-60. 27

Norcini JJ. Setting standards on educational tests. Med Educ 2003; 37: 464-9. 28

Taylor CA. Development of a modified Cohen method of standard setting. Med Teach 2011; 33: e678-82. 29

Yudkosky R, Downing SM. Standard Setting. In: S.M. D, R. Y, editors. Assessment in Helath Professions

Education. New York: Routledge, 2009: 119-48. 30

Cohen-Schotanus J, van der Vleuten CP. A standard setting method with the best performing students as point

of reference: practical and affordable. Med Teach 2010; 32: 154-60. 31

Taylor CA. Development of a modified Cohen method of standard setting. Med Teach 2011; 33: e678-82.

19

Utvalgets anbefaling om godkjenning, standardsetting og tilbakemelding

I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og at

godkjenningskravet vil være «gjennomført prøve». På sikt bør det etableres et minimumskrav for tilfredsstillende resultat

Det gis ikke graderte karakterer på den nasjonale prøven, men det bør gis en automatisert

skriftlig tilbakemelding til alle studenter.

Det skal brukes en internasjonalt anerkjent og validert metode for standardsetting på den

nasjonale delprøven

Alle oppgaver inneholder en fasit med forklaring for senere læring

Alle delprøver med fasit er offentlig tilgjengelig

Vi anbefaler at det kjøpes inn, evt. utvikles, et studentbrukergrensesnitt til en nasjonale

flervalgsoppgavedatabasen som kan brukes til læring.

8. Utvikling, kvalitetssikring og vedlikehold av oppgaver Når man skal lage en nasjonal prøve og bygge opp en nasjonal databank av flervalgsoppgaver

er det essensielt at arbeidet er grundig planlagt før oppstart, at kvalitetssikring av oppgaver er

god, både før prøveadministrering og etter, og at oppgavebanken vedlikeholdes regelmessig. I

dette avsnittet diskuterer vi hvilke momenter man bør tenke på i den faglige utviklingen av en

nasjonal delprøve.

Databank med spørsmål

En felles databank med spørsmål er viktig av flere hensyn. Sikkerhet er et viktig hensyn. En

slik databank må være på trygg server og godt sikret mot datainnbrudd. Det må være et sted

hvor alle som lager spørsmål til en nasjonal prøve, uavhengig av arbeidssted, kan logge seg på

og legge inn sine spørsmål. Dette reduserer det administrative arbeidet rundt en prøve. Videre

sikrer en databank at man har alle opplysninger knyttet til det enkelte spørsmålet og den

enkelte eksamen samlet på ett sted. Dette vil være informasjon om fagfellevurderingen, om

hvordan spørsmålene har gjort det på eksamen og hvordan eksamen har gjort det som helhet i

psykometriske beregninger. Man vil etter hvert bygge opp mye informasjon om spørsmålene.

Dette gjør det også lettere å revidere og vedlikeholde en databank av spørsmål, som igjen vil

gjøre det lettere å administrere prøver i fremtiden. I dette avsnittet diskuterer vi hvilke

momenter man bør tenke på i den faglige utviklingen av en nasjonal delprøve.

Rammeverk for utarbeidelse av innhold – etablering av fagkomiteer

Alle kandidater til en nasjonal delprøve bør stille med like betingelser. Det betyr at det må

være nasjonal konsensus om hva en norsk lege bør kunne innen klinisk resonnement innenfor

fagene som skal testes. Det er også viktig at de som skal lage oppgaver har god kjennskap til

hva som undervises på det enkelte studiested. De som skal lage oppgaver til nasjonal delprøve

bør derfor sitte i en felles fagkomite bestående av representanter fra hvert fakultet.

Arbeidsgruppen foreslår at det med tanke på å kjøre pilot på en nasjonal prøve opprettes

fagkomiteer innenfor tre temaområder. Disse bør samarbeide med en faglig prosjektleder fra

arbeidsgruppen.

Den første oppgaven en slik fagkomite bør ta stilling til er hva man mener en norsk lege skal

kunne innenfor ”sitt” fag. Det betyr også at man må ta stilling til hvordan en databank av

spørsmål for fagfeltet bør se ut. Det bør da konstrueres et rammeverk (blueprint) som sier

noen om eksamenens innhold. På den enkelte eksamen vil det enkelte fag kun være

representert med få spørsmål, noe som betyr at rammeverket bør tenke lenger enn en enkelt

20

prøve. De bør altså tenke hvordan databanken av spørsmål bør se ut for å være komplett

innenfor faget. Rammeverk er noe av det viktigste man gjør i eksamensplanlegging. Ett godt

eksempel på hvordan et eksamensrammeverk i et enkeltfag kan se ut finner man på American

Board of Internal Medicine sine nettsider for spesialisteksamener32

. Et rammeverk må lages

innenfor de rammene som er gitt av læringsmål og læringsutbytter ved de ulike fakultetene.

Det er faggruppen som bør stå for utvikling av spørsmål, men kan selvsagt gi andre i sitt

fagområde ansvar for å lage oppgaver. Disse bør dog diskuteres i plenum i faggruppen og

man bør komme til enighet om oppgaven er god nok for en nasjonal prøve. Man bør da også

se om oppgaven passer inn i rammeverket for faget.

Kvalitetssikring – før prøven administreres

En oppgave som er laget av faggruppen og godkjent av denne bør deretter utsettes for ekstern

fagfellevurdering. For å sikre at oppgaven er representativ for hva som møter en norsk

nyutdannet lege i sin første jobb som lege, bør man søke å kvalitetssikre oppgaven utenfor

universitetssykehusmiljøene som har laget oppgaven. En god kvalitetssjekk er at oppgaven

leses gjennom av en yngre lege i turnus eller spesialisering, en allmennlege og en spesialist i

faget på et mindre sykehus. Denne fagfellevurderingen bør skje anonymt. Faggruppen får

fagfellevurderingen og bør ta stilling til eventuelle kommentarer fra fagfeller før oppgaven

kan administreres på eksamen.

Kvalitetssikring – etter at prøven er administrert

Mye av kvalitetssikringen vil skje etter eksamen og krever mye ressurser. Det må derfor

etableres en sensurkomite som vurderer sensureringen, gjør analyse av oppgavene og

kvalitetssikrer tilbakemelding til studentene. Basert på de psykometriske analysene som

gjøres av prøvene, kan man si noe om oppgavenes vanskelighetsgrad og diskriminerende

evne. Man kan si noe om prøvenes reliabilitet og -validitet. Oppgaver som opplagt fungerte

dårlig (eks. negativ diskriminerende evne) bør lukes ut av databasen, eventuelt endres og

kvalitetssikres på nytt. Prøver som scorer lavt på reliabilitet og validitet bør analyseres for å

finne årsaken. I tillegg bør studenter som har gjennomført også ha mulighet til å komme med

innspill til enkeltspørsmål. Dette bør skje på en strukturert måte og kan hjelpe til å avdekke

spørsmål som inneholder feil eller har fungert dårlig. Oppgavedatabasen må også

vedlikeholdes over tid. Medisinske sannheter endres ofte, og en oppgave som passerer tre år

bør trolig kvalitetssikres på ny før den eventuelt kan administreres på nytt på en senere

eksamen. Et slikt vedlikehold av en database er tidskrevende, men svært viktig. Greier man å

holde en database oppdatert og samtidig greier å akkumulere mange spørsmål, vil man etter

hvert kunne generere prøver uten å supplere med mange nye spørsmål.

Utvalgets anbefaling om laging, kvalitetssikring og vedlikehold av eksamensspørsmål:

Vi anbefaler at det opprettes nasjonale fagkomiteer bestående av representanter fra hvert av de fire fakultetene som har ansvar for å lage et rammeverk (blueprint) for

spørsmål i det enkelte fag. Fagkomiteene må samarbeide med en faglig prosjektleder

om dette. En faglig prosjektleder bør ansettes i en 20 % stilling.

Vi anbefaler at disse komiteene lager og kvalitetssikrer spørsmål i sine fag.

Vi anbefaler at det utføres ekstern og anonym fagfellevurdering av alle eksamensspørsmål. En slik gruppe bør bestå av nyutdannede sykehusleger, en

spesialist og allmennleger.

32

Exam Blueprints: http://www.abim.org/about/examInfo/blueprint.aspx (30.09.15).

21

Vi anbefaler at det utføres oppgaveanalyse etter hver eksamen og at spørsmål som

ikke har fungert, fjernes eller revideres. Det må etableres en sensurkomite som

vurderer sensureringen og gjør analyse av oppgavene og kvalitetssikrer tilbakemelding

til studentene.

Studenter som har tatt prøven bør gis anledning til å komme med sine tilbakemeldinger på enkeltspørsmål, i tillegg til å evaluere prøven som helhet.

Vi anbefaler at alle eksamensspørsmål oppbevares i en nasjonal databank for spørsmål til nasjonal delprøve. Det må utarbeides en kravspesifikasjon som legger grunnlaget

for å sjekke ut om det finnes en løsning på markedet

Vi anbefaler at det opprettes en stilling som vedlikeholder og oppdateringer eksamensdatabasen.

9. Bencharking og kvalitetsutvikling ved det enkelte studiested En viktig begrunnelse for prøven er muligheten for benchmarking på tvers av studiesteder.

Det er viktig at resultatene fra prøven må tilrettelegges slik at studiestedene kan få

tilbakmeldinger og muligheter for å sammenlikne resultater innen de ulike fagområder på

tvers av studiestedene. Arbeidsgruppen vil ikke gå i detalj for arbeidet med

kvalitetsutviklingen da vi tenker at fakultetenes arbeid med å heve kvaliteten og utvikle egen

studieplan og undervisning må forankres lokalt gjennom programråd, andre etablerte organer

og i dialog med studentene.

Utvalgets anbefaling om benchmarking og kvalitetsutvikling:

Resultater fra må tilrettelegges slik at studiestedene kan få tilbakmeldinger og

muligheter for å sammenlikne resultater på tvers av studiestedene.

10. Administrativ organisering Arbeidsgruppen har kartlagt hvilke administrative behov som må dekkes for at vi skal kunne

utvikle og gjennomføre en nasjonal prøve ved fire læresteder til samme tid, under like

betingelser og med riktig formell innramming i FS. På det studieadministrative området er det

essensielt at arbeidet er grundig planlagt, kvalitetssikret og samordnet studiestedene imellom

før en prøve kan gjennomføres.

Kartleggingen av eksamensarbeidet har hatt som målsetning å identifisere likheter og

forskjeller i hvordan det enkelte studiested organiserer sitt arbeid med eksamen og å utrede

hvilke erfaringer de i dag har med digital eksamen.

Obligatorisk arbeidskrav

Mandatet har bestemt at prøven skal defineres som et obligatorisk arbeidskrav vurderes som

godkjent/ikke-godkjent. Når obligatoriske aktiviteter legges inn som et krav for å kunne gå

opp til avsluttende eksamen gir det konsekvenser for studenter som evt. ikke får godkjent,

eller som på grunn av sykdom ikke har anledning til å møte. Opplegget for den nasjonale

delprøven bør ta høyde for nytt forsøk for studenter som ikke han anledning til å møte, eller

som på lengre sikt ikke oppnår minimumskravet for tilfredsstillende resultat.

Arbeidsflyt – oppgaver og roller

Skriftlig eksamen («skoleeksamen») er utgangspunktet for prosessbeskrivelsen, men

prosessen er videre beskrevet med utgangspunkt i at det skal gjennomføres en digital prøve. I

kartleggingen har arbeidsgruppa tatt utgangspunkt i erfaringer fra UNINETTS arbeidsnotat

22

om Arbeidsprosesser for digital vurdering33

samt erfaringer med digital eksamen ved de ulike

lærestedene.

Kartleggingen nedenfor forutsetter at en det er oppnevnt en nasjonal administrativ koordinator

og en struktur med nasjonale fagkomiteer som håndterer prøven ut mot institusjonene. Tabell 1. Roller i arbeidsprosessen.

Faglig prosjektleder Lede og koordinere arbeidet og den nasjonale arbeidsgruppen

Nasjonal koordinator Samordner logistikk og det administrative med fagkomite og

institusjonene. Sekretær for fagkomiteenes arbeid.

Nasjonal

arbeidsgruppe

Kontinuering av den eksisterende arbeidsgruppen. Sikre lokal forankring

faglig og administrativt.

Nasjonal fagkomiteer Oppnevnt av nasjonalt utdanningsmøte etter forslag fra prosjektledelsen

for å drive den faglige delen av arbeidet med en nasjonal delprøve.

Utarbeider oppgavesett og sensurveiledning

Kandidat Personen som er kandidat til den nasjonale prøven

Eksamenskonsulent Administrativt ansatt med oppgaver knyttet til prøven lokalt ved

institusjonen

Eksamensvakt Person som er til stede fysisk under den lokale gjennomføringen av

prøven, og som påser at gjennomføringen skjer i henhold til reglementet

IT-ansvarlig IT-støtte for hele arbeidsprosessen rundt eksamen. Inkluderer drift,

brukerstøtte, infrastrukturbygging, teknisk overvåking og håndtering av

sikkerhet for IT

Sensurkomite Oppnevnt av nasjonalt utdanningsmøte for å vurdere sensureringen, gjøre

analyse av oppgavene og å kvalitetssikre tilbakemelding til studentene.

Start- og sluttpunkt for arbeidsprosessen

Startpunkt for prosessen: «Når dato og tid er satt for den nasjonale delprøven» o Når dato er satt for prøven, starter arbeidet med å legge fremdriftsplaner som

sikrer at et oppgavesett blir utviklet i tide, og at forberedelsene av prøven

studieadministrativt og logistisk kommer på plass

o Dette er viktig fordi prøven skal koordineres nasjonalt, og arbeidet rundt slike

prøver involverer aktører ved ulike steder i geografi og organisasjoner

Sluttpunkt for prosessen: «Når resultater er analysert og evaluering gjennomført»

Faser i arbeidsprosessen

Arbeidsprosessen i kartleggingen deles inn i tre hovedfaser: forberedelse, gjennomføring og

etterarbeid. For hver fase er det utarbeidet en prosesstegning som viser hvilke oppgaver som

inngår sammen med hvilke roller (se vedlegg 2, 3 og 4). All kommunikasjon og samordning

mellom rollene er ikke tegnet opp fullstendig. Et viktig kriterium for vellykket gjennomføring

er at for hver av fasene gås opp ansvars- og oppgavefordelinger gjennom utarbeiding av

kommunikasjonsplan, sjekkliste for forberedelse og gjennomføring og en plan for beredskap

og varsling. Dette blir en viktig oppgave i et pilotprosjekt.

33

UNINETT Rapport januar 2015: https://www.uninett.no/sites/drupal.uninett.no.uninett/files/arbeidsprosesser_digital_eksamen.pdf

23

Vedlegg 5 Oppgavebeskrivelser beskriver alle oppgaver i prosessen.

1. Forberedelsesfasen: Fra dato og tid er satt for den nasjonale delprøven og helt fram til

dagen for gjennomføring av prøven. Innebærer: a. Å sette rammebetingelsene i FS

b. Rett informasjon til kandidatene

c. Oppmelding av kandidatene til eksamen og obligatoriske aktiviteter, herunder prøven

d. Søknader om tilrettelegging behandles og eventuelle tiltak planlegges

e. Koordinere de administrative forberedelsene nasjonalt

f. Oppgavesettet med sensorveiledning utarbeides og kvalitetssikres

g. Oppsett av eksamensoppgaver/test-oppgaver med kandidater til gitt tidsrom

h. Forberede IT-brukerstøtte og -overvåkning underveis

Lærestedene har organisert sitt eksamensarbeid noe ulikt. Ved UiB, NTNU og UiT gjøres en

del oppgaver rundt eksamen på sentralt nivå (f.eks. behandling av søknader om tilrettelegging,

booking av rom og vakter samt gjennomføringen av den faktiske eksamen). Klargjøring av

oppgaver (opptrykk eller klargjøring av en digital eksamen) gjøres derimot av

studiekonsulenter ved instituttene. Ved UiO gjør studieseksjonen ved fakultetet alt

eksamensarbeidet vied skriftlige (herunder digitale) og muntlige eksamener innenfor

medisinstudiet. Å avklare hvordan oppgaver skal løses det enkelte sted blir viktig i et

pilotprosjekt.

Kvalitetssikrende tiltak:

Testplan inkludert teknisk test ved alle læresteder og test av oppgavesett

Utarbeide sjekkliste for forberedelser som må gjøres lokalt og av nasjonal

koordinator før gjennomføringen

Plan for beredskap og varsling ved avvik og hendelser

Felles retningslinjer for gjentak av arbeidskrav

Felles retningslinjer for behandling av tilrettelegging

Vedlegg 2 Arbeidsflyt – Nasjonal delprøve. Forberedelser viser en skisse over roller og

oppgaver i forberedelsesfasen.

2. Gjennomføringsfasen: Gjennomføring av prøven. Innebærer a. Legitimering av kandidat

b. Pålogging

c. Faglig tilstedeværelse underveis

d. Utarbeidelse og innlevering av besvarelse

e. IT-brukerstøtte og logging underveis

f. Innsending av sluttrapport fra IT og administrativt ansvarlige

Kvalitetssikrende tiltak:

Felles system for logging av henvendelser og avvik

Plan for kommunikasjon av felles beskjeder under prøven

Vedlegg 3 Arbeidsflyt – Nasjonal delprøve. Gjennomføring viser en skisse over roller og

oppgaver i gjennomføringsfasen.

3. Etterarbeid: Kjøring av sensur etter gjennomført og kunngjøring av resultat

a. Kjøre sensur

b. Vurdering ved sensurkomite

c. Kunngjøring av resultat og tilbakemelding til kandidaten

24

d. Analyse – statistikk og psykometri

e. Avlønning av eksamensvakter

f. Evaluering og sluttrapportering

Vedlegg 4 Arbeidsflyt – Nasjonal delprøve. Etterarbeid viser en skisse over roller og

oppgaver i etterarbeidsfasen.

Verktøy for gjennomføring av prøven

Digital eksamen er i ulik grad tatt i bruk ved de ulike studiestedene, men i UH-sektoren er

innføring av dette et sentralt tema akkurat nå og det jobbes med å få på plass håndtering av

integrasjon mellom FS og kommersielle eksamenssystem. Ved samtlige universitet er det satt

i gang prosjekter som jobber med å tilrettelegge for innføringen lokalt. Av de medisinske

fakultetene er det pr. nå kun UiO og UiB som har tatt i bruk digital eksamen ved

medisinstudiet. Ved NTNU pågår et prosjekt for innføring av digital eksamen, der Inspera

Assessment brukes. UiT har et tilsvarende prosjekt der man benytter Wiseflow.

UiB: Har gjennomført digital eksamen i enkelte kliniske og parakliniske emner, fra og med

vår 2015. Til nå har pediatri, gynekologi og obstetrikk og medisinsk biokjemi avviklet digital

eksamen. Høst 2015 skal også eksamen i psykiatri, indremedisin 4. blokk, og

samfunnsmedisin gå digitalt. Systemet som brukes er Inspera Assessment. Faglærere legger

inn spørsmål direkte i systemet og sensurerer i sensurmodulen. Emneansvarlig har ansvar for

å utforme prøven.

NTNU: Innførte i 2005 flervalgsoppgaver som en del av sine skriftlige eksamener. Siden da

har det blitt bygget opp en database med spørsmål som kontinuerlig vedlikeholdes og

kvalitetssikres. Oppgavene legges inn i databasen av undervisere og utplukk til oppgavesett

gjøres av eksamenskommisjon. Selve eksamen gjennomføres imidlertid ikke digitalt for

studentene, men studentenes svar legges inn i ettertid. Dette gjør det mulig å se på

psykometrien til eksamen som helhet, og for egenskapene til de enkelte spørsmål.

UiO: Har gjennomført digitale eksamener siden vår 2013. I forhold til innføring av ny

studieplan er det vedtatt at digital eksamen skal tas i bruk ved skriftlige eksamener på nye

emner. Frem mot 2017 vil det bli lagt digitale eksamener og tester innenfor hver av de 8

modulene (emnene). Verktøyet som brukes for å utarbeide oppgavesettene heter

Questionmark Perception. De administrative ansatte mottar oppgaver i word og legger inn.

Sensureringen gjøres digitalt i et egenutviklet sensursystem.

UiT: Selv om UiT per nå ikke har innført digital eksamen benyttes også Multiple Choice-

spørsmål i oppgavesettene. Et oppgavesett kan ha inntil 10-20 % slike spørsmål.

På bakgrunn av anbefalingene i denne rapporten må det utvikles kravspesifikasjoner for

teknisk løsning, som gjør at man kan vurdere om det er hensiktsmessig å bruke studiestedenes

lokale verktøy for digital eksamen, eller om man bør kjøre en test fra ett sted. Dersom man

skal bruke løsninger som finnes lokalt, må det utvikles mulighet for å eksportere spørsmål ut

fra nasjonal database og likeledes resultatene tilbake til den nasjonale databasen for videre

analyse.

Utvalgets anbefaling om administrativ organisering:

Vi anbefaler at det prosjektet støttes av en nasjonal administrativ koordinator for

delprøven i 50 % stilling.

25

Vi anbefaler at den nasjonale koordinatoren har ansvar for å drive forberedelsene og

kvalitetssikringen i forkant av prøven, samt evaluere gjennomføringen sammen med

fagpanelene for å identifisere tiltak som kan forbedre prøven.

Hvert lærested må sette av ressurser som jobber opp mot den nasjonale koordinatoren

Det må utvikles en løsning for prøven i et format som kan eksporteres til de verktøyene

som benyttes ved de ulike universitetene.

11. Budsjett, ressursbehov og fremdriftsplan

Arbeidet vil kreve innsats fra de ulike lærestedene i form av tidsbruk i fagkomiteene,

administrativ støtte og ressursbruk på den faktiske avviklingen av prøven. I tillegg bør det videre

prosjektet ha budsjett til å dekke drift, møter og reiser for ansatte og det må påregnes kostnader

for etablering av en nasjonal spørsmålsdatabase.

Vi anslår et årlig driftsbudsjett på 2 millioner.

Omfang Estimat

Prosjektleder 0,2 årsverk 200 000

Administrativ koordinator 0,5 årsverk 400 000

Drift og vedlikehold av database 0,5 årsverk 400 000

Etablering av nasjonal database (IT,

utvikling og tilpasning) 0,5 årsverk 400 000

Prosjektets driftsbudsjett, reiser,

ekspertkonsultasjon 300 000

Driftskostnader komiteene 200 000

Kostnader ifm peer review/

kvalitetssikring 100 000

Totalt 2 000 000

I tillegg kommer et ressursbehov i form av tidsbruk hos fagpersoner som inngår i komiteene

og tidsbruk for de administrative ressursene som lokalt er med på å gjennomføre prøvene.

Arbeidsgruppen foreslår en videre fremdriftsplan for et pilotprosjekt, hvor det tas sikte på å

gjennomføre to piloter:

Milepæler i fremdriftsplan for pilotprosjektet 2015

Nov/des Oppnevning og etablering av fagkomiteer

Utarbeide kravspesifikasjon for database og vurderer ulike alternativ

Informere aktører/studenter om prosess

2016

Jan Etablere rammeverk (blueprint) for prøven

Oppstartsmøte for fagkomiteer

Arbeid med database/teknologiske løsninger

Feb/mars Utarbeidelse av spørsmål i fagkomiteer

Arbeid med database/teknologiske løsninger

Etablere sensurkomite og referansegruppe (peer review)

Ta stilling til format for tilbakemelding

Orientere det nasjonale utdanningsmøtet

26

April Frist 1.4 for oversendelse av spørsmål fra fagkomite

Ekstern peer review av spørsmål

Mai Frist 1.5 for tilbakemelding fra peer review

Teste tekniske løsninger

Frist 25.5 for oversendelse av reviderte spørsmål fra fagkomite

Juni Tar stilling 1.6 til grunnlaget for å gjennomføre pilot nr. 1 høst 2016

Orientering på det nasjonale dekanmøtet

Informasjon til studenter

September Gjennomføring av pilot 1 for vårkull i 12. sem. ved UiO og UiB

Oktober Rapport om erfaringer til det nasjonale utdanningsmøtet

Erfaringskonferanse med involverte aktører og representanter

Planlegge pilot nr. 2 ved alle de fire studiestedene februar 2017

Okt-feb Arbeide med å forberede pilot nr. 2, oppnevne fagkomiteer

2017

Februar Gjennomføre pilot nr. 2 ved NTNU, UiB, UiO og UiT

Mars Orientere det nasjonale utdanningsmøtet

Juni Fremlegge sluttrapport til det nasjonale dekanmøtet

Etter gjennomføring av pilot nr. 2 som vil dekke bredden i allmennmedisin, indremedisin og

kirurgi, ser vi for oss at prøven kan utvides til å inkorporere andre fag, med ved vekt på akutte

og alvorlige tilstander. I løpet av de første årene må det utarbeides nye spørsmål til hver

delprøve. I påvente at karantene tiden er gått ut må hvert enkelt spørsmål kvalitetssikres og

kan deretter inngå i det tilfeldige utvalget som kan trekkes til eksamen av tidligere gitte

spørsmål. Det må etableres en rutine for at fagkomiteene med jevne mellomrom gjennomgår

relevansen og gyldigheten av tidligere godkjente og kvalitetssikrede spørsmål.

Ulike formater på flervalgsoppgaver

Oppgavetype Forklaring Kommentar

Ett-beste-svar-oppgaver

A-type Består av en vignett (for eksempel en

sykehistorie), et klart formulert

spørsmål og ett riktig svar og et

varierende antall distraktorer. Det

riktige svaret skal være det beste, men

de øvrige svaralternativene trenger ikke

å være direkte feil, men skal være klart

mindre bra.

Et format som brukes av alle de store

nasjonale prøvene, har vist seg å være svært

anvendelig i medisinske fag. Benyttes av

både UiO og NTNU.

B-type –

Matching

items

Består av to lister og hvor studenten

skal matche for eksempel sykehistorie

med tilstander eller lignende. Eks. A-E

skulle matches med 1-5.

Fordelen er at man fikk testet mange

problemstillinger i ett spørsmål. Gjør det

bra i oppgaveanalyser. Benyttes lite i dag

etter introduksjon av ”extended matching

formats”

D-type –

Complex

matching items

Et komplekst matching format

bestående av 3 ulike svaralternativer

som skal matches med et gitt antall

situasjoner. Eks. Én av alternativene A-

C skal matche med 4 av 5 i listen 1-5 og

dermed angi hvilken av de 5 som ikke

passet inn.

Tanken med oppgavene var at de skulle

teste diskriminerende forståelse. Det viste

seg dog at oppgavetypen var vanskelig å

skrive og retningslinjene ble forvirrende.

Psykometri viste også at disse

oppgavetypene ikke evnet til å diskriminere

mellom dyktige og mindre dyktige

studenter.

R-type –

Extended

matching

Består av et tema med en tilhørende

liste med svaralternativer, fulgt av et

spørsmål og deretter flere vignetter.

Man skal velge ett beste svar fra listen

til hver vignett. Eks: Studentene blir

presentert for en liste over 15 ulike

tilstander. Deretter kommer spørsmålet:

”Hvilken tilstand er mest sannsynlig?”

Studenten får deretter presentert

multiple sykehistorier (vignetter) og

skal velge ett-beste-svar til hver enkelt

vignett, tatt fra listen over de 15

tilstandene som ble ramset opp initialt.

Brukes fortsatt. Det oppgavetekniske er

relativt likt som A-type. Studier viser at

denne typen har høyere diskriminerende

evne og er vanskeligere enn A-type

oppgaver.

Sant/usant-oppgaver

Klassiske

sant/usant

oppgaver

Består av spørsmål eller påstander hvor

studenten skal angi hvilke som er sanne

og hvilke som er usanne.

Har vært brukt i perioder, men falt i

disfavør. Det er vanskelig å få en helt

korrekt nøkkel, da det kan være uenighet

blant eksperter hva som faktisk er helt sant

eller helt usant. En annen årsak også at slike

spørsmål tenderer til å teste ren gjengivelse

og dermed ikke tester studentenes

resonnerende evne.

C-type –

Multiple

true/false

Ligner B-type, bare at dette er multiple

sant/usant oppgaver og hvor studenten

skal angi om ett, flere, alle eller ingen

av svaralternativene er sanne.

Se over.

K-type – Består av vignett fulgt av 4 Dette var det vanligste formatet i USA i

Multiple

true/false

svaralternativer hvor ett eller flere var

riktig.

lang tid. Man mente at formatet testet dyp

kunnskap og forståelse om et emne. Kom i

disfavør fordi de var kompliserte, studenten

måtte også konstant passe på hvordan

svarnøkkelen var på det enkelte spørsmål

for ikke å gjøre feil. Formatet viste seg også

å ha lav diskriminerende evne som

reduserte testens reliabilitet. Som for alle

sant/usant oppgaver var det vanskelig å

bruke slike spørsmål på kliniske

problemstillinger.

E-type –

Multiple

true/false

Analysere forhold mellom to ulike

påstander og to ulike forklaringer. Man

skulle angi om begge påstander og dens

forklaring var riktig, den ene av de to

eller ingen.

Man mente at det skulle teste resonerende

evne og forståelse av prinsipper. Det viste

seg dog at det var vanskelig å lage disse

oppgavene og studentene synes de var

forvirrende.

Andre

H-type –

Quantitiative

comparison

Vurdere to påstander på en kvantitativ

måte. Studenten skulle angi om A var

større en B, B var større en A, eller om

de var omtrent like store (for eksempel

vanlig terapeutisk dose på hhv ett

medikament sammenlignet med et annet

medikament)

Tester gjengivende kunnskap om

kvantitativ informasjon. Problemet ble dog

at studentene hadde vanskelig for å

bestemme seg for hvor stor forskjellen

måtte være for ikke å være ”omtrent like

store”.

I-type Tilsvarende som H-type med to

påstander som beskriver tilstander eller

kvaniteter som kan være i relasjon til

hverandre. Studenten skal angi om

påstandene er direkte relatert, om

påstandene er inverst relatert eller om

påstandene er uavhengig av hverandre.

Se over.

Kilde: Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical

Licensing Examination (USMLE): enhancing assessment of practice-related competencies.

JAMA 2013; 310: 2245-6.

Kandidat (ved lærestedene)

Nasjonal koordinator

Fagkomite/faggrupper

Eksamenskonsulent (lokalt)

IT-ansvarlig (ved lærestedene)

Eksamensvakt (ved lærestedene)

Arbeidsflyt – Nasjonal delprøve (pilot). FORBEREDELSER

Dato for prøve

Oppretter oblig. på vurd.enhet i FS

m. dato

Legger info i timeplan og håndbøker

Und.opptak og eksamens-

melding

Behandle/ planlegge

tilrettelegging

Semester-registreres

Søker om tilrettelegging på

prøven

Finne eksamensvakter

Bistå med informasjon til

kandidater

Kandidat-nummerering

Samordne kandidat-

nummerering v/institusjonene

Romplassering av kandidater

Booke IT-hjelp

Utarbeide og koordinere

informasjon til kandidater

Avtaler fremdrift m/nasj.

koordinator

Peer review

Endelig versjon til nasjonal

koordinator

Godkjent prøve i begge målformer

Administrativ kvalitetssikring

oppgavesett

Mottar endelig oppgavesett

begge målformer

Koordinerer el foretar oppsett

av kandidater på system

Kontrollerer at institusjonene er

klare til prøve-dagen

Utarbeider oppgaver i

fsgkomiteer

Finner faglærere som er tilstede

lokalt under prøven

Forbereder tilrettelegging

Behandler unntakstilfeller

Mottar tidspunkt for prøven

Innlegging av oppgaver?

Avtaler fremdrift m/nasj.

koordinator

Oversettelse til to målformer

Avtaler fremdrift m/institusjonene

og fagkomite

Mottar informasjon om prøven/blir kjent med opplegget

Forbereder avvikling (testing

m.v)

Finner kandidatnummer

i Studentweb

Mottar liste faglærere

Sjekke og tilpasse utstyr

Booke rom

Hovedinspektør mottar instruks

Planlegger logging og

varsling

Gjennomgang rutiner logging og

varsling

Gjennomlesing referansegruppe

Kandidat (ved lærestedene)

Nasjonal koordinator

Fagkomite/faggrupper

Eksamenskonsulent (lokalt)

IT-ansvarlig (ved lærestedene)

Eksamensvakt (ved lærestedene)

Arbeidsflyt – Nasjonal delprøve (pilot). GJENNOMFØRING

Instruks til eksamensvak

ter og IT

Håndtere unntak og avvik

Tilgjengelig under prøvens gjennomføring

Mottar instrukser fra eksamenskon

sulent

Pålogging eksamenssyst

em

Mottar oppmøte-

lister

Tilgjengelig under prøvens avvikling

Representanter er tilgjengelige under prøvens avvikling

Nasjonal IT monitorer underveis

Utarbeider besvarelse

Registrerer/identifiserer kandidater i

oppmøtelister

Starter eksamen

Tilsyn i eksamens-

lokalet

Oppdager fusk (start av formell

prosess)

Håndterer trekk av kandidat underveis

Leverer oppmøtelister til eksamenskons.

Hvis utlånt utstyr,

kontroll før oppstart

Brukerstøtte i eksamenssyst

em

Monitorerer kandidater, BS og logger

henvendelser

Sluttrapport til eksamenskons

Trekk under prøven?

Registrere hos

eksamens-vakt

Leverer besvarelse i

eksamenssyst

Sender sluttrapport til

nasj.koordinator

Mottar sluttrapporter

Faglærer tilgjengelig lokalt under testen

Kontroll av opplegget før

gjennomføring

Kommuniserer med nasj. koordinator

Mottar instrukser fra eksamenskon

sulent

Håndtere unntak og

avvik

Kandidat (ved lærestedene)

Nasjonal koordinator

Fagkomite/faggrupper

Eksamenskonsulent (lokalt)

IT-ansvarlig (ved lærestedene)

Arbeidsflyt – Nasjonal delprøve (pilot). ETTERARBEID

Mottar resultatRegistrerer i FS hvis

ikke automatiskPubliserer resultat

Mottar resultat

Beskjed til kandidater

Mottar sluttrapporter og resultatrapporter

Analyserer resultaterUtarbeider

sluttrapport og statistikk

Evaluerer gjennomføring med

fagkomite

Utarbeider sluttrapport

Mottar sluttrapporter og resultatrapporter

Sensurkomite evaluerer oppgaver og

resultat

Sluttevaluering med nasjonal koordinator

Sluttevaluering med nasjonal koordinator

Evaluerer gjennomføring med

institusjonene

Avlønne eksamensvakter

Vedlikeholder oppgavedatabase

Aktivitet Rolle System Fase Kommentar

Dato for prøven settes Nasjonal koordinator Forberedelesesfasen Settes av prosjekt, justeres fra år til år med timeplanlegging

Avtaler fremdrift m/nasj. Fagkomite og

institusjonene

Nasjonal

koordinator/Fagkomite/

Eksamenskonsulent

Forberedelesesfasen Fremdriftsplanverk, kommunikasjonsplan m.m må utarbeides

Utarbeider oppgaver Nasjonal fagkomite ForberedelesesfasenVi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og

samarbeid

Sørger for peer review Nasjonal fagkomite ForberedelesesfasenVi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og

samarbeid

Gjennomlesing referansegruppe Nasjonal fagkomite Forberedelesesfasen

Endelig versjon til nasjonal koordinator Nasjonal fagkomiteWord eller digitalt

eksamenssystemForberedelesesfasen

Vi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og

samarbeid

Mottar endelige oppgaver fra fagkomite Nasjonal koordinatorWord eller digitalt

eksamenssystemForberedelesesfasen

Vi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og

samarbeid

Administrativ kvalitetssikting oppgavesett Nasjonal koordinatorWord eller digitalt

eksamenssystemForberedelesesfasen Kontrollere formalia

Sørger for oversettelse i to målformer Forberedelesesfasen

Godkjenner oppgaver i to målformer Nasjonal fagkomite ForberedelesesfasenVi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og

samarbeid

Innlegging av oppgaver? ForberedelesesfasenVi vet ikke noe om system. Mulig oppgaver kan legges direkte inn av

fagkomite

Oblig. opprettes på vurd.enhet i FS Eksamenskonsulent FS Forberedelesesfasen

Legger info i timeplan og håndbøker Eksamenskonsulent Timeplansystem Forberedelesesfasen

Und.opptak og eksamensmeldingKandidat/Eksamens-

konsulentStudentweb/FS Forberedelesesfasen Eksisterende rutiner følges.

Utarbeide og koordinere informasjontil

kandidaterNasjonal koordinator Forberedelesesfasen

Bistå med informasjon til kandidater Eksamenskonsulent Forberedelesesfasen

Mottar informasjon/Blir kjent med

oppleggetKandidat Forberedelesesfasen

Søke om tilrettelegging Kandidat Lokale rutiner ForberedelesesfasenBør lages felles retningslinjer for tilrettelegging her, som må koordineres med

institusjonene.

Sjekke og tilpasse utstyr Kandidat Forberedelsesfasen Hvis aktuelt. BYOD eller utlånt utstyr?

Behandle og planlegge tilrettelegging Eksamenskonsulent FS, sak/arkiv ForberedelesesfasenBør lages felles retningslinjer for tilrettelegging, men behandling og arkivering

følger lokale rutiner

Booke rom Eksamenskonsulent Rombookingssystem/FS Forberedelesesfasen Viktig at dette skjer i samarbeid med nasjonal koordinator

Finne eksamensvakter Eksamenskonsulent FS Forberedelesesfasen Følger lokale rutiner

Booke IT-hjelp Eksamenskonsulent Forberedelesesfasen

Samordne kandidatnummerering Nasjonal koord. Forberedelsesfasen

Kandidatnummerering Eksamenskonsulent FS Forberedelsesfasen

Romplassering av kandidater Eksamenskonsulent FS Forberedelsesfasen

Behandling av unntakstilfeller Eksamenskonsulent FS Forberedelsesfasen

Forberede tilrettelegging Eksamenskonsulent Forberedelsesfasen

Sjekke infrastruktur IT-ansvarlig Forberedelsesfasen Sjekkliste utarbeides, eller lokale rutiner følges

Hovedinspektør mottar instruks Eksamenskonsulent FS Forberedelsesfasen Følger vanlige rutiner

Planlegge logging og varsling IT-ansvarlig/Nasjonal koord. Forberedelsesfasen Planlegger sammen med driftsansvarlig og lokale IT

Kontroll av opplegget før gjennomføringNasjonal koord./Eksamens-

konsulentGjennomføringsfasen

Instruks til vakter og lokal IT Eksamenskonsulent Gjennomføringsfasen

Tilgjengelige under prøvenNasjonal koord./Eksamens-

konsulent/FaglærerGjennomføringsfasen

Registrerer/identifiserer kandidater Eksamensvakt Eksisterende rutiner følges.

Håndtere unntak og avvik Eksamenskonsulent GjennomføringsfasenI henhold til regler for eksamensavvik. Må avtales varsling ved avvik knyttet

til prøven spesifikt.

Løpende brukerstøtte IT-ansvarlig Gjennomføringsfasen Lokalt

Håndtere unntak og avvik IT-ansvarlig Telefon, mail GjennomføringsfasenI henhold til oppgaver for IT-brukerstøtte under eksamen. Må avtales hva og

hvordan varsling ved avvik knyttet til prøven spesifikt.

Innlogging Kandidat Eksamensystem Gjennomføringsfasen Vi vet ikke noe om system, hvordan det skal gjøres?

Utarbeide eksamensbesvarelse Kandidat Digitalt system Gjennomføringsfasen

Trekk under eksamen Kandidat Gjennomføringsfasen

Levere besvarelse Kandidat Gjennomføringsfasen

Registrere oppmøteprotokoll Eksamenskonsulent FS Gjennomføringsfasen

Besøk av faglærer i lokale Nasjonal fagkomite Gjennomføringsfasen Faglærer som er utpekt til å være til stede

Kontroll av hjelpemidler Eksamensvakt Gjennomføringsfasen UIO har tillatt kalkulator på prøver og eksamener. Hva med de andre

Oppdage fusk under eksamen Eksamensvakt Gjennomføringsfasen

Tilsyn med kandidatene i lokalet Eksamensvakt Gjennomføringsfasen

Håndtere trekk og avvik Eksamensvakt GjennomføringsfasenI henhold til rutiner. Viktig å gå opp hva som skal håndteres/når noe skal

eskaleres

Løpende brukerstøtte IT-ansvarlig Gjennomføringsfasen Manuell aktivitet. Spesielt ved oppstart og innlevering. Løpende.

Logging og varsling Nasjonal koord. Gjennomføringsfasen Gen. monitorering av databasen

Brukerstøtte, logging og varsling IT-ansvarlig Gjennomføringsfasen

Levere sluttrapport til eksamenskonsulent IT-ansvarlig Gjennomføringsfasen

Mottar resultatrapporter og sluttrapporterNasjonal koord/Nasjonal

fagkomiteEtterarbeidsfasen

Sensurkomite vurderer resultatene Sensurkomite Etterarbeidsfasen

Mottar resultater Eksamenskonsulent Etterarbeidsfasen

Registrerer resultat i FS hvis ikke

automatiskEksamenskonsulent Etterarbeidsfasen

Publiserer resultat Eksamenskonsulent

Tilbakemelding til kandidater Eksamenskonsulent Etterarbeidsfasen

Mottar resultat Kandidat Studentweb Etterarbeidsfasen

Evaluerer gjennomføring

Nasjonal koord/Nasjonal

fagkomite/Eksamenskonsule

nt

Utarbeider statistikk og sluttrapportNasjonal koord/Nasjonal

fagkomiteFS Etterarbeid

Avlønne eksamensvakter Eksamenskonsulent FS, økonomisystem Etterarbeid Lokale rutiner