View
8
Download
0
Category
Preview:
Citation preview
Arbeidsgruppen for nasjonal delprøve i medisin
Nasjonal delprøve i medisinstudiet
Rapport til Nasjonalt utdanningsmøte i medisin
2015
2
Tittel: Nasjonal delprøve i medisinstudiet: Rapport til Nasjonalt utdanningsmøte i medisin.
Forfattere: Jan Frich, Hanne-Guro Aabelvik, Tobias S. Slørdahl, Marte Laugen, Anders
Bærheim, Eirik Dalheim, Kristin Walter, Elin Holm, Henrik Schirmer, Stine Andersen og
Eivind Valestrand.
Bergen/Oslo/Tromsø/Trondheim, 2015.
3
Innhold 1. Bakgrunn, mandat og gruppens arbeid ............................................................................... 4
2. Oppsummering av arbeidsgruppens forslag og anbefalinger .............................................. 5
3. Læringsutbytte og læringsutbyttebeskrivelser .................................................................... 7
4. Studentperspektivet på en nasjonal prøve i medisinstudiet ................................................ 8
5. Nasjonale prøver i et internasjonalt perspektiv ................................................................. 10
6. Testing av klinisk resonnement ved en skriftlig prøve ..................................................... 13
7. Godkjenning, standardsetting og tilbakemelding til studentene ....................................... 17
8. Utvikling, kvalitetssikring og vedlikehold av oppgaver ................................................... 19
9. Bencharking og kvalitetsutvikling ved det enkelte studiested .......................................... 21
10. Administrativ organisering ............................................................................................... 21
11. Budsjett, ressursbehov og fremdriftsplan ......................................................................... 25
4
1. Bakgrunn, mandat og gruppens arbeid Det nasjonale utdanningsmøtet i medisin vedtok 10. oktober 2014 å starte arbeidet med en
pilot på en nasjonal delprøve i medisin. Forslag til mandat ble forelagt nasjonalt
utdanningsmøte 11. mars 2015. Godkjent mandat var klart 7. april, sammen med en oppnevnt
arbeidsgruppe. Arbeidsgruppen ble bedt om å levere et løsningsforslag til det Nasjonale
utdanningsmøte i medisin i høstsemesteret 2015.
Arbeidsgruppen har bestått av Jan Frich (UiO), Hanne-Guro Aabelvik (UiO), Tobias S.
Slørdahl (NTNU), Marte Laugen (NTNU), Anders Bærheim (UiB), Eirik Dalheim (UiB),
Kristin Walter (UiB), Elin Holm (UiT), Henrik Schirmer (UiT), Stine Andersen
(studentrepresentant UiT) og Eivind Valestrand (studentrepresentant, UiB). Studentene
representerer både læresteder som har innført gradert karakterskala A-F og læresteder som
bruker karakterskalaen bestått/ikke bestått. Arbeidsgruppen har vært ledet av Jan Frich og har
hatt sitt sekretariat ved UiO.
Mandatet har vært «å utarbeide en skriftlig digital delprøve i klinisk resonnement som bygger
på læringsmål som er gjenfinnbare i studieplanen på alle fire læresteder til og med 11.
semester. Delprøven gis til 6. års studenter som er inne i sitt 12. semester, tidlig i
vårsemesteret. Prøven skal ha et omfang på 2-4 timer og vurderes med godkjent/ikke
godkjent». Videre heter det at: «De 4 læresteder må definere piloten av den nasjonale
delprøven som et arbeidskrav i det aktuelle 6. års emne. Arbeidskravet er gjennomført pilot
nasjonal delprøve. Gruppen kan foreslå løsning for hvordan man får testet vårkullet ved UiO
og UiB.» Det er på det rene at delprøven i pilotfasen skal ha status som «obligatorisk
arbeidskrav» og ikke skal være en erstatning for regulære eksamener ved de enkelte
studiesteder.
Arbeidsgruppen mener mandatet har lagt tydelige rammer for arbeidet, og at det legger opp til
benchmarking og samordning/standardisering som målsettinger for en nasjonal delprøve.
Videre mener vi at resultater fra en slik nasjonal prøve vil kunne brukes av det enkelte
studiested for å vurdere egne eksamener og standardsetting. Resultatene fra prøven må
tilrettelegges slik at studiestedene kan få tilbakmeldinger og muligheter for å sammenlikne
resultater på tvers av studiestedene. Fakultetenes arbeid med å heve kvaliteten og utvikle egen
studieplan og undervisning må forankres lokalt gjennom programråd, andre etablerte organer
og i dialog med studentene.
De vitenskapelige representantene samt studentrepresentantene har undersøkt lærestedenes
læringsmål og foreslår at et arbeid med en pilot tar utgangspunkt i klinisk resonnement knyttet
opp mot tre fagområder (kardiologi/thoraxkirurgi, gastroenterologi/gastrokirurgi,
nefrologi/urologi). De administrative representantene har sett på hvordan en nasjonal delprøve
kan gjennomføres, særlig med tanke på at den skal kunne gis digitalt. De har også sett på
hvordan den kan knyttes opp mot de aktuelle kursene som et obligatorisk arbeidskrav.
Gruppens arbeid har bestått av samlinger 11. juni og 14. oktober samt telefonmøter underveis.
Eksterne interessenter som NOKUT, NSO og Legeforeningen har vært involvert, sistnevnte
blant annet gjennom dialog med Nmf.
Jan Frich,
Leder av arbeidsgruppen
5
2. Oppsummering av arbeidsgruppens forslag og anbefalinger
Om videre arbeid med nasjonal prøve:
Arbeidsgruppen er enig om at det er mulig å jobbe frem en prøve på bakgrunn av de
eksiterende læringsmålene til tross for at de er ulike i detaljeringsnivå. Utviklingen av
konkrete oppgavesett basert på læringsmålene er et større arbeid som krever mer tid
enn arbeidsgruppen har til rådighet (med leveranse til 30.10.2015). Vi anbefaler at
arbeidsgruppen fortsetter som et prosjekt som viderefører arbeid med en pilot 2016.
Vi anbefaler at det videre arbeidet med prøve tar utgangspunkt i et begrenset antall
fagområder: kardiologi og thoraxkirurgi, gastroenterologi og gastrokirurgi, samt
nefrologi og urologi. Oppgavene bør ha en allmennmedisinsk vinkling.
Arbeidsgruppen foreslår en videre fremdriftsplan for et pilotprosjekt, hvor det tas sikte
på å gjennomføre to piloter, en minre pilot høst 2016 og en pilot ved alle studiesteder
vår 2017.
Om prøveformatet:
Vi anbefaler at nasjonal delprøve i medisin består av én enkelt oppgavetype og da
fortrinnsvis ett-beste-svar-flervalgsoppgaver av A-type.
Vi anbefaler at hovedvekten av spørsmålene er enkeltstående men at man tar sikte på
å prøve ut inntil 25 % sekvensielle oppgaver i prøven (maksimalt 3 spørsmål i
sekvens).
Vi anbefaler at man etter hvert som man tilegner seg erfaring med prøveformatet
vurderer å utvide nasjonal delprøve med maksimalt ett spørsmålsformat
Man bør tilstrebe å lage en delprøve med så høy reliabilitet og validitet som mulig. Dette kan oppnås ved å utnytte maks testtid innenfor mandatet, altså 4 timer og ved å
benytte et prøveformat som tillater så mange oppgaver som mulig på 4 timer
o I en pilot anbefaler vi å starte med 120 spørsmål (2 minutter per oppgave) og at
antallet kan vurderes økt på sikt
Delprøvens reliabilitet (interne konsistens) bør ligge >0.90
Registrering av prøvedata må være slik at man lett kan beregne psykometri etter prøveadministrasjon
Om godkjenning, standardsetting og tilbakemelding
I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og
at godkjenningskravet vil være «gjennomført prøve». På sikt bør det etableres et
minimumskrav for tilfredsstillende resultat
Det gis ikke graderte karakterer på den nasjonale prøven, men det bør gis en automatisert skriftlig tilbakemelding til alle studenter.
Det skal brukes en internasjonalt anerkjent og validert metode for standardsetting på den nasjonale delprøven
Alle oppgaver inneholder en fasit med forklaring for senere læring
Alle delprøver med fasit er offentlig tilgjengelig
Vi anbefaler at det kjøpes inn, evt. utvikles, et studentbrukergrensesnitt til en nasjonale flervalgsoppgavedatabasen som kan brukes til læring.
Om utvikling, kvalitetssikring og vedlikehold av eksamensspørsmål:
Vi anbefaler at det opprettes nasjonale fagkomiteer bestående av representanter fra
hvert av de 4 fakultetene som har ansvar for å lage et rammeverk (blueprint) for
6
spørsmål i det enkelte fag. Fagkomiteene må samarbeide med faglig prosjektleder om
dette.
Vi anbefaler at disse komiteene lager og kvalitetssikrer spørsmål i sine fag.
Vi anbefaler at det utføres ekstern og anonym fagfellevurdering av alle eksamensspørsmål. En slik gruppe bør bestå av nyutdannede sykehusleger, en
spesialist og allmennleger.
Vi anbefaler at det utføres oppgaveanalyse etter hver eksamen og at spørsmål som ikke har fungert, fjernes eller revideres. Det må etableres en sensurkomite som
vurderer sensureringen og gjør analyse av oppgavene og kvalitetssikrer tilbakemelding
til studentene.
Studenter som har tatt prøven bør gis anledning til å komme med sine tilbakemeldinger på enkeltspørsmål, i tillegg til at eksamen som helhet evalueres-
Vi anbefaler at alle eksamensspørsmål oppbevares i en nasjonal databank for spørsmål
til nasjonal delprøve. Det må utarbeides en kravspesifikasjon som legger grunnlaget
for å sjekke ut om det finnes en løsning på markedet
Vi anbefaler at det opprettes en stilling som vedlikeholder og oppdateringer eksamensdatabasen.
Om benchmarking og kvalitetsutvikling
Resultater fra prøven må tilrettelegges slik at studiestedene kan få tilbakmeldinger og
muligheter for å sammenlikne resultater på tvers av studiestedene.
Om administrativ organisering
Vi anbefaler at det prosjektet støttes av en nasjonal administrativ koordinator for delprøven i 50 % stilling.
Hvert lærested må sette av ressurser som jobber opp mot den nasjonale koordinatoren
Det må utvikles en løsning for prøven i et format som kan eksporteres til de
verktøyene som benyttes ved de ulike universitetene.
7
3. Læringsutbytte og læringsutbyttebeskrivelser Arbeidsgruppen har hatt i oppgave å finne læringsmål lærestedene har felles innen klinisk
resonnement. Vi har samlet inn læringsutbyttebeskrivelser og læringsmål fra alle
studiestedene og disse er blitt vurdert og diskutert. Vi har gjort oss følgende observasjoner og
vurderinger:
På et overordnet nivå er det god overenstemmelse i utbyttebeskrivelser og mål nasjonalt, men
samtidig har de ulike studiestedene ulik grad av detaljnivå i sine beskrivelser. Læringsmålene
for 11. og 12. semester ved studiet i Oslo har et omfang på 6-7 sider. De deler som spesifikt
kan sies å omhandle klinisk resonnement er relativt generelt formulert:
«Forstå kompleksiteten i vanlige sykdomsbilder og lære seg en systematisk
fremgangsmåte i klinisk arbeid. Kunne foreslå og begrunne ulike typer terapeutisk
intervensjon, spesielt medikamentell og kirurgisk, og opplegg for kontroll og
pasientinformasjon under og etter behandling»
Vi finner tilsvarende formuleringer i beskrivelsene av forventet læringsutbytte for 6. året ved
Universitetet i Tromsø:
«Foreslå supplerende undersøkelser som kan bidra til å stille sikrere diagnose; Tolke
og vurdere resultater av vanlige klinisk-kjemiske, farmakologiske, hematologiske,
mikrobiologiske og immunologiske undersøkelser, ut fra oppgitte referanseverdier;
Tolke og vurdere billeddiagnostiske undersøkelser (rtg, CT, MR) utfra oppgitte
vanlige og/eller viktige avvik fra det normale; Redegjøre for og diskutere prinsippene
for behandling av vanlig forekommende sykdommer; Gjøre rede for og diskutere
medikamentvalg og andre behandlingsformer; Gjøre rede for og diskutere prinsipper
for palliativ behandling ved langt-kommende sykdom, inkludert alternativ og
komplementær medisin».
Her er eksempler på formuleringer fra Universitetet i Bergen:
«kunne ta opp ein god anamnese og utføre ei klinisk allmennmedisinsk undersøking
innan ulike fagområder; «kunne avklare tidlige, ikkje-differensierte stadium av
sjukdom og ta avgjørsler om enkle tilstander som kan ferdigbehandlas i
allmennpraksis; kunne ta stilling til kva for pasientar som skal visast til
spesialisthelsetenesta og med kva hastegrad.»
Utbyttebeskrivelser og mål er gjennomgående formulert ved utgangen av 6. året (12.
semester), og det må etableres en mekanisme for å avklare med lokale miljøer hva som er
undervist frem til første del av 12. semester.
Flere studiesteder har pågående revisjon av sine studieplaner, med tilhørende revisjon av
læringsmål og læringsutbyttebeskrivelser, slik at mål og beskrivelser er under endring og
kommer til å gjennomgå endringer de nærmeste årene.
Konsekvensen av dette er at det er vanskelig å tenke seg å forankre en nasjonal prøve eller
eksamen i spesifikke læringsmål og beskrivelser. Vi ser for oss at det må etableres nasjonale
fagkomiteer for ulike fagområder, med representasjon fra alle studiesteder, og at slike
8
komiteer vil kunne utvikle og vurdere eksamensspørsmål opp mot hva som faktisk blir
undervist eller dekket i de ulike studieplaner. Komiteene bør ha representasjon fra de enkelte
spesialiteter innen indremedisin og kirurgi, samt fra allmennmedisin. Det bør etableres en
ordning med «peer review» i form av at nylig utdannede kandidater vurderer og gir
tilbakemelding på spørsmål.
Arbeidsgruppens anbefalinger:
Arbeidsgruppen er enig om at det er mulig å jobbe frem en prøve på bakgrunn av de
eksiterende læringsmålene til tross for at de er ulike i detaljeringsnivå. Utviklingen av
konkrete oppgavesett basert på læringsmålene er et større arbeid som krever mer tid
enn arbeidsgruppen har til rådighet (med leveranse til 30.10.2015). Vi anbefaler at
arbeidsgruppen fortsetter som et prosjekt som viderefører arbeid med en pilot 2016.
Vi anbefaler at det videre arbeidet med prøve tar utgangspunkt i et begrenset antall
fagområder: kardiologi og thoraxkirurgi, gastroenterologi og gastrokirurgi, samt
nefrologi og urologi. Oppgavene bør ha en allmennmedisinsk vinkling.
4. Studentperspektivet på en nasjonal prøve i medisinstudiet Nasjonal eksamen eller prøve har det siste året vært et omdiskutert tema i student-Norge.
Temaet debatteres i mange ulike fagområder, og medisinstudentene er blant dem som har tatt
diskusjonen mest på alvor. Arbeidsgruppen har vært opptatt av en god dialog med studentene
og å få frem deres synspunkter. I det følgende vil vi oppsummere de innspillene studentene
har fremmet utfra hvordan prosessen ser ut i dag.
Norsk medisinstudentforening
De lokale studentdemokratiene arrangerte i samarbeid med Norsk medisinstudentforening
(Nmf) våren 2015 allmøter om nasjonal prøve ved alle de medisinske studiestedene i Norge.
Debattene ble brukt til å sende innspill til hva Nmf skulle vedta som sin offisielle politikk
omkring nasjonal prøve på deres landsmøte i mars 2015. Nmf tok noen klare standpunkt, som
en kan anta at vil også gjelde for store deler av studentmassen på medisinstudiet1. Nmf mener
en nasjonal prøve for medisinstudiet skal:
i hovedsak benyttes til å forbedre utdanningskvaliteten
ikke kunne brukes av arbeidsgiver i vurdering av jobbsøknader
ta utgangspunkt i nasjonale læringsmål. Nmf har argumentert for nasjonale læringsmål
i flere år
gi studenter en formativ tilbakemelding, slik at den kan benyttes som et pedagogisk
verktøy
Norsk studentorganisasjon
Der Nmf ikke tok noe standpunkt for eller mot nasjonal prøve, og heller signaliserte
studentenes behov i en slik prøve, valgte Norsk studentorganisasjon (NSO) å gå hardt ut mot
1 Fråsegn frå Norsk medisinstudentforening om nasjonal prøve for medisinstudiet. Trondheim: Norsk
medisinstudentforening, 2015. http://legeforeningen.no/Student/Norsk-
medisinstudentforening/Nyheter/2015/Frasegn-fra-Norsk-medisinstudentforeining-om-nasjonal-prove-for-
medisinstudiet/ (22.09.2015)
9
nasjonale deleksamener2. Dette i hovedsak grunnet en oppfatning av at nasjonal deleksamen
er et angrep på, og en spiker i kisten for, akademisk frihet. Deres frykt er at nasjonale prøver
vil ta fokus bort fra andre fag som ikke testes nasjonalt, og slik kunne bli drepen for faglig
integritet og kreativitet hos den enkelte institusjon. Nasjonal standardisering kan være til
hinder for lokale tilpasninger. De mener også at karaktergiving på en slik eksamen, som
følger studentens vitnemål, vil være uheldig. Særlig er de skeptiske grunnet at de mener dette
vil medføre en urettferdig rangering av de ulike institusjonene.
Selv om NSO har tatt et sterkt standpunkt mot nasjonale deleksamener, er det tydelig delte
meninger om dette i student-Norge. Norsk sykepleierforening student (NSFs) har stilt seg
positiv til innføring av nasjonal deleksamen på sykepleiestudiet3. De mener det er viktig å
fastsette nasjonale standarder og krav, og samtidig utvikle systemer som kan etterprøve disse.
Derfor anser NSFs innføringen av nasjonal deleksamen på sykepleiestudiet som et viktig
virkemiddel i arbeidet med kvalitetsutvikling og -sikring av undervisning og studentenes
læringsutbytte på sentrale fagfelt.
Særlig viktige momenter for studentene
Forberedelse til prøven
Det er viktig at studentene opplever det som konkret hva som ligger i prøven slik at de vet hva
de skal forberede seg til. Det bør derfor foreligge eksempel oppgaver, samt tydelig og god
informasjon om rammene for prøven, hva den vil benyttes til og hvilket utbytte studentene vil
ha av å gjennomføre prøven.
Omfang av prøven
Prøven kan ikke være av et slikt omfang at den tar vekk fokus fra ordinært studie. Her vil det
også være viktig med god informasjon, slik at studenter ikke gjør mer ut av prøven enn det
den er ment å være. Det må ansees som svært viktig at nasjonal prøve ikke blir et stort
arbeidskrav som gir mye ekstraarbeid for studentene. Dette vil kunne øke stressnivå og føles
som en stor belastning, i en allerede krevende fase av studiet.
Tidsbruk
I tillegg til selve prøvedagen vil prøven også stjele tid som potensielt kunne vært brukt på
utdanningen ved sitt studiested i forberedelse til prøven. Det må unngås at nasjonal prøve blir
så tidkrevende at den blir på bekostning av ordinære studier.
Tilbakemelding
Det er særlig viktig at studentene får en tilbakemelding om hvordan de gjør det på prøven,
gjerne i form av en score. Slik kan studentene også oppleve en nytte av å ta prøven, og
dermed ha motivasjon til å gjennomføre prøven på en god måte. Det er særlig ønskelig med
tilbakemelding som konkretiserer hvordan studenten har gjort det i hver enkelt del av prøven,
slik at studenter får informasjon om hva den mestrer og hva den kan utvikle videre. Samtidig
oppfatter vi en tydelig holdning om at prøven ikke skal være karaktergivende og kunne føres
på vitnemålet.
2 Nasjonale deleksamen - ensretting og overformynderi. Oslo: Norsk studentorganisasjon, 2015.
http://student.no/content/uploads/2014/05/Resolusjon-Nasjonale-deleksamener-ensretting-og-
overformynderi.pdf (22.09.2015) 3 Jensen AB. Karakterkrav splitter sykepleien. Studvest 03.09.2015 http://www.studvest.no/karakterkrav-splitter-
sykepleien/ (22.09.2015)
10
Form
Det er helt nødvendig at de ulike studiestedene gir en lik trening i vurderingsformen til
nasjonal prøve. Her er det per nå store forskjeller mellom studiestedene, og dette må det tas
høyde for ved vurdering av eksamensscore mellom studiesteder. Vi anser dette som et av de
viktigste poengene fra studentene.
Medisinstudenter i utlandet
For norske medisinstudenter i utlandet kan det være viktig at en eventuell nasjonal eksamen
etter autorisasjon også åpnes for dem slik at de ikke risikerer å bli diskriminert i mangel på en
eventuell prøve. Dette kan også være viktig for å gi dem mulighet til å bevise at de er
jevngode med leger utdannet i Norge, samt som en kvalitetssikring på dem som skal inn i det
norske helsevesenet.
Arbeidsgruppen noterer at:
Medisinstudentenes oppfatning er at en nasjonal prøve kan utvikles til å bli et verktøy i arbeid med utdanningskvalitet.
Studentene ønsker først og fremst at prøven skal fungere som et pedagogisk verktøy
for den enkeltes læring og at prøven må gjennomføres ut i fra like betingelser hva
gjelder trening i å besvare oppgavetypene som benyttes.
5. Nasjonale prøver i et internasjonalt perspektiv Dersom en nasjonal prøve skal utvikles i Norge, er det naturlig å undersøke hvordan det
arbeides med dette i en internasjonal sammenheng. Nasjonale prøver finnes i mange land, og i
de fleste land er dette prøver som må bestås for å få lisens for å praktisere som lege.
Arbeidsgruppen har gått gjennom de største og mest kjente prøvene (Tyskland, USA,
Canada), samt den yngste nasjonale prøven (Sveits). I tillegg har vi sett på progresjonstesten,
som bl.a. benyttes i Nederland, og gis regelmessig underveis i et studieløp for å måle
individuell progresjon. Vi oppsummerer her kort hvordan de ulike prøvene gjennomføres.
USA
National Board of Medical Examiners (NBME)4 har arrangert nasjonale prøver i USA siden
1922. Prøven heter nå The United States Medical Licensing Examination (USMLE)5. Det
administreres årlig 141.000 prøver. Den totale testiden er 39 timer og prisen for alle prøvene
er US$2700. Prøven finansieres, lages og administreres av Educational Commission for
Foreign Medical Graduates, Federation of State Medical Boards og National Board of
Medical Examiners. Selve eksamensoppgavene oppstår i eksamenskomiteer bestående av
medisinske undervisere og klinikere. Komitémedlemmene består av representanter fra
lærings-, praksis- og lisenseringsmiljøene i hele landet. Alle som vil praktisere i USA, fra
nasjonale og internasjonale universiteter, må bestå disse eksamenene. Av amerikanske
studenter er det >95 % som består på første forsøk. USMLE består i dag av 4 separate
eksamener:
Step 1: Tester anvendt kunnskap i basalfag. Prøven går over 1 dag på 8 timer og består av 308
flervalgsoppgaver.
Step 2 – «Clinical Skills CS»: Tester kommunikasjon, somatisk undersøkelse og tolkning av kliniske data. Arrangeres i
siste studieår og gjennomføres som en OSKE.
4 http://www.nbme.org/
5 http://www.usmle.org/
11
Step 2 – «Clinical Knowledge CK»: Tester kunnskap i klinisk medisin. Arrangeres på siste studieår, 1 dag 9 timer og 350
flervalgsoppgaver.
Step 3: Tester applikasjon av klinisk kunnskap og pasienthåndtering. Eksamen går over 2 dager
hvor 1. dag på 7 timer består av 256 flervalgsoppgaver og inkluderer også en
legemiddelreklame og et vitenskapelig abstrakt, mens 2. dag på 9 timer består av 198
flervalgsoppgaver og 13 kasussimuleringer.
Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver av A-type og R-type (se kapittel 6 for
forklaring). De har også sekvensielle oppgaver i sett.
Canada
Eksamen arrangeres av Medical Council of Canada (MCC) og heter MCCs qualifying
examinations. De administrerer årlig 10.000 tester, den totale testtiden er 10.5 timer og prisen
for alle prøvene er US$2150. Internasjonale studenter må ta en fortest. Prøven lages av bredt
sammensatte testkomiteer. Den kanadiske prøven er en lisenseringsprøve som består av to
deler6:
Part 1: Etter fullført studium og tester legens kunnskaper, kliniske ferdigheter og
holdninger. Prøven går over 1 dag hvor 3,5 timer er satt av til 196 flervalgsoppgaver og 4
timer er satt av til en klinisk beslutningslære komponent hvor de bruker meny og
kortsvarsspørsmål.
Del 2: Tester de samme ferdighetene som i part 1, men arrangeres som en OSKE.
Spørsmålsformatet på er ett-beste-svar-flervalgsoppgaver.
Tyskland
Institut für medizinische og pharmazeutische Prüfungsfragen (IMPP) lager eksamen,
forbereder testen og bestemmer poenggivningen, mens det er Landesprüfungsämtern (LPÄ)
som gjennomfører eksamen og informerer studentene om resultatet. Læringsmål er kjent
gjennom IMPP sin ”Gegenstandkatalog”. Den tyske prøven er en lisenseringsprøve
bestående av 3 deler7:
Erster Abschnitt: Også kalt ”Das Physikum”, hvor basalfagene testes. Kan tidligst gjennomføres etter 4.
Semester. Har en muntlig-praktisk del i anatomi, biokjemi, fysiologi og
psykologi/sosiologi) og en skriftlig del over 2 dager á 4 timer som består av totalt 320
flervalgsoppgaver.
Zweiter Abschnitt: Skriftlig prøve før studentenes ”Praktisches Jahr” – altså før 5. studieår. Går over 3 dager
á 5 timer og består av 320 flervalgsoppgaver.
Dritter Abschnitt:
Muntlig-praktisk prøve etter ”Praktisches Jahr” og består av 2 dager, 4 x 45-60 minutter
og man testes i indremedisin, kirurgi og et valgt fag.
Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver av A-type og R-type. De har også
sekvensielle oppgaver i sett.
6 http://mcc.ca/examinations/
7 Chenot, J.F. Undergraduate medical education in Germany. GMS German Medical Science 2009;Vol.7, 1612-
3174
12
Sveits
Swiss federal licencing examination (FLE) er den yngste av de store nasjonale eksamenene og
ble gjennomført for første gang i 2011. Eksamen utvikles sentralt, men administreres lokalt.
Spørsmålene ble skrevet av erfarne klinikere fra alle de fem sveitsiske fakultetene og disse ble
igjen kvalitetssikret av interfakultet og interdisiplinære grupper av sykehusleger og
allmennleger. Den sveitsiske prøven er en lisenseringsprøve bestående av 2 deler8:
MCQ: Tester klinisk resonnering. Oppgaver med pasientvignett. Prøven går over 2 dager
á 4,5 timer med totalt 300 flervalgsoppgaver.
CS (clinical skills): OSKE med standardiserte pasienter. Består av 12 stasjoner på 3 timer
og 45 minutter.
Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver og multiple true/false-
flervalgsoppgaver.
Interuniversity Progress Test Medicine - Progresjonstesten
Progresjonstesten er en standardisert test bestående av 200 flervalgsoppgaver fra hele
medisinstudiet. Testen benyttes i mange land, men stammer opprinnelig fra Maastricht
University i Nederland og University of Missouri-Kansas City School of Medicine i USA9.
Nederland benytter testen og har ikke en avsluttende prøve knyttet til lisensering. Testen
utvikles og vedlikeholdes i et samarbeid mellom de deltagende institusjonene mens selve
prøveadministrasjonen administreres lokalt.
Hver tredje måned får alle medisinstudenter ved de medisinske fakultetene samme test,
uavhengig av hvor langt de har kommet i studiet. Spørsmålene hentes fra en database med
over 60 000 spørsmål på originalspråket og over 10 000 spørsmål på engelsk. Benyttede
spørsmål får en karantenetid på tre år før de kan anvendes på nytt. Studentene kan følge sin
egen utvikling gjennom studiet ved å følge egne resultater i et studieadministrativt system10
.
Ved å analyse gruppescore på testen, har en internasjonalt (Nederland, Tyskland og Italia)
sammenlignet hvordan ulike studiesteder gjør det på ulike fagområder11
.
Oppsummert
Felles for alle de store nasjonale prøvene er at de i stor grad er lisenseringsprøver som
utvikles av egne institusjoner i det landet de gis. Administrasjon av prøvene er sentralt
(USA, Canada) eller lokalt (Tyskland, Sveits). Dette er prøver med store konsekvenser
for studentene hvis stryk, noe som stiller høye krav til reliabilitet og validitet.
Fellesnevneren for alle prøvene er at alle benytter seg av flervalgsoppgaver av A-type
pluss ett eller flere andre formater, som er noe ulikt fra land til land.
8 Guttormsen S et al. The new licencing examination for human medicine: from concept to implementation.
Swiss licensing examination for human medicine. Swiss Medical Weekly. 2013;143:w13897 9 Van der Vleuten CPM, Verwijnen GM, Wijnen WHFW, et al. Fifteen years of experience with progress testing
in a problem-based learning curriculum. Medical Teacher 1996;18:103-110. 10
Bærheim A, Høvding G, Wiker H, et al. Rapport fra Arbeidsgruppe 3: Utredning om lærings- og
vurderingsformer i ny studieplan i medisin - ’Gi oss ansvar!’. Universitetet i Bergen, 2013 http://www.uib.no/filearchive/rapport-fra-arbeidsgruppe-3-for-ny-studieplan-2-.pdf 11
Albano MG, Cavallo F, Hoogenboom R, et al. An international comparison of knowledge levels of medical
students: the Maastrich Progress Test. Medical Education 1996;30:239-245
13
Progresjonstesten er eksempel på en formativ test som ikke er knyttet opp mot
lisensering. Arbeidsgruppen mener en kan se på muligheten for å kjøpe innsikt i den
engelskspråklige databasen, for å hente inspirasjon til spørsmål som hjelp til nasjonale
fagkomiteer. Ved å benytte den engelske versjonen av progresjonstest kan en og se på
muligheten for å utvikle seg mot internasjonalt samarbeid over tid og slik kunne gi
større utviklingspotensial til andre typer nasjonale prøver for medisinstudiet.
6. Testing av klinisk resonnement ved en skriftlig prøve
Hva er klinisk resonnement?
Klinisk resonnement kan beskrives og kanskje defineres som de vurderinger en lege foretar i
samspill med pasienten og basert på tre sett kliniske data. Legens vurderinger kan lede til
kliniske handlinger og beslutninger. En novise vil ofte følge læreboka i sitt kliniske
resonnement, mens en erfaren kollega med et erfarent blikk og noen få kontrollspørsmål kan
komme til sin konklusjon. Deler av klinisk resonnement kan ha narrativ karakter.
Flere kunnskapssett møtes i et klinisk resonnement. Det første settet kunnskaper innehar legen
ved sin kliniske kompetanse (kunnskaper, ferdigheter og diverse andre profesjonelle
egenskaper). Denne profesjonelle kompetansen er operasjonell i klinisk arbeid, men er også
høylig situert idet dens operasjonelle uttrykk vil variere med klinisk kontekst, avhengig av
interaksjon med pasienten, tidligere erfaringsgrunnlag og den sosiokulturelle settingen den
kliniske interaksjonen foregår i.
Den andre delen av de tre kunnskapsbasene som klinisk resonnement forutsetter er data fra
pasienten. En har oftest tilgang til bakgrunnsdata og ikke minst kunnskap en får gjennom å
snakke med pasienten, pluss ved å benytte de fleste andre sansene, inklusive lukt og berøring.
Sykehistorien er imidlertid ofte underkodet, det vil si at dataene ikke er tilstrekkelige nok til å
kunne ta beslutninger eller gjøre konkrete eksplisitte resonnementer.
Det tredje datasettet en benytter kommer fra det sosiokulturelle landskapet som
konsultasjonen foregår i. En leges kunnskap er ujevnt fordelt over dette store kontinuumet av
kunnskaper, innsikter og kanskje visdom. Kunnskapsutviklingen i konsultasjonen og de
kliniske resonnementene vil variere med for eksempel legens kommunikative innsikt i en
platearbeiders arbeidsdag (eks. kvinne med vond rygg) eller i en ung abortsøkendes
livssituasjon. Tørrhoste vil eksempelvis vurderes forskjellig avhengig av pasientens alder og
bakgrunn. Ofte er imidlertid pasientens bakgrunn og livssituasjon mye mer kompleks, og det
bildet en får er sterkt avhengig av hvordan en kommuniserer med pasienten.
Det kliniske resonnementet kan bevege seg frem og tilbake mellom disse tre
kunnskapskildene avhengig av hvilke prosesser som aktiveres. Taus kunnskap vil spille inn på
måter en vanskelig kan få oversikt over.
Man kan argumentere for at testing av klinisk resonnement best gjøres i faktiske kliniske
situasjoner der kandidaten møter en reell pasient. Som vist ovenfor er prøver knyttet til
lisensering internasjonalt gjerne av en blanding av skriftlig testing og muntlige og praktiske
tester. Det samme er tilfellet for medisinstudiene i Norge, hvor studentene gjennom et
studieløp møter både skriftlige, muntlige og praktiske vurderingsformer.
14
Prøveformatet – oppgavetyper og oppgavesett
Mandatet gir en bestilling om en skriftlig prøve. I det følgende vil vi derfor diskutere hvilke
muligheter man har når man skal lage en skriftlig nasjonal delprøve i klinisk resonnement.
Det finnes to hovedoppgavetyper av skriftlige oppgaver; konstruerte svar (constructed-
response)-oppgaver og valgte svar (selected-response)-oppgaver. Etter at man har tatt stilling
til hvilken oppgavetype(r) man skal ha kan man i det videre ta stilling til hvorvidt man skal ha
sett bestående av enkeltoppgaver, multiple oppgaver i sett eller sekvensielle oppgaver.
Konstruerte svar-oppgaver
Konstruerte svar-oppgaver benyttes av alle de medisinske fakultetene i Norge i dag og er
oppgavetyper hvor studenten selv må formulere et svar på et spørsmål. Eksempel på slike
oppgaver er essay- og kortsvarsoppgaver. Fordelene med konstruerte-svar oppgaver er at
disse tillater at man tester studentens evne til å formulere seg, deres skriveferdigheter, evne til
å drøfte, evne til å organisere logiske tanker osv. Disse oppgavene har også muligheten for
sensor å gi en gradert poengsum basert på en skjønnsmessig vurdering, fremfor en alt-eller-
intet poengsum som man har i valgte svar-oppgaver. Disse fordelene oppveier dog ikke
ulempene med slike oppgavetyper. Disse oppgaveformatene er vanskelig å skåre nøyaktige og
reliabelt. Sensurering av slike oppgavetyper utfordres av mange bias hos den menneskelige
sensor. Det tar også lang tid å sensurere eksamensbesvarelser med konstruerte svar og det er
lite kostnadseffektivt.
Validitet er en annen hovedutfordring med konstruerte svar-oppgaver. Dette gjelder spesielt
når store fagfelt skal testes. Det tar lengre tid å besvare konstruerte svar-oppgaver og dermed
får man testet en relativt liten del av eksamenspensum på en prøve på 4 timer.
Eksamensvaliditeten blir derfor lav12
. Ingen av de kjente store nasjonale prøvene benytter seg
av konstruerte svar-oppgaver, med unntak av i Canada13,
14,
15
.
Anvendelse av denne typen oppgaver vil også medføre noe større ressursbehov i
gjennomføringen i form av sensorer som retter manuelt (selv i et digitalt system). Ved denne
oppgavetypen er det derfor vanlig å gjøre analyser for å kalibrere de ulike sensorenes
vurderinger for å sikre like betingelser for kandidatene.
Valgte svar-oppgaver
Valgte svar-oppgaver, med flervalgsoppgaven (FVO) som vanligste format, er det mest brukte
og standardiserte eksamensformatet man har. Som nevnt tidligere bruker de store nasjonale
prøvene dette eksamensformatet, noe som sikrer høy reliabilitet og validitet. I Norge benyttes
flervalgsoppgaver som eksamensformat både ved UiO og NTNU. NTNU har lengst erfaring
mer formatet og hvor det i dag utgjør 60 % av alle skriftlige eksamener. UiO har i dag digital
eksamen med flervalgsoppgaver ved 6 av 9 skriftlige eksamener innenfor medisinstudiet og
antallet vil være økt til 8-10 når ny studieplan er innført i 201716
. UiB har begynt å ta i bruk
slike oppgavetyper i forbindelse med innføring av digitale eksamener ved medisinstudiet, og
UiT har flervalgsoppgaver som i noen av sine eksamener og underveistester.
12
Downing SM. Written Tests - Contructed-Response and Selected-Response Formats. In: S.M. D, R. Y, editors.
Assessment in Helath Professions Education. New York: Routledge, 2009: 149-84. 13
Chenot JF. Undergraduate medical education in Germany. Ger Med Sci 2009; 7: Doc02 14
Guttormsen S, Beyeler C, Bonvin R, et al. The new licencing examination for human medicine: from concept
to implementation. Swiss Med Wkly 2013; 143: w13897. 15
Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical Licensing Examination
(USMLE): enhancing assessment of practice-related competencies. JAMA 2013; 310: 2245-6. 16
P.g.a. arbeid med ny studieplan er vurderingsform ikke avklart i to av de nye modulene og eksakt antall kan
dermed ikke anslås pt.
15
De som trolig har lengst erfaring med bruk av flervalgsoppgaver på store medisinske
eksamener internasjonalt er The National Board of Medical Examiners (NBME) i USA. I
1951 gjorde de en studie hvor de sammenlignet flervalgsoppgaver med essayformatet og
basert på denne gikk de etter hvert over til rene flervalgsoppgave-eksamener17
.
Flervalgsoppgaver kan deles inn i to hovedgrupper, sant/usant-oppgaver (true/false) og de
som ber kandidaten angi et beste alternativ (one-best-answer). Sant/usant formatet ber
studenten angi alle svar som er ”sanne”. Dette er ikke uproblematisk i medisinske fag da
mange ting er sjeldent 100 % sant eller 100 % usant. Studenten må derfor gjøre vurderingen
som ikke nødvendigvis er knyttet til klinisk erfaring eller kunnskap, som for eksempel å tenke
seg til hva oppgaveskriver tenkte på da han laget oppgaven18
.
Gjennom årenes løp har NBME testet ut mange ulike flervalgsoppgaveformater innenfor disse
gruppene og disse oppsummeres i vedlegg 1, sammen med en kort kommentar til hver19
. Et
format som brukes av alle de store nasjonale prøvene og som har vist seg å være svært
anvendelig i medisinske fag er formatet ett-beste-svar-oppgave, A-type. Slike oppgaver består
av en vignett (for eksempel en sykehistorie), et klart formulert spørsmål med ett riktig svar og
et varierende antall distraktorer. Det riktige svaret skal være det beste, men de øvrige
svaralternativene trenger ikke å være direkte feil, men skal være klart mindre bra. Denne
typen benyttes av både UiO og NTNU.
Eksempel ett-beste-svar-oppgave, A-type:
Kona til en 73 år gammel tidligere stort sett frisk mann ringer deg fortvilet på legevakt
da hennes mann akkurat har blitt skjev i ansiktet, mistet kaffekoppen i gulvet og bare
snakker tull. De bor 20 minutter unna legevakten og 45 minutter unna nærmeste
lokalsykehus. Hva gjør du som legevaktslege?
A. Du kontakter AMK og ber de sende en drosje til pasienten som kan ta han med til
legevakten for nærmere undersøkelse og administrering av acetylsalisylsyre 300 mg.
B- Du kontakter AMK for umiddelbar transport til lokalsykehuset for CT caput og
eventuell trombolyse.
C. Du kontakter AMK og ber de umiddelbart sende en ambulanse til pasienten for
prehospital trombolyse.
D. Du kontakter AMK og ber de sette opp en time hos fastlegen neste dag for
nevrologisk undersøkelse og eventuell henvisning til nevrologisk poliklinikk med
EEG.
Basert på de erfaringer man har hatt over mange år på store medisinske eksamener i utlandet,
vil det være hensiktsmessig å velge et oppgaveformat på en norsk nasjonal prøve som er
17
Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical Licensing Examination
(USMLE): enhancing assessment of practice-related competencies. JAMA 2013; 310: 2245-6. 18
Ibid. 19
Ibid.
16
internasjonalt anerkjent. A-type eller R-type spørsmål vil derfor være å foretrekke20
, hvor
førstnevnte er mest brukt og velkjent for de fleste undervisere og studenter i Norge.
Enkeltoppgaver, multiple eller sekvensielle oppgavesett
Enkeltoppgaver i sett er relativt selvforklarende. Multiple oppgaver i sett består av en felles
vignett på flere spørsmål, mens sekvensielle oppgaver i sett består av en vignett, ett spørsmål,
supplerende vignett og nytt spørsmål osv. Sekvensielle oppgaver i sett, hvor man følger en
sykehistorie og får nye spørsmål underveis, er et attraktivt format når man tester medisinske
kasus. Det er likevel en del momenter man må være klar over når man lager slike oppgaver:
Når man skal gjøre psykometriske beregninger på oppgaven så må man gjøre det for hele
oppgaven som helhet (inklusive alle delspørsmål). Dette vil som regel gjøre den
psykometriske beregningen etter en prøve eller eksamen mer kompleks. Den andre
utfordringen med sekvensielle oppgaver er at man kan få forholdsmessig mange spørsmål
knyttet til en del av fagområdet (for eksempel én sykdom) som gjør at man risikerer å senke
validiteten på eksamen ved å introdusere ”construct underrepresentation”. På en prøve på kun
4 timer (for eksempel ca. 120 flervalgsoppgaver) kan derfor sekvensielle oppgaver føre til
reduksjon i bredden av det som testes.
Ved etableringen av en nasjonal delprøve bør man legge opp til enkle og robuste løsninger.
Samtidig vil det være interessant å teste ut to ulike format på oppgavesettene selv om dette vil
øke kompleksiteten.
Utvalgets anbefaling om prøveformatet:
Vi anbefaler at nasjonal delprøve i medisin består av én enkelt oppgavetype og da fortrinnsvis ett-beste-svar-flervalgsoppgaver av A-type.
Vi anbefaler at hovedvekten av spørsmålene er enkeltstående men at man tar sikte på å
prøve ut inntil 25% sekvensielle oppgaver i prøven (maksimalt 3 spørsmål i sekvens).
Vi anbefaler at man etter hvert som man tilegner seg erfaring med prøveformatet vurderer å utvide nasjonal delprøve med maksimalt ett spørsmålsformat
Reliabilitet og validitet
Reliabilitet og validitet har en sentral rolle i vurderingsformer innen utdanning. Reliabilitet og
validitet henger nøye sammen. Reliabilitet handler om en tests pålitelighet, altså dens evne til
å kunne bli reprodusert og administrert med samme testresultat under like betingelser. En test
har høy reliabilitet dersom to studenter som har den samme kunnskapen får det samme
resultatet på samme prøve, og at de oppnår samme resultat hvis de tar en tilsvarende prøve
som er ment å eksaminere det samme. Det finnes flere måter å beregne en tests reliabilitet på,
men det vanligste er å måle testens interne konsistens. En mye brukt metode for å beregne
intern konsistens er koeffisient alfa, ofte kalt Cronbachs alfa21
. En annen metode som brukes,
blant annet ved NTNU, er Kuder-Richardson 2022
. I medisinsk utdanningslitteratur er det
anbefalt at man i summative tester som av høy viktighet (som for eksempel nasjonale prøver)
har en Cronbachs alfa på mellom 0.90 og 1.0023
.
20
Case SM, Swanson DB. Constructing Written Test Questions For the Basic and Clinical Sciences, Third
Edition ed. Philadelphia: National Board of Medical Examiners; 2002. 21
Cronbach LJ. Coefficient Alpha and the Internal Structure of Tests. Psychometrika 1951; 16: 297-334. 22
Kuder GF, Richardson MW. The theory of the estimation of test reliability. Psychometrika 1937; 2: 151–60 23
Axelson RD, Kreiter CD. Reliability. In: S.M. D, R. Y, editors. Assessment in Health Professions Education.
New York: Routledge, 2009: 57-73.
17
Validitet handler om prøvens evne til å måle det den er ment å måle. Ved en nasjonal prøve i
klinisk resonnement vil det i praksis si at man tester det man mener en nyutdannet norsk lege
skal kunne innenfor de fagene som testes. Når man skal lage en prøve med høy validitet er det
viktig å være klar over to kilder som utfordrer testens validitet; construct underrepresentation
(CU) og construct-irrelevant variance (CIV). CU handler om at enkelte fagfelt er
underrepresentert eller at det er bias i oppgaveutvelgelsen. For eksempel hvis man lager en
prøve i indremedisin og ikke stiller noen spørsmål om nefrologi og kardiologi, eller at den
som velger ut spørsmålene i kardiologi bare interesserer seg for sære kardiomyopatier og
velger ikke å spørre om akutte koronarsyndromer og atrieflimmer. Er man klar over denne
utfordringen er den lett å unngå. Har man nok oppgaver og et klart rammeverk for hva man
skal spørre om, unngår man CU. Dette er nok forklaringen på at nasjonale prøver ofte består
av lang testtid og mange spørsmål. For eksempel består den amerikanske lisenseringsprøven
USMLE av 3 eksamener på mellom 300 og 450 flervalgsoppgaver24
. CIV handler om
systematiske feil i prøven som påvirker validiteten. Dette kan være feil i oppgaveformatene,
oppgavene er for lett/vanskelig, for lav/høy diskriminerende evne osv. CIV kan unngås ved
god opplæring og klare retningslinjer for hvordan eksamen og de enkelte oppgavene skal
utformes25
.
Forskning gjort på eksamener viser at det er to forhold som er svært viktig når det gjelder å
øke en tests reliabilitet og validitet; prøvens testtid og antall oppgaver i en prøve. Øker man
testtid og antall oppgaver øker man testens reliabilitet og validitet. Videre øker en fremtidens
testers reliabilitet ved at man gjør oppgaveanalyser i etterkant og fjerner, reviderer eller
erstatter oppgaver som ikke fungerer bra. Det er derfor viktig å gjøre gode psykometriske
beregninger etter hver testadministrasjon.
Utvalgets anbefaling:
Man bør tilstrebe å lage en delprøve med så høy reliabilitet og validitet som mulig. Dette kan oppnås ved
o å utnytte maks testtid innenfor mandatet, altså 4 timer
o å benytte et prøveformat som tillater så mange oppgaver som mulig på 4 timer
I en pilot anbefaler vi å starte med 120 spørsmål (2 minutter per oppgave) og at
antallet kan vurderes økt på sikt
Delprøvens reliabilitet (interne konsistens) bør ligge >0.90
Registrering av prøvedata må være slik at man lett kan beregne psykometri etter prøveadministrasjon
7. Godkjenning, standardsetting og tilbakemelding til studentene I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og at
godkjenningskravet vil være «gjennomført prøve», slik mandatet legger opp til. Med tanke på
å utvikle en prøve som holder internasjonal standard og som oppfattes som relevant blant
studentene bør allikevel kriterier for tilfredsstillende resultat diskuteres helt fra starten av
utviklingsprosessen.
Standardsetting refererer til prosessen med å lage grenser for karakterer og for skillet mellom
bestått/ikke-bestått ved en eksamen. En standard bestemmer om en gitt skår er god nok for et
24
United States Medical Licensing Examination: http://www.usmle.org (01.06.15). 25
Downing SM, Haladyna TM. Validity and Its Threats. In: S.M. D, R. Y, editors. Assessment in Helath
Professions Education. New York: Routledge, 2009: 21-55.
18
formål. Det finnes ingen gullstandard for standardsetting av eksamener26,27,28
. Man må derfor
søke en balanse mellom ikke å være for streng, samtidig som man er sikker på at studentene
har nok kunnskap til å passere. Standardsettingsmetoder kategoriseres som enten relative
(norm-baserte) eller absolutte (kriterie-baserte). Relative metoder tar utgangspunkt i
prestasjonene til en definert gruppe og setter en grensepoengsum basert på denne gruppen.
Ved absolutte metoder setter man en grense før eksamen administreres. De norske fakultetene
bruker i dag stort sett en absolutt metode, i form av en pre-fiksert grensepoengsum for å bestå
eksamen. Ved en slik tilnærming til standardsetting er det i liten grad mulig å korrigere for
eksamenens vanskelighetsgrad. Man bør ved en nasjonal prøve forsøke å tilstrebe og benytte
seg av en internasjonalt anerkjent og validert metode. Absolutte metoder som Ebel og Angoff
brukes mye, og benytter seg av ekspertpaneler som vurderer hvert enkelt spørsmål og deretter
setter en grense for bestått på den enkelte eksamen29
. Dette er ressurskrevende. En ny og
relativ metode er Cohens metode, som tar utgangspunkt i studentene på 90-95 %-percentilen
og lar disse være referanse for hva som blir grenseverdien for bestått på eksamen (for
eksempel 70 % av poengsummen til studenten på 95 % percentilen. Dette har vist seg å være
en metode som gir mindre varians i strykrate enn absolutte pre-fikserte grenser og er lite
ressurskrevende30,31
. Det gjøres i dag en forskningsstudie ved NTNU på historiske
eksamensdata for å se om Cohens metode er bedre egnet enn dagens metode. Resultater vil
være klare i løpet av 2016.
Prøven som læringsarena
Testing driver læring. En nasjonal delprøve i medisin vil være en svært viktig læringsarena for
medisinstudenter i Norge. Det er derfor viktig med en god tilbakemelding til studentene. Av
praktiske hensyn bør denne tilbakemeldingen gis skriftlig og bli generert på en automatisert
måte fra et digitalt testverktøy.
Videre er det viktig at alle flervalgsoppgaver i en nasjonal prøve har en god begrunnelse for
hvorfor det riktige svaret er riktig. En slik fasit bør gjøres tilgjengelig for kandidatene straks
etter gjennomført prøve. Dette fremmer læring. Spørsmål som har vært brukt i en nasjonal
prøve bør være offentlig tilgjengelig. Dette er viktig for at kommende kandidater kan trene
seg på eksamensformatet frem mot sin delprøve. Videre er dette svært viktig da en høy andel
av norske leger utdannes i utlandet og vil ikke være berammet av en nasjonal delprøve. De
bør ha tilgang til å se hvilke krav som stilles av norske universiteter ved utdanningen av
medisinske kandidater, slik at de er best mulig forberedt når de senere skal jobbe i Norge. For
at tidligere eksamensoppgaver skal fungere som et godt læringsverktøy bør det kjøpes, evt
utvikles, et studentbrukergrensesnitt til den nasjonale flervalgsoppgavedatabasen, hvor
studentene til enhver tid kan genere prøver innenfor de fagene/temaene man ønsker å teste seg
selv i. Dette brukergrensesnittet må kunne appliseres som en applikasjon på mobiltelefoner og
nettbrett.
26
Cohen-Schotanus J, van der Vleuten CP. A standard setting method with the best performing students as point
of reference: practical and affordable. Med Teach 2010; 32: 154-60. 27
Norcini JJ. Setting standards on educational tests. Med Educ 2003; 37: 464-9. 28
Taylor CA. Development of a modified Cohen method of standard setting. Med Teach 2011; 33: e678-82. 29
Yudkosky R, Downing SM. Standard Setting. In: S.M. D, R. Y, editors. Assessment in Helath Professions
Education. New York: Routledge, 2009: 119-48. 30
Cohen-Schotanus J, van der Vleuten CP. A standard setting method with the best performing students as point
of reference: practical and affordable. Med Teach 2010; 32: 154-60. 31
Taylor CA. Development of a modified Cohen method of standard setting. Med Teach 2011; 33: e678-82.
19
Utvalgets anbefaling om godkjenning, standardsetting og tilbakemelding
I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og at
godkjenningskravet vil være «gjennomført prøve». På sikt bør det etableres et minimumskrav for tilfredsstillende resultat
Det gis ikke graderte karakterer på den nasjonale prøven, men det bør gis en automatisert
skriftlig tilbakemelding til alle studenter.
Det skal brukes en internasjonalt anerkjent og validert metode for standardsetting på den
nasjonale delprøven
Alle oppgaver inneholder en fasit med forklaring for senere læring
Alle delprøver med fasit er offentlig tilgjengelig
Vi anbefaler at det kjøpes inn, evt. utvikles, et studentbrukergrensesnitt til en nasjonale
flervalgsoppgavedatabasen som kan brukes til læring.
8. Utvikling, kvalitetssikring og vedlikehold av oppgaver Når man skal lage en nasjonal prøve og bygge opp en nasjonal databank av flervalgsoppgaver
er det essensielt at arbeidet er grundig planlagt før oppstart, at kvalitetssikring av oppgaver er
god, både før prøveadministrering og etter, og at oppgavebanken vedlikeholdes regelmessig. I
dette avsnittet diskuterer vi hvilke momenter man bør tenke på i den faglige utviklingen av en
nasjonal delprøve.
Databank med spørsmål
En felles databank med spørsmål er viktig av flere hensyn. Sikkerhet er et viktig hensyn. En
slik databank må være på trygg server og godt sikret mot datainnbrudd. Det må være et sted
hvor alle som lager spørsmål til en nasjonal prøve, uavhengig av arbeidssted, kan logge seg på
og legge inn sine spørsmål. Dette reduserer det administrative arbeidet rundt en prøve. Videre
sikrer en databank at man har alle opplysninger knyttet til det enkelte spørsmålet og den
enkelte eksamen samlet på ett sted. Dette vil være informasjon om fagfellevurderingen, om
hvordan spørsmålene har gjort det på eksamen og hvordan eksamen har gjort det som helhet i
psykometriske beregninger. Man vil etter hvert bygge opp mye informasjon om spørsmålene.
Dette gjør det også lettere å revidere og vedlikeholde en databank av spørsmål, som igjen vil
gjøre det lettere å administrere prøver i fremtiden. I dette avsnittet diskuterer vi hvilke
momenter man bør tenke på i den faglige utviklingen av en nasjonal delprøve.
Rammeverk for utarbeidelse av innhold – etablering av fagkomiteer
Alle kandidater til en nasjonal delprøve bør stille med like betingelser. Det betyr at det må
være nasjonal konsensus om hva en norsk lege bør kunne innen klinisk resonnement innenfor
fagene som skal testes. Det er også viktig at de som skal lage oppgaver har god kjennskap til
hva som undervises på det enkelte studiested. De som skal lage oppgaver til nasjonal delprøve
bør derfor sitte i en felles fagkomite bestående av representanter fra hvert fakultet.
Arbeidsgruppen foreslår at det med tanke på å kjøre pilot på en nasjonal prøve opprettes
fagkomiteer innenfor tre temaområder. Disse bør samarbeide med en faglig prosjektleder fra
arbeidsgruppen.
Den første oppgaven en slik fagkomite bør ta stilling til er hva man mener en norsk lege skal
kunne innenfor ”sitt” fag. Det betyr også at man må ta stilling til hvordan en databank av
spørsmål for fagfeltet bør se ut. Det bør da konstrueres et rammeverk (blueprint) som sier
noen om eksamenens innhold. På den enkelte eksamen vil det enkelte fag kun være
representert med få spørsmål, noe som betyr at rammeverket bør tenke lenger enn en enkelt
20
prøve. De bør altså tenke hvordan databanken av spørsmål bør se ut for å være komplett
innenfor faget. Rammeverk er noe av det viktigste man gjør i eksamensplanlegging. Ett godt
eksempel på hvordan et eksamensrammeverk i et enkeltfag kan se ut finner man på American
Board of Internal Medicine sine nettsider for spesialisteksamener32
. Et rammeverk må lages
innenfor de rammene som er gitt av læringsmål og læringsutbytter ved de ulike fakultetene.
Det er faggruppen som bør stå for utvikling av spørsmål, men kan selvsagt gi andre i sitt
fagområde ansvar for å lage oppgaver. Disse bør dog diskuteres i plenum i faggruppen og
man bør komme til enighet om oppgaven er god nok for en nasjonal prøve. Man bør da også
se om oppgaven passer inn i rammeverket for faget.
Kvalitetssikring – før prøven administreres
En oppgave som er laget av faggruppen og godkjent av denne bør deretter utsettes for ekstern
fagfellevurdering. For å sikre at oppgaven er representativ for hva som møter en norsk
nyutdannet lege i sin første jobb som lege, bør man søke å kvalitetssikre oppgaven utenfor
universitetssykehusmiljøene som har laget oppgaven. En god kvalitetssjekk er at oppgaven
leses gjennom av en yngre lege i turnus eller spesialisering, en allmennlege og en spesialist i
faget på et mindre sykehus. Denne fagfellevurderingen bør skje anonymt. Faggruppen får
fagfellevurderingen og bør ta stilling til eventuelle kommentarer fra fagfeller før oppgaven
kan administreres på eksamen.
Kvalitetssikring – etter at prøven er administrert
Mye av kvalitetssikringen vil skje etter eksamen og krever mye ressurser. Det må derfor
etableres en sensurkomite som vurderer sensureringen, gjør analyse av oppgavene og
kvalitetssikrer tilbakemelding til studentene. Basert på de psykometriske analysene som
gjøres av prøvene, kan man si noe om oppgavenes vanskelighetsgrad og diskriminerende
evne. Man kan si noe om prøvenes reliabilitet og -validitet. Oppgaver som opplagt fungerte
dårlig (eks. negativ diskriminerende evne) bør lukes ut av databasen, eventuelt endres og
kvalitetssikres på nytt. Prøver som scorer lavt på reliabilitet og validitet bør analyseres for å
finne årsaken. I tillegg bør studenter som har gjennomført også ha mulighet til å komme med
innspill til enkeltspørsmål. Dette bør skje på en strukturert måte og kan hjelpe til å avdekke
spørsmål som inneholder feil eller har fungert dårlig. Oppgavedatabasen må også
vedlikeholdes over tid. Medisinske sannheter endres ofte, og en oppgave som passerer tre år
bør trolig kvalitetssikres på ny før den eventuelt kan administreres på nytt på en senere
eksamen. Et slikt vedlikehold av en database er tidskrevende, men svært viktig. Greier man å
holde en database oppdatert og samtidig greier å akkumulere mange spørsmål, vil man etter
hvert kunne generere prøver uten å supplere med mange nye spørsmål.
Utvalgets anbefaling om laging, kvalitetssikring og vedlikehold av eksamensspørsmål:
Vi anbefaler at det opprettes nasjonale fagkomiteer bestående av representanter fra hvert av de fire fakultetene som har ansvar for å lage et rammeverk (blueprint) for
spørsmål i det enkelte fag. Fagkomiteene må samarbeide med en faglig prosjektleder
om dette. En faglig prosjektleder bør ansettes i en 20 % stilling.
Vi anbefaler at disse komiteene lager og kvalitetssikrer spørsmål i sine fag.
Vi anbefaler at det utføres ekstern og anonym fagfellevurdering av alle eksamensspørsmål. En slik gruppe bør bestå av nyutdannede sykehusleger, en
spesialist og allmennleger.
32
Exam Blueprints: http://www.abim.org/about/examInfo/blueprint.aspx (30.09.15).
21
Vi anbefaler at det utføres oppgaveanalyse etter hver eksamen og at spørsmål som
ikke har fungert, fjernes eller revideres. Det må etableres en sensurkomite som
vurderer sensureringen og gjør analyse av oppgavene og kvalitetssikrer tilbakemelding
til studentene.
Studenter som har tatt prøven bør gis anledning til å komme med sine tilbakemeldinger på enkeltspørsmål, i tillegg til å evaluere prøven som helhet.
Vi anbefaler at alle eksamensspørsmål oppbevares i en nasjonal databank for spørsmål til nasjonal delprøve. Det må utarbeides en kravspesifikasjon som legger grunnlaget
for å sjekke ut om det finnes en løsning på markedet
Vi anbefaler at det opprettes en stilling som vedlikeholder og oppdateringer eksamensdatabasen.
9. Bencharking og kvalitetsutvikling ved det enkelte studiested En viktig begrunnelse for prøven er muligheten for benchmarking på tvers av studiesteder.
Det er viktig at resultatene fra prøven må tilrettelegges slik at studiestedene kan få
tilbakmeldinger og muligheter for å sammenlikne resultater innen de ulike fagområder på
tvers av studiestedene. Arbeidsgruppen vil ikke gå i detalj for arbeidet med
kvalitetsutviklingen da vi tenker at fakultetenes arbeid med å heve kvaliteten og utvikle egen
studieplan og undervisning må forankres lokalt gjennom programråd, andre etablerte organer
og i dialog med studentene.
Utvalgets anbefaling om benchmarking og kvalitetsutvikling:
Resultater fra må tilrettelegges slik at studiestedene kan få tilbakmeldinger og
muligheter for å sammenlikne resultater på tvers av studiestedene.
10. Administrativ organisering Arbeidsgruppen har kartlagt hvilke administrative behov som må dekkes for at vi skal kunne
utvikle og gjennomføre en nasjonal prøve ved fire læresteder til samme tid, under like
betingelser og med riktig formell innramming i FS. På det studieadministrative området er det
essensielt at arbeidet er grundig planlagt, kvalitetssikret og samordnet studiestedene imellom
før en prøve kan gjennomføres.
Kartleggingen av eksamensarbeidet har hatt som målsetning å identifisere likheter og
forskjeller i hvordan det enkelte studiested organiserer sitt arbeid med eksamen og å utrede
hvilke erfaringer de i dag har med digital eksamen.
Obligatorisk arbeidskrav
Mandatet har bestemt at prøven skal defineres som et obligatorisk arbeidskrav vurderes som
godkjent/ikke-godkjent. Når obligatoriske aktiviteter legges inn som et krav for å kunne gå
opp til avsluttende eksamen gir det konsekvenser for studenter som evt. ikke får godkjent,
eller som på grunn av sykdom ikke har anledning til å møte. Opplegget for den nasjonale
delprøven bør ta høyde for nytt forsøk for studenter som ikke han anledning til å møte, eller
som på lengre sikt ikke oppnår minimumskravet for tilfredsstillende resultat.
Arbeidsflyt – oppgaver og roller
Skriftlig eksamen («skoleeksamen») er utgangspunktet for prosessbeskrivelsen, men
prosessen er videre beskrevet med utgangspunkt i at det skal gjennomføres en digital prøve. I
kartleggingen har arbeidsgruppa tatt utgangspunkt i erfaringer fra UNINETTS arbeidsnotat
22
om Arbeidsprosesser for digital vurdering33
samt erfaringer med digital eksamen ved de ulike
lærestedene.
Kartleggingen nedenfor forutsetter at en det er oppnevnt en nasjonal administrativ koordinator
og en struktur med nasjonale fagkomiteer som håndterer prøven ut mot institusjonene. Tabell 1. Roller i arbeidsprosessen.
Faglig prosjektleder Lede og koordinere arbeidet og den nasjonale arbeidsgruppen
Nasjonal koordinator Samordner logistikk og det administrative med fagkomite og
institusjonene. Sekretær for fagkomiteenes arbeid.
Nasjonal
arbeidsgruppe
Kontinuering av den eksisterende arbeidsgruppen. Sikre lokal forankring
faglig og administrativt.
Nasjonal fagkomiteer Oppnevnt av nasjonalt utdanningsmøte etter forslag fra prosjektledelsen
for å drive den faglige delen av arbeidet med en nasjonal delprøve.
Utarbeider oppgavesett og sensurveiledning
Kandidat Personen som er kandidat til den nasjonale prøven
Eksamenskonsulent Administrativt ansatt med oppgaver knyttet til prøven lokalt ved
institusjonen
Eksamensvakt Person som er til stede fysisk under den lokale gjennomføringen av
prøven, og som påser at gjennomføringen skjer i henhold til reglementet
IT-ansvarlig IT-støtte for hele arbeidsprosessen rundt eksamen. Inkluderer drift,
brukerstøtte, infrastrukturbygging, teknisk overvåking og håndtering av
sikkerhet for IT
Sensurkomite Oppnevnt av nasjonalt utdanningsmøte for å vurdere sensureringen, gjøre
analyse av oppgavene og å kvalitetssikre tilbakemelding til studentene.
Start- og sluttpunkt for arbeidsprosessen
Startpunkt for prosessen: «Når dato og tid er satt for den nasjonale delprøven» o Når dato er satt for prøven, starter arbeidet med å legge fremdriftsplaner som
sikrer at et oppgavesett blir utviklet i tide, og at forberedelsene av prøven
studieadministrativt og logistisk kommer på plass
o Dette er viktig fordi prøven skal koordineres nasjonalt, og arbeidet rundt slike
prøver involverer aktører ved ulike steder i geografi og organisasjoner
Sluttpunkt for prosessen: «Når resultater er analysert og evaluering gjennomført»
Faser i arbeidsprosessen
Arbeidsprosessen i kartleggingen deles inn i tre hovedfaser: forberedelse, gjennomføring og
etterarbeid. For hver fase er det utarbeidet en prosesstegning som viser hvilke oppgaver som
inngår sammen med hvilke roller (se vedlegg 2, 3 og 4). All kommunikasjon og samordning
mellom rollene er ikke tegnet opp fullstendig. Et viktig kriterium for vellykket gjennomføring
er at for hver av fasene gås opp ansvars- og oppgavefordelinger gjennom utarbeiding av
kommunikasjonsplan, sjekkliste for forberedelse og gjennomføring og en plan for beredskap
og varsling. Dette blir en viktig oppgave i et pilotprosjekt.
33
UNINETT Rapport januar 2015: https://www.uninett.no/sites/drupal.uninett.no.uninett/files/arbeidsprosesser_digital_eksamen.pdf
23
Vedlegg 5 Oppgavebeskrivelser beskriver alle oppgaver i prosessen.
1. Forberedelsesfasen: Fra dato og tid er satt for den nasjonale delprøven og helt fram til
dagen for gjennomføring av prøven. Innebærer: a. Å sette rammebetingelsene i FS
b. Rett informasjon til kandidatene
c. Oppmelding av kandidatene til eksamen og obligatoriske aktiviteter, herunder prøven
d. Søknader om tilrettelegging behandles og eventuelle tiltak planlegges
e. Koordinere de administrative forberedelsene nasjonalt
f. Oppgavesettet med sensorveiledning utarbeides og kvalitetssikres
g. Oppsett av eksamensoppgaver/test-oppgaver med kandidater til gitt tidsrom
h. Forberede IT-brukerstøtte og -overvåkning underveis
Lærestedene har organisert sitt eksamensarbeid noe ulikt. Ved UiB, NTNU og UiT gjøres en
del oppgaver rundt eksamen på sentralt nivå (f.eks. behandling av søknader om tilrettelegging,
booking av rom og vakter samt gjennomføringen av den faktiske eksamen). Klargjøring av
oppgaver (opptrykk eller klargjøring av en digital eksamen) gjøres derimot av
studiekonsulenter ved instituttene. Ved UiO gjør studieseksjonen ved fakultetet alt
eksamensarbeidet vied skriftlige (herunder digitale) og muntlige eksamener innenfor
medisinstudiet. Å avklare hvordan oppgaver skal løses det enkelte sted blir viktig i et
pilotprosjekt.
Kvalitetssikrende tiltak:
Testplan inkludert teknisk test ved alle læresteder og test av oppgavesett
Utarbeide sjekkliste for forberedelser som må gjøres lokalt og av nasjonal
koordinator før gjennomføringen
Plan for beredskap og varsling ved avvik og hendelser
Felles retningslinjer for gjentak av arbeidskrav
Felles retningslinjer for behandling av tilrettelegging
Vedlegg 2 Arbeidsflyt – Nasjonal delprøve. Forberedelser viser en skisse over roller og
oppgaver i forberedelsesfasen.
2. Gjennomføringsfasen: Gjennomføring av prøven. Innebærer a. Legitimering av kandidat
b. Pålogging
c. Faglig tilstedeværelse underveis
d. Utarbeidelse og innlevering av besvarelse
e. IT-brukerstøtte og logging underveis
f. Innsending av sluttrapport fra IT og administrativt ansvarlige
Kvalitetssikrende tiltak:
Felles system for logging av henvendelser og avvik
Plan for kommunikasjon av felles beskjeder under prøven
Vedlegg 3 Arbeidsflyt – Nasjonal delprøve. Gjennomføring viser en skisse over roller og
oppgaver i gjennomføringsfasen.
3. Etterarbeid: Kjøring av sensur etter gjennomført og kunngjøring av resultat
a. Kjøre sensur
b. Vurdering ved sensurkomite
c. Kunngjøring av resultat og tilbakemelding til kandidaten
24
d. Analyse – statistikk og psykometri
e. Avlønning av eksamensvakter
f. Evaluering og sluttrapportering
Vedlegg 4 Arbeidsflyt – Nasjonal delprøve. Etterarbeid viser en skisse over roller og
oppgaver i etterarbeidsfasen.
Verktøy for gjennomføring av prøven
Digital eksamen er i ulik grad tatt i bruk ved de ulike studiestedene, men i UH-sektoren er
innføring av dette et sentralt tema akkurat nå og det jobbes med å få på plass håndtering av
integrasjon mellom FS og kommersielle eksamenssystem. Ved samtlige universitet er det satt
i gang prosjekter som jobber med å tilrettelegge for innføringen lokalt. Av de medisinske
fakultetene er det pr. nå kun UiO og UiB som har tatt i bruk digital eksamen ved
medisinstudiet. Ved NTNU pågår et prosjekt for innføring av digital eksamen, der Inspera
Assessment brukes. UiT har et tilsvarende prosjekt der man benytter Wiseflow.
UiB: Har gjennomført digital eksamen i enkelte kliniske og parakliniske emner, fra og med
vår 2015. Til nå har pediatri, gynekologi og obstetrikk og medisinsk biokjemi avviklet digital
eksamen. Høst 2015 skal også eksamen i psykiatri, indremedisin 4. blokk, og
samfunnsmedisin gå digitalt. Systemet som brukes er Inspera Assessment. Faglærere legger
inn spørsmål direkte i systemet og sensurerer i sensurmodulen. Emneansvarlig har ansvar for
å utforme prøven.
NTNU: Innførte i 2005 flervalgsoppgaver som en del av sine skriftlige eksamener. Siden da
har det blitt bygget opp en database med spørsmål som kontinuerlig vedlikeholdes og
kvalitetssikres. Oppgavene legges inn i databasen av undervisere og utplukk til oppgavesett
gjøres av eksamenskommisjon. Selve eksamen gjennomføres imidlertid ikke digitalt for
studentene, men studentenes svar legges inn i ettertid. Dette gjør det mulig å se på
psykometrien til eksamen som helhet, og for egenskapene til de enkelte spørsmål.
UiO: Har gjennomført digitale eksamener siden vår 2013. I forhold til innføring av ny
studieplan er det vedtatt at digital eksamen skal tas i bruk ved skriftlige eksamener på nye
emner. Frem mot 2017 vil det bli lagt digitale eksamener og tester innenfor hver av de 8
modulene (emnene). Verktøyet som brukes for å utarbeide oppgavesettene heter
Questionmark Perception. De administrative ansatte mottar oppgaver i word og legger inn.
Sensureringen gjøres digitalt i et egenutviklet sensursystem.
UiT: Selv om UiT per nå ikke har innført digital eksamen benyttes også Multiple Choice-
spørsmål i oppgavesettene. Et oppgavesett kan ha inntil 10-20 % slike spørsmål.
På bakgrunn av anbefalingene i denne rapporten må det utvikles kravspesifikasjoner for
teknisk løsning, som gjør at man kan vurdere om det er hensiktsmessig å bruke studiestedenes
lokale verktøy for digital eksamen, eller om man bør kjøre en test fra ett sted. Dersom man
skal bruke løsninger som finnes lokalt, må det utvikles mulighet for å eksportere spørsmål ut
fra nasjonal database og likeledes resultatene tilbake til den nasjonale databasen for videre
analyse.
Utvalgets anbefaling om administrativ organisering:
Vi anbefaler at det prosjektet støttes av en nasjonal administrativ koordinator for
delprøven i 50 % stilling.
25
Vi anbefaler at den nasjonale koordinatoren har ansvar for å drive forberedelsene og
kvalitetssikringen i forkant av prøven, samt evaluere gjennomføringen sammen med
fagpanelene for å identifisere tiltak som kan forbedre prøven.
Hvert lærested må sette av ressurser som jobber opp mot den nasjonale koordinatoren
Det må utvikles en løsning for prøven i et format som kan eksporteres til de verktøyene
som benyttes ved de ulike universitetene.
11. Budsjett, ressursbehov og fremdriftsplan
Arbeidet vil kreve innsats fra de ulike lærestedene i form av tidsbruk i fagkomiteene,
administrativ støtte og ressursbruk på den faktiske avviklingen av prøven. I tillegg bør det videre
prosjektet ha budsjett til å dekke drift, møter og reiser for ansatte og det må påregnes kostnader
for etablering av en nasjonal spørsmålsdatabase.
Vi anslår et årlig driftsbudsjett på 2 millioner.
Omfang Estimat
Prosjektleder 0,2 årsverk 200 000
Administrativ koordinator 0,5 årsverk 400 000
Drift og vedlikehold av database 0,5 årsverk 400 000
Etablering av nasjonal database (IT,
utvikling og tilpasning) 0,5 årsverk 400 000
Prosjektets driftsbudsjett, reiser,
ekspertkonsultasjon 300 000
Driftskostnader komiteene 200 000
Kostnader ifm peer review/
kvalitetssikring 100 000
Totalt 2 000 000
I tillegg kommer et ressursbehov i form av tidsbruk hos fagpersoner som inngår i komiteene
og tidsbruk for de administrative ressursene som lokalt er med på å gjennomføre prøvene.
Arbeidsgruppen foreslår en videre fremdriftsplan for et pilotprosjekt, hvor det tas sikte på å
gjennomføre to piloter:
Milepæler i fremdriftsplan for pilotprosjektet 2015
Nov/des Oppnevning og etablering av fagkomiteer
Utarbeide kravspesifikasjon for database og vurderer ulike alternativ
Informere aktører/studenter om prosess
2016
Jan Etablere rammeverk (blueprint) for prøven
Oppstartsmøte for fagkomiteer
Arbeid med database/teknologiske løsninger
Feb/mars Utarbeidelse av spørsmål i fagkomiteer
Arbeid med database/teknologiske løsninger
Etablere sensurkomite og referansegruppe (peer review)
Ta stilling til format for tilbakemelding
Orientere det nasjonale utdanningsmøtet
26
April Frist 1.4 for oversendelse av spørsmål fra fagkomite
Ekstern peer review av spørsmål
Mai Frist 1.5 for tilbakemelding fra peer review
Teste tekniske løsninger
Frist 25.5 for oversendelse av reviderte spørsmål fra fagkomite
Juni Tar stilling 1.6 til grunnlaget for å gjennomføre pilot nr. 1 høst 2016
Orientering på det nasjonale dekanmøtet
Informasjon til studenter
September Gjennomføring av pilot 1 for vårkull i 12. sem. ved UiO og UiB
Oktober Rapport om erfaringer til det nasjonale utdanningsmøtet
Erfaringskonferanse med involverte aktører og representanter
Planlegge pilot nr. 2 ved alle de fire studiestedene februar 2017
Okt-feb Arbeide med å forberede pilot nr. 2, oppnevne fagkomiteer
2017
Februar Gjennomføre pilot nr. 2 ved NTNU, UiB, UiO og UiT
Mars Orientere det nasjonale utdanningsmøtet
Juni Fremlegge sluttrapport til det nasjonale dekanmøtet
Etter gjennomføring av pilot nr. 2 som vil dekke bredden i allmennmedisin, indremedisin og
kirurgi, ser vi for oss at prøven kan utvides til å inkorporere andre fag, med ved vekt på akutte
og alvorlige tilstander. I løpet av de første årene må det utarbeides nye spørsmål til hver
delprøve. I påvente at karantene tiden er gått ut må hvert enkelt spørsmål kvalitetssikres og
kan deretter inngå i det tilfeldige utvalget som kan trekkes til eksamen av tidligere gitte
spørsmål. Det må etableres en rutine for at fagkomiteene med jevne mellomrom gjennomgår
relevansen og gyldigheten av tidligere godkjente og kvalitetssikrede spørsmål.
Ulike formater på flervalgsoppgaver
Oppgavetype Forklaring Kommentar
Ett-beste-svar-oppgaver
A-type Består av en vignett (for eksempel en
sykehistorie), et klart formulert
spørsmål og ett riktig svar og et
varierende antall distraktorer. Det
riktige svaret skal være det beste, men
de øvrige svaralternativene trenger ikke
å være direkte feil, men skal være klart
mindre bra.
Et format som brukes av alle de store
nasjonale prøvene, har vist seg å være svært
anvendelig i medisinske fag. Benyttes av
både UiO og NTNU.
B-type –
Matching
items
Består av to lister og hvor studenten
skal matche for eksempel sykehistorie
med tilstander eller lignende. Eks. A-E
skulle matches med 1-5.
Fordelen er at man fikk testet mange
problemstillinger i ett spørsmål. Gjør det
bra i oppgaveanalyser. Benyttes lite i dag
etter introduksjon av ”extended matching
formats”
D-type –
Complex
matching items
Et komplekst matching format
bestående av 3 ulike svaralternativer
som skal matches med et gitt antall
situasjoner. Eks. Én av alternativene A-
C skal matche med 4 av 5 i listen 1-5 og
dermed angi hvilken av de 5 som ikke
passet inn.
Tanken med oppgavene var at de skulle
teste diskriminerende forståelse. Det viste
seg dog at oppgavetypen var vanskelig å
skrive og retningslinjene ble forvirrende.
Psykometri viste også at disse
oppgavetypene ikke evnet til å diskriminere
mellom dyktige og mindre dyktige
studenter.
R-type –
Extended
matching
Består av et tema med en tilhørende
liste med svaralternativer, fulgt av et
spørsmål og deretter flere vignetter.
Man skal velge ett beste svar fra listen
til hver vignett. Eks: Studentene blir
presentert for en liste over 15 ulike
tilstander. Deretter kommer spørsmålet:
”Hvilken tilstand er mest sannsynlig?”
Studenten får deretter presentert
multiple sykehistorier (vignetter) og
skal velge ett-beste-svar til hver enkelt
vignett, tatt fra listen over de 15
tilstandene som ble ramset opp initialt.
Brukes fortsatt. Det oppgavetekniske er
relativt likt som A-type. Studier viser at
denne typen har høyere diskriminerende
evne og er vanskeligere enn A-type
oppgaver.
Sant/usant-oppgaver
Klassiske
sant/usant
oppgaver
Består av spørsmål eller påstander hvor
studenten skal angi hvilke som er sanne
og hvilke som er usanne.
Har vært brukt i perioder, men falt i
disfavør. Det er vanskelig å få en helt
korrekt nøkkel, da det kan være uenighet
blant eksperter hva som faktisk er helt sant
eller helt usant. En annen årsak også at slike
spørsmål tenderer til å teste ren gjengivelse
og dermed ikke tester studentenes
resonnerende evne.
C-type –
Multiple
true/false
Ligner B-type, bare at dette er multiple
sant/usant oppgaver og hvor studenten
skal angi om ett, flere, alle eller ingen
av svaralternativene er sanne.
Se over.
K-type – Består av vignett fulgt av 4 Dette var det vanligste formatet i USA i
Multiple
true/false
svaralternativer hvor ett eller flere var
riktig.
lang tid. Man mente at formatet testet dyp
kunnskap og forståelse om et emne. Kom i
disfavør fordi de var kompliserte, studenten
måtte også konstant passe på hvordan
svarnøkkelen var på det enkelte spørsmål
for ikke å gjøre feil. Formatet viste seg også
å ha lav diskriminerende evne som
reduserte testens reliabilitet. Som for alle
sant/usant oppgaver var det vanskelig å
bruke slike spørsmål på kliniske
problemstillinger.
E-type –
Multiple
true/false
Analysere forhold mellom to ulike
påstander og to ulike forklaringer. Man
skulle angi om begge påstander og dens
forklaring var riktig, den ene av de to
eller ingen.
Man mente at det skulle teste resonerende
evne og forståelse av prinsipper. Det viste
seg dog at det var vanskelig å lage disse
oppgavene og studentene synes de var
forvirrende.
Andre
H-type –
Quantitiative
comparison
Vurdere to påstander på en kvantitativ
måte. Studenten skulle angi om A var
større en B, B var større en A, eller om
de var omtrent like store (for eksempel
vanlig terapeutisk dose på hhv ett
medikament sammenlignet med et annet
medikament)
Tester gjengivende kunnskap om
kvantitativ informasjon. Problemet ble dog
at studentene hadde vanskelig for å
bestemme seg for hvor stor forskjellen
måtte være for ikke å være ”omtrent like
store”.
I-type Tilsvarende som H-type med to
påstander som beskriver tilstander eller
kvaniteter som kan være i relasjon til
hverandre. Studenten skal angi om
påstandene er direkte relatert, om
påstandene er inverst relatert eller om
påstandene er uavhengig av hverandre.
Se over.
Kilde: Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical
Licensing Examination (USMLE): enhancing assessment of practice-related competencies.
JAMA 2013; 310: 2245-6.
Kandidat (ved lærestedene)
Nasjonal koordinator
Fagkomite/faggrupper
Eksamenskonsulent (lokalt)
IT-ansvarlig (ved lærestedene)
Eksamensvakt (ved lærestedene)
Arbeidsflyt – Nasjonal delprøve (pilot). FORBEREDELSER
Dato for prøve
Oppretter oblig. på vurd.enhet i FS
m. dato
Legger info i timeplan og håndbøker
Und.opptak og eksamens-
melding
Behandle/ planlegge
tilrettelegging
Semester-registreres
Søker om tilrettelegging på
prøven
Finne eksamensvakter
Bistå med informasjon til
kandidater
Kandidat-nummerering
Samordne kandidat-
nummerering v/institusjonene
Romplassering av kandidater
Booke IT-hjelp
Utarbeide og koordinere
informasjon til kandidater
Avtaler fremdrift m/nasj.
koordinator
Peer review
Endelig versjon til nasjonal
koordinator
Godkjent prøve i begge målformer
Administrativ kvalitetssikring
oppgavesett
Mottar endelig oppgavesett
begge målformer
Koordinerer el foretar oppsett
av kandidater på system
Kontrollerer at institusjonene er
klare til prøve-dagen
Utarbeider oppgaver i
fsgkomiteer
Finner faglærere som er tilstede
lokalt under prøven
Forbereder tilrettelegging
Behandler unntakstilfeller
Mottar tidspunkt for prøven
Innlegging av oppgaver?
Avtaler fremdrift m/nasj.
koordinator
Oversettelse til to målformer
Avtaler fremdrift m/institusjonene
og fagkomite
Mottar informasjon om prøven/blir kjent med opplegget
Forbereder avvikling (testing
m.v)
Finner kandidatnummer
i Studentweb
Mottar liste faglærere
Sjekke og tilpasse utstyr
Booke rom
Hovedinspektør mottar instruks
Planlegger logging og
varsling
Gjennomgang rutiner logging og
varsling
Gjennomlesing referansegruppe
Kandidat (ved lærestedene)
Nasjonal koordinator
Fagkomite/faggrupper
Eksamenskonsulent (lokalt)
IT-ansvarlig (ved lærestedene)
Eksamensvakt (ved lærestedene)
Arbeidsflyt – Nasjonal delprøve (pilot). GJENNOMFØRING
Instruks til eksamensvak
ter og IT
Håndtere unntak og avvik
Tilgjengelig under prøvens gjennomføring
Mottar instrukser fra eksamenskon
sulent
Pålogging eksamenssyst
em
Mottar oppmøte-
lister
Tilgjengelig under prøvens avvikling
Representanter er tilgjengelige under prøvens avvikling
Nasjonal IT monitorer underveis
Utarbeider besvarelse
Registrerer/identifiserer kandidater i
oppmøtelister
Starter eksamen
Tilsyn i eksamens-
lokalet
Oppdager fusk (start av formell
prosess)
Håndterer trekk av kandidat underveis
Leverer oppmøtelister til eksamenskons.
Hvis utlånt utstyr,
kontroll før oppstart
Brukerstøtte i eksamenssyst
em
Monitorerer kandidater, BS og logger
henvendelser
Sluttrapport til eksamenskons
Trekk under prøven?
Registrere hos
eksamens-vakt
Leverer besvarelse i
eksamenssyst
Sender sluttrapport til
nasj.koordinator
Mottar sluttrapporter
Faglærer tilgjengelig lokalt under testen
Kontroll av opplegget før
gjennomføring
Kommuniserer med nasj. koordinator
Mottar instrukser fra eksamenskon
sulent
Håndtere unntak og
avvik
Kandidat (ved lærestedene)
Nasjonal koordinator
Fagkomite/faggrupper
Eksamenskonsulent (lokalt)
IT-ansvarlig (ved lærestedene)
Arbeidsflyt – Nasjonal delprøve (pilot). ETTERARBEID
Mottar resultatRegistrerer i FS hvis
ikke automatiskPubliserer resultat
Mottar resultat
Beskjed til kandidater
Mottar sluttrapporter og resultatrapporter
Analyserer resultaterUtarbeider
sluttrapport og statistikk
Evaluerer gjennomføring med
fagkomite
Utarbeider sluttrapport
Mottar sluttrapporter og resultatrapporter
Sensurkomite evaluerer oppgaver og
resultat
Sluttevaluering med nasjonal koordinator
Sluttevaluering med nasjonal koordinator
Evaluerer gjennomføring med
institusjonene
Avlønne eksamensvakter
Vedlikeholder oppgavedatabase
Aktivitet Rolle System Fase Kommentar
Dato for prøven settes Nasjonal koordinator Forberedelesesfasen Settes av prosjekt, justeres fra år til år med timeplanlegging
Avtaler fremdrift m/nasj. Fagkomite og
institusjonene
Nasjonal
koordinator/Fagkomite/
Eksamenskonsulent
Forberedelesesfasen Fremdriftsplanverk, kommunikasjonsplan m.m må utarbeides
Utarbeider oppgaver Nasjonal fagkomite ForberedelesesfasenVi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og
samarbeid
Sørger for peer review Nasjonal fagkomite ForberedelesesfasenVi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og
samarbeid
Gjennomlesing referansegruppe Nasjonal fagkomite Forberedelesesfasen
Endelig versjon til nasjonal koordinator Nasjonal fagkomiteWord eller digitalt
eksamenssystemForberedelesesfasen
Vi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og
samarbeid
Mottar endelige oppgaver fra fagkomite Nasjonal koordinatorWord eller digitalt
eksamenssystemForberedelesesfasen
Vi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og
samarbeid
Administrativ kvalitetssikting oppgavesett Nasjonal koordinatorWord eller digitalt
eksamenssystemForberedelesesfasen Kontrollere formalia
Sørger for oversettelse i to målformer Forberedelesesfasen
Godkjenner oppgaver i to målformer Nasjonal fagkomite ForberedelesesfasenVi vet ikke noe om system. Mulig dette kan bli digitalisert m. arbeidsflyt og
samarbeid
Innlegging av oppgaver? ForberedelesesfasenVi vet ikke noe om system. Mulig oppgaver kan legges direkte inn av
fagkomite
Oblig. opprettes på vurd.enhet i FS Eksamenskonsulent FS Forberedelesesfasen
Legger info i timeplan og håndbøker Eksamenskonsulent Timeplansystem Forberedelesesfasen
Und.opptak og eksamensmeldingKandidat/Eksamens-
konsulentStudentweb/FS Forberedelesesfasen Eksisterende rutiner følges.
Utarbeide og koordinere informasjontil
kandidaterNasjonal koordinator Forberedelesesfasen
Bistå med informasjon til kandidater Eksamenskonsulent Forberedelesesfasen
Mottar informasjon/Blir kjent med
oppleggetKandidat Forberedelesesfasen
Søke om tilrettelegging Kandidat Lokale rutiner ForberedelesesfasenBør lages felles retningslinjer for tilrettelegging her, som må koordineres med
institusjonene.
Sjekke og tilpasse utstyr Kandidat Forberedelsesfasen Hvis aktuelt. BYOD eller utlånt utstyr?
Behandle og planlegge tilrettelegging Eksamenskonsulent FS, sak/arkiv ForberedelesesfasenBør lages felles retningslinjer for tilrettelegging, men behandling og arkivering
følger lokale rutiner
Booke rom Eksamenskonsulent Rombookingssystem/FS Forberedelesesfasen Viktig at dette skjer i samarbeid med nasjonal koordinator
Finne eksamensvakter Eksamenskonsulent FS Forberedelesesfasen Følger lokale rutiner
Booke IT-hjelp Eksamenskonsulent Forberedelesesfasen
Samordne kandidatnummerering Nasjonal koord. Forberedelsesfasen
Kandidatnummerering Eksamenskonsulent FS Forberedelsesfasen
Romplassering av kandidater Eksamenskonsulent FS Forberedelsesfasen
Behandling av unntakstilfeller Eksamenskonsulent FS Forberedelsesfasen
Forberede tilrettelegging Eksamenskonsulent Forberedelsesfasen
Sjekke infrastruktur IT-ansvarlig Forberedelsesfasen Sjekkliste utarbeides, eller lokale rutiner følges
Hovedinspektør mottar instruks Eksamenskonsulent FS Forberedelsesfasen Følger vanlige rutiner
Planlegge logging og varsling IT-ansvarlig/Nasjonal koord. Forberedelsesfasen Planlegger sammen med driftsansvarlig og lokale IT
Kontroll av opplegget før gjennomføringNasjonal koord./Eksamens-
konsulentGjennomføringsfasen
Instruks til vakter og lokal IT Eksamenskonsulent Gjennomføringsfasen
Tilgjengelige under prøvenNasjonal koord./Eksamens-
konsulent/FaglærerGjennomføringsfasen
Registrerer/identifiserer kandidater Eksamensvakt Eksisterende rutiner følges.
Håndtere unntak og avvik Eksamenskonsulent GjennomføringsfasenI henhold til regler for eksamensavvik. Må avtales varsling ved avvik knyttet
til prøven spesifikt.
Løpende brukerstøtte IT-ansvarlig Gjennomføringsfasen Lokalt
Håndtere unntak og avvik IT-ansvarlig Telefon, mail GjennomføringsfasenI henhold til oppgaver for IT-brukerstøtte under eksamen. Må avtales hva og
hvordan varsling ved avvik knyttet til prøven spesifikt.
Innlogging Kandidat Eksamensystem Gjennomføringsfasen Vi vet ikke noe om system, hvordan det skal gjøres?
Utarbeide eksamensbesvarelse Kandidat Digitalt system Gjennomføringsfasen
Trekk under eksamen Kandidat Gjennomføringsfasen
Levere besvarelse Kandidat Gjennomføringsfasen
Registrere oppmøteprotokoll Eksamenskonsulent FS Gjennomføringsfasen
Besøk av faglærer i lokale Nasjonal fagkomite Gjennomføringsfasen Faglærer som er utpekt til å være til stede
Kontroll av hjelpemidler Eksamensvakt Gjennomføringsfasen UIO har tillatt kalkulator på prøver og eksamener. Hva med de andre
Oppdage fusk under eksamen Eksamensvakt Gjennomføringsfasen
Tilsyn med kandidatene i lokalet Eksamensvakt Gjennomføringsfasen
Håndtere trekk og avvik Eksamensvakt GjennomføringsfasenI henhold til rutiner. Viktig å gå opp hva som skal håndteres/når noe skal
eskaleres
Løpende brukerstøtte IT-ansvarlig Gjennomføringsfasen Manuell aktivitet. Spesielt ved oppstart og innlevering. Løpende.
Logging og varsling Nasjonal koord. Gjennomføringsfasen Gen. monitorering av databasen
Brukerstøtte, logging og varsling IT-ansvarlig Gjennomføringsfasen
Levere sluttrapport til eksamenskonsulent IT-ansvarlig Gjennomføringsfasen
Mottar resultatrapporter og sluttrapporterNasjonal koord/Nasjonal
fagkomiteEtterarbeidsfasen
Sensurkomite vurderer resultatene Sensurkomite Etterarbeidsfasen
Mottar resultater Eksamenskonsulent Etterarbeidsfasen
Registrerer resultat i FS hvis ikke
automatiskEksamenskonsulent Etterarbeidsfasen
Publiserer resultat Eksamenskonsulent
Tilbakemelding til kandidater Eksamenskonsulent Etterarbeidsfasen
Mottar resultat Kandidat Studentweb Etterarbeidsfasen
Evaluerer gjennomføring
Nasjonal koord/Nasjonal
fagkomite/Eksamenskonsule
nt
Utarbeider statistikk og sluttrapportNasjonal koord/Nasjonal
fagkomiteFS Etterarbeid
Avlønne eksamensvakter Eksamenskonsulent FS, økonomisystem Etterarbeid Lokale rutiner
Recommended