Flervalgsoppgaver – i lys av Kunnskapsløftet

Flervalgsoppgaver – i lys Flervalgsoppgaver – i lys av Kunnskapsløftetav Kunnskapsløftet

Svein M. SirnesSvein M. Sirnes

BakgrunnBakgrunn

• Cand. philol. (tysk, fransk, engelsk)Cand. philol. (tysk, fransk, engelsk)

• Praksis fra bl.a. videregående skole, Praksis fra bl.a. videregående skole, distriktshøgskole, BI, amerikansk distriktshøgskole, BI, amerikansk universitet, det amerikanske universitet, det amerikanske forsvarets språkskole, forlagsarbeid, forsvarets språkskole, forlagsarbeid, testutvikling i USA, oversettelse (som testutvikling i USA, oversettelse (som frilans og i et amerikansk frilans og i et amerikansk programvareselskap)programvareselskap)

KunnskapsløftetKunnskapsløftet

• Nasjonalt vurderingssystemNasjonalt vurderingssystem

• Deltakelse i internasjonale Deltakelse i internasjonale komparative undersøkelser (PISA, komparative undersøkelser (PISA, TIMSS o.a.)TIMSS o.a.)

• Kursjustering, men reformen kommerKursjustering, men reformen kommer

• Fortsatt nasjonale prøverFortsatt nasjonale prøver

Norge ikke aleneNorge ikke alene

• Andre land har hatt samme debatt Andre land har hatt samme debatt og utviklingog utvikling

• InternasjonaliseringInternasjonalisering

• GlobaliseringGlobalisering

• RettighetssamfunnetRettighetssamfunnet

• Mindre homogen lærergruppe enn Mindre homogen lærergruppe enn tidligeretidligere

USAUSA

• Standardiserte testerStandardiserte tester

• Ideer fra liberale og radikale akademikereIdeer fra liberale og radikale akademikere

• Åpne eliteuniversiteter for ”folk flest”Åpne eliteuniversiteter for ”folk flest”

• Eksamener/læreplaner/krav fastsettes Eksamener/læreplaner/krav fastsettes lokaltlokalt

• SAT – Educational Testing ServiceSAT – Educational Testing Service

• FlervalgsoppgaverFlervalgsoppgaver

• PsykometriPsykometri

NederlandNederland

• CITO (med avdelinger i en rekke CITO (med avdelinger i en rekke land)land)

• ETSETS

Bruk av flervalgsoppgaverBruk av flervalgsoppgaver

• Som øvingerSom øvinger

• Som oppgaver (også kalt items og Som oppgaver (også kalt items og spørsmål)spørsmål)

Fordeler Fordeler

• I tester:I tester:– Mer reliable (pålitelige)Mer reliable (pålitelige)– Mer eksakt målingMer eksakt måling– Egner seg for komparative undersøkelserEgner seg for komparative undersøkelser

• Som øvinger:Som øvinger:– Gir svar med en gangGir svar med en gang– Egner seg for elektronisk leverte øvinger og Egner seg for elektronisk leverte øvinger og

digitale læreplattformerdigitale læreplattformer

Åpne og lukkede oppgaverÅpne og lukkede oppgaver

• Åpen oppgave: Innledes gjerne med Åpen oppgave: Innledes gjerne med uttrykk som ”Grei ut om …” eller uttrykk som ”Grei ut om …” eller ”Gjør rede for ..”.”Gjør rede for ..”.

• Lukket oppgave: Flervalgsoppgaver, Lukket oppgave: Flervalgsoppgaver, kombinasjonsoppgaver, rett-galt-kombinasjonsoppgaver, rett-galt-oppgaveroppgaver

Mange fordelerMange fordeler

• Kan dekke store deler av pensum Kan dekke store deler av pensum

• Det tar mindre tid å besvare demDet tar mindre tid å besvare dem

Mange fordelerMange fordeler

• Kan dekke store deler av pensum Kan dekke store deler av pensum

• Det tar mindre tid å besvare demDet tar mindre tid å besvare dem

• Krever ikke skrivearbeid fra Krever ikke skrivearbeid fra testtakernes side testtakernes side

• Det tar mindre tid å vurdere demDet tar mindre tid å vurdere dem

Mange fordelerMange fordeler

• Kan dekke store deler av pensum Kan dekke store deler av pensum • Det tar mindre tid å besvare demDet tar mindre tid å besvare dem• Krever ikke skrivearbeid fra testtakernes Krever ikke skrivearbeid fra testtakernes

side side • Det tar mindre tid å vurdere dem Det tar mindre tid å vurdere dem • Objektiv vurderingObjektiv vurdering• Sensorer påvirkes ikke av testtakernes Sensorer påvirkes ikke av testtakernes

håndskrift og evne til å uttrykke seg håndskrift og evne til å uttrykke seg skriftlig skriftlig

UlemperUlemper

• Det tar tid å lage gode oppgaver Det tar tid å lage gode oppgaver

• Iblant er det nesten umulig å finne Iblant er det nesten umulig å finne egnede distraktøreregnede distraktører

• Kan ikke brukes til å måle skriveevneKan ikke brukes til å måle skriveevne

• Testtakernes leseevne kan spille innTesttakernes leseevne kan spille inn

• Har en tendens til å bli fakta- eller Har en tendens til å bli fakta- eller detaljorientertdetaljorientert

ElementeneElementene i eni en flervalgsoppgaveflervalgsoppgave

• orienteringorientering

• stimulusstimulus

• stammestamme

• svaralternativersvaralternativer– nøkkelnøkkel– distraktørerdistraktører

OrienteringOrientering

• kort setning som innleder kort setning som innleder oppgaven/øvingen og som gjerne oppgaven/øvingen og som gjerne angir hvor neste element (stimulus) angir hvor neste element (stimulus) er hentet fra, f.eks. er hentet fra, f.eks. Fra en avisFra en avis o.l. o.l.

• kan også inneholde en instruksjon og kan også inneholde en instruksjon og fortelle hva eleven skal gjøre fortelle hva eleven skal gjøre

StimulusStimulus

• teksttekst

• illustrasjon illustrasjon

• lydelement (monolog, dialog) lydelement (monolog, dialog)

StammeStamme

• setningen som kommer etter setningen som kommer etter stimulus og som inneholder selve stimulus og som inneholder selve oppgavenoppgaven

• et spørsmålet spørsmål

• et ikke-avsluttet utsagnet ikke-avsluttet utsagn

Skriving av oppgaverSkriving av oppgaver

• Hva skal oppgaven vurdere?Hva skal oppgaven vurdere?

• Fra et åpent til et lukket spørsmålFra et åpent til et lukket spørsmål

• Enkeltstående oppgaverEnkeltstående oppgaver

• Oppgaver som danner sett Oppgaver som danner sett

Blooms taksonomiBlooms taksonomi

• VurderingVurdering

• SynteseSyntese

• AnalyseAnalyse

• AnvendelseAnvendelse

• ForståelseForståelse

• KunnskapKunnskap

KunnskapKunnskap

• beskrive beskrive

• definere definere

• gjengi gjengi

• presentere presentere

• regne opp regne opp

Forståelse eller gjengivelseForståelse eller gjengivelse

• bevise bevise

• forklare forklare

• oversette oversette

• skjelne skjelne

• tolke tolke

AnvendelseAnvendelse

• avlese avlese

• bruke bruke

• demonstrere demonstrere

• måle måle

• registrereregistrere

AnalyseAnalyse

• dele opp dele opp

• identifisere identifisere

• klassifisere klassifisere

• skille ut skille ut

• sammenligne sammenligne

SynteseSyntese

• forstå forstå

• generalisere generalisere

• organisere organisere

• produsere produsere

• trekke slutninger trekke slutninger

VurderingVurdering

• avgjøre avgjøre

• bedømme bedømme

• kritisere kritisere

• skille mellom skille mellom

Stimulus spiller en Stimulus spiller en nøkkelrollenøkkelrolle

• AnvendelseAnvendelse

• Scenarier/caserScenarier/caser

• Årsak og virkningÅrsak og virkning

• Begrunnelse av metoder og Begrunnelse av metoder og framgangsmåterframgangsmåter

SpørsmålSpørsmål

I hvilken by arrangeres den årlige I hvilken by arrangeres den årlige norske filmfestivalen?norske filmfestivalen?

AA KristiansandKristiansand

BB ÅlesundÅlesund

CC HaugesundHaugesund

DD GrimstadGrimstad

Ikke-avsluttet utsagnIkke-avsluttet utsagn

Norges årlige internasjonale Norges årlige internasjonale folkemusikkfestival arrangeres i folkemusikkfestival arrangeres i

AA Førde.Førde.

BB Florø.Florø.

CC Sogndal.Sogndal.

DD Måløy.Måløy.

En elev skrev dette i et e-brev En elev skrev dette i et e-brev til læreren sin:til læreren sin:

I går jeg har sett en fransk film jeg I går jeg har sett en fransk film jeg likte godt. Den var heilt nye. Etter mi likte godt. Den var heilt nye. Etter mi meining den burde vises for alle meining den burde vises for alle elevene på skolen!elevene på skolen!

NicoleNicole

Hvilken syntaktisk feil går igjen Hvilken syntaktisk feil går igjen i to av Nicoles perioder?i to av Nicoles perioder?

AA Uriktig bruk av perfektum til å Uriktig bruk av perfektum til å uttrykke uttrykke en avsluttet handlingen avsluttet handling

BB Manglende inversjonManglende inversjon

CC Gal plassering av predikativGal plassering av predikativ

DD Utelatelse av relativpronomen i Utelatelse av relativpronomen i nødvendige relativsetningernødvendige relativsetninger

Fra en avis:Fra en avis:

Ordfører bedt om å omgjøre Ordfører bedt om å omgjøre vedtakvedtak

Ordføreren i Brudal valgte A/S Asfalt Ordføreren i Brudal valgte A/S Asfalt til å anlegge ny vei til Vassli til tross til å anlegge ny vei til Vassli til tross for at firmaets anbud var høyere enn for at firmaets anbud var høyere enn andre firmaers. Det ble senere andre firmaers. Det ble senere avslørt at ordførerens bror har en avslørt at ordførerens bror har en større aksjepost i A/S Asfalt. Flere større aksjepost i A/S Asfalt. Flere formannskapsmedlemmer krever nå formannskapsmedlemmer krever nå at ordføreren omgjør sitt vedtak.at ordføreren omgjør sitt vedtak.

Hvorfor vil noen at ordføreren skal Hvorfor vil noen at ordføreren skal

omgjøre sin beslutning?omgjøre sin beslutning?

AA Ordførerens vedtak var påvirket Ordførerens vedtak var påvirket av av hans private interesser. hans private interesser.

BB Ordførerens nære familie bør Ordførerens nære familie bør ikke ha ikke ha aksjeposter i noe firma. aksjeposter i noe firma.

CC Ordføreren mottok penger fra Ordføreren mottok penger fra firmaet firmaet som bygde veien. som bygde veien.

DD Ordføreren bør ikke bestemme Ordføreren bør ikke bestemme hvem hvem som skal bygge veier.som skal bygge veier.

Spørsmålet må være Spørsmålet må være fokusertfokusert

• Er det mulig å besvare spørsmålet Er det mulig å besvare spørsmålet hvis en dekker over hvis en dekker over svaralternativene?svaralternativene?

• Hvis nei, er spørsmålet kanskje ikke Hvis nei, er spørsmålet kanskje ikke godt nok fokusert.godt nok fokusert.

Ikke-fokusert oppgaveIkke-fokusert oppgave

BergenBergen

AA ligger i Hordaland.ligger i Hordaland.

BB er Norges eldste by.er Norges eldste by.

CC er Norges tredje største by.er Norges tredje største by.

DD har over 400 000 innbyggere.har over 400 000 innbyggere.

Ikke for lang stammeIkke for lang stamme

• Stammen må ikke være for lang.Stammen må ikke være for lang.

• Unngå setninger med et instruerende Unngå setninger med et instruerende innhold som gjør at stammen likner innhold som gjør at stammen likner på et utdrag fra lærebok.på et utdrag fra lærebok.

Ikke negative uttrykk i Ikke negative uttrykk i stammenstammen

• Unngå negasjoner og negative Unngå negasjoner og negative uttrykk som uttrykk som ikkeikke, , aldrialdri, , medmed unntakunntak avav og og unntattunntatt i stammen. i stammen.

• Hvis en likevel vil bruke et slikt Hvis en likevel vil bruke et slikt utrykk, bør det framheves utrykk, bør det framheves (understrekes, kursiveres, settes i (understrekes, kursiveres, settes i halvfet skrift el.l.).halvfet skrift el.l.).

Oppgave med negativt uttrykk Oppgave med negativt uttrykk i stammeni stammen

Følgende språk er germanske Følgende språk er germanske med med unntak avunntak av

• BB finsk.finsk.

• CC frisisk.frisisk.

• AA islandsk.islandsk.

• DD nederlandsk.nederlandsk.

IkkeIkke lala enen oppgaveoppgave røperøpe andreandre oppgaveroppgaver!!

• En oppgave må ikke røpe svaret på En oppgave må ikke røpe svaret på en annen oppgave i samme sett eller en annen oppgave i samme sett eller test. test.

• Er spesielt viktig i oppgavesett som Er spesielt viktig i oppgavesett som har samme stimulus.har samme stimulus.

NøkkelNøkkel ogog distraktørerdistraktører

• Jo flere svaralternativer, desto Jo flere svaralternativer, desto vanskeligere blir oppgaven.vanskeligere blir oppgaven.

• Vanskeligheten øker også jo mer Vanskeligheten øker også jo mer svaralternativene likner på svaralternativene likner på

hverandre. hverandre.

For vanskelige oppgaver – mer For vanskelige oppgaver – mer gjettinggjetting

• Blir oppgavene for vanskelige, er det Blir oppgavene for vanskelige, er det grunn til å tro at elevene gjetter, noe grunn til å tro at elevene gjetter, noe som ikke er ønskelig.som ikke er ønskelig.

• Gjetting reduserer testens reliabilitet. Gjetting reduserer testens reliabilitet.

Delvis rette Delvis rette svaralternativer?svaralternativer?

• Skal en ha delvis rette Skal en ha delvis rette svaralternativer? svaralternativer?

• Ikke aktuelt i de tilfeller der Ikke aktuelt i de tilfeller der spørsmålet er et rent faktaspørsmål. spørsmålet er et rent faktaspørsmål.

• Bruk av delvis rette svar kan Bruk av delvis rette svar kan aksepteres når instruksjonene går ut aksepteres når instruksjonene går ut på å finne det på å finne det bestebeste svaret. svaret.

Korte og konsise Korte og konsise svaralternativersvaralternativer

• et enkelt ord eller sifferet enkelt ord eller siffer

• en ordgruppe, flere sifre eller en en ordgruppe, flere sifre eller en formelformel

• en setning eller en periodeen setning eller en periode

Grammatisk-logiskeGrammatisk-logiske svarsvar påpå spørsmåletspørsmålet

Alle svaralternativene må være Alle svaralternativene må være grammatisk-logiske svar på grammatisk-logiske svar på spørsmålet som stammen spørsmålet som stammen inneholder, eller avslutning på inneholder, eller avslutning på stammens ikke-avsluttede utsagn. stammens ikke-avsluttede utsagn.

Struktur og lengdeStruktur og lengde

• Svaralternativene må være på Svaralternativene må være på samme samme presisjonsnivå og ha presisjonsnivå og ha tilnærmet lik tilnærmet lik syntaktisk struktur og syntaktisk struktur og lengde. lengde.

• Hvis det er fire svaralternativer, Hvis det er fire svaralternativer, må i må i hvert fall to og to være mest hvert fall to og to være mest mulig mulig parallelle. parallelle.

Økonomiser med ordØkonomiser med ord

Hvis svaralternativene inneholder ord Hvis svaralternativene inneholder ord eller uttrykk som går igjen i alle, kan eller uttrykk som går igjen i alle, kan disse med fordel sløyfes.disse med fordel sløyfes.

Økonomiser med ordØkonomiser med ord

Hva het Willy Brandt som gutt?Hva het Willy Brandt som gutt?

• AA Han het Herbert Frahm.Han het Herbert Frahm.

• BB Han het Jochen Vogel.Han het Jochen Vogel.

• CC Han het Karl Carstens.Han het Karl Carstens.

• DD Han het Ludwig Gerkel.Han het Ludwig Gerkel.

Bedre:Bedre:

Hva het Willy Brandt som gutt?Hva het Willy Brandt som gutt?

• AA Herbert FrahmHerbert Frahm

• BB Jochen VogelJochen Vogel

• CC Karl CarstensKarl Carstens

• DD Ludwig GerkelLudwig Gerkel

BareBare énén nøkkelnøkkel

Unngå distraktører som faktisk kan Unngå distraktører som faktisk kan være nøkkel!være nøkkel!

Hierarkisk struktur i Hierarkisk struktur i svaralternativenesvaralternativene

Når svaralternativene er tall (eller Når svaralternativene er tall (eller årstall) som danner en hierarkisk årstall) som danner en hierarkisk struktur, bør de plasseres i stigende struktur, bør de plasseres i stigende rekkefølge (dvs. numeriske svar i rekkefølge (dvs. numeriske svar i numerisk og årstall i kronologisk numerisk og årstall i kronologisk orden). orden).

Unngå formuleringer fra Unngå formuleringer fra lærebokalæreboka

• Bygger oppgaven på et bestemt Bygger oppgaven på et bestemt pensum eller læreverk, bør en unngå pensum eller læreverk, bør en unngå svaralternativer som inneholder de svaralternativer som inneholder de samme formuleringene som finnes i samme formuleringene som finnes i læreboka. læreboka.

• Oppgaven blir som oftest bedre Oppgaven blir som oftest bedre dersom en skriver om og velger dersom en skriver om og velger alternative ord og vendinger.alternative ord og vendinger.

Fagspesifikke oppgavetyperFagspesifikke oppgavetyper

• SpråkfagSpråkfag

• MatematikkMatematikk

• HistorieHistorie

• SamfunnsfagSamfunnsfag

Mange varianterMange varianter

Gestern _____ ich einen sehr Gestern _____ ich einen sehr interessanten Roman.interessanten Roman.

• AA laslas

• BB liestliest

• CC lestlest

• DD lastlast

Kritisk gjennomgangKritisk gjennomgang

• Er oppgaven relevant i forhold til Er oppgaven relevant i forhold til fagplanen/pensum?fagplanen/pensum?

Kritisk gjennomgangKritisk gjennomgang

• Er oppgaven relevant i forhold til Er oppgaven relevant i forhold til fagplanen/pensum?fagplanen/pensum?

• Er stammen klar og konsis?Er stammen klar og konsis?

Kritisk gjennomgangKritisk gjennomgang

• Er oppgaven relevant i forhold til Er oppgaven relevant i forhold til fagplanen/pensum?fagplanen/pensum?

• Er stammen klar og konsis?Er stammen klar og konsis?

• Inneholder stammen ord som med Inneholder stammen ord som med fordel kan sløyfes?fordel kan sløyfes?

Kritisk gjennomgangKritisk gjennomgang

• Er oppgaven relevant i forhold til Er oppgaven relevant i forhold til fagplanen/pensum?fagplanen/pensum?

• Er stammen klar og konsis?Er stammen klar og konsis?

• Inneholder stammen ord som med Inneholder stammen ord som med fordel kan sløyfes?fordel kan sløyfes?

• Er det mulig å besvare oppgaven Er det mulig å besvare oppgaven ved kun å lese stammen?ved kun å lese stammen?

Kritisk gjennomgangKritisk gjennomgang

• Bare har ett rett svar? Bare har ett rett svar?

• Et svar som er klart best?Et svar som er klart best?

Kritisk gjennomgangKritisk gjennomgang

• Er nøkkelen et godt svar på Er nøkkelen et godt svar på oppgaven?oppgaven?

• Er distraktørene plausible?Er distraktørene plausible?• Er distraktørene svar som Er distraktørene svar som

elever/studenter ofte gir på slike elever/studenter ofte gir på slike spørsmål?spørsmål?

• Er alle svaralternativene logisk-Er alle svaralternativene logisk-grammatiske svar på spørsmålet grammatiske svar på spørsmålet eller en avslutning på stammen?eller en avslutning på stammen?

Sant-usant-oppgaveSant-usant-oppgave

• En En sant–usant-oppgavesant–usant-oppgave (eller (eller rettrett––galtgalt--oppgaveoppgave) består av en serie ) består av en serie utsagn som eleven skal ta utsagn som eleven skal ta standpunkt til. standpunkt til.

• Oppgaven består i å angi om Oppgaven består i å angi om utsagnene er sanne eller usanne (ev. utsagnene er sanne eller usanne (ev. rette eller gale). rette eller gale).

Angi om disse utsagnene er Angi om disse utsagnene er sanne eller usanne:sanne eller usanne:

1. 1. Bulgaria er medlem av NATO. Bulgaria er medlem av NATO.

2. 2. Venstre er Norges eldste parti.Venstre er Norges eldste parti.

3. 3. Carl I. Hagen er utdannet jurist.Carl I. Hagen er utdannet jurist.

4. 4. Man må være stortingsrepresentant for Man må være stortingsrepresentant for å å kunne bli medlem av en norsk kunne bli medlem av en norsk regjering.regjering.

5. 5. Bare medlemmer av statskirken kan ha Bare medlemmer av statskirken kan ha styreverv i Kristelig Folkeparti.styreverv i Kristelig Folkeparti.

KombinasjonsoppgaveKombinasjonsoppgave

• En En kombinasjonsoppgavekombinasjonsoppgave ( (matchingmatching og og sammenføringsoppgavesammenføringsoppgave) består ) består som oftest av to kolonner.som oftest av to kolonner.

• Enheter i den ene kolonnen skal Enheter i den ene kolonnen skal kombineres med enheter i den kombineres med enheter i den andre.andre.

Dra-og-slipp-funksjonalitetDra-og-slipp-funksjonalitet

• Alle mulige slags kreative Alle mulige slags kreative kombinasjonsoppgaver lages.kombinasjonsoppgaver lages.

• Oppgaveformen har begrensninger Oppgaveformen har begrensninger mht. taksonomisk nivå.mht. taksonomisk nivå.

GjettingGjetting

På en enkeltstående På en enkeltstående flervalgsoppgave som har fire flervalgsoppgave som har fire svaralternativer, er sjansen 25 % for svaralternativer, er sjansen 25 % for at testtakeren treffer rett svar ved at testtakeren treffer rett svar ved hjelp av gjetting. hjelp av gjetting.

GjettingGjetting

Sannsynligheten for å gjette rett Sannsynligheten for å gjette rett reduseres jo flere enkeltoppgaver reduseres jo flere enkeltoppgaver testen består av. testen består av.

GjettingGjetting

• Er det 10 oppgaver i testen, er Er det 10 oppgaver i testen, er sjansen for å få alle rett ved hjelp av sjansen for å få alle rett ved hjelp av gjetting ca. 0,000000009! gjetting ca. 0,000000009!

• Risikoen for at en elev får en kunstig Risikoen for at en elev får en kunstig høy skåre på en test som har 50 høy skåre på en test som har 50 enkeltoppgaver eller mer, er meget enkeltoppgaver eller mer, er meget liten. liten.

JusteringsformelJusteringsformel

Den vanligste justeringsformelen: Den vanligste justeringsformelen:

skåre = rett – galt/n-1skåre = rett – galt/n-1

Analyse av enkeltoppgaverAnalyse av enkeltoppgaver

• enkeltoppgavenes vanskelighetsgradenkeltoppgavenes vanskelighetsgrad

• enkeltoppgavenes enkeltoppgavenes diskrimineringsevne (eller diskrimineringsevne (eller diskriminatoriske styrke)diskriminatoriske styrke)

• distraktørenes effektivitetdistraktørenes effektivitet