1/34

NVU-konferansen 2002:Evaluering og kvalitetssikring i e-læring

Geir MaribuAvdeling for informatikk og e-læring

Høgskolen i Sør-Trøndelag

26. februar 2002

2/34

Innhold

• Referanser• Kvalitet, hva er det?• Organisering av e-læring ved Avdeling for informatikk

og e-læring (AITeL)– Si litt om hva som må kvalitetsikres

• Litt om kvalitetssikring av e-læring• Norsk Fjernundervisning har laget rapport om kvalitet• Evaluering• Resultat av spørreundersøkelse (evaluering)

3/34

Referanser

• Egne erfaringer med fjernundervisning ved AITeL– Praktisk erfaringer

• Norsk forbund for fjernundervisning:– Kvalitetsnormer for fjernundervisning, revidert utgave våren 2001

• Torstein Rekkedal– NFFs kvalitetsnormer med spesiell fokus på utviklingskompetanse

og driftskompetanse

– Foredrag på NFFs konferanse ”Arbeidsplassen som læringsmiljø 2000”, Bergen 5-6. juni 2000

• Norsk Forbund for Fjernundervisning– http://www.nade-nff.no/

4/34

Kvalitet

• Kvalitetsvurdering– Kvalitetsvurdering er en term som anbefales brukt i utdanningssektoren

(Van Vucht and Westerheijeden, se ref. i Rekkedals dokument)

– Kvalitetsvurdering: ”en systematisk evaluering for å avgjøre i hvilken grad kvalitetsaktivitetene er i overensstemmelse med planlagte tiltak og om produktet (læremateriell, læringsaktiviteter) er effektivt gjennomført og hensiktsmessig med sikte på å oppnå målsetningene”.

• Markedets lov– La markedet reagere mot institusjoner og kurstilbud som ikke holder mål.

– Kvalitet vil lønne seg i den lange løp, og mindreverdige tilbud vil forsvinne av seg selv.

• Bedre kvalitet når studenten sjøl gjør jobben?– dvs. bruk av web-baserte grensesnitt til studieadministrasjon

5/34

Kvalitet i fjernundervisningen

• Mange roller i tradisjonell fjernundervisning– Planleggere, utviklere av læremateriell, lærere, studieveiledere,

studenter etc

– Forskjellige personer, seriell utvikling, …

– Derfor behov for å kvalitetssikre arbeidet

• Campus-institusjonene tilbyr fjernundervisning– Jobber på en annen måte

– En person har alle roller: planlegge, utvikle, veilede, undervise

– Ingen formelle rutiner for kvalitetssikring

– ”Faget blir til mens man underviser”

6/34

Mer om kvalitet

• Vet vi hva målet er?– Studenten skal bestå eksamen med en karakter vedkommende er

fornøyd med?

– Studenten er ut etter et vitnemål?

– Studenten skal ha det trivelig og være fornøyd med de faglige utfordringene og læringsaktivitetene?

– Målet er forskjellige avhengig av student, dennes bakgrunn etc, dvs differensierte opplegg?

– Vil en bedrift som kjøper et fagopplegg har klarere oppfatninger av hva som er målsetningen?

– Er fornøyde studenter aleine en god indikasjon på at læringsopplegget har god kvalitet?

7/34

Erfaringene fra AITeL

NKI, NKS, o.l

Produksjonslinjer for fag, formelle kvalitetsprosedyrer

Campus-institusjoner

Enkelt-personen ”gjør alt”

AITeL

Grad av formalisme

AITeL ligger et sted mitt i mellom

8/34

Organisering av e-læring ved AITeL

• Gjennom hele 90-tallet har FU via Internett vært:– Enkelthendelser ved institusjonen– Avhengig av ildsjeler– Liten støtte fra ledelsen– Studentene har hatt vanskelig for å orientere seg, ofte følt seg som

”hår i suppa”

• E-læringsaktiviten må bli en del av institusjonens faste tilbud– Først da kan man snakke om å kvalitetssikre en aktivitet– Da har man erfaring og ressurser å sette inn

• AITeL’s erfaringer så langt når det gjelder– Læringsmiljøet– Studieadministrasjon

• …. kommer i de påfølgende lysarkene …….

9/34

Læringsmiljøet

• Struktur og standardisering– Semesterordning – fast startdato, og eksamen ved semesterslutt– Nytt lærestoff legges ut hver tirsdag– Innleveringer hver uke– Hver student har sin egen personlige veileder– Standard webside for hvert fag (stduentene kjenner seg igjen)– 2 første leksjoner er åpne

• Fleksibilitet i tillegg– Fleksibel med innleveringer ved behov– Fag kan strekkes over flere semestre

10/34

Studieadministrasjon - 1

• Faste rutiner hvert semester– Påmelding til kurs via Web

– Utsendelse av faktura kursavgift og semesteravgift

– Åpner tilgang til faget etter betalt kursavgift

– Tilsette og fordele veileder (cirka 100 stk)

– Organisere eksamenspåmeldinger

– Motta innmeldinger av eksamensskoler (cirka 150 stk)

– Kommunisere med eksamensskole (utsendelse av oppgaver, lister etc)

– Mottak av eksamensoppgaver, fordeling av disse, sensur etc

11/34

Studieadministrasjon

• Løpende oppgaver– Studieveiledning, oppsett av personlige studieplaner

– Søknader om fritak for fag

– Søknader om realkompetanse

– Svare på 100-vis av e-brev pr uke om alle mulige ting som har med fjernundervisningen å gjøre

12/34

Kvalitetssikring ved AITeL

• Studieadministrasjon– Her er det mer snakk om service-erklæring i stedet for

kvalitetssikring

– Gode rutiner

– Identifisere problemområder

– Bygge på erfaring

– Lage rutiner som har innebygd kvalitetssikring

– Stole på medarbeidere

– God støtte i web-baserte systemer

• Læremateriell og læringsmiljø– Her snakker vi om kvalitetsikring i mer tradisjonell forstand

13/34

Informasjon og rådgiving - 1

• Påmelding til kurs– hvilket produkt og hvilke tjenester som han/hun har krav på, og

hvilke økonomiske forpliktelser dette innebærer, kompetansekrav, hva det betyr å ta fag uten å ha formell kompetanse

– Fagpåmelding må kunne annuleres innen en frist

• Informasjon via kurssekretariatet– Svarfrister

– Frister ved videresending av forespørsel til faglærer

• Søknader– Fritak fag

– Kompetansevurderinger

– Frister

14/34

Informasjon og rådgiving - 2

• Studenten må ikke bindes til mer enn ett semester om gangen

• Studentens rettigheter må være lett tilgjengelig– Eksamensreglement, trekkfrister, sensur, klagebehandling etc

• Kontrakt mellom institusjon og student– Etter modell fra nettbanker, lages automatisk når student melder

seg opp til fag eller eksamen

• Dokumentasjon– Gjennomførte kurs/fag

– Eksamen

– Tilgang til fagbeskrivelser (også historikk)

15/34

Kvalitetssikre læremateriell

• Nye fag– Behov for faget– Inngår faget i et studieprogram

• Kursbeskrivelser– Bruk av standarder– Mål, innhold i faget, læringsaktiviteter etc.– Del av kontrakten mellom institusjon og student

• Kvalitetssikre innhold– Tid- og ressurskrevende– Mange fag betraktes som ferskvare

• Annet– Språkvask– Layout, tilpassing til Web, mm

16/34

Kvalitetssikre læringsaktivitetene - 1

• System for kontinuerlig oppfølging av læringsaktivitetene– Faglærers aktivitet

– Veileders aktivitet

• Studentene skal ha tilbakemelding innen gitte tidsfrister

• Faglærer må ha innsyn i veileders arbeid, f.eks rettinger, diskusjonsgrupper etc.– Sender kopi av rettinger til faglærer

• Hensiktsmessig vurdering og tilbakemelding til studentene underveis og ved kursets slutt

17/34

Kvalitetssikre læringsaktivitetene - 2

• Planmessig gjennomføring og god kommunikasjon øker kvaliteten– Nytt lærestoff hver uke– De to første leksjonene er åpne (dvs uten passord)– Ukentlige innsendinger – besvarelser på øvingsoppgaver, delrapporter prosjekt,

statusrapporter, møtereferater– Personlig veileder– Kommunikasjon på e-post og diskusjonsgrupper

• Sjekkpunkter underveis– Jevnlige tilbakemeldinger/møter med veileder om status rettingsarbeid,

responstid, spesielle problemer etc.– Faglærer overvåker diskusjonen i diskusjonsgruppa, bl.a antall innlegg etc– Gi studentene mulighet for kontinuerlig tilbakemedling på alle faser og områder

av aktiviteten.

• Lærerne betales for å gjøre jobben!?!

18/34

Spørreundersøkelse FU-studenter

• November 2001• Gjelder studenter som tar fag hos AITeL• Spørreskjema:

– Alle studentene fikk e-brev med anmodning om å svare

– Spørsmål via Web-skjema

– Resultatene lagret i database

• Antall svar:– Antall: 453

– I prosent: 45%

– Antall kvinner: 151

– Antall menn: 303

• I tillegg: 30 sider med kommentarer

19/34

Kjønn

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

70,0 %

80,0 %

Mann Kvinne

Kvinner: 151

Menn: 303

SUM 454

20/34

Alder

0,0 %

5,0 %

10,0 %

15,0 %

20,0 %

25,0 %

30,0 %

35,0 %

40,0 %

45,0 %

<20 20-29 30-39 40-49 50-59 >60

21/34

Utdanning fra før

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

Ingenhøgskole/universitet

< 3 århøgskole/universitet

> 3 århøgskole/universitet

22/34

Hvorfor fag via Internett nå?

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

70,0 %

Min første utdannelse foryrkeslivet

Skifter yrke frivillig Påfyll av kompetanse tilmin nåværende jobb

23/34

Studiesituasjon

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

70,0 %

På heltid Samtidig med jobb Ved siden av omsorg

24/34

Hvem betaler?

0,0 %

5,0 %

10,0 %

15,0 %

20,0 %

25,0 %

30,0 %

35,0 %

40,0 %

45,0 %

Av egen lomme Arbeidsgiver Aetat Trygdeordninger Annet

25/34

Hva synes du om denne måten å studere på?

0,00 %

5,00 %

10,00 %

15,00 %

20,00 %

25,00 %

30,00 %

35,00 %

40,00 %

45,00 %

50,00 %

Meget bra Bra passe dårlig svært dårlig

26/34

Ønsket læringsmiljø

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

70,0 %

80,0 %

Enkel brevmodell Brevmodell + diskusjoner, grupper,prosjekter

27/34

Læringsaktivitet og viktighet

Læringsaktiviteter og viktighet

050

100150200250300350400

He

nte

lære

sto

ffje

vnlig

Øvi

ng

sop

pg

ave

r

Akt

ivt p

å N

ew

s

Le

se N

ew

s

IRC

Hyp

pig

ko

nta

ktfa

glæ

rer/

veile

de

r

Uke

ntli

ge

pro

sje

ktm

øte

r

Vid

eo

fore

lesn

ing

Kla

sse

tilh

ørig

he

t

Økt

mu

ligh

et f

or

kon

takt

fag

lære

r

meget uviktig

uviktig

vet ikke

viktig

meget viktig

28/34

Vurdering av læringseffekt

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

Megt dårlig Dårlig Passe God Meget god

29/34

Kvalitet fagene

Kvalitet fagene

0

50

100

150

200

250

Kva

lite

t læ

rest

off

Kva

lite

tø

vin

gso

pp

leg

g

Kva

lite

tlø

snin

gsf

ors

lag

Kva

lite

t re

ttin

ge

r

Re

spo

nst

idø

vin

gsl

ære

r

Nyt

te a

v N

ew

s

He

lthe

tsin

ntr

ykk

læri

ng

sakt

ivite

ter

meget dårligdårligpassegodmeget god

30/34

Vurdering av lærestoffet

0

50

100

150

200

250

Sværtdårlig

Dårlig Greit nok Bra Meget bra

Hva synes du om detegenproduserte lærestoffetpå Web?

Hva synes du om øvingene?

Hva synes du omløsningsforslagene

31/34

Veileders arbeid

0

50

100

150

200

250

300

Megetuenig

Uenig Vet ikke Enig Meget enig

Fornøyd med kvalitet påøvingsretting

Fornøyd med responstida tilveileder

32/34

Helhetsvurdering

0

50

100

150

200

250

300

350

Meget uenig Uenig Vet ikke Enig Meget enig

Faget svarte til mineforventninger

Kan anbefales tilvenner/kollegaer

33/34

Studert via Internett før?

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

70,0 %

80,0 %

90,0 %

nei ja

34/34

Betaler mer dersom tilbudet om læringsaktiviteter utvides

0,0 %

10,0 %

20,0 %

30,0 %

40,0 %

50,0 %

60,0 %

70,0 %

80,0 %

90,0 %

nei ja