info.cbs.dkinfo.cbs.dk/de/content/download/730/4792/version/1... · Web viewKritikken går blandt andet på at værktøjet skal slås til og fra når man bladrer og at det ikke

Titel: Evaluering af Digital EksamenForfatter: Catherine Lind, Forretningsudvikling | EvalueringDato: november 2016Side 1 af 17

Evaluering af Digital EksamenSommeren 2016I efteråret 2015 implementerede CBS eksamensplatformen Digital Eksamen, et samarbejde mellem KU, AU, AAU, RUC og CBS. Dette er en evaluering af anden fase af implementeringen. Evalueringen er foretaget af CBS’ evalueringsenhed i Forretningsudvikling og kommer ind på hvordan studerende og bedømmere – herunder eksterne censorer og vejledere har oplevet at arbejde i og med platformen.

Den generelle tilfredshed med systemet har ikke ændret sig nævneværdig fra første fase af implementeringen til den anden fase. Indtrykket af platformen er overordnet positiv, men der er stadig plads til forbedring og udvikling af systemet. Det er de samme kritikpunkter, der optræder, i kommentarerne i denne runde af evalueringen som i den sidste.

Fra bedømmerne er der kritik angående læse- og rette venlighed i systemet samt at bedømmerne selv skal bruge tid på at printe besvarelser ud. Der er en række forslag til forbedringer samt forslag til workshops man kan afholde for bedømmere:

1. Seminar i brugen af annoteringsværktøjer

2. Forbedring af annoteringsværktøjet så det minder om det, der er i Microsoft Word. Alternativt, så giv de studerende muligheden for at aflevere opgaver i Word

3. Forbedre funktionen hvor man bladre frem og tilbage

4. Gør det teknisk muligt at arbejde i offline tilstand for bedømmere. Gør det nemmere at downloade besvarelser til Ipad/tablet – med de annoteringer, der allerede er skrevet

5. Bedre mulighed for at sortere i de studerende inde på platformen – for eksempel dem man har givet karakterer eller sortering i den rækkefølge de skal op i til mundtlig eksamen.

Derudover indikerer både bedømmere og studerende, at de mangler informationer omkring systemet og systemets helpsite. Det forslås fra de studerendes side at helpsitet kunne udvides med nogle videoer, der viser, hvordan man bruger de basale funktioner i systemet, dette kunne man overveje også at udvide til andre brugere som bedømmere og censorer, da nogle undervisere efterspørger kurser i brugen af digital eksamen.

Af helt konkrete forslag til platformen og dens brug nævner bedømmere og studerende at en test eksamen, der kan afprøves i undervisningen, ville være en god ide. Desuden efterlyser de studerende hjælpetekster omkring formalia som eksempel definitionen af en normalside som en mouse-over tekst.


IndholdEvaluering af Digital Eksamen...........................................................................................................................1

Liste over figurer.............................................................................................................................................2

Metode................................................................................................................................................................3

Studerende.......................................................................................................................................................4

Bedømmere.....................................................................................................................................................5

Ordinære og reeksamens bedømmere, samt vejledere................................................................................5

Censorer....................................................................................................................................................11

Liste over figurerFIGUR 1: STUDERENDES SVARPROCENT.....................................................................................................................4FIGUR 2: BEDØMMERES SVARPROCENT.....................................................................................................................4FIGUR 3: STUDERENDES INDTRYK................................................................................................................................5FIGUR 4: BRUGERVENLIGHED .......................................................................................................................................5TABEL 5: EKSAMENSFORM.............................................................................................................................................6TABEL 6: EKSAMENSFORM.............................................................................................................................................6FIGUR 7: GENERELT INDTRYK AF DIGITAL EKSAMEN............................................................................................6FIGUR 7: GENERELT INDTRYK AF DIGITAL EKSAMEN – FORDELT PÅ EKSAMENSTYPE...............................7FIGUR 8: PRINT AF BESVARELSER................................................................................................................................8FIGUR 9: BENYTTELSE AF DIGITAL UDGAVE.............................................................................................................8FIGUR 10: LÆSE BESVARELSEN I BROWSER...............................................................................................................8FIGUR 11: DOWNLOADE DE STUDERENDES BESVARELSER..................................................................................9FIGUR 12: BENYTTET ANNOTERINGSVÆRKTØJ........................................................................................................9FIGUR 13: INDBYGGEDE ANNOTERINGSVÆRKTØJ.................................................................................................10FIGUR 14: ANDRE ANNOTERINGSVÆRKTØJER........................................................................................................10FIGUR 15: ADGANG TIL ANNOTERINGSVÆRKTØJ..................................................................................................10FIGUR 15: KARAKTERGIVNING I SYSTEMET............................................................................................................11FIGUR 16: FORSTÅ KARAKTERGIVNING....................................................................................................................11TABEL 17: EKSAMENSFORM.........................................................................................................................................12FIGUR 18: GENERELT INDTRYK – FORDELT PÅ EKSAMENSFORM.....................................................................13FIGUR 19: PRINT AF BESVARELSER............................................................................................................................13FIGUR 21: LÆSE BESVARELSER I BROWSER.............................................................................................................14FIGUR 22: BENYTTET ANNOTERINGSVÆRKTØJ......................................................................................................14FIGUR 23: INDBYGGEDE ANNOTERINGSVÆRKTØJ.................................................................................................15FIGUR 24: ANDRE ANNOTERINGSVÆRKTØJER........................................................................................................15FIGUR 25: ADGANG TIL ANNOTERINGSVÆRKTØJ..................................................................................................15FIGUR 26: KARAKTERGIVNING I SYSTEMET............................................................................................................16FIGUR 27: FORSTÅ KARAKTERGIVNING....................................................................................................................16


MetodeForlægget til spørgerammerne til evalueringerne kom fra AAU og blev tilrettet til CBS. I forhold til det forrige spørgeskema er der blevet ændret i enkelte spørgsmål og tilføjet enkelte spørgsmål i spørgeskemaet for bedømmere. I bilaget kan de enkelte spørgeskemaer ses.

Evalueringerne blev sendt ud til de studerende i ugen efter de havde været til eksamen, der blev sendt to remindere ud og undersøgelsen lukkede tre uger efter udsending.

Bedømmerne modtog en invitation til undersøgelsen den 28. juni. Reeksamensbedømmere modtog en invitation den 30. august. Der blev sendt tre remindere ud og undersøgelserne lukkede endeligt den 5. oktober.

Censorer modtog en invitation til evaluering den 30. August. De modtog to remindere og undersøgelsen lukkede endeligt den 5. oktober.

Vejledere på bachelorprojekter og specialer modtog en invitation den 22. juni. De modtog to remindere og undersøgelsen lukkede endeligt den 5. oktober.

Svarprocenten varierer meget fra den ene gruppe til den anden. Generelt har bedømmere, vejledere og censorer en utrolig høj svarprocent. Desværre har de studerende en meget lav svarprocent, der kan derfor være en vis usikkerhed behæftet ved svarene. For at få et indtryk af platformen er der også blevet samlet op på de kommentarer, der har stået i studieårsevaluering 2015/2016.

FIGUR 1: STUDERENDES SVARPROCENT FIGUR 2: BEDØMMERES SVARPROCENT

Efterår 2015 Forår 20160.0%

2.0%

4.0%

6.0%

8.0%

10.0%

12.0%

14.0%

16.0%

18.0%

Svarprocent studerende

Efterår 2015 Forår 2016 Vejledere Censor0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

Svarprocent bedømmere

De enkelte gruppers svar vil blive behandlet i særskilte afsnit på de følgende sider. Det har i alle spørgeskemaer været muligt at komme med uddybende kommentarer. Disse kommentarer er blevet læst igennem af Evalueringsenheden. Der hvor tematikken er fremkommet et par gange nævnes den under det relevante afsnit.


StuderendeDe studerende der har svaret på spørgeskemaet har et rigtig godt indtryk af digital eksamen, således har over 85% angivet at deres indtryk er godt eller meget godt. Dette er en gentagelse af det gode indtryk de studerende havde til vintereksemen. De studerende indikerer også at Digital eksamen er nem at bruge. Igen en gentagelse af vinterens evaluering. Enkelte studerende skriver dog i kommentarerne at Digital Eksamen platformen er meget langsom.

Se figur 3 og 4 for at se udviklingen i tilfredshed fra vinter til sommer.

FIGUR 3: STUDERENDES INDTRYK FIGUR 4: BRUGERVENLIGHED

Meget dårlig Dårlig Hverken dårlig eller godt

Godt Meget Godt0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

Generelt indtryk af Digital Eksamen

Efterår 2015 Forår 2016

Meget uenig Uenig Hverken uenig eller enig

Enig Meget Enig Ved ikke0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

Digital Eksamen er nem at bruge

Efterår 2015 Forår 2016

De studerende har i deres kommentarer mest fokuseret på, at der ikke har været tilstrækkelig information om hvor og hvordan man kunne logge på digital eksamen. De efterlyser, at deres undervisere er tilstrækkelig klædt på til at give information til dem. Derudover efterlyser de at linket til FAQ/vejledninger bliver tydeliggjort på de platforme der er tilgængelige for de studerende.

Et andet kritikpunkt handler mere om de generelle regler omkring formalia ved aflevering af skriftelige eksaminer. De studerende efterlyser, når man skal angive antal normalsider, at der står en definition af en normalside (evt. kunne dette løses ved et mouse-over). Derudover er der også tvivlsspørgsmål om bilag og hvordan de skal uploades på siden.

Et sidste tvivlsspørgsmål, der kommer frem, er angående aflevering i grupper og hvordan dette gøres. Alt i alt kunne noget tyde på, at de studerende føler, at de mangler information omkring platformen, dels hvor man logger ind, dels omkring eksamensformalia.

En anbefaling er at man dels laver nogle instruktionsvideoer, hvor de forskellige funktioner vises ,og at der laves en testeksamen i undervisningen, så både de studerende og underviserne kan prøve systemet.


BedømmereOrdinære og reeksamens bedømmere, samt vejledereHvor vintereksamen 2015/2016 i Digital Eksamens kun bestod af en eksamenstype, bestod sommereksamen i 2016 af flere forskellige eksamensformer. Respondenterne er derfor inddelt, efter hvilken eksamenstype de bedømte. Hvis den samme bedømmer havde flere eksaminer, tog Evalueringsenheden udgangspunkt i den prøve der var færrest af, således at der var en nogenlunde lige stor population inden for de enkelte eksamensformer. Nedenstående figur viser, hvilken eksamenstype respondenterne har svaret på baggrund af.

TABEL 5: EKSAMENSFORM1 TABEL 6: EKSAMENSFORM Respondenter Procent

MOP under 65 30,4%

MOP mellem 29 13,6%

MOP over 29 13,6%

HJ under 43 20,1%

HJ mellem 0 0,0%

HJ over 0 0,0%

Mundtlig 5 2,3%

Skriftlig stedprøve 43 20,1%

I alt 214 100,0%

Respondenter Procent

Bachelorprojekt 53 15,5%

Speciale 180 52,6%

Vejledt begge 109 31,9%

I alt 342 100,0%

I forhold til vintereksamen er tilfredsheden med Digital Eksamens nogenlunde ens. Over halvdelen af bedømmerne har et godt eller meget godt indtryk af digital eksamen ved sommereksaminerne. Dette indtryk ligger nogenlunde stabilt i forhold til vinterens eksaminer.

FIGUR 7: GENERELT INDTRYK AF DIGITAL EKSAMEN

Meget dårlig Dårlig Hverken dårlig eller godt

Godt Meget Godt0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%


Efterår 2015 Forår 2016 Vejledere

1Mundtlig prøve på baggrund af skriftligt produkt (MOP) -under 20 sider for individuel stud, MOP - mellem 21 og 40 sider for individuel stud, MOP - over 41 sider for individuel stud, Hjemmeopgave - under 20 sider for individuel stud, Hjemmeopgave - mellem 21 og 40 sider for individuel stud, Hjemmeopgave - over 41 sider for individuel stud, Skriftelig stedprøve, Mundtlig eksamen – uden skrifteligt oplæg


Når man kigger på den generelle tilfredshed med systemet fordelt på, hvilken eksamenstype eksaminatorerne har bedømt, ændrer det generelle indtryk sig lidt (se figur 7). Det er her værd at bemærke, at eksaminatorer, der har bedømt en MOP under 20 sider eller en hjemmeopgave under 20 sider, har et dårligere indtryk af Digital Eksamen end deres kollegaers. Det er de to grupper, der ikke har modtaget udprint af de studerendes besvarelser, og derfor kan utilfredsheden eventuelt skyldes, at de selv har skulle bruge tid på at printe. Et kig i kommentarerne understøtter den teori, her skriver en bedømmer blandt andet: ”Reelt er udprintningen af opgaverne en opgave, der ikke tidligere blev varetaget af bedømmerne. Det betyder, at honoraret er blevet mindre i og med at bedømmerne nu skal udføre et arbejde der tidligere blev udført af andre faggrupper.”

FIGUR 7: GENERELT INDTRYK AF DIGITAL EKSAMEN – FORDELT PÅ EKSAMENSTYPE

MOP under

MOP mellem

MOP over

HJ under

Mundtlig

Skriftelig stedprøve

Bachelorprojekt

Speciale

Begge

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%


Meget dårlig Dårlig Hverken dårlig eller godtGodt Meget Godt

54% af bedømmerne til de ordinære eksamener og reeksamener har indikeret, at de printede besvarelserne ud, men som figur 8 viser, er der stor variation, alt efter hvilken slags eksamen bedømmeren har haft. Af vejlederne har lidt over halvdelen benyttet den digitale udgave af besvarelsen. Men det er værd at bemærke at vejlederne har også haft adgang til en papirversion af besvarelsen. Af de bedømmere, der har bedømt en skriftlig stedprøve, har størstedelen valgt ikke at printe besvarelsen ud. Figur 10 viser, at de indikerer at det er nemt at læse de studerendes besvarelser i browser. Et af de gennemgående kritikpunkter, der omhandler læsningen af besvarelserne i systemet er, at det fastlåser ens siddestilling, samt at man bliver hurtigere træt i øjnene når man læser på en skærm.


FIGUR 8: PRINT AF BESVARELSER FIGUR 9: BENYTTELSE AF DIGITAL UDGAVE

MOP under

MOP mellem

MOP over

HJ under


Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Printede du besvarelserne ud?

Ja Nej

Bachelorprojekt

Speciale

Begge

Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Benyttede du dig af den digitale udgave af opgaven?

Ja Nej

FIGUR 10: LÆSE BESVARELSEN I BROWSER

MOP under

MOP mellem

MOP over

HJ under


Bachelorprojekt

Speciale

Begge

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Det er nemt at læse besvarelsen i browser

Meget uenig Uenig Hverken uenig eller enigEnig Meget Enig Ved ikke

De fleste bedømmere vurderer, at det er nemt at downloade de studerendes besvarelser (se figur 11). Tallene fra efteråret viser, at det er en generel tendens. I kommentarerne efterlyser en del, at man kan arbejde i systemet offline, fremfor at skulle downloade besvarelserne. En eksaminator nævner specifikt de problemer, censor havde under den mundtlige eksamen, hvor censor hele tiden blev smidt af nettet og dermed også systemet, her havde en offline arbejdsversion gjort eksaminationen nemmere for censor, der så ikke havde behøvet at fokusere på at logge på systemet, men kunne havde fokuseret på den mundtlige eksamination. En anden begrundelse for en offline version, der også er nævnt er, at man ikke behøver at printe besvarelserne ud, når man under transport vælger at læse og rette besvarelserne.


FIGUR 11: DOWNLOADE DE STUDERENDES BESVARELSER



5.0%

10.0%

15.0%

20.0%

25.0%

30.0%

35.0%

40.0%

45.0%

Det er nemt at downloade de studerendes besvarelser

Bedømmer 2015 Bedømmer 2016 Vejledere

Det er meget få bedømmere, der har benyttet sig af annoteringsværktøjet (se figur 12). Det annoteringsværktøj, der er tilgængeligt i Digital Eksamen, er bedømmerne ikke tilfreds med. Figur 13 viser graden at tilfredshed for de enkelte eksamenstyper. Det får desuden en del kritik med på vejen i kommentarerne. Kritikken går blandt andet på at værktøjet skal slås til og fra når man bladrer og at det ikke har de samme funktioner som man kender i Microsoft Word. Man kan overveje at gøre det muligt for de studerende at aflevere i et alternativt format, f.eks. Word, som bedømmerne typisk kender.

FIGUR 12: ANNOTERINGSVÆRKTØJ

MOP under

MOP mellem

MOP over

HJ under


Bachelorprojekt

Speciale

Begge

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Har du benyttet dig af et annoteringsværktøj (rette/note værktøj)?

Ja Nej

Når det kommer til andre annoteringsværktøjer er indikationen, at det ikke er nemt at benytte andre værktøjer i besvarelsen (se figur 14), det skyldes formentlig at besvarelserne afleveres i PDF og derfor ikke nemt kan ændres til et andet format (F.eks. Word). Enkelte bedømmere og censorer har nævnt, hvilke værktøjer de benytter sig af i gennemgangen af besvarelsen. Her nævnes programmer som Evernote, Digitizer, Reddle PDF og noter ved siden af enten på papir eller computer.


FIGUR 13: INDBYGGEDE ANNOTERINGSVÆRKTØJ

MOP under

MOP mellem

MOP over

HJ under


Bachelorprojekt

Speciale

Begge

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Det er nemt at benytte det indbyggede annoteringsværktøj i Digital Eksamen systemet

Meget uenig Uenig Hverken uenig eller enig Enig Meget Enig Ved ikke

FIGUR 14: ANDRE ANNOTERINGSVÆRKTØJER

MOP under

MOP mellem

MOP over

HJ under


Speciale

Begge

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Det er nemt at benytte andre former for annoteringsværktøjer i besvarelsen


Der er tydelige indikationer på at annoteringsfunktionen er meget utilfredsstillende for bedømmerne. Som figur 15 viser, er langt størstedelen uenige i, at de har adgang til de annoteringsværktøjer, de har behov for. På baggrund af denne information burde man overveje at udbyde kurser i brugen af forskellige annoteringsværktøjer, evt. i samarbejde med Teaching and Learning


FIGUR 15: ADGANG TIL ANNOTERINGSVÆRKTØJ

MOP under

MOP mellem

MOP over

HJ under


Bachelorprojekt

Speciale

Begge

0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% 100.00%

Jeg har adgang til de annoteringsværktøjer som jeg har behov for


Næsten 90 % af bedømmerne enige eller meget enige i, at funktionerne omkring karaktergivning i Digital Eksamen er nemme at benytte og forstå (Figur 16 og 17). De positive tilkendegivelser handler om, at det er lykkedes at forenkle karakterindberetning. Ønskerne til forbedring af karaktergivning i systemet omhandler:

- en mulighed for at se karaktergennemsnit, median og fordeling- en mulighed for at styre bedre hvornår karakterne sendes ud, hvis der har været flere bedømmere på

et fag, og - en mulighed for at kunne indikere, hvis en studerendes besvarelse er endt i en plagiat sag, således at

remindere omkring manglende karakter ikke bliver ved med at dukke op.

I kommentarerne bliver der givet udtryk for, at det bør skærpes hvornår en studerende skal have -3 og hvornår en studerende skal markeres som udeblevet i systemet. Især fordi karaktergivningen ikke i samme omfang kontrolleres af administrationen som tidligere.

FIGUR 15: KARAKTERGIVNING I SYSTEMET FIGUR 16: FORSTÅ KARAKTERGIVNING




10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

Det er nemt at give de studerende karakterer




5.00%

10.00%

15.00%

20.00%

25.00%

30.00%

35.00%

40.00%

45.00%

50.00%

Det er nemt at forstå hvordan karaktergivning fungerer


CensorerCensorerne er ligesom de interne bedømmere blevet inddelt i grupper alt efter hvilken eksamenstype de har bedømt. Hvis den samme censor havde flere eksaminer, tog evalueringsenheden udgangspunkt i den slags prøve der var færrest af, således at der er en nogenlunde lige stor population inden for de enkelte eksamenstyper. Nedenstående figur viser, hvilken eksamenstype respondenterne har svaret på baggrund af.

TABEL 17: EKSAMENSFORM2

Respondenter Procent

MOP under 43 36,40%

MOP mellem 22 18,60%

MOP over 4 3,40%

HJ under 21 17,80%

HJ mellem 0 0,00%

HJ over 3 2,50%

Mundtlig 9 7,60%

Skriftelig stedprøve 16 13,60%

I alt 118 100,00%

Næsten 75% af censorerne vidste, hvilken hjemmeside de skulle logge på, for at finde besvarelserne og under 15% havde problemer med at logge på eller tilgå prøven, ca. 1/5 havde behov for support i forbindelse med eksamen.

Omtrent 60% af censorerne har et godt eller meget godt indtryk af Digital Eksamen. Den største grad af utilfredshed med systemet er at finde blandt de censorer, der har haft med MOP eksamensformen at gøre,

2Mundtlig prøve på baggrund af skriftligt produkt (MOP) - under 20 sider for individuel stud, MOP - mellem 21 og 40 sider for individuel stud, MOP - over 41 sider for individuel stud, Hjemmeopgave - under 20 sider for individuel stud, Hjemmeopgave - mellem 21 og 40 sider for individuel stud, Hjemmeopgave - over 41 sider for individuel stud, Skriftelig stedprøve, Mundtlig eksamen – uden skriftligt oplæg


imens den største grad af tilfredshed findes hos de censorer, der har vurderet en skriftlig stedprøve som man kan se i figur 18.

I kommentarerne kommer et par af censorerne ind på aflønning, blandt andet skriver en censor: ”Så længe dette system ikke er integreret med http://censor-it.censorerne.dk, gennem hvilket censor allokeres til de enkelte opgaver, er systemet kun en klods om benet for censor. Efter at dette system er blevet ibrugtaget, regnes den tid censor har brugt på systemet i maj og juni måned i mange og aldeles ikke værdiskabende timer.” Denne kommentar står ikke alene, andre nævner at Aarhus Universitet har en funktion der kigger på Digital Eksamen ved aflønning af censorer. Man kan overveje at kigge på om systemet kan videreføres til CBS.


FIGUR 18: GENERELT INDTRYK – FORDELT PÅ EKSAMENSFORM

MOP under

MOP mellem

MOP over

HJ under

HJ over

Mundtlig


Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%


Meget dårlig Dårlig Hverken dårlig eller godtGodt Meget Godt

Modsat bedømmerne har censorerne ikke i særlig høj grad valgt at printe besvarelserne. Omtrent 40 % valgte at printe besvarelserne ud. Det er værd at bemærke at der igen er stor variation alt efter hvilken eksamenstype de har bedømt. Dem der har bedømt hjemmeopgaver over 40 sider har i langt højere grad valgt at printe besvarelsen ud, i forhold til dem, der har bedømt en MOP over 40 sider (se figur 19). Begrundelsen for at printe hos censorerne er, at det er nemmere at læse og skrive noter på en papirudgave. Derudover bliver problematikken omkring at sidde med en skærm til en mundtlig eksamen rejst i kommentarerne. Nogle finder det nemmere at tage papirversioner med rundt, mens andre finder det nemmere at have en digital udgave med rundt, da det også er mindre at bære rundt på og sparer miljøet. Det kan, også her, være værd at overveje om en offline version af besvarelserne vil kunne afhjælpe noget af behovet for at printe.

Begrundelserne for ikke at printe ud er, at det er for dyrt selv at gøre, men også, at det er nemmere at køre det digitalt. Et par censorer påpeger, at de finder det problematisk, at de ikke modtager en papirudgave som tidligere, men at de skal bruge tid og penge på selv at printe ud. Der er desuden en enkelt kritik af at systemet er gammeldags ”Because I could not print from my ipad, the system is set up for laptops. Very oldfashioned”

FIGUR 19: PRINT AF BESVARELSER

MOP under

MOP mellem

MOP over

HJ under

HJ over


Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Printede du besvarelserne ud?

Ja Nej


68% af censorerne er enige eller meget enige i, at det er nemt at downloade besvarelserne. Lidt flere censorer end bedømmere indikerer, at det er nemmere at læse besvarelsen i browser. De mest enige i udsagnet er censorer til skriftlige stedprøver (Figur 21). Det der hjælper censorerne er forskellige noteprogrammer som ”PDF expert eller lignende, som gør det muligt at arbejde offline”, ”admincontrol” eller ”I use Abobe DC so that I can make notes directly on the papers and can work offline, carry out word searches etc. I add my marking checklist to a copy of the file.“ men også at have enten ”en tilpas stor skærm”, flere skærme eller Ipads til at læse på.

FIGUR 21: LÆSE BESVARELSER I BROWSER

MOP under

MOP mellem

MOP over

HJ under

HJ over


Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Det er nemt at læse besvarelsen i browser


Af censorerne har 18% indikeret, at de har benyttet et annoteringsværktøj i gennemgangen af opgaven som vist i figur 22. Der efterspørges som sådan ikke kurser i brugen af annoteringsværktøjer, men ønsket om det bliver mere ligesom Microsoft Word gør sig også gældende hos censorerne.

FIGUR 22: BENYTTET ANNOTERINGSVÆRKTØJ

MOP under

MOP mellem

MOP over

HJ under

HJ over

skriftlig stedprøve

Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Har du benyttet dig af et annoteringsværktøj (rette/note værktøj)?

Ja Nej

Under 40% af censorerne er enige i, at det er nemt at benytte det indbyggede annoteringsværktøj og næsten 50% er meget uenige og uenige i, at det er nemt at benytte andre annoteringsværktøjer i besvarelsen (se figur


23 og 24). Alligevel er næsten 70% af censorerne enige eller meget enige i, at de har adgang til de annoteringsværktøjer, de har behov for (figur 25%).

FIGUR 23: INDBYGGEDE ANNOTERINGSVÆRKTØJ

MOP under

MOP mellem

MOP over

HJ under


Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Det er nemt at benytte det indbyggede annoteringsværktøj i Digital Eksamen systemet


FIGUR 24: ANDRE ANNOTERINGSVÆRKTØJER

MOP under

MOP mellem

MOP over

HJ under


Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Det er nemt at benytte andre former for annoteringsværktøjer i besvarelsen



FIGUR 25: ADGANG TIL ANNOTERINGSVÆRKTØJ

MOP under

MOP mellem

MOP over

HJ under


Samlet

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Jeg har adgang til de annoteringsværktøjer som jeg har behov for


Når det kommer til karaktergivning indikerer langt de fleste censorer, at det er nemt at give de studerende karakterer og at det er nemt at forstå karaktergivningen (figur 26 og 27). I kommentarerne er der et par ønsker til forbedringer af systemet: ”når man har udfyldt og indtastet sin karakter korrekt ville det være smart, hvis den forsvandt, når den var udfyldt og godkendt, så man lettere kan se, hvilke besvarelser der mangler karakter.” en anden censor skriver: ”1) Ved karaktergivning ville det være en fordel, om man kunne se eksaminators karakterer, blot som en ekstra sikkerhed. 2) Vi blev opfordret til at medbringe egen computer og indtaste karakterer straks. Da jeg var med tog og også skulle overnatte, valgte jeg at lade computeren blive hjemme for ikke at have for meget at bære på. Kunne der stilles faciliteter til rådighed på stedet, så man ikke behøver at medbringe computer?”

FIGUR 26: KARAKTERGIVNING I SYSTEMET FIGUR 27: FORSTÅ KARAKTERGIVNING



5.0%

10.0%

15.0%

20.0%

25.0%

30.0%

35.0%

40.0%

45.0%

50.0%

1.7%3.5%

10.4%

37.4%

44.3%

2.6%

Det er nemt at give de studerende karakterer



5.0%

10.0%

15.0%

20.0%

25.0%

30.0%

35.0%

40.0%

45.0%

50.0%

0.9%2.6%

10.4%

43.5%

37.4%

5.2%

Det er nemt at forstå hvordan karaktergivning fungerer


Documents

info.cbs.dkinfo.cbs.dk/de/content/download/730/4792/version/1... · Web viewKritikken går blandt andet på at værktøjet skal slås til og fra når man bladrer og at det ikke