Digital salsskrivning - hösten 2014

Pilotstudie på Handelshögskolan, Göteborgs universitet

Maria Nilsson

Maria Sunnerstam

Bengt Petersson

http://creativecommons.org/licenses/by-nd/3.0/

Arbetsrapport: 2014:03 Utgivningsdatum: 2014-12-16 Titel: Digital salsskrivning - hösten 2014. Pilotstudie på Handelshögskolan, Göteborgs universitet. Författare: Maria Nilsson, Maria Sunnerstam, Bengt Petersson Utgivare: Göteborgs universitet, Enheten för pedagogisk utveckling och interaktivt lärande (PIL), Västra hamngatan 25, Box 300, SE 405 30 Göteborg http://www.pil.gu.se/rapporter

Innehåll

Inledning ............................................................................................................ 1 Omvärldsorientering ....................................................................................... 1 Syfte och frågeställningar ............................................................................... 1

Pilotprojektet hösten 2014 ................................................................................. 2 Ansvarsfördelning ....................................................................................... 2 Examinationstillfällen .................................................................................. 3

Erfarenheter och resultat ................................................................................... 4 Erfarenheter från tre tillfällen .......................................................................... 4

Examinationstillfälle 1, 2014-10-03 ............................................................. 4 Examinationstillfälle 2. 2014-10-29 ............................................................. 6 Examinationstillfälle 3. 2014-10-31 ............................................................. 7

Förväntat resultat och utfall ............................................................................ 9

Diskussion ....................................................................................................... 11 Rekommendationer ...................................................................................... 12

Referenslista.................................................................................................... 14

1

Inledning Under 2014 har Enheten för pedagogisk utveckling och interaktivt lärande (PIL) genomfört

en pilotstudie på initiativ av och i nära samarbete med Handelshögskolans fakultet och

institutioner. Pilotstudiens syfte har varit att genomföra digital salsskrivning vid utvalda

tentamenstillfällen och att utvärdera de möjligheter och utmaningar digital salsskrivning

innebär. Under våren provades ett danskt systemstöd och under hösten har ett svenskt

systemstöd provats. Mer om bakgrunden till projektet och erfarenheterna av vårens arbete

finns samlade i en första rapport som publicerades i juni 2014.1

I följande rapport redogör arbetsgruppen för erfarenheter av höstens arbete. Rapporten

riktar sig i första hand till företrädare för Handelshögskolan samt till ledamöterna i

Utbildningsnämnden.

Omvärldsorientering

Under våren 2014 publicerades ett delbetänkande från Digitaliseringskommissionen; En

digital agenda i människans tjänst- en ljusnande framtid kan bli vår. I delbetänkandet betonas

att nationella prov i framtiden bör genomföras digitalt och Skolverket ges i uppdrag att

”utreda hur digitalt baserade nationella prov kan införas i grund- och gymnasieskolan samt

kostnader och tidsplan för detta.”2.

Inom högre undervisning är det flera svenska lärosäten som nu aktivt arbetar för, eller redan

har infört digital salsskrivningar. Som exempel kan nämnas Stockholms universitet,

Handelshögskolan i Stockholm och juridiska fakulteten vid Lunds universitet.3 SUNET

(Swedish University Computer Network) har under hösten initierat ett projekt med målet att

”… under 2015, skapa en grund för tekniska lösningar som kan användas som startvärde av

lärosäten som ska införa digital tentamen.”4

Syfte och frågeställningar

Pilotförsöken vid Handelshögskolan under hösten 2014 har haft samma syfte och

frågeställningar som de pilotförsök vilka genomfördes under våren 2014:

”Syftet med projektet är att pröva digital examination vid salsskrivning och systematiskt

dokumentera erfarenheterna inför ett eventuellt breddinförande vid Göteborgs universitet.”5

1 Nilsson, Sunnerstam, Petersson, 2014:2 2 En digital agenda i människans tjänst – en ljusnande framtid kan bli vår. SOU 2014:13, s 21 3 Stockholms universitet: http://www.su.se/utbildning/studentservice/it-f%C3%B6r-studenter/it-

nyheter/digital-tentamen-och-tentamenssalar-1.170889

Handelshögskolan i Stockholm: http://www.hhs.se/sv/om-oss/news/2014/handelshogskolan-satsar-pa-digitala-tentor/

Juridiska fakulteten vid Lunds universitet: http://www.law.lu.se/#!digitalexam 4 Brenner, 2014 5 Nilsson, Sunnerstam, Petersson, 2014:2

2

”Exempel på frågeställningar:

Hur ser studenterna på digitala salsskrivningar?

Vad innebär digital salsskrivning för kursadministratörers och lärares arbetssätt före,

under och efter examinationstillfället?

Hur fungerar det för lärare att lägga upp examinationsuppgifter samt att bedöma

inlämnade svar och återkoppla till studenterna?

Vilka krav ställer digitala salsskrivningar på universitetets infrastruktur?” 6

Via Utbildningsnämnden har förfrågan om att delta vid höstens pilotförsök gått ut till

universitetets samtliga fakulteter. Det är flera institutioner som visat intresse men som inte

kunna delta under höstens försök.

Pilotprojektet hösten 2014 Handelshögskolan önskade fortsatt stöd under hösten från PIL-enheten för att utvärdera det

svenska systemet DigiExam. Företaget DigiExam har med fokus på enbart salsskrivning,

arbetat för att utveckla ett flexibelt verktyg som ska kunna ersätta i stort sett all manuell

hantering av tentamensfrågor, distribution och rättning vid salsskrivningar.7

För att kunna använda systemet krävs uppkoppling till Internet. Systemet är i första hand

tänkt att användas via studentens egen dator i skrivsalen (BYOD – Bring Your Own Device),

men det går även att använda systemet i datorsal. Studenten ska i förväg installera en

programvara på sin dator. 8 9 Vid tentamenstillfället öppnar studenten programmet som ger

tillgång till själva tentamen. Så länge tentamen är öppen är åtkomst till övriga program och

webbläsare helt och hållet låst. 10

Ansvarsfördelning

Under höstens pilotförsök har leverantören demonstrerat systemet och hjälpt till med

support via webbkonferenssystem, telefon och e-post. Licenser för pilotperioden har varit

utformade enligt en fast kostnad per tentamen. Företrädare från företaget har varit med vid

varje tentamenstillfälle för att hjälpa till med support och felavhjälpning.

Handelshögskolan har tagit ansvar för all kontakt med studenterna, bokat lokaler och ordnat

tentamensvakter, alternativt agerat tentamensvakter själva. De har också betalat alla

licenskostnader och övriga kostnader gentemot leverantören. PIL-enhetens ansvar har varit

att stötta med information och support under pilotprojektet. Även att samordna och

upprätthålla kontakten med leverantör. Arbetsgruppen vid PIL-enheten har skrivit en

6 Nilsson, Sunnerstam, Petersson, 2014:2 7 https://www.digiexam.se/sv/ 8 Bilagedelen med detaljinformation publiceras ej. Kontakta PIL för mer information. 9 Jfr särskild bilagedel. Bilaga 6: Företagets egen information till studenter 10 Jfr särskild bilagedel. Bilaga 1: Verktyget DigiExam

3

checklista som använts vid digital salsskrivning.11 PIL-enheten har också ansvarat för att

sammanställa information från pilotprojektets intressenter och att ta fram denna rapport.

Examinationstillfällen

I följande tabell redovisas de examinationstillfällen där DigiExam använts. Två av de lärare

som var med vid vårens pilotomgångar valde att delta även under hösten. Ytterligare en

lärare, som inte tidigare provat systemstöd för digital salsskrivning, anmälde sitt intresse att

delta. Inför varje tentamen deltog kursansvarig, kursadministratör, IT-ansvarig och PIL-

enheten i leverantörens utbildning i systemet via Adobe Connect. Två av tre omtentor

genomfördes i DigiExam, tillfälle 2 och 3.

Tabell 1 Examinationstillfällen hösten 2014

Till- fälle

Insti- tution

Kurs- kod

Kurs- benämning

Kurs-ansvarig

Kursadmini-stratör

IT-stöd Datum för examina-tion

Antal studen- ter

Lokal

1 JUR HRS 010

Ersättnings-rätt

Filip Bladini Josefin Johanson

Jeffrey Johns

141003 35 C22

2 FEK FEG 301

Konsumentbeteende

Ulrika Holmberg

Emma Fröjd Emil Johans-son

141029 40 Dator-salar

FEG301 Omtentamen 141128

3 FEK/GS GMO 516

Intermodal Freight Transport

Rickard Bergqvist

Maria Thoresen

Emil Johans-son

141031 40 C22

GMO516 Omtentamen 141215

Den sal som bokades för två av pilotexaminationerna, C22, var densamma som vid en av

vårens salsskrivningar. Därför behövde inte ytterligare tester göras för att undersöka

bandbredd och tillgång till eluttag. Inför det tentamenstillfälle som genomfördes i datorsalar

träffade arbetsgruppen IT-ansvarig för att i förväg prova att systemet skulle fungera på

tentamensdagen. IT-ansvarig installerade också i förväg programvaran på datorerna i salarna

via en länk som tillhandahölls av leverantören.

Det finns möjlighet att integrera kurs- och studentuppgifter från Ladok med DigiExam. Att

göra en sådan integration kräver en hel del arbete. Inför pilotförsöken gjordes ingen

integration. Därför fick studenter, lärare och administratörer själva skapa egna konton i

DigiExam. För att få rätt behörighet i systemet fick lärare och administratörer ta kontakt

med leverantören. I pilotprojektet matades alla studentuppgifter in med hjälp av listor som

11 Jfr särskild bilagedel. Bilaga 2: Checklista

4

kunde exporteras från Ladok eller GUL (Göteborgs universitets lärplattform). Listorna

användes i systemet för att para ihop rätt student-ID med aktuell tentamen.12

I det danska system som testades under våren fanns begränsningar för möjligheten att skriva

matematiska formler i fritextfrågor. En del begränsningar fanns även i DigiExam, vilket

medförde att inga pilottentamina genomfördes där studenten förväntades kunna rita grafer

och skriva formler.13

Erfarenheter och resultat

I det följande redovisas sammanfattningsvis erfarenheter från de tre examinationstillfällen

som genomfördes. En utförlig redovisning av händelseloggar, studentenkätsvar, kritiska

händelser och reflektioner som PIL noterat etcetera finns i en separat bilagedel.14

Erfarenheter från tre t il lfällen

Under höstens pilotförsök användes systemet DigiExam i alla tre pilotförsök och företagets

representant var närvarande vid samtliga salsskrivningar. Den kortfattade resultatredovisning

som följer, tar inledningsvis upp generella förutsättningar för examinationstillfället. Därefter

sammanfattas synpunkter som framkommit via studentenkäter och intervjuer med

kursadministratörer och lärare.

Examinationstillfälle 1, 2014-10-03

Den 3:e oktober genomfördes det första examinationstillfället i kursen Ersättningsrätt vid

juridiska institutionen. Det var 32 tentander vid tillfället som genomfördes i en gradängsal

vid Handelshögskolan. Att skriva tentamen på dator lades fram till studenterna som ett

erbjudande, vilket ingen tackade nej till. De flesta studenter skrev på sin egen medtagna

laptop. En student fick använda en lånedator som IT-ansvarig på juridiska institutionen hade

installerat programvaran på i förväg. Eftersom tentamensfrågorna var långa och studenterna

skulle ha möjlighet att göra egna noteringar i texten, hade uppgifterna även skrivits ut på

papper som delades ut till alla studenter.

Drygt halvvägs in i tentamen gick ett högljutt larm som gjorde att studenterna inte kunde

vara kvar i salen. Studenterna fick byta till en annan mindre sal, eftersom väktare varken

kunde lokalisera varifrån ljudet kom eller stänga av det. Salen saknade eluttag vid varje plats.

En student som hade kort batteritid på sin dator fick sitta vid katedern nära ett eluttag och

skriva. IT-ansvarig gick för att hämta förlängningssladdar. En av studenterna kunde dock

inte komma in i DigiExam efter salsbytet och fick fortsätta tentamen i ett Word-dokument.

Enligt företagets representant hade något liknande enbart inträffat en enda gång tidigare.

12 Jfr särskild bilagedel. Bilaga 2: Verktyget DigiExam

13 Bör tillägas att det finns ritmöjligheter i DigiExam som ger stöd för användning av enklare grafer.

14 Bilagedelen med detaljinformation publiceras ej. Kontakta PIL för mer information.

5

Problemet löste sig mot slutet av tentamen och studenten kunde läsa igenom de svar som

tidigare påbörjats i DigiExam innan den slutgiltiga inlämningen.

Studentperspektiv: I studentenkäten som publicerades på GUL var svarsfrekvensen 40 %. Det

vill säga att 14 av 35 studenter besvarade enkäten. Studentenkäten visar att de flesta

studenterna var nöjda med systemet. De fördelar som studenterna pekade på är att kunna

strukturera sina svar genom att lättare kunna radera och lägga till text, slippa få skrivkramp

och att digital salsskrivning är tidseffektivt. Tiden kan istället läggas på att ordentligt sätta sig

in i frågorna och att ge genomtänkta svar på det som efterfrågas. Nackdelar som uppges är

att studenterna varit rädda att systemet skulle krascha eller att tekniken på annat sätt skulle

krångla. Att ergonomin vid bänkraderna inte var särskilt bra samt att studenterna inte fick

plats med allt sitt material på den minimala platsen vid bänkarna. Studenterna var besvikna

över att det inte fanns någon editor till fritextfrågorna. Det gick exempelvis inte att göra

texten i kursiv- eller fetstil. Inte heller gick det att göra rubriker, vilket hade kunnat bidra till

ännu tydligare svar.

Administratörsperspektiv: Kursadministratören upplevde att förarbetet var enkelt. Det uppstod

inga problem vid uppladdning av essäfrågor och student-ID i systemet. IT-ansvarig vid

institutionen hjälpte till med det förberedande arbetet. Studenterna var nervösa innan

tentamen. De ville ha information om säkerhetsåtgärder. Studenterna frågade också efter

kladdpapper. Administratören upplevde inte att gradängsalen C22 var optimal, men det

var/är den bästa som finns att tillgå. Administratören pekade på de administrativa vinsterna

med systemet som, bland annat, handlar om mindre pappershantering. Läraren valde att

skriva ut studenternas tentamenssvar på papper för rättning. Administratören upplevde att

det var enkelt att göra utskrifter av studenternas tentamenssvar. Konsekvensen av den

analoga rättningen var att resultaten inte rapporterades via systemet. Det var då aningen

svårare att av-anonymisera tentamina i DigiExam. Med hjälp av två listor som exporterades

från DigiExam och som sedan matchades mot varandra var det dock möjligt att av-

anonymisera tentamenssvaren.

Lärarperspektiv: Endast en lärare (kursansvarig) var involverad i denna tentamen. Kursansvarig

hade gjort ett medvetet val i att utnyttja digital salsskrivning. Tentamen låg inom ett

magisterprogram och frågorna var framställda i essäformat. Under efterföljande intervju

beskriver läraren att juridikstudenter måste kunna bedöma ett resonemang. När studenterna

nått magisternivå bedöms framförallt stringens, struktur och argumentation i resonemanget,

inte faktakunskaper. Därför är det nödvändigt att studenterna har möjlighet att revidera,

flytta och strukturera om i sin text. I arbetslivet används inte längre papper och penna.

Ämnets karaktär gör därför att den digitala formen vid examinationen blir viktig. Studenterna

är fria att ta med sig all litteratur de önskar. Dock är internetsökning inte tillåtet eftersom

studenterna då skulle kunna söka upp och ta hjälp av tidigare rättsfall.

Rättningen gjordes inte digitalt i systemet utan på utskrivna kopior av studenternas

tentamenssvar. Läraren vill inte att kommentarer och poäng ska finnas i tentamenssvaren

eftersom det är vanligt att andra studenter kräver ut rättade tentor för att ta reda på hur ett

svar med höga poäng bör se ut. Om det i framtiden blir möjligt att radera studenternas

digitala kopior efter att studenten tagit del av sitt resultat vore det en bra lösning.

6

Läraren behövde inte ändra något i sina vanliga rutiner inför den digitala examinationen. All

systemrelaterad hantering, information till studenter, administration och att ladda upp

tentamensfrågor i systemet togs om hand av IT-ansvarig och kursadministratör. Läraren har

därför inga synpunkter på hur systemet fungerar i fråga om användbarhet och

användarvänlighet. Idag sköts all manuell hantering runt examinationer av kurssekreterare

och amanuenser. Många av dessa uppgifter skulle upphöra att finnas till vid införande av

digital salsskrivning. Fördelarna upplevs av läraren som många. Rättande lärare slipper tyda

studenternas ”kråkfötter”. Systemet är säkert eftersom det inte finns någon risk att

tentamenssvar försvinner i hanteringen.

Läraren menar att lärarkollegor ofta upplever att administrativt arbete utförs i många led i

den ordinarie tentamenshanteringen. Tentamensfrågor ska lämnas in ett visst antal dagar i

förväg. De ska sedan levereras, hämtas och delas ut. Den administrativa hanteringen upplevs

ofta som en börda.

Examinationstillfälle 2. 2014-10-29

Det andra examinationstillfället var en tentamen i konsumentbeteende med 36 studenter vid

Företagsekonomiska institutionen. Den här gången användes tre intilliggande datorsalar vid

Handelshögskolan. Programvaran som skulle låsa studenternas datorer hade installerats och

testats i förväg. En av de ordinarie tentamensvakterna vid Tentamensservice hade hyrts in

för att vakta i en av salarna.15 I de två andra salarna vaktade kursens lärare och

administratör.

En nackdel med att använda systemet DigiExam i datorsal istället för på studentens egen

dator är att automatiska programuppdateringar från universitetets DAFGU-miljö kan

aktiveras under tentamen. Om detta inträffar tolkar systemet uppdateringen som ett försök

till intrång och systemet släcks automatiskt ned. Studentens skärm blir svart och ett

meddelande instruerar studenten att räcka upp handen. Läraren kan då via systemets

webbgränssnitt låsa upp systemet igen för studenten. Två studenter råkade ut för denna typ

av avbrott men kunde fortsätta sedan de återigen fått tillgång till systemet. För att slippa

liknande avbrott går det att genomföra examinationen helt offline. Då används en kopia av

tentamen som skapas via webbgränssnittet och lagts över på ett USB-minne.

Två studenter hade inte kontakt med nätverket när det var dags att lämna in tentamen.

Genom att använda ett USB-minne där en kopia av tentamen i DigiExam fanns förberedd,

fungerade inlämningen utan problem. Läraren kunde föra över studenternas inlämning till sin

egen dator via USB-minnet och samtidigt synkroniserades informationen med den

molnbaserade DigiExam-tjänsten. Två studenter hade förlängd skrivtid och satt ytterligare

1,5 timma. I systemet sätts ingen sluttid för tentamen. Den avslutas istället manuellt via

webbgränssnittet, till exempel av ansvarig tentamensvakt.

Studentperspektiv: I kursen genomfördes ingen separat enkät för digital salsskrivning, men en

fråga inkluderades i den ordinarie kursvärderingen. Frågan som ställdes var: Vad tycker du

15 http://medarbetarportalen.gu.se/verktyg/lokaler-tentamensbokning/

7

om programmet DigiExam som användes till essätentamen (tentamen 2)? Graderingen var:

Inte bra, Mindre bra, Medel, Bra, Mycket bra. Det var 10 studenter som besvarade frågan,

varav 6 studenter svarade Mycket bra och 4 studenter svarade Bra. Enligt kursadministratör

och kursansvarig är studenterna positivt inställda till systemet, även om flera tyckte att

tentamenstiden knappt räckte till.

Administratörsperspektiv: Det var läraren som lade in essäfrågorna i systemet och hade det

övergripande ansvaret för tentamen. Administratören menar att systemet inte verkar särskilt

svårt, de hade en genomgång med en representant från företaget DigiExam innan

tentamenstillfället. Administratören ordnade med det praktiska som salsbokning och

tentamensvakter. Det var problematiskt att få tentamensvakter som kunde hantera datorer

och administratören ser detta som ett eventuellt framtida problem. Fördelar med systemet är

att det underlättar administration. Vanligtvis är det många steg innan betygen kan läggas in i

Ladok. Det går nu att hjälpas åt på ett smidigare sätt, vilket kändes tryggare, menar

administratören.

Lärarperspektiv: Kursansvarig upplever att pilotförsöket fungerat bra. Läraren brukar sköta det

mesta av hanteringen runt tentamen helt själv. Det var dock problem med att ladda upp den

fil där student-ID läggs in i systemet och det tog lång tid innan läraren fick kontakt med

supporten. Troligen berodde problemen på lärarens webbläsare. I den webbläsare företaget

rekommenderade fungerade uppladdningen. Datorerna i datorsalen förbereddes av IT-

enhetens personal för lokalt IT-stöd.

Tentamen bestod av essäfrågor och skulle kunnat fungera lika bra som en hemtentamen.

Anledningen till att kursansvarig föredrog salsskrivning är dels att den referenslitteratur som

finns inom institutionen inte räcker till utlåning åt alla studenter, dels för att kunna försäkra

sig om att det är ”rätt” student som skriver själva tentamen.

Rättningen gjordes digitalt av alla inblandade lärare. En av lärarna har dålig

uppkopplingshastighet i hemmet och rättningen avbröts därför flera gånger när systemet gick

ner. Ett önskemål är att systemet ska fungera som vid examinationen. När nätet går ner

borde det vara möjligt att fortsätta jobba utan att behöva vänta på att nätverket ska fungera

igen. Några studenter förstod inte var de skulle hitta sina rättade tentor. Kursansvarig

efterlyser en bättre studentvy för att läraren lätt ska kunna se och guida studenterna även i

denna fas.

Examinationstillfälle 3. 2014-10-31

Det tredje examinationstillfället genomfördes i kursen Intermodal Freight Transport vid

Graduate School. Det var 35 studenter som genomförde tentamen. Att genomföra

salsskrivning digitalt var valfritt, men det uppmuntrades av kursansvarig lärare. Alla valde att

genomföra den på dator. Institutionen hade kunnat tillhandahålla datorer om någon hade

varit i behov av det. Alla studenter skrev på egen, privat laptop. Som säkerhetsåtgärd hade

tentamensfrågorna även tryckts upp i pappersversion. Pappersversionen kom sedermera till

användning då det visade sig att en del av texten i svarsalternativen i envalsfrågorna försvann

8

för de studenter som skrev på Mac-datorer.16 Detta berodde på att svarsalternativen var

långa. Några studenter hade inledningsvis problem med att logga in då de inte kände till sitt

student-ID.

Studentperspektiv: Studentenkäten besvarades i GUL. Svarsfrekvensen var 46 %, det vill säga

17 av 35 studenter besvarade enkäten. Studenterna pekar på liknande fördelar och nackdelar

som vid tillfälle ett. Det går fortare att skriva och ändra om i texten och lägga till/ta bort text.

Det är mer miljövänligt att inte använda penna och papper och handstilen är läsbar, vilket

gör det tydligare för läraren. Bland nackdelarna nämner studenter att det finns risk för att

datorn eller systemet kraschar, att alla inte har datorer som möter kraven för systemet, att det

inte finns någon stavningskontroll samt att det finns risk för huvudvärk och trötta ögon efter

att ha stirrat på en skärm intensivt i flera timmar. En student med dyslexi-problem nämner

också svårigheter att i den digitala miljön samla sina tankar och koordinera sin text.

Administratörsperspektiv: Kursadministratören var den som lade in frågorna i systemet och

skötte allt praktiskt och administrativt runt tentamenstillfället. Efter tentamen skickade

kursadministratören en länk till alla rättande lärare så att de kunde gå in och rätta sina

respektive delar. Administratören upplevde systemet som lätthanterligt vid uppladdning av

tentamensfrågor men att det var krångligt att få in student-ID. Systemet krävde en särskild

typ av fil som inte går att exportera från något av universitetets system.17

Det var en bra administrativ process med hjälp av DigiExam. Det var enkelt att av-

anonymisera och att bjuda in flera lärare till systemet via mailadressen, men lärarna var först

tvungna att skapa sig ett konto. Liksom vid tillfälle två menade kursadministratören att det

var svårt att få tentamensvakter och att salarna på Handelshögskolan inte är optimala för

salsskrivning. Det beror dels på att internetuppkopplingen inte har tillräcklig kapacitet i alla

salar, dels att salarna oftast är för små, dels att toalett oftast inte ligger i nära anslutning till

salen. Administratören menar att systemet underlättar för administration men ställer till det

med flera andra rutiner de haft förut, exempelvis hur de vet att studenten verkligen lämnat in

tentamen när personen lämnat salen.18

Lärarperspektiv: Kursansvarig lärare är positivt inställd till systemet och hävdar att systemet

har fungerat utan anmärkningar. Ingen lärare på kursen har till exempel hört av sig med

frågor om hur den digitala rättningen går till. Det tar dock sin tid att sätta sig in i systemets

upplägg och olika frågeställningar relaterade till digital salsexamination. Av den anledningen

är det många lärare som tvekar att delta i pilotprojekt av det här slaget.

Läraren har en känsla av att studenternas svar på essäfrågor blir mer tydliga vid digital

salsskrivning. Studenter som skriver för hand kan ibland lägga till stycken där de kanske inte

är helt säkra på vad de vill säga men ändå hoppas på extrapoäng. Lärare vill gärna tolka till

studentens fördel och ger kanske ett extra poäng i vissa fall när det inte riktigt går att tyda

16 Detta kommer leverantören att lösa inför en kommande version av systemstödet. 17 Detta kommer leverantören att lösa inför en kommande version av systemstödet. En standardlista

som går att få ut via GUL (Göteborgs universitets lärplattform) kan då användas. 18 Detta går att kontrollera via systemets webbgränssnitt.

9

vad studenten försökt få fram. En hypotes är att studenterna blir mer koncisa när de skriver

digitalt och att det blir mindre ”blaj”.

Inför 2015 kommer Graduate school att köpa in licenser samt rigga en egen organisation för

att hantera digital salsskrivning. Systemstödet ses som något som ”för en gångs skull

förenklar lärarens vardag”. Inom Graduate School kommer den stora salen C22 som finns på

campus, utnyttjas för examinationstillfällena. Genom att numrera platserna går det att styra

hur studenterna placerar sig i salen och även administrera tentor inom olika kurser som

skriver samtidigt. Att till exempel slumpa ut platserna i salen när studenterna kommer kan

minimera risken för fusk. Vid omtentor kommer mindre salar att utnyttjas. Tillgång till el

säkerställs genom förlängningskablar.

Som en positiv effekt av att hantera tentor på campus nämns bli att lärare kan bli mer

benägna att komma till skrivsalen för att se till att allt fungerar och besvara eventuella frågor

från studenterna.

Förväntat resultat och utfall

I den projektplan som upprättades inför pilotomgångarna under våren 2014 fanns en matris

med förväntade resultat och kvalitetskrav:

Outcome Description Success criterion

Executing exams in

“system” for approx. 200

students

School of Business, Economics

and Law, has selected exams of

varying types and format to be

resolved through the solution.

All exams must be completed

satisfactorily, i.e. without major

technical obstacles and problems.

User experience and

evaluation

Evaluation must be conducted

of the process as well as the

solution for the three user

groups involved; students,

assessors and managers.

For all three user groups, a large

proportion of respondents must

be positive of the solution, its

functionality and use of it.

Process adjustment to

digitization

Establish an overview and

assessment of any adjustments

necessary for a future full

transition to digital exam.

Digital exam must correspond to

Swedish rules and also to the

university local regulations.

Business case Establish a business case for a

full transition to digital exam

for the School of Business,

Economics and Law.

Digital exam must be cost

effective to administrate and use

for all user groups involved.

Digital exam is also expected to

increase the quality of the

examination process, included

assessment and feedback of

results to the students.

10

Några av de förväntade resultaten och kvalitetskraven som beskrivs i matrisen har inte

uppfyllts, varken under vårens eller höstens pilotomgångar. Exempelvis har arbetsgruppen

inte kunnat testa systemet i stor skala, med över 100 deltagande studenter eftersom ingen

lärare med stora kurser visat intresse för att delta. Ett annat problem som ännu inte är löst

ligger i universitetets nuvarande policy och regler för tentamensskrivningar och

tentamenslokal.19 Det finns inte heller i DigiExam tillräckligt stöd för grafer och

matematiska tecken.

De utvärderingar som gjorts med lärare, administratörer och studenter visar att de flesta i

stort sett är nöjda med systemet. Flera lärare har rättat digitalt. Några har, av olika

anledningar, valt att rätta för hand. En bra funktion i DigiExam har varit att på ett enkelt sätt

kunna skriva ut samtliga studenters tentamenssvar. En annan uppskattad funktion har varit

möjligheten att digitalt dela upp frågor mellan flera rättande lärare.

I projektplanen för vårens pilotprojekt beskrivs några potentiella risker. En sådan risk var

upplevelse av osäkerhet i studentgruppen. I de studentutvärderingar vi tagit del av finns

enstaka kommentarer som vittnar om osäkerhet och farhågor att tentamenssvaren försvinner

eller att tekniken inte fungerar. Under höstens pilotförsök har kursansvariga valt olika

alternativ för studenterna. Vid den första tentamen fanns lånedatorer för studenter som

saknade egen dator. Det fanns också möjlighet att skriva på traditionellt sätt, med papper och

penna, vilket ingen student gjorde. Vid den andra tentamen var det obligatoriskt att skriva på

dator men då satt alla studenter i datorsal. Vid den tredje tentamen var det rekommenderat

för alla studenter att skriva på dator. Lånedatorer och papper och penna fanns till hands,

men alla studenter hade med sig egen dator.

En annan risk som tas upp i vårens projektplan är förknippad med de anställdas inställning

till system för digital salsskrivning. Två av de lärare som deltog under vårens försök deltog

även under hösten. Den tredje läraren var positivt inställd till digital salsskrivning redan i

förväg. Hur övriga lärare inom institutionen ställer sig till digital salsskrivning vet vi inte

särskilt mycket om men det framkommer under intervjuer och samtal att det troligen också

finns ett visst motstånd bland många lärare. Samtliga administratörer som deltagit under

höstens pilotförsök har varit positiva och anser att digital salsskrivning underlättar det

administrativa arbetet.

Fortsatt dialog har hållits med universitetets tentamensservice inför höstens pilotomgångar.20

Ett arbete har inletts med att revidera nuvarande policy och regler för tentamen. Två av de

lärare som deltog under höstens pilotförsök tog kontakt med Tentamensservice inför

tentamen för att höra sig för om möjligheten att anlita den gemensamma skrivsalens

tentamensvakter för pilotförsöken. De tentamensvakter som anlitas för den stora skrivsalen

kan med nuvarande rutiner endast ”lånas ut” i undantagsfall och i sådana fall måste

institutionen själva stå för kostnaden. Vid två av pilotförsöken hyrdes tentamensvakt in men

19 http://medarbetarportalen.gu.se/verktyg/lokaler-tentamensbokning/ 20 http://medarbetarportalen.gu.se/verktyg/lokaler-tentamensbokning/

11

endast för att bevaka fusk i salen. De tentamensvakter som finns centralt har idag inte i

uppdrag att bevaka digital salsskrivning.

Diskussion Under de pilotförsök som genomförts under 2014 har det visat sig att de administrativa

rutinerna för att förbereda och genomföra salsskrivningar varierar. Skillnaderna i vilka roller

och stödfunktioner som är inblandade i hanteringen skiljer sig mycket åt.

I vissa fall hanterar kursansvarig i stort sett alla moment från bokning av skrivsal,

sammanställning av tentamensfrågor till sortering och distribution av studenternas

tentamenssvar till rättande lärare samt slutlig sammanställning av rättade svar som sedan

studenten får hämta ut. I andra fall hänvisar kursansvarig allt administrativt arbete till

kursadministratör som bokar tentamenslokal, sammanställer tentamensfrågor, sorterar och

distribuerar studenternas tentamenssvar till rättande lärare och slutligen sammanställer de

rättade svaren som studenten sedan får hämta ut.

Oavsett vem som gör vad under förberedelser, tentamenstillfället och efterarbetet har både

lärare och administratörer pekat på flera fördelar med systemet. Det är enkelt att lägga in

frågor och läraren behöver inte lämna in frågorna till administratören i lika god tid som

under en tentamen med papper och penna eftersom de inte behöver skrivas ut eller skickas

till ett tryckeri. I systemet finns en tydlig överblick över vilka studenter som loggat in i

systemet och sedermera har lämnat in tentamen. Det är lätt att rätta i systemet, men även att

skriva ut tentamenssvaren för rättning. En annan fördel är att det är enkelt att bjuda in

medrättande lärare och att av-anonymisera, oavsett om lärare rättat i systemet eller utanför.

Studenterna får sina resultat via systemet, vilket är tidsbesparande för administratören som

inte lika ofta får besök av studenter som vill få ut sina rättade tentamenssvar. Nackdelar som

flera lärare och administratörer har pekat på är att det är svårt att få tag på tentamensvakter,

salar med eluttag och tillräckligt bra uppkoppling till internet. Nackdelarna är ofta relaterade

till praktiska frågor och inte till det systemstöd som testats. En tydlig fördel för

administratörer är tidsbesparing. Stegen i processen blir färre. Det blir mindre

pappershantering. Lärare pekar på fördelen att de faktiskt kan läsa studenternas

tentamenssvar. På det stora hela ställer sig all inblandad personal i pilotförsöken positiva till

systemet och de pilottester som genomförts vid Handelshögskolan.

Studenterna menar att datorn som hjälpmedel är något de använder dagligen och känner sig

mer bekväma med än papper och penna. De är vana att kunna redigera och omdisponera sin

text. Även om alla intressenter verkar nöjda med systemet kan vi i arbetsgruppen se att vissa

integrationer, exempelvis med studiedokumentationssystemet Ladok skulle innebära ännu

fler fördelar.

En aspekt som inte uppkommit i de genomförda intervjuerna med intressenter under

höstens pilotomgångar är juridiska frågor. I en rapport från ett universitet i Norge utreds

diverse scenarion som skulle kunna inträffa och få juridiska konsekvenser. Allt ifrån om

12

studentens dator tar skada, arkivering av tentamensfrågor/tentamenssvar till fusk och

särskilda hjälpmedel för personer med funktionsnedsättning.21

Ytterligare en fråga att utreda är hur digital salsskrivning kan hanteras i grundkurser med upp

till 300 studenter. Med ett såpass stort antal tentander bör förutsättningar i form av

lokalförsörjning, el, trådlöst nätverk, tentamensvakter, lånedatorer etcetera, vara tydliga och

väl förberedda.

Under hösten har kursansvariga från institutioner inom andra fakultetsområden tagit kontakt

med arbetsgruppen och visat intresse av att prova digital salsskrivning under 2015. Inom

Naturvetenskapliga fakulteten finns intresse för att prova digital salsskrivning men där finns

krav på att studenter ska kunna skriva matematiska formler och även rita grafer. På

Sahlgrenska akademin finns önskemål om att tentanderna ska kunna skriva enligt en särskild

process, där studenterna svarar på och lämnar in varje fråga för sig. De ska då inte ha

möjlighet att gå tillbaka till föregående fråga. En sådan typ av tentamina kallas för MEQ-

skrivning (Modified Essay Question).22 PIL-enheten fortsätter att i samarbete med

fakulteterna undersöka om det finns andra verktyg på marknaden som skulle vara möjliga att

använda.

De två olika system som testats under vårens och höstens pilotförsök har något olika stöd

för tentamenshantering. Företaget UniWise tycks satsa på ett brett stöd med olika verktyg för

olika typer av examination. Med verktyget WiseFlow hanterar institutionen både

inlämningsuppgifter (hemtentamen), tentamen i sal och gruppexaminationer. Under vårens

pilotförsök testades endast ett av verktygen – FlowLock (som låser studentens webbläsare).

Eftersom det inom Göteborgs universitet redan finns stöd för inlämningsuppgifter

(hemtentamen) i lärplattformen GUL, har arbetsgruppen inte prioriterat att prova annat än

verktyget FlowLock.23

Företaget DigiExam har valt att specialisera sig på enbart digital salsskrivning. De har

medvetet arbetat för att skapa ett flexibelt verktyg som vid salsexaminationer ska kunna

ersätta i stort sett all manuell hantering av tentamensfrågor, distribution och rättning.24

Arbetsgruppen inom PIL-enheten funderar också på hur en lösning för digital salsskrivning

integrerad med den befintliga lärplattformen GUL skulle kunna fungera.

Sammanfattningsvis kan sägas att det finns ett uttalat önskemål om att universitetet, så snart

som möjligt centralt ska kunna tillhandahålla systemstöd, drift, förvaltningsorganisation,

support och utbildning för digital salsskrivning.

Rekommendationer

Arbetsgruppen föreslår att en arbetsgrupp med representanter från Tentamensservice, PIL-

enheten, lärare och studentrepresentanter tillsätts för att utreda hur digital salsskrivning kan

21 http://norgesuniversitetet.no/files/digital-vurdering-eksamen-juridisk-versjon1.pdf 22 Hakansson et al (2003) 23 http://uniwise.dk/wiseflow/features/ 24 http://uniwise.dk/wiseflow/features/

13

införas som en universitetsgemensam tjänst vid Göteborgs universitet. I uppdraget bör ingå

att se över nuvarande policy och regler för examination samt att föreslå former för en central

förvaltningsorganisation med ansvar för systemstöd, support och utbildning. I

arbetsgruppens uppdrag bör också ingå att utreda om digital salsskrivning ska kunna

genomföras vid universitetets centrala skrivsal och/eller inom institutionernas egna salar.

En kravspecifikation med tekniska krav och krav på funktionalitet för ett gemensamt

systemstöd för salsskrivning bör tas fram som ett underlag för kommande upphandling. En

rekommendation är att arbeta vidare med detta i dialog med SUNET:s nationella projekt.

För att ett systemstöd för digital salsskrivning ska fungera effektivt krävs vissa integrationer.

Det gäller till exempel integration med studiedokumentationssystemet Ladok (för att hämta

studentgrupper och koppla ihop tentamensanmälan med rätt tentamen i kommande

tentamenssystem). Även en integration med universitetets personalsystem (koppling till

institution/fakultet) är önskvärt.

Ytterligare en rekommendation är att fortsätta med fler pilotförsök inom universitetets

övriga fakulteter för att fånga upp fler olika typer av behov och önskemål.

14

Referenser och webbsidor

Brenner, M. (2014). Datorbaserad tentamen och säker onlinetenta. http://www.slideshare.net/MatsBrenner/presentation-141126-om-digitaltentamenmbr141118 [Hämtad 2014-12-05].

DigiExam

https://www.digiexam.se/sv/

https://www.digiexam.se/sv/how-it-works

Digital salsskrivning vid Handelshögskolan i Stockholm http://www.hhs.se/sv/om-oss/news/2014/handelshogskolan-satsar-pa-digitala-tentor/ Digital salsskrivning vid Juridiska fakulteten, Lunds universitet http://www.law.lu.se/#!digitalexam Digital salsskrivning vid Stockholms universitet http://www.su.se/utbildning/studentservice/it-f%C3%B6r-studenter/it-nyheter/digital-tentamen-och-tentamenssalar-1.170889

Digital vurdering och eksamen – En juridisk vurdering, våren 2104

http://norgesuniversitetet.no/files/digital-vurdering-eksamen-juridisk-versjon1.pdf

En digital agenda i människans tjänst – en ljusnande framtid kan bli vår. SOU 2014:13, s 21

http://www.regeringen.se/sb/d/18259/a/236035

Håkansson et al (2003). Romanfigurer ger liv åt tentans patientfall. Läkartidningen 100:43. http://ww2.lakartidningen.se/old/content_0343/pdf/3425_3427.pdf

Nilsson M., Sunnerstam M.., Petersson B. (2014:2). Digital salsskrivning. En pilotstudie på

Handelshögskolan, Göteborgs universitet våren 2014.

http://www.pil.gu.se/rapporter/

Tentamensservice vid Göteborgs universitet

http://medarbetarportalen.gu.se/verktyg/lokaler-tentamensbokning/

Uniwise http://uniwise.dk/wiseflow/features/