Upload
nynke-bos
View
867
Download
0
Embed Size (px)
DESCRIPTION
Presentatie geeft een overzicht van de stand van zaken (begin januari 2009) over digitaal toetsen bij de faculteit Geneeskunde bij het AMC-UvA. Er wordt ingegaan op praktische toepassingen en problemen alsmede onderzoek dat is uitgevoerd naar de efficiëntie van digitaal toetsen in het onderwijsproces. Proeve aan proeve congres. 2009.
Citation preview
Digitaal toetsen in het AMC
Nynke Bos
Roel Sijstermans
Onderwijs & Studentenzaken – ICT & Onderwijs
Academisch Medisch Centrum – Universiteit van Amsterdam
Wensen in het AMC
Geneeskunde Casusgerichte toetsing co-schappen
Bredere toepassing in curriculum
Medische Informatiekunde Aanvullend toetspakket noodzakelijk
Graduate school Ontwikkeling toetsbeleid
OMSO Vanuit beroepsverenigingen
Bij- & Nascholing verpleegkunde Nu nog papierIC zelf ontwikkeld
Divisies Interesse, maar afwachtende houding
Eisen in het AMC
• Duidelijke organisatie• Lead bij ICT en Onderwijs• Digitaal toetsen alleen bij evidente
meerwaarde• Functioneel beheer toestsysteem
Probleem in het AMC
• Essay vragen• Niet automatisch na te kijken
• Inzet op grote schaal is alleen zinvol als er sprake is van gestandaardiseerde toetsvormen en procedures.
Tijd!
• Maken van interactieve toetsvragen kost tijd.• Dus alleen de moeite waard bij:
• Stabiel vakgebied• Groot aantal studenten• Duidelijke noodzaak voor kwaliteitsverbetering van
de het onderwijs of toetsen
Opbouw
• Waarom digitaal toetsen?• Situatie in het AMC• - Organisatie• - Voorbeelden• Digitaal toetsen vs. papieren toetsen• Conclusies
Casus Bachelor student (er zijn 18.000 bachelor studenten)Summatief10 tentamens per jaar; 1 tentamen is digitaal (10 %)•
UvA breed zijn dit 18.000 tentamens (volledig digitaal)tijdwinst voor het verwerkingsproces is 30 min
besparing in uren : 9000 ( +/- 6 fte)
• Formatief• 20 tussen toetsen per jaar ; 10 digitaal ( 50%)
• UvA breed zijn dit 180.000 tussentoetsen (volledig digitaal)tijdwinst voor het verwerkingsproces is 10 min
besparing in uren : 30.000 (+/- 20 fte)
AMC open vragen
Waarom digitaal toetsen?
• “Ik ga digitaal toetsen omdat ik niet achter wil blijven”• “Snel klaar met nakijken”• “Geen papier”• “Ik hoef alleen maar vragen te maken, de rest wordt
voor me geregeld”• “Ik hoef geen handschriften meer te ontcijferen”• “Ik wil studenten de toetsresultaten kunnen mailen”
Waarom niet digitaal toetsen?
Hoe wil je toetsen?
SUMMATIEF:Gericht op de som van het geleerde
• Selecteren• Certificeren • Beveiligde omgeving• Beperkt aantal kansen
FORMATIEF:Gericht op de ontwikkeling van het leren
• Zelfstudie• Plaats & tijdonafhankelijk• Directe feedback• Inzicht in niveau
EindtoetsBonuspuntentoets
Zelftoets(E-learning)
Ingangstoetsen
Wat levert digitaal toetsen op?
• Flexibele toetsing (plaats, tijd & vorm)• Gebruik van multimedia• Gebruik van verschillende vraagtypen
• (Directe) feedback• Gestructureerde vragenbank• Automatische analyse & verwerking
Randvoorwaarden digitale toetsing
• Toetssysteem• Docenten opleiden !• Ondersteuning (logistiek & techniek) !• Studenten voorbereiden
Vragen
makenTrainen
secretariaat
Vragen
invoeren
Samenstellen
toets
Inroosteren
toets
Organisatie digitale toetsing AMC
Advisering
docenten
Toets afnameToets
analyse
ICTO ondersteuning
docent
secretariaat
Feedback
studentEinduitslag
Organisatie rondom digitale toetsing• 2 ICT & Onderwijs adviseurs (medewerker digitale toetsing):
• Adviseren docent over gebruik vraagtypen & opbouw toets• Trainen secretariaten voor vraaginvoer• Samenstellen toets• Roosteren toets & beschikbaar stellen via ELO• Standby tijdens toets voor vragen/problemen• Analyse toetsresultaten & einduitslag
• 1 systeembeheerder:• Standby tijdens toets voor technische problemen
• Docent:• Vragen bedenken• Aanwezig tijdens afname voor inhoudelijke vragen• Besluitvorming cesuur op basis van toetsanalyse & uitslag
• Secretariaat docent:• Vragen invoeren
Ideale bezetting
• 1 ICT & Onderwijs adviseur:• Adviseren docent(en) over gebruik vraagtypen & opbouw toets• Benadrukken voordelen digitale toetsing
• 1 Functioneel beheerder toetssysteem• (Trainen secretariaten voor) vraaginvoer• Samenstellen toets• Roosteren toets & beschikbaar stellen via ELO• Standby tijdens toets voor vragen/problemen
• 1 Medewerker Toetsing• Analyse toetsresultaten & einduitslag
• 1 Systeembeheerder:• Standby tijdens toets voor technische problemen
• Docent:• Vragen bedenken & coördinatie overige docenten• Aanwezig tijdens afname voor inhoudelijke vragen (examenregeling)• Besluitvorming cesuur op basis van toetsanalyse & uitslag
• (Secretariaat docent:)• (Vragen invoeren)
Meerwaarde in het AMC
• Multimediale toetsing• Korte nakijk termijn• Betere feedback naar studenten en docent
→Grote zaal niet per se noodzakelijk!
Problemen digitaal toetsen AMC
• Gebrek centrale toetsruimte• Toetsen in shifts is tijdrovend • Verplicht gebruik van open vragen• OER• Geen beleid• Dyslexie/RSI?• Computervaardigheden student?
Proeve: KlETs
• Effect toetsing computer• Scoren studenten beter/ slechter?• Gebruiken studenten meer/ minder woorden?• Zijn er andere effecten meetbaar?
KlETs – de uitvoering
• Helft digitaal – helft op papier (n=360)• Digitale toets: deel A papier, deel B digitaal en v.v.
• Conclusies:• Meer woorden bij een digitale toets (36.2±15.5 vs 22.3±4.9)• Geen significante verschillen m.b.t. moeilijkheidsgraad• Studenten willen vaker digitale toetsen• Getik is irritant
Meer onderzoek
• In 2004: behoorlijke verschillen (Bennett, 2004)
• Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004)
• Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen
• Frequent computergebruik heeft positieve invloed op toetsprestatie
• Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)
Conclusies
• Meerwaarde vaststellen • Beleid over inzet digitaal toetsen• Grote groepen heeft impact op afname• Opschaling: ruimte• Toetsen in shifts bewerkelijk• Goede ICTO ondersteuning