Kom verder. Saxion.

Formatief en Digitaal Informatievaardigheden Meten (DIM) Caroline Timmers & Amber Walraven 11 november 2014

Kom verder. Saxion.

Inhoud

• Over DIM*

• Effectstudie DIM*

• DIM* bij Saxion

*DIM = Digitaal Informatievaardigheden Meten

Kom verder. Saxion.

Informatievaardigheden = 21st century skill

3 27-09-2013

Walraven, A. (2009). De googlificatie van het onderwijs: een positief geluid. Vives, (93), 12-13.

Kom verder. Saxion.

4

Digitaal Informatievaardigheid Meten (DIM)

Project Kennisnet

Oorspronkelijke doelgroep: scholieren VO

Nadruk op meten van gedrag ipv kennis

Kom verder. Saxion.

5

Opdrachten in de DIM

• Jongeren smsen en msnen veel. Heeft dit

invloed op hun Nederlands?

– Licht je antwoord toe in eigen woorden in ongeveer

15 regels

• Genetisch gemodificeerd eten heeft een slecht

imago, is dit terecht?

Kom verder. Saxion.

Het doel van een formatieve toets is het

ondersteunen van leerprocessen en groei.

Bij de DIM via geautomatiseerde feedback.

DIM als formatieve toets

Kom verder. Saxion.

Feedback in de DIM

• Voorbeelduitwerking

• Vragen over het zoekproces

– Heb je meerdere zoektermen gebruikt?

– Wat zou je de volgende keer hetzelfde doen?

– Wat zou je anders doen?

• Vraag naar eigen oordeel over

– Het resultaat en

– Het zoekproces

https://www.kaltura.com/index.php/extwidget/openGraph/wid/1_xha3j841

Kom verder. Saxion.

Feedback in de DIM = geautomatiseerd

• Niveau van feedback DIM (Hattie & Timperley, 2007):

Zelf: Goed gedaan.

Taak: Het antwoord is correct.

Proces: De gehanteerde strategie is juist.

Regulatie: Wat vind je zelf van het resultaat?

Kom verder. Saxion.

DIM en Learning Analytics

• Learning Analytics is het meten,

verzamelen, analyseren en

rapporteren van en over data van

studenten en hun context,

• met als doel het begrijpen en

optimaliseren van het leren en de

omgeving waarin dit plaatsvindt.

Kom verder. Saxion.

DIM data

• Achtergrond informatie (m/v)

• Resultaat

• Eigen oordeel over het resultaat

• Antwoorden op vragen over het zoekproces, incl. eigen oordeel over zoekproces

• Zoekgedrag – Aantal zoekacties

– Geraadpleegde websites

Kom verder. Saxion.

Effectstudie DIM

Kom verder. Saxion.

Effectstudie DIM

• 50 scholieren (13 jaar)

• Maakten 2 opdrachten uit de DIM • Random geselecteerd

• Twee weken tussen opdracht 1 en 2

• DIM data + oordeel expert

• De Interventie: Geautomatiseerde feedback

na opdracht 1

Kom verder. Saxion.

Vergelijking data DIM

Opdracht 1 Opdracht 2

Oordeel leerling Oordeel leerling

Oordeel Expert Oordeel expert

Aantal websites Aantal websites

Aantal zoekacties Aantal zoekacties

Kom verder. Saxion.

Resultaten: oordelen leerling en expert

* Op een schaal van 1-10

* Verschil in kwaliteitstandaard tussen student en expert

Oordeel Opdracht 1 Opdracht 2

Leerling 6.5 (1.3) 7.3 (0.9)

Expert 4.2 (1.6) 5.0 (1.7)

Kom verder. Saxion.

Resultaten: jongens versus meisjes

* Op een schaal van 1 tot 10

Expert oordeel Opdracht 1 Opdracht 2

Jongens (24) 4.3 (1.6) 4.5 (1.4)

Meisjes (26) 4.2 (1.6) 5.5 (1.9)

Kom verder. Saxion.

Resultaten: zoekgedrag

* Op een schaal van 1-10

Zoekgedrag Opdracht 1 Opdracht 2

Aantal

websites

4.1 (2.0) 5.1 (3.2)

Aantal

zoekacties

4.1 (2.8) 4.7 (3.9)

Kom verder. Saxion.

Conclusie

• Resultaten tonen positief effect van DIM op kwaliteit van opdracht 2

• Verschil in kwaliteitstandaarden tussen leerlingen en experts

– Oplossing: toevoegen beoordelingscriteria?

Timmers, C.F., Walraven, A., & Veldkamp, B.P. (submitted). The effect of regulation feedback in a

computer-based formative assessment on information problem solving. Computers & Education.

Kom verder. Saxion.

DIM bij Saxion

18

Kom verder. Saxion.

DIM bij Saxion

19

Onderzoek in onderwijs

Leerlijn onderzoek

Aandacht voor Informatievaardigheden

1e jaars: onvoldoende vaardig + neiging tot zelfoverschatting

Kom verder. Saxion.

20

Digitaal Informatievaardigheid Meten (DIM) Stelling Zeer

eens

eens oneens Zeer

oneens

Voor de toets

Ik vind onderwijs in informatievaardigheden zinvol 15 68 7 1

Ik ben informatievaardig 5 70 16

Ik vind het belangrijk om de test goed te maken 19 55 15 1

Na de toets

Ik heb mijn best gedaan om deze test goed te maken 6 64 17 3

Ik vond de zoekopdracht lastig 4 19 59 9

Ik vond het leuk om de zoekopdracht uit te voeren 1 22 54 12

Ik vond deze test waardevol 3 31 50 6

Ik vond de voorbeeld uitwerkingen leerzaam 5 56 24 5

Ik vond de vragen over het zoekproces leerzaam 3 57 25 6

Ik heb een beter beeld gekregen van wat het inhoudt

om informatievaardig te zijn

7 57 23 2

Kom verder. Saxion.

21

Reactie docent

Voordelen: - De studenten denken bewust na over het zoekproces. - De studenten zelf vonden dit ook verhelderend - Vragen over het eigen zoekproces leuk en leerzaam - Het instructiefilmpje maakte opdracht goed duidelijk - ‘Kladblok' werd gezien als een groot voordeel. Nadelen: - De onderwerpen sloten niet aan bij de studie - De tijd van 30 minuten (te) kort voor beantwoorden van de vraag

Kom verder. Saxion.

22

Conclusies en vervolg

- De DIM is van toegevoegde waarde voor Saxion

- Bruikbaarheid DIM vergroten via opleiding specifieke

opdrachten

- 2 opleiding specifieke opdrachten bij MIM

- Onderzoek naar effect van DIM bij MIM in 2015

Kom verder. Saxion.

Hartelijk dank voor jullie aandacht

Voor feedback en vragen:

c.f.timmers@saxion.nl

a.walraven@its.ru.nl

Kom verder. Saxion.

Wat doet de SIG Digitaal Toetsen? Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten volgen en signaleren. Kennis delen: bij elkaar brengen van experts, docenten en projectmedewerkers maar ook uitwisseling van toetsmateriaal en het gebruik van standaarden die dit mogelijk maken stimuleren. Kennis verspreiden: de collectieve expertise over didactiek, technologie en organisatie beschikbaar stellen voor belangstellenden. Waar vindt u de SIG Digitaal Toetsen? SURFspace: www.surfspace.nl/toetsen geeft een overzicht van kennisbronnen en links over digitaal toetsen. Veel bijdragen op deze site zijn afkomstig van leden van de SIG. Op het forum worden discussies over digitaal toetsen gevoerd. Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig bijeenkomsten waar experts van de onderwijsinstellingen elkaar ontmoeten en actuele ontwikkelingen met elkaar delen.

SIG Digitaal Toetsen