Upload
de-onderwijsdagen
View
191
Download
1
Embed Size (px)
DESCRIPTION
Woensdag 12 november Sessieronde 2 Titel: Onderzoek Learning Analytics Sprekers: Gerard Veldhuis (TNO) Zaal: Penn I
Citation preview
Onderzoek Learning analytics:
leerstrategieën in een onderwijsleerprogramma
Esther OprinsGerard VeldhuisRianne Kaptein Egon v.d. Broek
Roelie KruisRob SudmeijerDana Bezuijen
Min OCW
Agenda
1. Focus • Aanleiding doel• Leeromgeving Schooltas• Learning analytics
2. Onderzoek• Aanpak • Resultaten
3. Conclusies en uitdagingen
Aanleiding en doel
1. Effectiviteit en efficiency van traditionele leermiddelen (folio) worden geacht te zijn aangetoond. Digitale leermiddelen worden in toenemende mate vervangend t.o.v. folio.
Nagaan hoe effectiviteit en efficiency van een digitaal leermiddel (in dit geval Schooltas) zich verhouden tot bestaande leerprocessen die m.b.v. folio worden ingericht.
2. Leerstrategieën en leerstijlen hebben invloed op effectiviteit en efficiency van het leerproces.
Nagaan of analyses van gelogde data in staat zijn om strategieën van individuele leerlingen te herkennen, te koppelen aan hun leerstijl om vervolgens aanbevelingen te (laten) doen voor vervolgstappen in het leerproces: adaptiviteit, gepersonaliseerd leren.
De leeromgeving Schooltas
Learning analytics
Learning analytics is the measurement, collection, analysis and reporting
of data about learners and their contexts, for purposes of understanding
and optimizing learning and the environments in which it occurs (LAK
2011)
Ofwel…
Het verzamelen, verwerken en presenteren van (geanalyseerde)
data over de lerende en de leercontext om het leerproces te
ondersteunen.
Voorbeeld: SNAPP
Focus
Vanuit de techniek en data: welke patronen zijn er te vinden?
• Educational data mining: meer gericht op hypotheses genereren
• Generieke uitkomsten
Vanuit de lerende en voorkeur herkennen van patronen in de data?
• Learning analytics: meer gericht op hypothese toetsen
• Individu versterken
Elementen van learning analytics
Elementen van learning analytics
Voormeting NametingAlgemene (persoons)kenmerken (controlevariabelen)Vragenlijst persoonskenmerken: Leeftijd GeslachtVragenlijst motivatie (IMI): Intrinsieke motivatie Self-efficacyExtra gegevens (indeling in groepen): Vak: aardrijkskunde of Frans Klas: 1e of 2e klas Richting: VMBO-KTG, MAVO-HAVO, of HAVO-VWO School (8 verschillende scholen)LeerkenmerkenLeerstijlentest (De Koning, vgl. Kolb) Dromer Denker Beslisser Doener
Vragenlijst leerstrategieën MSLQ Herhalen Metacognitieve zelfregulatie Tijd Samenwerkend leren Hulp zoeken
Vragenlijst Schooltas-specifiek: Volgorde van leren Prikkers / aantekeningen Mediagebruik
Learning analytics Op basis van vastgestelde
featuresLeeruitkomst (prestaties)Schoolcijfers: Krokusvakantie: cijfer voor vak Meivakantie: cijfer voor vak
Methodetoetsen (in 2 condities) Cijfer toets (1x of 2x)
Self-assessment: Eigen totaaloordeel (1 – 10)
Self-assessment: Eigen totaaloordeel (1 – 10)
Deelnemers (verdeeld over 6 scholen)
Vak Leerjaar Niveau Experimentele groep
Controle-groep
Aardijkskunde1
VMBO-KGT 1 klas 3 klassen
VMBO-T-HAVO 2 klassen 1 klas
HAVO-VWO 6 klassen 1 klas
2 VMBO-KGT 1 klas 1 klas
Frans 1 VMBO-T-HAVO 2 klassen (geen)
Per schooltype: dezelfde vakinhoud, dezelfde methodetoetsen
Aantal leerlingen (in dataset), 1e en 2e leerjaar
Conditie
Totalcontrolegroepexperimentele
groepSchooltype Vmbo-kgt 78 94 172
Vmbo-t-havo 22 46 68
Havo/vwo 25 149 174
Total 121 266 387
Resultaten
Leerstrategieën
OV1. Welke leerstrategieën kunnen worden onderscheiden en herkend bij zowel de controle als de experimentele groep?
Data:1) Logdata (alleen experimentele groep)2) Vragenlijst leerstrategieën (MSLQ)3) Vragenlijst leerstrategieën gerelateerd aan Schooltas
Analyses:4) Verschillen tussen scholen/schooltypen/vakken5) Relaties leerstrategieën vs. logdata
Logdata (learning analytics)
Stappen:
Selectie van mogelijk relevante logdata (bv activiteit, tijd, volgorde) op
basis van onderwijskundige theorie t.a.v. leerstrategieën
Berekenen van relevante (composiet) variabelen
Uitdraaien van overzichten (verschillen per school/klas, ranges etc)
Analyses met combinaties van relevante (composiet) variabelen en
de vragenlijst data: zoeken naar patronen en betekenisvolle relaties
Naar voorspellingen op basis van patronen in de dataset
Totaal logdata
Periode: 48 dagen met activiteit
Totaal aantal schooltas pagina’s bekeken: 448,970
Totaal aantal edits: 800,640
Gemiddeld aantal secondes per pagina: 130 s
Gemiddelde lengte van een content item: 28 karakters
Gemiddeld aantal switches tussen boeken op een dag: 3,1
Alleen aardrijkskunde (alles sign verschillend ANOVA)
Verschillen per schooltype in logdata (geclusterd)
Verschillen schooltype in leerstrategieën (1)
Alles sign verschillend tussen schooltype (ANOVA) behalve voor afgeleid.
Correlaties (multiple canonical):logdata Schooltas – leerstrategieën
Voorbeelden samenhang logdata (scatterplots)
Conclusies leerstrategieën
De hoeveelheid activiteit in Schooltas op basis van logdata verschilt per
(type) school: dit is relatief meer bij havo-vwo dan vmbo.
Dit zien we terug voor het gebruik van leerstrategieën in data vragenlijst:
havo-vwo hanteert meer leerstrategieën dan vmbo.
Hoeveelheid activiteit en extra informatie hangt (zoals verwacht) samen
met leerstrategieën. Dit geldt niet voor bestede tijd.
De samenhang tussen logdata en vragenlijst data en logica in gevonden
resultaten suggereert dat deze logdata over het algemeen betekenisvol zijn
voor het in kaart brengen van leerstrategieën..
Leerstijlen
OV2. Welke leerstijlen van individuele leerlingen leiden tot de leerstrategieën zoals geïdentificeerd in OV1?
Data:1) Vragenlijst leerstijlen (Kolb)
Analyses:2) Verdeling van leerstijlen over schooltype3) Relaties leerstrategieën met leerstijlen (vragenlijst + logdata)
Geen (sign) verschillen (ANOVA)
Verschillen schooltype in leerstijlen
Correlaties (Pearson) leerstijlen – leerstrategieën
Conclusies leerstijlen
In de onderzoeksgroep zitten vooral ‘doeners’, met name op het
vmbo. Dit is conform verwachting.
De leerstijlen hangen niet samen met leerstrategieën (op diverse
manieren gemeten), kennelijk is dit toch iets anders.
De doeners vertonen relatief meer activiteit in Schooltas conform
verwachting maar verder weinig relatie.
Leren door te doen ipv lezen komt niet duidelijk terug bij de doeners
bij detail analyse over volgorde van leren. Dit komt wellicht ook omdat
volgorde niet goed kon worden achterhaald op basis van logdata.
Effectiviteit
OV3. Zijn er leerstrategieën te onderscheiden die effectiever (betere leerprestaties) en/of motiverender blijken te zijn dan andere bij gebruik van Schooltas en bij de controle conditie?
Data:1) Cijfers (gemiddelde rapportcijfer + methodetoets)2) Leerstrategieën (vragenlijsten + logdata)3) Self-efficacy + motivatie (vragenlijst)
Analyses:4) Relaties leerstrategieën (vragenlijsten + logdata) met cijfers5) Verschillen experimentele en controlegroep op cijfers en leer
strategieën (vragenlijsten + logdata)6) Relaties self-efficacy + motivatie: controlevariabelen
Effectiviteit (rapportcijfer): hiërarchische (lineair) multiple regressie
Correlaties (Pearson): cijfers – logdata, cijfers – self-efficacy & motivatie
rapportcijfer toetscijfer
Pearson Correlation
,621** ,404**
Sig. (2-tailed) ,000 ,000
N 369 366
Pearson Correlation
,240** ,135**
Sig. (2-tailed) ,000 ,010
N 369 366
*. Correlation is significant at the 0.05 level (2-tailed).
Self-efficacy
Motivatie
**. Correlation is significant at the 0.01 level (2-tailed).
Overall conclusies & vervolgonderzoek
Overall conclusies
Learning analytics: de gelogde data zijn betekenisvol want hangen
samen met leerstrategieën. Echter niet alles kon (nu nog) goed
worden berekend bv. volgorde in leren.
Leerstrategieën: de manier waarop leerlingen leren, al dan niet met
een digitaal leermiddel, is sterk afhankelijk van schooltype (hoe hoger,
hoe meer leerstrategieën) en van de didactiek (docentgedrag)
Leerstijlen: er is weinig relatie gevonden met leerstijlen. Er zitten
relatief veel ‘doeners’ op het vmbo, zij vertonen meeste (leer)activiteit.
Effectiviteit: leren wordt niet per definitie effectiever bij gebruik van
het digitaal leermiddel, mede omdat het gebruik hiervan sterk afhangt
van het leerproces (leerstrategieën) en de didactiek (docenten).
Beperkingen van het onderzoek
Logdata: het onderzoek heeft gebruik gemaakt van bestaande
logdata waardoor niet alle relevante info kon worden gemeten
Effectiviteit: het is in de praktijk lastig gebleken om op een goede
manier leerlingprestaties te meten: dezelfde inhoud, cijfers. Dit
onderzoek was vooral gericht op het leerproces ipv leeruitkomst.
Efficiency: de efficiency in termen van ‘tijd’ (even veel leren in kortere
tijd mbt een digitaal leermiddel) is in dit onderzoek niet gemeten.
Didactiek / rol docent: er is beperkt (kwalitatief) onderzoek gedaan
naar de invloed van didactiek of rol van de docent.
Leermiddelen: slechts 1 specifiek leermiddel is gebruikt; conclusies
kunnen niet gegeneraliseerd worden naar digitaal leren algemeen.
Vervolgonderzoek / uitdagingen
Learning analytics: in meer detail moet worden onderzocht welke
data voldoende betekenisvol zijn om systematisch te loggen, niet
alleen in Schooltas maar ook in andere digitale leermiddelen, op basis
van onderwijskundige theorieën over leerprocessen.
Hoe omgaan met omvang? Bouw database leermiddel?
Didactiek / rol docent: meer systematisch (kwantitatief) moet
worden onderzocht welke didactiek het meest effectief is bij digitale
leermiddelen en wat dit betekent voor de (andere) rol van de docent.
Effectiviteit/efficiency: de effecten zouden in combinatie met tijd
moeten worden onderzocht, met betrouwbare prestatiemetingen.
Vervolgvragen: welke aanpak draagt bij aan effectiviteit
Leermiddelen: het onderzoek zou moeten worden verbreed naar
ander type leermiddelen (bv. meer adaptief/maatwerk).
Think big, start small
Learning analytics
Grootste waarde zit niet een efficienter van onderwijs-van-nu…
…maar in de disucssies over hoe we onderwijs in willen richten:
-Persoonlijk
-Zelfsturend
-Nieuwe vaardigheden (21st C)
Learning Analytics stelt ons in staat om deze mogelijkheden te
onderzoeken en te ondersteunen ook i.v.m. folio.
Dit vraagt om de samenwerking:
-Tussen verschillende disciplines
-Verschillende stakeholders Onderwijsketenpartners
Dank voor uw aandacht