Upload
karsten-d-wolf
View
986
Download
0
Embed Size (px)
DESCRIPTION
Präsentation auf dem 6. Fernausbildungskongress an der Helmut-Schmidt-Universität in Hamburg. Was kann man mit Simulationen messen? Wann lohnt es sich? Warum Serious Games? Wie Kompetenzen messen?
Citation preview
© Karsten D. Wolf 2008
Workshop A1Simulations- und spielbasierte Kompetenzmessung?Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer Lernumgebungen
6. Fernausbildungskongress8.10.2009 Helmut-Schmidt Universität der Bundeswehr, HamburgA1 Simulations- und spielbasiertes Lernen
rickydiver78 on flickr
Montag, 21. September 2009
cc by Karsten D. Wolf 2007rickydiver78 on flickrVideostill (Smash Court Tennis 3 on Playstation 3)Montag, 21. September 2009
Montag, 21. September 2009
Montag, 21. September 2009
Es muss nicht immer ein Computer sein
Montag, 21. September 2009
© Karsten D. Wolf 2009
Is Simulation Worth the Effort?Johnson 2006
• Hohe Entwicklungskosten müssen sich lohnen
• Identifikation hochkompetenter Personen besonders wertvoll
• Identifikation schlechter Performanz besonders wichtig
• Echte Arbeitsleistungen liegen zur Bewertung nicht vor
• Zu gefährlich
• Zu selten
• Gelegenheit zum Testen nicht vorhanden oder schwierig zu beobachten
• Zulassungsprüfung, um „echt“ zu arbeiten
• Kombination mehrerer Fertigkeiten miteinander, Messung einzelner Konstrukte greift zu kurz
Montag, 21. September 2009
© Karsten D. Wolf 2009
Weitere Punkte, die bedacht werden müssen
• Realistische Simulation überhaupt möglich?
• Interaktionspartner Menschen oder physikalische Strukturen bzw. künstliche Algorithmen?
• Frage der (insbesondere äußere Kriteriums-) Validität
• Finanzierbarkeit ab 1000+ Personen
• Gibt es nicht einfachere bzw. bereits vorliegende Kennzahlen?
Montag, 21. September 2009
Nandu Chitnis on flickr
Montag, 21. September 2009
Montag, 21. September 2009
• gefahrene Kilometer/Monat• Spritverbrauch• Termintreue• Unfälle• Reparaturkosten• etc.
Nandu Chitnis on flickr
Montag, 21. September 2009
hugovk on flickr
Montag, 21. September 2009
Montag, 21. September 2009
hugovk on flickr
• Umsatz / Monat• Beschwerden / Verkaufsfälle• Umtauschfälle / Verkaufsfälle• Kundenzufriedenheit• etc.
Montag, 21. September 2009
Entertaining Games with Non-Entertainment Goals
Goal orientated ‘play’, often in real world scenarios, intended to ‘improve’ the player/s knowledge, awareness or skills (Gary Hayes)
Datenbank mit 500+ Serious Games
Montag, 21. September 2009
Neuer Trend:Productivity Games
Beim Spielen Arbeit erledigen…
Montag, 21. September 2009
Social Reality Game
Montag, 21. September 2009
Montag, 21. September 2009
Montag, 21. September 2009
„…we learned that the transparent environments created in online games made leadership easier to assume. And that leadership in online games is more temporary and flexible than it is in the business world. And finally, online games give leaders the freedom to fail, and experiment with different approaches and techniques, something that any Fortune 500 company that hopes to innovate needs to understand.“
Montag, 21. September 2009
Learn from mistakes of self and others
Follows through on commitments / words = actions
Montag, 21. September 2009
Arbeit findet zunehmend Computer mediiert statt!
Johan Larsson on flickrMontag, 21. September 2009
Aber nicht alles!
Montag, 21. September 2009
© Karsten D. Wolf 2009
Kompetenzen als Lern-Lehr-Ziele
Nach Weinert (2001, S.27 f.) versteht man Kompetenzen als
„die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“.
Nach Straka & Macke (2009) beinhalten Kompetenzen
Dispositionen (motorische, kognitive, emotionale, motivationale), deklaratives und prozedurales Wissen, Fähigkeiten und Fertigkeiten sowie moralische Urteilsfähigkeit
Montag, 21. September 2009
Gewicht?Größe?Schnelligkeit?
Montag, 21. September 2009
Kompetenzen?Persönlichkeit?Einstellungen?Interesse &Motivation?
Montag, 21. September 2009
© Karsten D. Wolf 2008
„Ein Test ist ein wissenschaftliches Routineverfahrenzur Untersuchung eines oder mehrerer empirischabgrenzbarer Persönlichkeitsmerkmale mit dem
Ziel einer möglichst quantitativen Aussage über denrelativen Grad der individuellen Merkmalsaus-
prägung“ (Lienert 1969, S. 7)
Montag, 21. September 2009
© Karsten D. Wolf
Anforderungen an Testverfahren
• Sparsames Modell mit theoretischer Fundierung
• Integration wesentlicher Aspekte der Kompetenz
• Gütekriterien
• Objektivität (online nur im Testcenter möglich)
• Reliabilität
• Validität (Inhalts-, Kriteriums-, Konstrukt-)
• Relevanz
• Akzeptanz
• Veränderbarkeit
• Leichte Anwendbarkeit
Montag, 21. September 2009
© Karsten D. Wolf 2009
Eine einfache Theorie
AB>
Montag, 21. September 2009
© Karsten D. Wolf 2009
Eine einfaches Testmodell
Test-aufgabe 17
21
35
42
Montag, 21. September 2009
© Karsten D. Wolf 2009
Eine einfaches Testmodell
Test-aufgabe 17
21
35
42
P
U
V
Montag, 21. September 2009
V = P x U
© Karsten D. Wolf 2009
Eine einfaches Testmodell
Test-aufga
Montag, 21. September 2009
V = P x U
© Karsten D. Wolf 2009
Eine einfaches Testmodell
Test-aufga
Richtig = Hohe Kompetenz x Schwere Aufgabe
Montag, 21. September 2009
© Karsten D. Wolf 2009
Das Testmodell in der Anwendung
A: Richtig = Hohe Kompetenz x Schwere Aufgabe
B: Falsch = Niedrige Kompetenz x Schwere Aufgabe
A > B
Montag, 21. September 2009
100kg80kg60kg40kg
Wie „schwer“ ist eine Aufgabe?
Montag, 21. September 2009
100kg
80kg
60kg
40kg
Maximalkraft?
Montag, 21. September 2009
100kg
80kg
60kg
40kg
Maximalkraft?
Θ=40 Θ=60 Θ=80 Θ=100Montag, 21. September 2009
© Karsten D. Wolf 2007
Kurve der Itemcharakteristik (ICC)
Θ 40 60 80 100
0%
50%
100%60kg Gewicht
p(x)
Montag, 21. September 2009
© Karsten D. Wolf 2007
Kurve der Itemcharakteristik (ICC)
Θ 40 60 80 100
0%
50%
100%60kg Gewicht
80kg Gewicht
p(x)
Montag, 21. September 2009
© Karsten D. Wolf 2007
Kurve der Itemcharakteristik (ICC)
Θ 40 60 80 100
0%
50%
100%60kg Gewicht
80kg Gewicht
Aufgabe (Item)ist schwerer
p(x)
Montag, 21. September 2009
© Karsten D. Wolf 2007
Wie bestimmt man Kompetenzstufen?
Experten/-innen
Theoretisches KompetenzmodellI
IIIII
IV
Montag, 21. September 2009
© Karsten D. Wolf 2007
Wie bestimmt man Kompetenzstufen?
Theoretisches KompetenzmodellI
IIIII
IV
A B C D E F G H I J K
Montag, 21. September 2009
© Karsten D. Wolf 2007
Wie bestimmt man Kompetenzstufen?
Theoretisches Kompetenzmodell
A B C D E F G H I J K
Montag, 21. September 2009
© Karsten D. Wolf 2007
Wie bestimmt man Kompetenzstufen?
Empirisches Kompetenzmodell
A BC DE F GH I J K
I II III IV
Montag, 21. September 2009
© Karsten D. Wolf 2007
Wie bestimmt man Kompetenzstufen?
Empirisches Kompetenzmodell
A BC DE F GH I J K
I II III IV
Montag, 21. September 2009
© Karsten D. Wolf 2007
Kurve der Itemcharakteristik (vereinfacht)
Θ -2 -1 0 1 2
50%
100%
0%
Montag, 21. September 2009
© Karsten D. Wolf 2007
Kurve der Itemcharakteristik (stark vereinfacht)
Θ
0%
50%
100%
-2 -1 0 1 2
Montag, 21. September 2009
© Karsten D. Wolf 2007
Trennschärfe: 0 kann es nicht, 2 schon
Θ
0%
50%
100%
-2 -1 0 1 2
Montag, 21. September 2009
© Karsten D. Wolf 2007
Itemschwierigkeit: schwerer!
Θ
0%
50%
100%
-2 -1 0 1 2
Montag, 21. September 2009
© Karsten D. Wolf 2007
Raschmodell: Schwierigkeitsparameter
Θ
0%
50%
100%
-2 -1 0 1 2
I II III IV
Montag, 21. September 2009
© Karsten D. Wolf
Test Wiseness – Probleme von MC-Tests
Hixek norfolken piffle?
(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
Montag, 21. September 2009
© Karsten D. Wolf
Test Wiseness: Längste Alternative ist richtig!
Hixek norfolken piffle?
(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
Montag, 21. September 2009
© Karsten D. Wolf 2009
Performance Based AssessmentShavelson
• Die Leistung messen, die gelernt werden soll
• Performance: Bewegen im Raumanzug
• Systematische Variation der Anforderungen
• Was macht etwas schwieriger?
• Adäquanz zwischen z.B. allgemeiner Fitnessund kontextualer Anforderung?
• Inwieweit führt die Kombination von Faktorenzur Notwendigkeit der authentischen Prüfung?
Montag, 21. September 2009
© Karsten D. Wolf 2009
Chirurgische SimulationenHeinrichs/Lukoff/Youngblood/Dev/Shavelson 2007
Montag, 21. September 2009
Montag, 21. September 2009
© Karsten D. Wolf 2009
SAT-Score und Collegiate Learning AssessmentShavelson 2006
Montag, 21. September 2009
© Karsten D. Wolf 2007
Shute/Ventura/Bauer/Zapata-Rivera
Evidence Centered Design
Competency <=> Proficiency
Montag, 21. September 2009
© Karsten D. Wolf 2008
Shute/Ventura/Bauer/Zapata-Rivera
Montag, 21. September 2009
© Karsten D. Wolf 2008
Shute/Ventura/Bauer/Zapata-Rivera
Montag, 21. September 2009
© Karsten D. Wolf 2009
Warum Serious Games und nicht Simulationen?
• Motivation (Relevanz und Bedeutsamkeit)
• Emotion (Immersion und Betroffenheit)
• Volition beweisen
• Flow erleben
• Beobachtung des Verhaltens über längere Zeit
• Arbeiten in Gruppen - Gruppenperformanz messen
• Kurt Squire: From Content to Context – Videogames as Designed Experience
Montag, 21. September 2009
© Karsten D. Wolf 2009
Forschungsfelder
• Kompetenzmodelle entwickeln
• Testmodelle empirisch validieren
• Integration in Simulationen und Serious Games
• Diagnostik
• Förderdiagnostik
• Intensives und adaptives Üben
Montag, 21. September 2009
© Karsten D. Wolf 2009
Rich E-Assessment: Workforce Literacy
Montag, 21. September 2009
FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung
multimedialer Lernumgebungen
http://www.ifeb.uni-bremen.de/wolf
http://www.ifeb.uni-bremen.de/assessment/
Montag, 21. September 2009