eAssessment mit Moodle - eine exemplarische Einführung

eAssessment mit Moodle · Monika Steinberg · [email protected] - 25.10.2011 1

eAssessment mit Moodle - eine exemplarische Einführung –

Online Tests und Fragetypen


Inhalt und Ablauf

• Einleitung in eAssessment mit Moodle

• Beispiel Online-Test zu Publizieren in Netzen III

• Tests in Moodle erstellen

• Testfragen in Moodle erstellen

• Zusammenfassung

• Fragen und Diskussion


Was ist eAssessment?

• Elektronisches Verfahren zur Einschätzung, Beurteilung und Überprüfung von Wissen, Fähigkeiten, Verhalten oder Vorstellungen.

• "Einschätzung und Beurteilung von Lernfortschritt und Verständnis.“(Quelle: BECTA - British Educational Communications and Technology Agency).

• Elektronische Quizzes, Tests oder Examen für viele Einsatzzwecke:– Selbsteinschätzung,– lehrbegleitend und –unterstützend,– Prüfungsvorbereitung und –durchführung,– Lernzielkontrolle, ….

• eAssessment bzw. Online-Assessment:– webbasierte Bereitstellung und Durchführung von Assessment,– übersetzt: Online-Prüfungsverfahren.


Warum Online-Assessment?

Aus Sicht der Lehrenden:

• Orts- und zeitunabhängiges Erstellen/Bearbeiten von Fragen und Lehrmaterial.

• Verminderter Korrekturaufwand, automatische Auswertung und Unterstützung durch Musterlösungen.

• Zentrale, digitale Organisation und Verwaltung.• Integration von Prüfungsszenarien in bestehende webbasierte

Lehr-/Lernumgebung. • Qualitätssicherung der Lehre und Selbstevaluation.• Nachhaltigkeit/Wiederverwendbarkeit von Fragen.• Detaillierte statistische Auswertung, Aufdecken von Wissenslücken.• Lernwege und Lernziele mit Lernfortschrittskontrolle.• Studien- und Prüfungsvorbereitung über zusätzliches, virtuelles Angebot.


Warum Online-Assessment?

Aus Sicht der Lernenden:

• Orts- und zeitunabhängiger Zugriff auf Studien- und Prüfungsvorbereitung („on demand“).

• Digitale, zentrale Organisation von Lernen und Prüfen.• Schnellere Bewertungs- und Korrekturphasen.• Mehr Transparenz > Form der Prüfung ist vorher bekannt.• Objektive Bewertungsmaßstäbe.• Studien- und Prüfungsvorbereitung über zusätzliches, virtuelles Angebot.• Förderung von autonomem, selbständigem Lernen und Medienkompetenz.• Selbsteinschätzung und effektivere Prüfungsvorbereitung über Lernziel- und

Lernfortschrittskontrolle.• Reduzierung der Prüfungsangst.• Mehr Motivation.


Bereiche von Online-Assessment

• Selbsteinschätzung

• Studien- und Prüfungsvorbereitung• am meisten verbreitet, da vielseitig einsetzbar und effizient.

• Auswahl- und Vorauswahlverfahren:• z.B. bei Bachelor-Masterstudiengängen,• sequentielle Verfahren: Mischung aus Online-Tests und konventionellen Methoden.

• Leistungsnachweis/Zertifikat:• z.B. Ersatz papierbasierter Klausuren,• erfordert mehr Organisation, vorbereitete Infrastruktur und Personal,• rentabel bei großen Teilnehmerzahlen und langen Korrekturzeiten,• oft Anpassung der Prüfungsordnung nötig.


eAssessment in Moodle


eAssessment in Moodle

Basiskomponenten:

• Tests• fassen eine bestimmte Auswahl von Fragen in einer vorgegebenen

Reihenfolge zusammen, die dann von den dafür vorgesehenen Teilnehmern durchgeführt werden können.

• Fragen• bilden Grundlage für alle Tests.• Zu einer Frage können Fragentext, Abbildungen, Punktzahlen, mögliche

Antworten, Bearbeitungszeiten, Musterlösungen, etc. vergeben werden.• 10 unterschiedliche Fragetypen.


Beispiel Online-Tests

zu PN III mit Moodle


Online-Test zu Publizieren in Netzen

• Als Lernzielkontrolle und schriftliche Teilleistung,• Vorbereitung der Studierenden auf Prüfungsform

schon während des Kurses mit Quizzes zur Selbsteinschätzung,

• Moodle Test mit 20 Multiple-Choice Fragen zu TYPO3 in 60 Minuten,

• Durchführung im Computer-Pool in zwei Gruppen, die sich nahtlos abwechseln,

• Aufsicht wie bei Papierklausur.


Bearbeitungshinweise eExamen PN III


Fragenansicht eExamen PN III


Ergebnisübersicht


Statistische Analyse der Ergebnisse


Vorteile

• Direkte Rückmeldung für Studierende bei automatisch auszuwertenden Fragetypen.

• Kurze Bewertungszeit und verringerter Korrekturaufwand• Objektive und einheitliche Bewertung, Transparenz.• Wiederverwendbare Online-Fragen.• Detaillierte statistische Auswertungen.• Digitale Verwaltung und Integration von

Prüfungsvorbereitung und -leistungen – evt. Anbindung weiterer Online-Systeme später möglich.

• Prüfungsvorbereitung von überall und jederzeit online möglich.


Nachteile

• Erhöhter technischer und organisatorischer Aufwand bei Vorbereitung.

• Nicht alle Wissensgebiete mit einfachen Fragetypen abfragbar.

• Ausreichend Computer müssen zur Verfügung stehen.• Zusätzlicher Aufwand für Fallback-Lösung, wenn

Technik versagt:– Z.B. Papierversion der Prüfung für Notfall.

• Vorbereitung der Studierenden während des Kurses auf neue Prüfungsform und technische Gegebenheiten.

• Prüfungsrechtliche und sicherheitskritische Aspekte.


Erfahrungswerte

• Einige Mechanismen aus papierbasierten Klausuren auf Online-Klausuren anwendbar:

– Fallback Papierversion.– Personelle Aufsicht bei Täuschungsversuchen.– Zufälliges Mischen der Fragen gegen Spicken.– Gleiche Regeln wie bei traditionellen Klausuren.– Mehr Fragen als schaffbar in Bearbeitungszeit lassen kaum Zeit für Mogeleien (Not

1,0 entspricht z.B. 90%).– Einspielen der Online-Fragen direkt vor der Prüfung.

• Identifikation der Studierenden wie bei traditionellen Klausuren (Perso und I-Bescheinigung).

• Checkliste für Assessment-Vorbereitung und Durchführung hilfreich.

• Hohe Akzeptanz bei Studierenden– mehr Begeisterung als Kritik.


Test erstellen in Moodle


Test erstellen in Moodle

• „Bearbeiten“ im Kurs einschalten• Aktivität anlegen > Test


Testeinstellungen (1)

• Grundeinträge, • Zeitsteuerung,• Anzeige, • Versuche,• Bewertung, • Berichtsoptionen,• Sicherheit, • Feedback, ...


Test: Grundeinstellungen

• Anleitungstext,• Testöffnung und –schließung,• Zeitbegrenzung,• max. Zahl der Versuche,• Bewertungsmethode.


Test: Layout

• Fragenreihenfolge – Reihenfolge Testfragen. – Mögliche Optionen:

• Wie in Bearbeitungsansicht angezeigt - Fragen werden genau in der Reihenfolge angezeigt, die Sie als Trainer/in festgelegt haben.

• Zufällige Reihenfolge - Fragen werden nach dem Zufallsprinzip angeordnet (für jeden Testversuch neu).

• Neue Seite – Bei umfangreichen Tests kann es sinnvoll sein, die

Testfragen auf mehrere Seiten zu verteilen, indem man die Zahl der Fragen pro Seite begrenzt.


Test: Frageverhalten

• Antworten innerhalb der Fragen mischen,• Adaptiver Modus:

– Erlaubt, dass Teilnehmer/innen eine Frage bei Falschbeantwortung solange vorgelegt bekommen, bis die Frage richtig beantwortet ist.

• Abzüge festlegen,• jeder Versuch basiert auf dem vorigen.


Test: Berichtsoptionen

• Steuern, welche Informationen die Teilnehmer sehen, wenn sie ihre bisher durchgeführten Testversuche in der Rückschau ansehen.

• Drei verschiedene Zeitpunkte, welche Informationen angezeigt werden sollen. – Direkt nach dem Versuch bedeutet innerhalb von zwei Minuten

nachdem der Teilnehmer den Testversuch abgeschlossen hat, d.h. den Button Alle abschicken und beenden geklickt hat.

– Später, während der Test noch geöffnet ist bedeutet zwei Minuten nach Abschluss des Testversuchs, aber vor Testschließung.

– Wenn der Test abgeschlossen.


Test: Weitere Beschränkungen bei Versuchen• Kennwort erforderlich

– Nur ausgewählte Teilnehmerhaben (denen Sie das Kennwort mitteilen) Zugriff auf Test.

• Netzwerk-Adresse erforderlich – Zugriff auf Test aus bestimmtem Sub-Netz des LAN oder Internets einschränken, mit

kommaseparierter Liste von IP-Adressen. – Nützlich für Tests, die unter Aufsicht durchgeführt werden damit nur Rechner in einem bestimmten

Raum auf den Test zugreifen.

• Erzwungener Abstand zwischen 1. und 2. Versuch – festlegen, wie viel Zeit zwischen dem 1. und 2. Testversuch liegen soll.

• Erzwungener Abstand zwischen weiteren Versuchen – festlegen, wie viel Zeit zwischen weiteren Testversuchen liegen soll.

• Browsersicherheit – Schummeln bzw. Abschreiben bei einem Test wird durch Vollbild-Popup erschwert, indem einige

Funktionalitäten des Browsers eingeschränkt werden (über Javascript).– Test wird im Vollbildmodus ohne weitere Navigationsmöglichkeiten ausgeführt. – Funktionen wie Kopieren und Einfügen inaktiv.


Test: Gesamt-Feedback

• Wird angezeigt, wenn Teilnehmer/innen ihren Testversuch abgeschlossen haben.

• Angezeigter Text kann von erreichter Bewertung abhängen: – Bewertungsgrenze: 100%

• Feedback: "Gut gemacht"

– Bewertungsgrenze: 40% • Feedback: "Bitte beschäftigen Sie sich noch einmal mit dem

Stoff der letzten Woche."


Fragen erstellen in Moodle


Fragen Administration

• Kursmenü Administration• Fragen


Frage erstellen

• Administration > Fragen > Fragen bearbeiten

• evt. zusätzliche Checkboxen aktivieren

• Kategorie auswählen

• Fragentyp auswählen


Testfragen hinzufügen

• Neue Frage erstellen

• Zufallsfrage hinzufügen– aus Kategorie


Fragetypen in Moodle

Berechnet

Beschreibung

Freitext

Zuordnung

Lückentext-Frage (Cloze)

Multiple-Choice (Einfach-/Mehrfachauswahl)

Kurzantwort

Numerisch

Zufällige Kurzantwort Zuordnung

Wahr/Falsch


Fragetyp „Berechnet“

• Ermöglichen numerische Fragen mit dem Gebrauch von Wildcards, die bei der Durchführung des Tests durch individuelle Werte ersetzt werden.

• Beispiel:– Formel für richtige Antwort= {base}*{height}


Fragetyp „Beschreibung“

• Nicht wirklich eine Frage.

• Alles was er macht, ist Text anzeigen (und vielleicht Graphiken) ohne Antworten zu erfordern.

• Kann zum Beispiel dazu benutzt werden, einen beschreibenden Text ein zu fügen, der sich auf eine folgende Fragengruppe bezieht.


Fragetyp „Freitext“

• Als Antwort auf eine Frage, die eine Abbildung enthalten kann, schreibt der Teilnehmer einen frei formulierten Text.

• Keine automatische Auswertung möglich.


Fragetyp „Zuordnung“

• Eine Reihe von Fragen ist neben einer Reihe von Antworten angeordnet.

• Der Teilnehmer muss aus einem Dropdown-Menü jeder Frage die richtige Antwort zuordnen.


Fragetyp „Lückentext-Frage (Cloze)“

• Textpassage (im Moodle-Format), die verschiedene Antworten verschiedener Fragetypen (Multiple-Choice-Fragen, numerische Antworten und Fragen mit kurzen Antworten) enthält.

• Beispiel:– {1:SHORTANSWER:=Berlin} ist die Hauptstadt von

Deutschland.


Fragetyp „Multiple-Choice“

• Um eine Frage, die auch eine Abbildung enthalten kann, zu beantworten, wählt der Teilnehmer aus verschiedenen Antworten.

• Zwei Arten von Multiple-Choice-Fragen: – solche mit einer möglichen Antwort– solche mit mehreren möglichen Antworten.

• Multiple Choice Fragen werden sehr häufig eingesetzt.


Fragetyp „Kurzantwort“

• Um eine Frage (die eine Abbildung enthalten kann) zu beantworten, gibt der Teilnehmer ein Wort, eine Formulierung, einen kurzen Satz o.ä. ein.

• Bei der Bewertung der Antwort kann die Groß- und Kleinschreibung auf Wunsch berücksichtigt werden.

• Mehrere richtige Antworten mit unterschiedlicher Bewertung sind möglich.


Fragetyp „Numerisch“

• Aus Teilnehmersicht sieht eine numerische Frage aus wie eine Kurzantwort-Frage.

• Der Unterschied liegt darin, dass numerische Antworten die Möglichkeit eines akzeptierten Fehlers bieten.

• Dies ermöglicht es, einen bestimmten Bereich für richtige Antworten festzusetzen.


Fragetyp „Zufällige Kurzantwort-Zuordnung“

• Aus Teilnehmersicht sehen diese Fragen aus wie Zuordnungsfragen.

• Der Unterschied besteht in der zufälligen Auswahl der Unterfragen.


Fragetyp „Wahr/Falsch“

• Um eine Frage, die eine Abbildung enthalten kann, zu beantworten, wählt der Teilnehmer aus zwei Möglichkeiten: – wahr oder falsch.


Zusätzliche Fragetypen

• Bei Bedarf können weitere Fragtypen auf Moodle-Server installiert werden.– Z.B. Drag&Drop bei Zuordnung und Anordnung.

• Über Moodle-Zusatzmodule• http://moodle.org/mod/data/view.php?id=6009


Zusammenfassung

• Umfangreiche eAssessment-Plattform mit zahlreichen Konfigurationsmöglichkeiten.

• Standardmäßig 10 verschiedene Fragetypen verfügbar.

• Für eExamen evt. zusätzliche Funktionalitäten für Sicherheit und prüfungsrechtliche Anforderungen nötig– Z.B. Ausdruck von Ergebnissen mit Unterschrift.– Zusätzliche Sicherheitsmaßnahmen für Browser und

Prüfungscomputer, wenn gewünscht.


Quellen

• Moodle Dokumentation, http://docs.moodle.org/, 2011.

• Online-Assessment an der Leibniz Universität, HELCA-Projekt, Hannover, M. Steinberg, J. Brehm, http://www.sra.uni-hannover.de/forschung/projekte/abgeschlossene-projekte/hannover-e-learning-campus-helca/, 2008.


Danke für

Ihre Aufmerksamkeit

Bei Fragen:[email protected]