„EvaNet“Leitprojekt im Bereich Evaluation

Dipl.- Gwl. Renate Aheimer

Institut für Erziehungswissenschaft und Psychologie

Abteilung Berufs-, Wirtschafts- und Technikpädagogik

Tagesordnung• Rückblick erste Sitzung

Projekte

Evaluationsvorhaben

• Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

• Methoden

• Beispiel für die Operationalisierung relevanter Kriterien

• Nächstes Treffen / weiteres Vorgehen

Rückblick - Projekte Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

RückblickEvaluationsvorhaben

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

Relevante Kriterien für e-Learning AngeboteDimensionen

• Didaktische Angemessenheit

Sind die Instruktionsstrategien, Unterstützungen und Hilfsmittel angemessen um das angestrebte Lernziel zu erreichen?

• Usability

Gestaltungsaspekt und technische Funktionsfähigkeit

• Lernerfolg

In wie weit werden die Lernziele vom Teilnehmer / von

der Teilnehmerin erreicht?

• Curriculare Angemessenheit

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

• Sind die Lernaufträge klar und verständlich gestellt?

• Entspricht der Schwierigkeitsgrad dem Niveau der Lerner (Vorwissen / Voraussetzungen)?

• Sind die Lernziele / zu erbringenden Leistungen transparent?

• Ist der Aufbau des Kurses (inhaltlich / methodisch) begründet (Strukturiertheit)?

• Wird die Motivation der TeilnehmerInnen gefördert und wenn ja wie?

• Qualität und Präsentation der bereitgestellten Information?

• Welche Interaktionsmöglichkeiten gibt es?

• Wird bedarfsgerechte unterstützt?

Relevante KriterienDidaktische Angemessenheit

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

• Lernbarkeit (Bedienbarkeit, Erlernbarkeit des Systems)

• Effizienz (Erlaubt das System dem Nutzer ein hohes Niveau

an Produktivität)

• Zufriedenheit (Das System sollte angenehm zu bedienen

sein)

• Funktionstüchtigkeit

Relevante KriterienUsability

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

• Erfassung ist abhängig vom Lernziel (Lernzieltaxonomie)

Deklaratives Wissen:

• Multiple Choice Test / Quizze

Übergreifende nicht fachliche Fertigkeiten (Teamfähigkeit, kritisches Denken, Kommunikation, Kreativität usw.) sind schwieriger zu prüfen:

• Lerntagebücher (Reflektion über Lernprozesse)

• Concept Maps / Klassifikationsmatrizen / Aufsatzaufgaben (Tiefe und Komplexität des Verständnisses)

• Authentisches Produkt, das über einen längeren Zeitraum angefertigt wird

Relevante KriterienLernerfolg

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

Relevante KriterienCurriculare Angemessenheit

• Ist das Angebot konsistent zu bestehenden Angeboten?

• Fügt es sich in bestehende Lehrangebote und Lehrformen ein?

erhöht die Akzeptanz

• Ergänzen sich die Lehrelemente gegenseitig?

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

Relevanten Kriterien

Erkenntnisse bezüglich Lehrform und Kompetenzentwicklung

• Mit NBL wird nicht automatisch besser gelernt

• Mangelnde Nutzung der Interaktionsmöglichkeiten

• Eine Lernumgebung benötigt:

sinnvollen didaktischen Aufbau der Inhalte

optische Aufbereitung Motivation erhalten

Interaktionsmöglichkeiten durch Rückmeldungen

Veranschaulichung

intuitive Bedienbarkeit

• Motivation / zeitlich-ökonomischen Aspekte haben einen Einfluss auf den Lernerfolg

Evaluationsmethoden

Evaluations-methoden

Beurteilung mittels eines Kriterienkatalogs

Sind bestimmte Qualitäts- bzw. Gütekriterien erfüllt?

Befragung bei den Nutzern nach der

Zufriedenheit, Anwendbarkeit, Nützlichkeit

Beobachtung

Test zur Erfassung des Lernerfolgs

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

Beispiel für die Operationalisierung relevanter Kriterien

Tagesordnung

Rückblick

Projekte

Evaluations- vorhaben

Relevante Kriterien

Didaktische Angemessenheit

Usability

Lernerfolg

Curriculum

Erkenntnisse

Evaluations- methoden

Beispiele

• Kriterien

• Motivationstest

Vielen Dank für Ihre Aufmerksamkeit!

Gütekriterien• aus der allgemeinen Lehr-Lernforschung

Zielvariablen:• Kognitive Entwicklung• Anwendung und Transfer des Wissens

Prädiktoren:• Motivation• Vorwissen• Adaptivität• Klarheit der Aufgabenstellung• Begeisterung beim Lehrenden• Relevanz der Inhalte• Bedarfsgerechte Unterstützung• Bekräftigung / Kompetenzerleben• Aktive Auseinandersetzung • Effektive Lernzeit• Strukturierung / Segmentierung

Relevante Kriterien

• Aus der Mediendidaktik:

• Anschauliche Darstellung des Lehrmaterials• Individualisierter Lernprozess (Ziel-/Inhaltsauswahl, Lerngeschwindigkeit, zeit- und räumliche Lernorganisation• Gestufte Heranführung an die Selbststeuerung des Lernprozess• Neue Interaktions- und Kooperationsmöglichkeiten• Höhere Aktualität des Lerninhalts• Kann das Gelernte in andere Lebensbereiche übertragen werden• Wie sind die Phasen des Selbstgesteuerten Lernens in einen Bildungsgang eingepasst• Verbindung von Präsenz – und Selbstlernphasen• Technische Schwierigkeiten bez. Voraussetzungen

Gütekriterien

notwendige nicht hinreichende Bedingung

notwendige nicht hinreichende Bedingung

• Reliabilität (Zuverlässigkeit) Retest Paralleltest Testhalbierung

• Objektivität (Unabhängigkeit vom Untersucher)

Ein valides Instrument ist immer auch reliabel und objektiv

Validität (Gültigkeit) Inhaltsvalidität Kriteriumsvalidität Konstruktvalidität

Lernzieltaxonomie

Stufen:

• Reproduktion

• Reorganisation

• Transfer

• ProblemlösefähigkeitVgl. Deutscher Bildungsrat

Bereiche:

• Kognitiver Bereich:

• Wissen

• Verstehen

• Pragmatischer Bereich

• Affektiver BereichVgl. Bloom 1956