Auswahl von Aufgabenformaten und Formulierung von Items Seminar: Testtheorie und Testkonstruktion...

Auswahl von Aufgabenformaten und Formulierung von Items

Seminar: Testtheorie und Testkonstruktion

Referenten: Annekathrein Frenkel, Sara Dürr

10.05.06

Gliederung

Einführung Definition: Aufgabenformate (auch:

Aufgabentypen) Hauptteil

Darstellung der verschiedenen Aufgabenformate Vor- und Nachteile der jew. Aufgabenformate Leitfaden Formatauswahl Leitfaden Itemkonstruktion Mögliche Biases

Schlussteil Fragen???

Lernziele

Was sind die Vor- und Nachteile der verschiedenen Aufgabenformate?

Was ist bei der Konstruktion von Testitems zu beachten?

Mit welchen biases (wie z.B. der Antwort-tendenz) muss man u. U. rechnen?

Was ist ein Aufgabenformat?

Die Art und Weise, in der die Beantwortung einer Testaufgabe erfolgt

Man unterscheidet…

Gebundene Aufgabenformate = es sind festgelegte Antwortkategorien

vorgegeben

Freie Aufgabenformate = die Aufgabenbeantwortung erfolgt frei

oder teilstrukturiert (Teile der Lösung sind vorgegeben)

Gebundene Aufgabenformate

1. Richtig-Falsch-Aufgaben (RF-Aufg.)

2. Mehrfach-Wahl-Aufgaben (MF-Aufg.)

3. Zuordnungsaufgaben (ZO-Aufg.)

4. Umordnungsaufgaben (UO-Aufg.)

1. Richtig-Falsch-Aufgaben

Bestehend aus nur zwei Antwortmöglich-keiten

(Richtig-Falsch, Ja-Nein etc.)

Oft verwendet z.B. in Leistungs- oder Persön-lichkeitstests

Beispiel: Ich gehe abends gerne aus

stimme zu – stimme nicht zu

Vorteile – Nachteile

Bearbeitungs-, Auswertungs- und Lösungszeit meist kurz

i.d.R. leichtes Verständnis der Testinstruktionen

Formulierungsschwierig-keiten

(Notwendigkeit eindeutiger Beantwortung)

Hoher Prozentsatz an Zufallslösungen mögl.

(bis 50%)

Wenig differenzierte Information

Hinweise für eine erhöhte Ja-Sage-Tendenz

z.B. Krosnick, 1999. S.552

2. Mehrfach-Wahl-Aufgaben

Bestehend aus mehr als zwei Antwortalternativen (z.B. multiple-Choice-Aufg.)

Eine Bestantwort (Attraktor) + mehrere Alternativantworten (Distraktoren)(für letztere gelten die Kriterien der Plausibilität und der Gleichwertigkeit)

Insbesondere in Wissens- oder Intelligenztests

In der modernen Testkonstruktion absolut vorherrschend

Sonderform: Ratingskalen

Beispiel einer MW-Aufgabe

In einem Test kann man verschiedene Aufgabenarten verwenden. Welche der folgenden Aufgabenarten haben ein gebundenes Antwortformat?

Multiple-Choice-Items Ergänzungsaufgaben Ratingskala Zuordnungsaufgaben Kurzaufsatzaufgaben

Vorteile – Nachteile

Ökonomische Durch- und Ausführung

Relative Zufallsunabhängigkeit

Durch die Anzahl der Antwortalternativen wirkt sich das Raten weniger auf das Testergebnis aus

Bei Ratingskalen: Differenziertheit der Antworten

Problem: Antwortalternativen?

Plausibilität und Gleichwertigkeit

Lediglich Wieder-erkennen von Material, keine Reproduktion

Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)

3. Zuordnungsaufgaben

Zeichen oder Inhalte werden anderen Zeichen oder Inhalten zugeordnet

Z.B. in Wissens- oder Leistungstest

Beispiel:Was wurde von wem geschrieben?

Die Räuber Süßkind Werthers Leiden Goethe Faust

Schiller Das Parfum Mann

Vorteile – Nachteile

Ökonomische Durch- und Ausführung

Relative Zufallsunabhängig-keit

Problem: Antwortalternativen?

Lediglich Wieder-erkennen von Material, keine Reproduktion

Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)

4. Umordnungsaufgaben

Vorgegebene Fragmente müssen der Reihenfolge entsprechend sortiert werden

z.B. Materialbearbeitungstest (z.B. HAWIK)

Beispiel Herrn seinen ein rettete treuer Hund (6) (5) (1) (4) (2) (3)

Vorteile – Nachteile

Einsetzbar bei Materialbearbeitungs-tests

Großer Materialaufwand - speziell bei Gruppentestungen

Itemformat ist nur für wenige spezifische Fragestellungen anwendbar

Freie Aufgabenformate

1. Ergänzungsaufgaben (EG-Aufg.)

Offene Fragen (z.B.: Wo liegt Lima?) Text- oder Wortergänzungsaufgaben

2. Kurzaufsätze (KA-Aufg.) Auf Fragen freie Antworten geben (z.B. „wie

kommen Sommer und Winter zustande?“)

EG-Aufgaben: Vorteile – Nachteile

Zufallslösungen kaum möglich

Qualitative Auswertung möglich

Nur Reproduktion von Wissen – keine Kreativität

Hoher zeitl. Aufwand

Eingeschränkte Auswertungsobjek-tivität

Schwer zu klassifizieren, was eindeutig falsch oder richtig ist

KA-Aufgaben: Vorteile - Nachteile

Freie Reproduktion von Wissen

Zufallslösungen ausgeschlossen

Evtl. eingeschränkte Auswertungsobjek-tivität

Schwer zu klassifizieren, was eindeutig falsch oder richtig ist

Leitfaden – Formatauswahl

1. Keine Regel für die Zuordnung von Aufgaben-inhalt und Aufgabenformat

2. Einfache Tests → ein Aufgabenformat

3. Testsystem → Aufgabenformate über Subtests variieren

Regeln für die Reihung der Aufgabenformate im Testsystem:

subjektiv schwierige Aufgabenformate (hohe Konzentration erforderlich) an den Anfang

Abwechseln von Subtests mit leichten (RF) und schweren (EG) Aufgabenformaten

Leitfaden – Formatauswahl

1. Wann wähle ich Richtig-Falsch-Aufg.? Bei Notwendigkeit schneller Testkonstruktion Bei Notwendigkeit schneller Testdurchführung Bei Auswertung des Tests durch Hilfspersonal Bei leicht verständlichen Aufgabeninhalten Wenn gedankliche Verarbeitung und

Gedächtnisleistungen unwichtig sind Wenn Zufallslösungen irrelevant sind oder bei

der Auswertung berücksichtigt werden

Leitfaden – Formatauswahl

2. Wann wähle ich Ergänzungsaufgaben?

Selbstständige Lösungsfindung als Ziel Bei Interesse am Lösungsweg Verhindern von Raten Bei inhaltlich komplexen Testaufgaben

(Denkprobleme) Bei Interesse an qualitativer Auswertung Wenn die Zeit unwichtig ist Wenn nicht durch mangelnde

Formulierungsfähigkeit Nachteile entstehen

Leitfaden – Itemkonstruktion

1. Negativ und positiv gepolte Items sollten sich die Waage halten

Negative Formulierungen beeinflussen nachweislich das Antwortverhalten – werden daher zur Vorbeugung von Ja-Sage-Tendenzen eingesetzt

2. Doppelte Verneinungen vermeiden sie führen zu Missverständnissen

Leitfaden – Itemkonstruktion

3. Begriffe mit mehreren Bedeutungen vermeiden

z.B.: ich bin in Gesprächen „angriffslustig“

4. Formulierungen und Begriffe vermeiden, die nur einem Teil der Zielgruppe geläufig sind

z.B. „Depression“ im Umgang mit Kindern

5. Pro Item nur einen sachlichen Inhalt/ Gedanken zugrunde legen

z.B. nicht: ich fahre sehr gerne und sehr schnell Auto

Leitfaden – Itemkonstruktion

6. Verallgemeinerungen vermeiden z.B. nicht: immer, alle, keiner etc.

7. Abkürzungen und Ausschweifungen vermeiden

8. Wichtiges hervorheben (Sparsamkeit!)

9. Zeitpunkt und Zeitspanne, auf die Bezug genommen wird, eindeutig definieren

z.B.: „in den letzten zwei Wochen“ statt „in letzter Zeit“

10. Hohe Kongruenz zwischen Item und Merkmal wichtig

Leitfaden – Itemkonstruktion

11.Nicht aussagekräftige Items vermeiden z.B. wenn erfahrungsgemäß immer

dieselbe Beantwortung erfolgt (ja/ nein)

12. Itemformat sollte an das Ziel des Tests angepasst sein

13. Für die Beantwortung notwendige Informatio-nen ergänzen

Mögliche Biases – (gebundene Itemformate)

Soziale Erwünschtheit

Antworttendenzen

Motivation

Reihenfolgeeffekte

Noch Fragen???