View
110
Download
0
Category
Preview:
Citation preview
Wiedenmayer, DafniUniversität Athen
Die Bewertung der produktiven Sprachaktivitäten
AILA World Congress 2008, Essen, 28.8.2008
bei den geschlossenen als auch bei den halboffenen Aufgaben ist der Ablauf der Testbewertung schnell, einfach und objektiv
Bei den offenen Aufgaben erschwert sich dieser Prozess
Die Bewertung eines Sprachtests kann sehr unterschiedlich ausfallen, und dies hängt von verschiedenen Faktoren ab
Solche Faktoren sind:
die Rückwirkung des Tests
das Profil der Bewerter
das Bewertungssystem (bzw.
Skalen, Raster und Kriterien)
Washback Effekt
Die Rückwirkung von Tests auf die Mikro- und die Makroebene ist von großer Bedeutung, denn nur wenn ein Test eine positive Rückwirkung hat, kann er auch nützlich
sein.
Die sprachliche Norm, die die Forscher in ihrem Kopf haben, und im Rahmen derer die Tests stattfinden, beeinflusst die Ergebnisse (Fragoudaki 1985, Wiedenmayer 2006)
Die Ergebnisse des Tests beeinflussen im Voraus die Performanz der Kandidaten, d.h. auch die Augenscheinvalidität des Tests.
1. Frage Bestimmung der sprachlichen Norm
Das Profil der Bewerter
Die Bewerter haben die schwere Aufgabe, die Entscheidung über die Qualität des Geschriebenen, bzw. des Gesprochenen
zu treffen
Bei geschlossenen Aufgaben, wie z.B. bei einer Multiple - Choice Aufgabe, ist es besonders leicht zu bewerten, oft auch ohne menschliche Einmischung. Problematisch erweist sich trotzdem die Bewertung der Produktion mündlichen und schriftlichen Ausdrucks. Altmeyer und Domisch (1998:6) Macaire (1998:10)
Wenn verschiedene Bewerter unterschiedliche
Noten für die gleiche Arbeit geben, geht es um
fehlende interpersonale Konstanz.
Falls die Bewertungen eines Bewerters, die zu
verschiedenen Zeitpunkten durchgeführt werden,
nicht übereinstimmen, handelt es sich um
mangelnde intrapersonale Konstanz
(Glaboniatb, 1998)
Tschirner (2001) erwähnt einige Gründe zur Erklärung dieser mangelnden Inter- und Intrakonsistenz:
Die Bewerter sind von ihren eigenen kulturellen Erfahrungen, von
ihrem Fachgebiet, sowie von ihren früheren Erfahrungen in
Bewertungen von Texten beeinflusst worden
Auch eine Ablehnung oder Zustimmung mit dem Inhalt des Textes
kann durch einen emotionalen und auch unbewussten Einfluss des
Bewerters das Ergebnis ändern
Die Konzentration besonders unerfahrener Bewerter auf
Grammatik, Rechtschreibung und Interpunktion ändert das Ergebnis
Diese Defizite können durch eine gute Schulung der
Bewerter beseitigt werden. Neben der Schulung ist
auch die mehrfache Bewertung einzusetzen, damit
die Subjektivität begrenzt und die Zuverlässigkeit des
Tests erhöht wird.
2. Frage gute Schulung
mehrfache Bewertung
Vorschläge zu 1. und 2.
• Bestimmung der sprachlichen Norm
(Testentwickler)
• Mehrfache Bewertung (Testentwickler)
• Gute Schulung der Bewerter
(Testdurchführung - Adressatengruppe)
Es werden, anhand einer empirischen Forschung,
Unterschiede zwischen 36 Bewertern bei der
Bewertung eines Aufsatzes gezeigt.
Die empirische Forschung
Das Thema der Prüfung
Sie leben mit einer oder mehreren Personen in einer Wohnung. Plötzlich merken Sie, dass Sie etwas brauchen und gehen dies kaufen. Hinterlassen Sie Ihrem Partner/ Ihrer Partnerin bzw. Ihren Mitbewohnern eine kurze Notiz von höchstens 50 Wörtern.
Diese Notiz sollte Informationen zu folgenden Punkten beinhalten: • Was wollen Sie kaufen?• Warum brauchen Sie dies unbedingt?• Wann kommen Sie zurück?• Bitten Sie Ihre Mitbewohner, etwas für Sie zu erledigen, da Sie keine Zeit
mehr dazu hatten!
Unterschreiben Sie als Alexis oder Alexia!Planen Sie für diese Aufgabe ungefähr 15 Minuten ein!
Die sprachliche Norm
• Kommunikationssituation• Alltägliche Kommunikationssprache• Textsorte und -länge• Punkte als Plan • Bekannte Aufgabenstellung (griechisches
Staatszertifikat KPg)
Die Kandidaten
SA Prüfung im Rahmen der Staatszertifikat-Prüfung (KPg) im November 2004
6 Probanden auf dem B2 Niveau
3 Schüler (S) an privaten Sprachinstitute3 Germanistikstudenten (St) der Universität Athen
Das Profil der Bewerter36 (35+1)
Germanistikstudium (Diplom)
Master (Richtung: Leistungsmessung- Leistungsbeurteilung)
Schulung (für diese Prüfung)
Das Bewertungssystem
Gemischtes (holistisch – analytisch) Bewertungssystem
Das Bewertungssystem, anhand dessen, das Raster und die Bewertungskriterien (gilt auch für das griechische Staatszertifikat KPg www.ypepth.gr) entwickelt wurden, könnte „gemischtes Bewertungssystem“ genannt werden, da es Elemente sowohl vom holistischen als auch vom analytischen System beinhaltet (s. auch Τsopanoglou 2000). Genauso funktioniert auch das
Bewertungsverfahren bei TestDaF (www.testdaf.de).
Τσοπάνογλου (2000:116), übersetzt von Giakumelu (2005):Wichtigeres und allgemeines
Kriterium: z.B. Kommunikative Fähigkeit
Erstes Nebenkriterium:
z.B. Morphosyntaktische Korrektheit
Zweites Nebenkriterium:
z.B. Textsortenangemessenheit
Besonders befriedigend
I 2019
II 1817
III 1615
Befriedigend
IV 1413
V 1211
VI 109
Ungenügend
VII 87
VIII 65
IX 43
X 21
Anhand dieser Skala werden drei Kriterien vorbestimmt,
aber die Punkte für jedes einzelne Kriterium werden
nicht addiert.
Zunächst geht es um eine erste, globale Bewertung auf
Grund eines vorbestimmten Hauptkriteriums,
dann kommt eine zweite auf Grund des zweiten
Kriteriums und danach
eine dritte anhand des dritten Kriteriums.
Die erste Bewertung bestimmt den Rahmen, in dem
die zwei weiteren Kriterien bewertet werden können.
Wenn z. B. ein Text auf Grund des ersten Kriteriums als „Besonders Befriedigend“
bewertet wird, kann dieser Text mit einer Punktzahl nur zwischen 15 und 20 bewertet
werden. Auch wenn die zwei anderen Kriterien als „ungenügend“ betrachtet werden,
können den Endpunkt nicht unter 15 gestalten.
Im Gegensatz dazu kann ein Text, der bezüglich des zweiten und des dritten Kriteriums
als „befriedigend“ betrachtet, der aber im Hinblick auf das erste Kriterium als
„ungenügend“ bewertet wurde, nicht mehr als 8 Punkte (maximale Punktzahl: 20)
erreichen.
Daraus lässt sich schlussfolgern, dass das erste Kriterium die oberen und die unteren
Grenzen bestimmt, innerhalb deren sich die zwei anderen Kriterien bewegen
können. Auch das zweite Kriterium bestimmt erneut die Grenzen, innerhalb deren
sich das dritte Kriterium bewegen kann.
1.Stadium: Holistische Bewertung zur Messung des ersten Hauptkriteriums
2.Stadium: Analytische Bewertung wegen der Berücksichtigung der zwei weiteren Kriterien
3.Stadium: Holistische Bewertung jedes einzelnen Kriteriums anhand eines positiven oder negativen Eindrucks. Dieses alternative System gilt als ein „gemischtes“ Bewertungssystem, das sich darum bemüht, die positiven Eigenschaften beider Systeme zu kombinieren (www.testdaf.de, www.ypepth.gr, Tsopanoglou 2000, Giakumelu 2005, Wiedenmayer 2006)
BEWÄLTIGUNG DER KOMMUNIKATIVEN AUFGABE
TEXTAUFBAU UND LEXIKALISCHE KOMPETENZ
GRAMMATISCHE/ ORTHOGRAPHISCHE KORREKTHEIT
ITEM
1
ITEM
2
ITEM
3
Umfassend bewältigt
Befriedigend Befriedigend 6 15 9Nicht befriedigend 5,5 14 8
Nicht befriedigend Befriedigend 5 13 7,5
Nicht befriedigend 4,5 12 7
Mit Mängeln, aber befriedigend bewältigt
Befriedigend Befriedigend 4 10 6Nicht befriedigend 3,5 9 5
Nicht befriedigend Befriedigend 3 8 4,5
Nicht befriedigend 2,5 7 4
Nicht befriedigend bewältigt
Befriedigend Befriedigend 2 5 3Nicht befriedigend 1,5 4 2
Nicht befriedigend Befriedigend 1 3 1,5
Nicht befriedigend 0,5 2 1Entspricht nicht der Aufgabenstellung, keine Antwort
ΚPg – Phase II – B2
Bewertungskriterien - B2 NiveauΑ. Bewältigung der AufgabeAusführliche, zusammenhängende und differenzierte Beschreibung oder Bericht und dabei auch Verbindung aller Themenpunkte miteinander; Ausführen einzelner Aspekte und geeignete Schlussfolgerung. Ausführliche Darstellung der Standpunkte und Stutz von geeigneten Beispielen oder Begründungen durch Unterpunkte. Sprachliche Mängel beeinträchtigen das Textverständnis nicht.B. Textaufbau und lexikalische KompetenzGut strukturierter Text und angemessene Verwendung von verschiedenen Mitteln zur Textverknüpfung. Auswahl von umfangreichen Formulierungen ohne Einschränkungen. Beherrschung eines großen Wortschatzes und problemloses Gebrauchen von Umschreibungen. Offensichtliches Suchen nach Worten oder der Rückgriff auf Vermeidungsstrategien sind selten. Gelegentliche kleinere Schnitzer, aber keine größeren Fehler im Wortgebrauch.C. Grammatische und orthographische Korrektheit Beständiges Beibehalten eines hohen Maßes an grammatischer Korrektheit; Fehler sind selten und fallen kaum auf.Die Gestaltung, die Gliederung in Absätze und die Zeichensetzung sind konsistent und hilfreich. Die Rechtschreibung ist, abgesehen von gelegentlichem Verschreiben, richtig.
Nach: Gemeinsamer Europäischer Referenzrahmen für Sprachen (2001)
Die Ergebnisse der empirischen ForschungTexte – Gruppe A – (S)
Lieber Andreas!Ich möchte Heute Abend einen Besuch machen. Da die Strümpfe schmutzig sind muss ich ein paar Neue kaufen. Ich bin jetzt in einem Geschäft das in der Stadtmitte liegt. Ich werde um 9 Uhr nach Hause zurück gehen. Ich Bitte dich die Heizung offnen.Ghüss bis bald,Alexis
Mein Satz!Ich möchte Schokoladenkuchen backen und ich gehe Zucker kaufen!Schokoladenkuchen ohne Zucker gibt es nicht!Ich komme um 2 zurück! Spüll bitte die Tella!Alexia
Liebe Maria,ich gehe Milch, Zucker, Essig, Mehl und eine Hose kaufen. Meine alte Hose ist kaputt und ich brauche eine neue!Kannst du bitte die Katze fressen?Ich komme am Nachmittag zurück!Alexis
Die Ergebnisse der empirischen Forschung
Texte – Gruppe B – (St)
Schatz,bin kurz bis zum Supermarkt gefahren, da im Kühlschrank keine süße Sahne mehr gab und ich heute Lust auf Carbonara habe. Falls du noch was willst, ruf mich auf den Handy an. Bin höchstens in 20 min. zurück.Wärst du so lieb schon mal die Nudeln zu kochen, bis ich wieder da bin.Danke, Alexia
Hallo Eleni!Wie geht΄s? Mir nicht so gut. Mein Kopf tut weh und ich brauche unbedingt Medikament. Ich gehe zur Apotheke. Ich komme in circa 30 Minuten zurück. Könntest du bitte Maria meine Bücher geben? Sie wird vorbeikommen und sie braucht sie für eine Hausarbeit. Meine Bücher sind im Buchregal.Bis bald also,Alexia
Fahre kurz in die Stadt, zum Supermarkt. Ich muss dringend Bier u. tiefgefrorene Pizza kaufen. Am Abend kommen die Jungs vorbei u. den Film angucken. Komme in einer Stunde zurück.Würdest du inzwischen die Waschmaschine anstellen, da ich keine Zeit habe? Das wäre super von dir
Die Benotung der sechs Texte von 11 Bewertern
Nur im 6. Text (perfekten Text) einig!Bei den anderen die Beschreibung der Kriterien anders verstanden!
• Die Beschreibung erneut formulieren• Gemeinsamer Europäischer Referenzrahmen für
Sprachen Kannbeschreibung soll jedesmal nach dem Prüfungsziel geeignet beschrieben werden
• Normsprache für die innere Kommunikation (Testentwickler – Bewerter)
Die Benotung der sechs Texte von 11 Bewertern
BEWÄLTIGUNG DER KOMMUNIKATIVEN AUFGABE
TEXTAUFBAU UND LEXIKALISCHE KOMPETENZ
GRAMMATIS
CHE/
ORTHOGRAP
HISCHE
KORREKTHE
IT
ITEM
1
Umfassend bewältigt
Befriedigend Befriedigend 6Nicht befriedigend 5,5
Nicht befriedigend
Befriedigend 5Nicht befriedigend 4,5
Mit Mängeln, aber befriedigend bewältigt
Befriedigend Befriedigend 4Nicht befriedigend 3,5
Nicht befriedigend
Befriedigend 3Nicht befriedigend 2,5
Nicht befriedigend bewältigt
Befriedigend Befriedigend 2Nicht befriedigend 1,5
Nicht befriedigend
Befriedigend 1Nicht befriedigend 0,5
Entspricht nicht der Aufgabenstellung, keine Antwort
• Der Test hat Augenscheinvalidität• Der Test ist valid• Der Test ist nützlich
Positive Rückwirkung
Das Profil der Bewerter36 (35+1)
Germanistikstudium (Diplom)
Master (Richtung: Leistungsmessung- Leistungsbeurteilung)
Schulung (für diese Prüfung)
Die Normsprache und das Bewertungssystem
• Die Normsprache als innere Kommunikationssprache zwischen Testentwickler und Bewerter soll bestimmt werden
Kode finden
Diese „innere kodierte Kommunikationssprache“ soll auch für die Beschreibung der Bewertungskriterien gelten
Die Normsprache und das Bewertungssystem
so…
Danke
Dafni Wiedenmayer, Essen AILA 2008
Recommended