Testen und bewerten nrp

Testen und BewertenFortbildungsseminar für AHS-Lehrer22.09-23.09.2011, Eisenstadt

Mag. Margarita Kolesnik-Eigentler Innsbruck

Performanz testen (nicht auswendig gelerntes)

situativer Kontext möglichst authentisch und

handlungsorientiert testen möglichst objektiv und transparent

bewerten(Hinger/Hosp)

⇨ Standardisierung und/ oder die gleichen Prinzipien des Testens bei der Testerstellung

Kommunikative Sprachtests

M. Kolesnik-Eigentler, 2011

Fremdbewertung, Peer-Bewertung, Selbstbewertung

Sprachstandtests vs. Qualifikationsprüfung ganzheitlich vs. analytisch kontinuierlich vs. punktuell formativ vs. summativ direkt vs. indirekt subjektiv vs. objektiv normorienmtiert vs. kriterienorientiert

GERS Kap. 9. Typen der Bewertung


Sprachstandstest (Leistungstest, achievement test)

überprüft, ob bestimmte Ziele erreicht wurden was unterrichtet worden ist bezieht sich auf die Arbeit einer Woche, eines

Semesters, das Lehrbuch oder den Lehrplan. orientiert sich am Kurs stellt eine Binnenperspektive dar.Qualifikationsprüfung (auch:

Feststellungsprüfung; proficiency test) was jemand kann oder weiß, wenn er/sie einen

Lerngegenstand im 'wirklichen Leben' anwendet. stellt eine Außenperspektive dar


Typen von Beurteilung und Bewertunghttp://www.goethe.de/Z/50/commeuro/i0.htm

http://www.goethe.de/Z/50/commeuro/i0.htm

Normorientierte Bewertung bringt die Lernenden in eine Rangfolge die Bewertung ihrer Leistungen erfolgt

relativ zu den anderen Lernenden der Gruppe.

Kriteriumsorientierte Bewertung der Lernende wird lediglich in Bezug auf

seine Fähigkeit in dem jeweiligen Gebiet bewertet

unabhängig von der Fähigkeit der anderen Lernenden


Typen von Beurteilung und Bewertung

Kontinuierliche Beurteilung Beurteilung von Leistungen in der Klasse, von Arbeiten und Projekten während des ganzen

Kurses durch die Lehrenden und eventuell durch die

Lernenden. Abschlussnote spiegelt den ganzen Kurs/das

Lernjahr/das Semester.Punktuelle Beurteilung (Leistungsmessung zu einem

festen Zeitpunkt) eine Prüfung oder eine anderen Form der Beurteilung,

die an einem bestimmten Tag stattfindet Was vorher stattgefunden hat, ist irrelevant entscheidend ist, was die Person zum aktuellen

Zeitpunkt tun kannM. Kolesnik-Eigentler, 2011


Direkte Beurteilung was tut der Kandidat tatsächlich Wenn z. B. eine kleine Gruppe etwas

diskutiert, dann beobachtet der Beurteilende die Leistung, vergleicht sie mit einem Kriterienraster, bezieht die Leistungen auf die passendsten Kategorien des Rasters und gibt eine Beurteilung ab.

beschränkt sich auf das Sprechen, Schreiben und Zuhören bei Interaktionen



Indirekte Beurteilung ein Test, üblicherweise ein schriftlicher, der

Kompetenzen und Fertigkeiten prüft, die einer Leistung zugrunde liegen.

Leseverstehen z. B. kann nur indirekt überprüft werden, indem man die Lernenden dazu bringt, Belege für Verstehen dadurch liefern, dass sie Kästchen ankreuzen, Sätze ergänzen, Fragen beantworten usw.

Das Spektrum und die Beherrschung sprachlicher Mittel kann entweder direkt beurteilt werden, indem man feststellt, inwieweit sie bestimmten Kriterien entsprechen, oder indirekt dadurch, dass man die Antworten auf Testaufgaben interpretiert oder generalisiert. Ein klassischer direkter Test ist das Interview, und ein klassischer indirekter Test ist der Cloze-Test.



Beurteilung der Performanz die Lernenden legen mündliche oder

schriftliche Beispiele ihrer Sprachproduktion in einem direkten Test

Beurteilung von Kenntnissen die Lösung von Aufgaben, die aus einem

breiten Spektrum von Aufgabentypen stammen und die einen Nachweis für den Umfang der sprachlichen Kenntnisse und der Beherrschung sprachlicher Mittel liefern sollen.



Subjektive Beurteilung das Urteil eines Prüfenden

Objektive Beurteilung Subjektivität ist ausgeschlossenNormalerweise meint man dabei einen

indirekten Test, bei dem die Items nur eine korrekte Antwort zulassen, z. B. multiple-choice (Mehrfachwahlaufgaben).



Reduzierung der Subjektivität bei der Beurteilung inhaltliche Vorgaben für die Beurteilung entwickeln, z. B.

basierend auf einemReferenzrahmen für den betreffenden Kontext;

sich auf gemeinsame Entscheidungen stützten bei der Auswahl von Inhalten und/oder der Beurteilung der Leistungen

Standardverfahren verwenden, die festlegen, wie geprüft wird verbindliche Bewertungsschlüssel für indirekte Tests zu

Verfügung stellen auf spezifische, klar definierte Kriterien in direkten Tests

stützen mehrfache Beurteilung und/oder die Gewichtung

verschiedener Faktoren fordern entsprechendes Training in Bezug auf

die Beurteilungsrichtlinien anbieten die Qualität von Leistungsbeurteilungen (Validität, Reliabilität)

durch eine Analyse der Prüfungsdaten kontrollieren



Ein qualifizierter Test muss die Forderungen nach Objektivität, Zuverlässigkeit (Reliabilität) und Gültigkeit (Validität) erfüllen.

Die Objektivität eines Tests ist dann gegeben, wenn die Ergebnisse einer Testuntersuchung unabhängig von der Person des Untersuchers sind.

Die Zuverlässigkeit (Reliabilität) betrifft den Exaktheitsgrad, mit dem ein Test individuelle psychische Unterschiede (Persönlichkeitsmerkmale) erfasst.

Die Gültigkeit (Validität) betrifft die Frage, inwieweit die Testergebnisse tatsächlich dasjenige Persönlichkeitsmerkmal erfassen, das durch die Testuntersuchung bestimmt werden soll.

Gütekriterien.http://www.medpsych.uni-freiburg.de/OL/glossar/body_gutekriterien.html


http://www.medpsych.uni-freiburg.de/OL/glossar/body_gutekriterien.html

http://www.medpsych.uni-freiburg.de/OL/glossar/body_gutekriterien.html

Wen teste ich? Eine Klasse

Alle Klassen eines Jahrgangs

Warum teste ich? Schularbeit

Reifeprüfung

Was teste ich? Fertigkeiten

Kompetenzen

Wie teste ich? Testformate

Bewertungsskalen Korrekturschlüssel

Was messe ich?(Test)Konstrukt


Validität Objektivität Reliabilität Praktikabilität Authentizität Washback

Testgütekriterien


Validität Konstrukt- Inhalts- Augenschein- Kriteriums-

Testgütekriterien


KonstruktvaliditätDas Konstrukt, z.B. die Fertigkeit Hören ist klar definiert

Das Konstrukt ist nachvollziehbar im Test abgebildet

(nicht korrekte (nicht valide) Aufgabenstellung: Schreiben Sie eine Zusammenfassung des gehörten Texts)

Validität


Inhaltsvalidität

Alle Aspekte eines Konstrukts werden ausreichend gemessen

z.B. Niveaubeschreibung nach GERS

Validität


Augenscheinvalidität

Schüler, Eltern, Direktion, Landesschulinspektion überzeugen, dass ich das messe, was ich messen will und was gemessen werden soll

Validität


gibt die Eignung eines Messverfahrens oder einer Frage bezüglich ihrer Zielsetzung an

Eine Messung oder Befragung ist valide, wenn die erhobenen Werte geeignete Kennzahlen für die zu untersuchende Fragestellung liefern.

Beispiel ValiditätBeispielsweise ist die Anzahl der Fehltage in einer

Abteilung eine valide Kennzahl für die Gesundheit der Mitarbeiter, aber nicht für die Zufriedenheit der Mitarbeiter, da ihre Anwesenheit nicht das gleiche wie Zufriedenheit ist. Der Versuch, die Länge einer Schraube mit einem Thermometer zu messen, ist ebenfalls ein Beispiel für eine nicht-valide Messung.

http://www.bb-sbl.de/tutorial/stichproben/reliabilitaetvaliditaetobjektivitaet.html

Validität (Gültigkeit)




die Antworten bzw. Messwerte sind unabhängig vom Interviewer bzw. Prüfer

Objektivität


wie genau ein Test das misst, was er messen soll, ohne dass dabei die Validität berücksichtigt wird

die Angabe ob ein Messergebnis bei einem erneuten Versuch bzw. einer erneuten Befragung unter den gleichen Umständen stabil ist.

Beispiel ReliabilitätEin Beispiel für eine reliable Frage ist "Wie viele

Mitarbeiter hat Ihre Abteilung?„ Dagegen hat die Frage "Wie viele teamfähige Mitarbeiter hat ihre Abteilung" eine geringe Reliabilität, da unklar ist wie "teamfähig" definiert ist und dadurch unterschiedliche Einschätzungen zu Stande kommen können.


Reliabilität (Zuverlässigkeit)



Wie verhält sich Lerner/in beim Test Test-Retest R. (Stabilität; Testwiederholung;

unterschiedliche Klassen) Paralleltest-R. (Äquivalenz, Teilung der Gruppe) Interne Konsistenz (Homogenität,

Testhalbierung, Items eines Tests zu einander, Kronbach Alfa)

Häufigkeiten (wie viele Schüler haben wie viel % geschafft)

TrennschärfeWie verhält sich Bewerter/in? Interrater- und Intrarater-R.

Reliabilität (Zuverlässigkeit)


administrierbar• Zeit• Räumlichkeiten• Finanzielle Ressoursen• Personelle Ressoursen

messbar interpretierbar

Praktikabilität


Authentizität Originaltexte Lebensnahe Aufgaben Augenscheinvalidität Erwartungen

Washback (Rückkoppelungseffekt) positiver und negativer Testen beeinflusst des Unterricht und

Lernen

Weitere Testgütekriterien


Offene: Schreibaufgabe, Essay, Aufsatz Halboffene: Kurzantworten Geschlossene: C-Test, Cloze-Test, Multi-

choice, Zuordnung

◦ (Integrative: werden nicht verwendet, Vermischung der Fertigkeiten)

Testformate


Allgemeine Informationen Zielgruppe Anzahl der Aufgaben Integrationen anderer Fertigkeiten oder

Kompetenzen (Ausmaß) Dauer Zielsetzung

Testspezifikationen 1


Spezifische Informationen1. Merkmale der Aufgabenstellung

◦ Sprache der Arbeitsanweisungen◦ Sprachniveau der Aufgabe nach GERS

2. Merkmale der Texte◦ Diskursart◦ Themenbereiche◦ Quellen◦ Authentizität◦ Sprachliche Gestaltung◦ Sprachniveau



Spezifische Informationen3. Merkmale der Test-Items

◦ Testformat◦ Sprachliche Gestaltung◦ Kognitive Prozesse

4. Bewertung◦ Art, Verfahren

5. Rückmeldung◦ Qualitativ (Note, verbales Feedback, Niveaustufe nach

GERS …)



Fulcher, G./ Davidson, F. (2007): Language Testing and Assessment. London and New York, Routledge.

Grotjahn, R.: Testen und Evaluieren fremdsprachlicher Kompetenzen. Tübingen, Günter Narr Verlag.

Hughes, A. (1989): Testing for Language Teachers. Cambridge, CUP

Dlaska, A./ Krekeler, Ch. (2009): Sprachtests. Baltmannsweiler, Schneider Verlag Hohengehren.

Bei Erstellung dieser Präsentation wurden die Materialien des Kongresses: Die standardisierte Reifeprüfung in den Fremdsprachen im HUM-Bereich. 28.10.-29.10.2010, Innsbruck (Vortragenden Sabine Hosp und Barbara Hinger) sowie Informationen von BIFIE und BMUKK verwendet.

GERS: http://www.goethe.de/Z/50/commeuro/i0.htm

Literatur: Testen allgemein


http://www.goethe.de/Z/50/commeuro/i0.htm

Documents

Testen und bewerten nrp