27
1 Vorlesung „Einführung in die Schulpädagogik“ WS 2010/11 (Boenicke/Popp) Leistungsbeurteilung und Diagnostik Objektivität der Notengebung: Empirische Untersuchungen Kriterien und Fehlerquellen der Leistungsbewertung Alternative Formen der Leistungsbewertung Aufgaben der pädagogischen Diagnostik

Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

Embed Size (px)

Citation preview

Page 1: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

1

Vorlesung „Einführung in die Schulpädagogik“ WS 2010/11

(Boenicke/Popp)

Leistungsbeurteilung und Diagnostik

• Objektivität der Notengebung: Empirische

Untersuchungen

• Kriterien und Fehlerquellen der

Leistungsbewertung

• Alternative Formen der Leistungsbewertung

• Aufgaben der pädagogischen Diagnostik

Page 2: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

2

Empirische Untersuchung zur Notengebung

Schriftliche Prüfung

• Schüleraufsatz mit zwei verschiedenen Voronformationen

• Beurteilung durch 92 Grundschullehrer.

• Unterschiedliche Angaben zum soziokulturellen Status der

Familie (Journalist/Arbeiter) und Schulleistung

• Lektüre/Bewertung jeweils mit unterschiedlicher Vorinformation

K. Ingenkamp/U. Lissmann (2005), Lehrbuch der pädagogischen Diagnostik, Weinheim,

Basel, 5. Aufl., S. 144

Page 3: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

3

Stil

Quelle: K. Ingenkamp 1995, Die Fragwürdigkeit der Zensurengebung, Weinheim, 9. Aufl.

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

positiv beeinflußt 38% 46% 13% 3% 0%

negativ beeinflußt 9% 47% 21% 21% 20%

Note 1 Note 2 Note 3 Note 4 Note 5

Page 4: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

4

Inhalt

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

positiv beeinflußt 46% 46% 8% 0% 0%

negativ beeinflußt 21% 46% 22% 11% 0%

Note 1 Note 2 Note 3 Note 4 Note 5

Page 5: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

5

Rechtschreibung

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

positiv beeinflußt 16% 40% 36% 8% 0%

negativ beeinflußt 0% 7% 44% 38% 11%

Note 1 Note 2 Note 3 Note 4 Note 5

Page 6: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

6

Gesamtnote

0%

10%

20%

30%

40%

50%

60%

70%

positiv beeinflußt 18% 60% 19% 3% 0%

negativ beeinflußt 0% 30% 57% 13% 0%

Note 1 Note 2 Note 3 Note 4 Note 5

Page 7: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

7

Objektivität der Notengebung:

Mündliche Prüfungen (1)

• Video-Aufnahme: Zwei Deutsch-Prüfungen Abitur

• Probanden: 156 Lehrer aus 39 Gymnasien

• Unterschiedliche Vorinformation: vorangegangene

Leistung im Abituraufsatz eher gut/eher schwach

• Beurteilung der mündlichen Prüfung:

bei Vorinformation „eher gut“: 1 - 5,

bei Vorinformation „eher schwach“: 2 - 5,5.

Page 8: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

8

Objektivität der Notengebung: Mündliche

Prüfungen (2)

• Vorführung der Aufnahmen in wechselnder

Reihenfolge

• Schlechtere Kandidatin: Beurteilung noch schlechter,

wenn die bessere zuerst zu sehen war

• Bessere Kandidatin: Beurteilung noch besser, wenn

die schlechtere zuerst zu sehen war

K. Ingenkamp/U. Lissmann (2005), Lehrbuch der

pädagogischen Diagnostik, Weinheim, Basel, 5. Aufl., S. 139

Page 9: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

9

Subjektivität der Notengebung – Ein

Problem der geistes- und sozial-

wissenschaftlichen Fächer?

• Weitere Untersuchungen bezogen sich auf einen

Vergleich der Bewertungen von Arbeiten in

sprachlichen Fächern, Mathematik und Geschichte.

• „Die Mathematikarbeit wies im Gegensatz zur

Erwartung die höchsten Beurteilungs-

unterschiede auf.“

K. Ingenkamp/U. Lissmann (2005), Lehrbuch der

pädagogischen Diagnostik, Weinheim, Basel, 5. Aufl., S. 143

Page 10: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

10

Alternative Formen der Leistungsmessung:

• Transparente Beurteilungskriterien

• Portfolios, Lernberichte und Lernjournale

• Diagnose- und Beobachtungsbögen

Page 11: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

11

3 2 1 0

Vortrags-

form

Freie Rede,

formvollendet

Flüssiger Vortrag,

aber

manuskriptabhängig

Durchgehend

manuskriptab-

hängig

Völliges, z.T.

fehlerhaftes

Ablesen

Aufbau Zwingend klarer

Aufbau und

Gliederung

Aufbau und

Gliederung gut, mit

kleinen Mängeln

Gesichtspunkte

nur gereiht/ gros-

se Gliederungs-

mängel

Gesichtspunk-

te unvollstän-

dig,wesent-

liche Aspekte

fehlen

Sachliche

Richtig-

keit

In der Darstellung

und Analyse der

Zusammenhänge

überzeugend

Fakten und

Zusammenhänge

ohne Fehler

dargestellt

Fakten i.O., aber

keine

Zusammenhänge

Lücken in der

Darstellung

Selbstän-

digkeit

Sehr gutes

Hintergrundwis-

sen / sehr gute

Reaktion auf

Nachfragen und

Kontrollfragen

Deutliche eigene

Aktivität / gute

Reaktion auf

Kontrollfragen

Kaum eigen-

ständige Aktivität

erkennbar /

Kontrollfragen

unbeantwortet

Kein

eigenständig

erarbeitetes

Hintergrund-

wissen

Veran-

schau-

lichung

Überzeugend,

anschaulich

(Folien, Bilder...)

Deutliches Bemühen

um anschauliche

Gestaltung

Außer dem

Vortrag nur noch

ein weiteres

Medium

Keine

Veranschaulic

hung über den

Vortrag hinaus

Beispiel I.: SCHÜLERBEWERTUNG EINES REFERATS

Page 12: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

12

Beispiel II: LERNBERICHT EINER SCHÜLERIN ( Portfolio)

Lernbericht

Unterrichtsgegenstand: _____________ Klasse: __ Schüler/in:

________________

1. Welche Inhalte habe ich bearbeitet? Welche Ziele habe ich dabei?

_____________________________________________________________________________________

_____________________________________________________________________________________

_____________________________________________________________________________________

Kommentar der Lehrperson:

2. Womit hatte ich Schwierigkeiten? Wie habe ich sie gelöst?

_____________________________________________________________________________________

Kommentar der Lehrperson:

Page 13: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

13

Beispiel III: SELBSTBEOBACHTUNG UND SELBSTBEWERTUNG

Gestufte Lernzielkontrolle

Name: _______________________

Klasse: _______________________

Fragestellung Schüler

++/+/-

Begründung Lehrer

++/+/-

Begründung

Page 14: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

14

Beispiel IV: LERNJOURNAL EINER SCHÜLERIN

Lernjournal im Fach Geschichte Klasse 9

Woche vom __________________ bis zum __________

1. Was habe ich Neues gelernt?

a) In Bezug auf die Inhalte fachlicher und übergreifender Art (meine inhaltliche

Kompetenz)

- ich habe gelernt, was Versailles ist und welche Bedeutung es im absolutistischen

Frankreich hatte

- Ich habe gelernt, wie der Staat von Ludwig XIV. aufgebaut war und dass sich dieser von

unserer Demokratie völlig unterscheidet

b) In Bezug auf meine Person (meine personale und soziale Kompetenz)

- ich habe mit Mitschülern ein Referat erarbeitet und dabei gelernt, wie man in Gruppen ein

Thema erarbeitet

- Ich habe gelernt, meinen Standpunkt zu behaupten

2. Woran werde ich inhaltlich noch weiter arbeiten? Wann? Wo? Wie?

- ich will wissen, wieso der Staat in Frankreich so aufgebaut war

- Dazu werde ich am Dienstag in die Bibliothek gehen

Page 15: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

15

Aufgaben der pädagogischen Diagnostik im

Unterricht ... :

• Selbst- und Fremdkorrektur falscher Lernergebnisse

• Erkennen von Lerndefiziten

• Bestätigung erfolgreicher Lernschritte

• Motivierung durch Hinweise auf Lernerfolge

• Planung nachfolgender Lernschritte

• Steuerung des Schwierigkeitsgrads der nächsten

Lernschritte

• Verbesserung der Lernbedingungen

K. Ingenkamp / U. Lissmann (2005): Lehrbuch der pädagogischen

Diagnostik, Weinheim, Basel, 5.Aufl., S.21

Page 16: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

16

... mit dem Ziel:

• „Klima der Angst“ und des „permanenten Leistungsdrucks“ zu

verhindern (Lernatmosphäre)

• Reflexion des eigenen Lernprozesses zu ermöglichen

(Prozessorientierung)

• den einzelnen Schüler stärker zu fördern (Individualisierung)

• den eigenen Lernprozess zu steuern und zu überwachen

(Eigenverantwortung)

• Rückmeldungen für Lehrer Schüler/Beteiligung der Schüler an

Bewertungsprozessen herzustellen (Transparenz)

Page 17: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

17

Literatur:

Beutel, S.-I. /Vollstädt, W. (2000) Leistung ermitteln und bewerten.

Hamburg

Bohl, Th. (2006), Prüfen und Bewerten im offenen Unterricht. Weinheim,

Basel

K. Ingenkamp/U. Lissmann (2005), Lehrbuch der pädagogischen

Diagnostik, Weinheim, Basel, 5. Aufl.

Paradies, L. / Wester, F. / Greving, J. (2006), Leistungsmessung und

Beurteilung. Berlin

Ziegenspeck, Jörg W. u.a. (2009), Bildungspolitik ohne Fortschritt,

Bildungsreform ohne Effekt. Zum Problem der Zeugniszensuren im 4.

und 5. Schuljahr. Baltmannsweiler

Page 18: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

Leistungsbeurteilung

1. Funktionen

2. Gütekriterien

3. Bezugsnormen

4. Fehlerquellen

Page 19: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

1. Funktionen

• Berechtigungs-, Zuteilungs- und

Selektionsfunktion

• Sozialisierungsfunktion

• Rückmeldefunktion (für Schüler und Lehrer)

• Berichtsfunktion (für Eltern)

• Anreiz- und Disziplinierungsfunktion

Page 20: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

2. Gütekriterien - Diagnostischer Wert

1. Objektivität:

Ein Test ist dann objektiv, wenn das Testergebnis vom

Beurteiler unabhängig ist.

2. Reliabilität (Zuverlässigkeit):

Identische Messergebnisse zu verschiedenen Zeitpunkten

(frei von Zufallsfehlern – möglichst hohe Messgenauigkeit)

Page 21: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

2. Gütekriterien - Diagnostischer Wert

3. Validität (Gültigkeit):

Ein Test ist dann valide, wenn er das, was er zu messen

vorgibt, auch tatsächlich misst.

4. Differenziertheit:

Aufschluss über Stärken und Schwächen der

Schülerinnen und Schüler

Page 22: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

3. Bezugsnormen

1. Soziale Bezugsnorm:

Bewertung der Leistung des Einzelnen im Vergleich mit den

Leistungen der Referenzgruppe (in der Schule zumeist die

Schulklasse)

2. Individuelle Bezugsnorm:

Bewertung der Leistung eines Schülers im Vergleich mit seinem

Leistungsstand zu einem früheren Zeitpunkt

3. Kriteriumsorientierte Bezugsnorm:

Bewertung der Leistung eines Schülers auf dem Hintergrund

des angestrebten Lernzieles

Page 23: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

4.1 Systembedingte Fehlerquellen

1. Skalenqualität:

Da die Noten lediglich eine Rang- und nicht eine

Intervallskala bilden, sind die Abstände zwischen den

Noten nicht interpretierbar.

2. Der klassenbezogene Maßstab:

Der Lehrkraft steht für die Beurteilung der Schülerleistung

meist nur seine eigene Klasse als Referenzgruppe zur

Verfügung. Diese ist zu klein, um repräsentativ zu sein.

Page 24: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

4.2 Subjektive Fehlerquellen

1. Einfluss von negativen/positiven Vor- und

Zusatzinformationen über einzelne Schüler

(Weiss in Ingenkamp 1971 S. 90-102)

2. Einfluss von Sympathie und Geschlecht

(Hadley in Ingenkamp 1971 S. 134-141)

Page 25: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

4.2 Subjektive Fehlerquellen

3. Einfluss von subjektiven Theoriebeständen

(subjektive Überzeugungen eines Lehrers:

„Lateinklassen sind gut“)

4. Halo-Effekt

(Von einem hervorstechenden Merkmal oder vom

Gesamteindruck wird auf andere, nicht direkt

beobachtbare Merkmale geschlossen)

5. logischer Fehler

(Wer gut in Mathematik ist, ist das auch in Latein)

Page 26: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

4.2 Subjektive Fehlerquellen

6. Stabile Urteilstendenzen

(Tendenz zu besonders guten / schlechten / mittleren

Noten)

7. Reihenfolge-Effekte

(Korrektur Klassenarbeiten / mdl. Prüfung)

Page 27: Objektivität der Notengebung: Empirische Untersuchungen ... · 2 Empirische Untersuchung zur Notengebung Schriftliche Prüfung • Schüleraufsatz mit zwei verschiedenen Voronformationen

Literatur

l Ingenkamp, K. (Hrsg.), Die Fragwürdigkeit der

Zensurengebung. Weinheim u.a.: 9. Aufl. 1995.

l Ders., / U. Lissmann, Lehrbuch der pädagogischen Diagnostik,

Weinheim u.a.: 6. Aufl. 2008.

l Lüders, M., Dispositionsspielräume im Bereich der

Schülerbeurteilung. In: Zeitschrift für Pädagogik, Heft 2 (2001),

S.217-234

l Paradies, L. u.a., Leistungsmessung und -bewertung. Berlin:

2005.

l Wengert, H. G., Leistungsbeurteilung in der Schule, in: Bovet,

G. / Huwendiek, V. (Hrsg.), Leitfaden Schulpraxis. Pädagogik

und Psychologie für den Lehrerberuf. Berlin: 5. Aufl. 2008,

S.324-349.