Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
Gustav A. Lienert
Testaufbau und Testanalyse
3., durch einen Anhang über Faktorenanalyse ergänzte Auflage
VERLAG JULIUS BELTZ • WEINHEIM • BERLIN • BASEL
INHALT
Verzeichnis der Abbildungen XXIIIVerzeichnis der Formeln XXVI
EINLEITUNG 1
Kapitel 1: GRUNDSÄTZLICHES ÜBER DEN TESTA.Wesen und B e d e u t u n g des T e s t e s 7
I. Zur Begriffsbestimmung des Wortes „Test" 7II. Die geschichtlichen Stadien der Testentwicklung . . . 8
III. Die Bestandteile eines Testes 10IV. Die Aufgaben des Testes 11
B. Die G ü t e k r i t e r i e n e i n e s T e s t e s 12I. Die Objektivität eines Testes 13
II. Die Reliabilität eines Testes . 14III. Die Validität eines Testes 16IV. Die Normierung eines Testes 18V. Die Vergleichbarkeit eines Testes 18
VI. Die Ökonomie eines Testes 19VII. Die Nützlichkeit eines Testes 19
VIII. Die Wechselbeziehungen zwischen den Gütekriterien . 19C . D i e K l a s s i f i z i e r u n g s m ö g l i c h k e i t e n von T e s t e n 21D.Die T e s t a u f g a b e n t y p e n 25
I. Die gebundene Aufgabenbeantwortung 25II. Die freie Aufgabenbeantwortung 28
III. Atypische Aufgabenbeantwortung 29IV. Der Komplexitätsgrad der Aufgaben 31
Kapitel 2: PLANUNGSPROBLEMEA.Die Wahl des A u f g a b e n t y p u s 32
I. Vor- und Nachteile der RF (Richtig-Falsch)-Aufgabe . 32II. Vor-und Nachteile der EG (Ergänzungs)-Aufgabe . . 33
III. Vor- und Nachteile der MW (Mehrfach-Wahl)-Aufgabe . 34IV. Vor- und Nachteile der ZO (Zuordnungs)-Aufgabe . . 35V. Vor- und Nachteile der UO (Umordnungs)-Aufgabe . . 35
VI. Vor- und Nachteile der KA (Kurzaufsatz)-Aufgabe . . 36VII. Zusammenfassung 37
XI
X?-'
,Die K r i t e r i e n e i n e r g u t en T e s t a u f g a b e . . . 371» Die Objektivität der Aufgabe 38
11. Die Reliabilität der Aufgabe 38•" HI. Die Validität einer Aufgabe 38
v . \ IV. Die Schwierigkeit einer Aufgabe (J39)V. Die Beziehung zwischen den einzelnen Aufgabenkrite -
, rien 40VI. Die inhaltlichen Kriterien einer guten T.estaufgabe . . 41
C . T e s t l ä n g e und T e s t z e i t 41I. Die Testlänge 42
II. Die Testzeit 43III. Schnelligkeit und Niveau 44
D . H o m o g e n i t ä t und V a l i d i t ä t des A u f g a b e n -i n h a l t e s 46
I. Homogenität und Heterogenität 46II. Statistische und psychologische Validität 46
E.Die A r b e i t s t e i l u n g im Rahmen der T e s t e n t -w i c k l u n g 47
Kapitel 3s DER TESTENTWURFA.Die Abgrenzung von V a l i d i t ä t s - und G e l t u n g s -
b e r e i c h 50I. DerValiditätsbereich 50
II. Der Geltungsbereich 52III. Rationales oder empirisches Testkonzept . . . . . 53
B. M e r k m a l s a n a l y s e und T e s t s t r u k t u r 54I. Die Merkmalsanalyse 54
II. Der strukturelle Aufbau des Testes 55C. T e s t a n w e i s u n g und A u f g a b e n b e w e r t u n g s p l a n . 57
I. Die Testanweisung 57II. Die Testvorgabe 60III. Die Aufgabenbewertung 60
Kapitel 4: DIE AUFGABENKONSTRUKTION»Oat A u f g a b e n k o n z e p t 62
für den s p r a c h l i c h e n Aufbau von Auf-en 63„provisorische Testaufbau 65
Kapitel 5: DIE AUFGABENANALYSEA.Das Z i e l der A u f g a b e n a n a l y s e 70B. Planung und Durchführung der A u f g a b e n a n a l y s e 72
I. Die Wahl des Analysenkriteriums 72II. Die Wahl der Analysenstichprobe 74
III. Einzel- und Gruppendurchführung bei der Aufgabenanalyse 75IV. Die Darbietungstechniken von Aufgaben 75
1. Die Gesamtdarbietung der Aufgaben 752. Die Einzeldarbietung der Aufgaben 773. Die unvollständige Gesamtdarbietung mit Zufalls-
reihung 79C.Die Rohwertermittlung bei der Analysenstich-
probe 80I. Die einfache Rohwertermittlung 82
II. Die Rohwertermittlung mit Zufallskorrektur . . . . 82III. Die Rohwertermittlung mit empirischer Fehlerkorrektur . 83IV. Die Testzeit als Rohwert 85V . Die Rohwertermittlung bei „gewogener" Aufgabenbewer-
tung 86
Kapitel 6: BERECHNUNG VON SCHWIERIGKEITSINDEX. TRENNSCHÄR-FENKOEFFIZIENT UND AUFGABEN-INTERKORRELATION
A . D i e S c h w i e r i g k e i t s a n a l y s e 871. Die Bedeutung des Schwierigkeitsindex 87
II. Die Bestimmung des Schwierigkeitsindex 88III. Die Prüfung von Schwierigkeitsunterschieden . . . . 91
B. D i e T r e n n s c h ä r f e n a n a l y s e 1)3~I. Die Bedeutung des Trehnschärfenkoeffizienten . . . 93
II. Die Bestimmung des Trennschärfenkoeffizienten beieinem quantitativen Analysenkriterium 931. Bei vollständiger Aufgabendarbietung 932 . Bei unvollständiger Aufgabendarbietung . . . . 963 . Die statistische Sicherung des Trennschärfenkoeffi-
zienten 100III. Die Trennschärfenbestimmung bei einem qualitativen
Analysenkriterium 1011. Die Trennschärfenbestimmung bei median-halbierter
Analysenstichprobe 1022 . Die Trennschärfenbestimmung bei wahlweise-getei l -
ter Analysenstichprobe 105
XIII
IV. Die Bestimmung der Trennschärfe bei einem echt alter-c" nativen Analysenkriterium . 110^ V. Andere Trennschärfenindizes 112<8.Die Trennschärfe beeinflussende Faktoren . . 114tf,Die Bedeutung der Aufgaben-Interkorrelat ion . 117H. Analyse und Revision der Alternativ-Antwor-
ten bei Mehrfach-Wahl-Aufgaben 120I. MW-Aufgaben mit Best-Antwort 120
II. MW-Aufgaben ohne Best-Antwort 122F.Die Beziehungen zwischen Schwierigkeit,
Trennschärfe und Aufgaben-Interkorrelation . 125I. Schwierigkeit und Trennschärfe 125
II. Schwierigkeit und Homogenität 130III. Die Verteilung der Schwierigkeitsindizes 130IV. Die Streuung der Aufgabenpunktwerte 131
(« .Spez ie l l e P rob leme der Aufgabenana lyse . . 134I. Zeitbegrenzung und Aufgabenindizes 134
II. Zufallseinfluß und Aufgabenindizes 135III. Die Faktorenanalyse der Aufgaben 136
. •- i .
Kapitel 7: DIE VERWERTUNG DER ANALYSEDATENi. A u f g a b e n s e l e k t i o n und - r e v i s i o n aufgrund der
A n a l y s e d a t e n 137I. Die Aufgabenselektion 137
II. Die Aufgabenrevision 146III. Die Konsequenzen aus Selektion und Revision . . . 149
( .Demonst ra t ion der Aufgabenauswahl an e inemBeispie l 149
I. Die rationale Selektion 152II. Die Kennwert-Selektion 153
1. Die Selektion aufgrund des Trennschärfenkoeffizienten 1532. Die Selektion aufgrund des Aufgaben-Validitätsko-
•'_ effizienten 153Di. Die GULLIKSEN-Technik 155W.DieValiditätsvorhersage 159
Df e Reliabilitätsvorhersage 159[gabenbewertung und A u f g a b e n r e i h u n g auf-
-<ler Analysedaten 162"Aalgabenbewertung 162
II. Die Aufgabenreihung 164D.Paralleltestaufbau aufgrund der Analysedaten 165E.Die Unterlassung der Aufgabenanalyse und
ihre Durchführung in einem späteren Testent-wicklungsstadium 167
I. Die Unterlassung der Aufgabenanalyse 167II. Die Durchführung der Aufgabenanalyse in einem späteren
Stadium der Testentwicklung 168
Kapitel 8: DIE ANALYSE DER ROHWERTEVERTEILUNGA.Die Überprüfung der N o r m a l v e r t e i l u n g s h y p o -
these 1711. Die Verteilung der Rohwerte 171
II. Die Überprüfung der Verteilung auf Normalität . . . 171B.Ursachen für anorma le Rohwer tve r t e i lungen . 176
I. Anormale Verteilung infolge Stichprobenheterogenität . 177II. Anormale Verteilung infolge mangelhafter Testkonstruk-
tion 180III. AnormaleVerteilung infolge eines nicht-normalverteilten
Persönlichkeitsmerkmals 183C.Die p rak t i s che Bedeutung anormale r V e r t e i -
lungsformen 184I. Unterschiedliche Differenzierung in verschiedenen Ska-
lenbereichen 185II. Die Testrevision aufgrund der Verteilungsanalyse . . 186
Kapitel 9: DIE ENTWICKLUNG DER TESTENDFORMA.Der Aufbau der Tes t end fo rm 189
1. Herstellung des Testmaterials 189II. Anordnung der Aufgaben 190
B.Die D a r b i e t u n g der Tes t end fo rm 191I. Die Festlegung der Testzeit für die Testendform . . . 191
II. Die Testinstruktion 193III. Motivation und Anspannung 196IV. Die äußeren Bedingungen 197
C.Die Auswertung der Testendform 198I. Die Korrektur des Rohwertes 198
II. Die Auswertungstechniken 200
XV
ii K*J0& IQ: DIE KONTROLLE DER RaiABILITÄT EINES TESTES
e x p e r i m e n t e l l e P l a n u n g d e r R e l i a b i l i t ä t s -;•", kontrolle 208y * I. Der Zeitpunkt der Reliabilitätskontrolle 208"'•'"' 11. Wahl und Größe der Kontrollstichprobe 209
B.Die Aspekte der R e l i a b i l i t ä t 210
C.Die Methoden der Re l i ab i l i t ä t sbe s t immung . 215I. Die Testwiederholungsmethode 215
II. Die Paralleltestmethode 218III. Die Testhalbierungsmethode 219
1. Die Halbierungstechniken 2192. Die rechnerische Ermittlung des Halbierungskoeffi-
zienten 220. IV. Die Methode der Konsistenzanalyse 225
D . V e r g l e i c h e n d e B e w e r t u n g v o n R e l i a b i l i t ä t s -k o e f f i z i e n t e n 234
I. Die Bedeutung der verschiedenen Reliabilitätskennwerte. 234II. Faktoren, die die Reliabilität beeinflussen . . . . 235
1. Der Homogenitätsgrad 2352. Die Schnelligkeitskomponente 2363. Die irrepräsentative Variabilität 2374. Andere Faktoren 241
E.Die M ö g l i c h k e i t e n der R e l i a b i l i t ä t s v e r b e s -se rung 242
I. Die Testverlängerung 24211. Weitere Möglichkeiten . 246
F . S p e z i e l l e P r o b l e m e der R e l i a b i l i t ä t s k o n t r o l l e 247I. Schwierigkeiten bei der Reliabilitätsbestimmung . . . 247
II. Die Reliabilität von Sekundär-Rohwerten 247III. Schnelligkeit und Niveau als Grundlagen der Reliabili-
tätsbeurteilung 249
{»•Die A n a l y s e der H o m o g e n i t ä t e i n e s T e s t e s . . 250-.j ; I. Der Begriff der Homogenität 250
II. Die Bestimmung der Homogenität 251
Kapitel 11: DIE KONTROLLE DER VALIDITÄT EINES TESTESA.Die kriterienbezogene Validität 255B.Die i n h a l t l i c h e V a l i d i t ä t 260C.Die Konstruktvalidität 261
D.Das V a l i d i t ä t s k r i t e r i u m 264I. Die Einteilung der Validitätskriterien 265
II. Die Gewinnung der Validitätskriterien 267
E.Die Bewertung von Validitätskriterien . . . 271I. Einfache objektive Kriterien 271
II. Kombinierte objektive Kriterien 272III. Subjektive Kriterien 274
1. Das individuelle Schätzverfahren 2762. Das kollektive Schätzverfahren 2763. Das Mittelungs-Schätzverfahren 2764. Das Rangordnungsverfahren 2765. Das Paarvergleichsverfahren 277
F. Die Me thoden der V a l i d i t ä t s b e s t i m m u ng . . 279I. Die Planung der Validitätskontrolle 279
1. Der Zeitpunkt der Validitätskontrolle 2792. Die Wahl der Validitätsstichprobe 280
II. Statistische Methoden zur Ermittlung eines Validitäts-kennwertes 2801. Die Extremgruppen-Methode 2802. Die Repräsentativgruppen-Methode 283
G . F a k t o r e n , d ie d ie V a l i d i t ä t m i t b e s t i m m e n . . 294I. Die teilweise Unvereinbarkeit von Reliabilität und Vali-
dität 294II. Testlänge und Validität 295
III. Die Reliabilität des Validitätskriteriums 297IV. Die Ermittlung der Reliabilität des V aliditätskriteriums . 301
H.Die Ermittlung des V aliditätskoef fizienten ausirrepräsentat iven Stichproben 304
I.Anforderungen an die Validi tät eines Testes . 3091. Die Validität und der Verwendungszweck 310
1. Die individuelle Begutachtung 3102. Die nicht-individuelle Auslese 3113. Der Gruppenvergleich 311
II. Allgemeine Richtlinien über die erforderliche Höhe vonValiditätsko effizienten 311
i XVII
Kapitel 12: DIE TESTEICHUNGA . P r o b l e m e , P l anung und Durch füh rung der
Eichung 314I. Reliabilität und Eichung 314
/ II. Die Organisierung einer Eichstichprobe 315III. Der Umfang der Eichstichprobe 319IV. Die Durchführung der Eichung 319
B.Die A n a l y s e der E i c h s t i c h p r o b e n v e r t e i l u n g . 320I. Die Häufigkeitsverteilung der Testrohwerte . . . . 320
II. Varianzanalyse und Homogenitätsprüfung bei der Auf-stellung von Gruppennormen 321
C.Norm-Maßs täbe 326I. Äquivalent- und Variabilitätsnormen 327
II. Einfach- und Mehrfachnormen 328III. Standardnormen und Prozentrangnormen 328
1. Die linearen Transformationen 3302. Die nicht-linearen Transformationen 332
IV. Grob-und Feinnormen 334V. Verteilungsfreie und verteilungsgebundene Normen . . 335
D.Die r e c h n e r i s c h e Able i tung und Dars te l lung derg e b r ä u c h l i c h e n Normen 336
I. Die Normierung normal verteilter Eichstichproben-Roh-werte 336
II. Die Normierung anormal verteilter Eichstichproben-Roh-werte 339
Kapitel 13: DIE ENTWICKLUNG VON PARALLELTESTEN UND TEST-SERIEN
A.Wesen und Bedeutung von P a r a l l e l t e s t e n undTestserien 345
I. Parallelteste 345II. Testserien 346
B . D i e Ä q u i v a l e n z k r i t e r i e n 348'. ' I. Die Äquivalenz der Validität 348
II. Die Äquivalenz der Reliabilität 349*' ' ' • 111. Die Äquivalenz der Verteilungskennwerte 349
jy# D i e Äquivalenz der Häufigkeitsverteilung . . . . 350'"' V.Simultanuberprüfung von Mittelwerten, Varianzen und
" ^ovarianzen 350
C. P a r a l l e l t e s t a uf bau und Äquiva lenzüberprüfung 355I. Paralleltestaufbau 355
1. Der Simultanaufbau 3552. Der Sukzessivaufbau 356
II. Die Äquivalenzüberprüfung 356D.Methoden zur Angle ichung n i c h t - ä q u i v a l e n t e r
) Para l le l formen 358I. Angleichung durch Gleichsetzung der Mittelwerte . . 358
II. Angleichung durch Regression 358III. Angleichung über die Äquiperzentil-Methode . . . 359
E.Der Aufbau von Entwicklungs tes t ser ien . . . 362
Kapitel 14: TESTPROFILE UND TESTBATTERIENA.Zur Cha rak te r i s t i k von Tes tprof i len und T e s t -
batterien 366I. Das Testprofil 366
II. Die Testbatterie 367III. Die möglichen Kombinationen von Testen und Validitäts-
kriterien 368B.Die Analyse von Tes tp ro f i l en 370
1. Die Profildarstellung 370II. Die Profilreliabilität 371
III. Die Profilvalidität 374IV. Die Profilinterkorrelationen 374V. Differentielle Eignungsteste 375
C.Der fo rmale Aufbau von T e s t b a t t e r i e n . . . 376I. Die Arten der Testbatterien 376
1. Homogene Testbatterien 3762. Heterogene Testbatterien 376
II. Die Kombination von Einzeltesten zu Batterien . . . 3771. Bei homogenen Testbatterien 3772. Bei heterogenen Testbatterien 377
D.Die Rel iabi l i tä t von Testbatterien 378I. Die empirische Ermittlung 378
II. Die rechnerische Ermittlung 379E.Die differentiel le Wägung der Unterteste . . 382
1. Die implizite Wägung 383II. Die explizite Wägung 384
XIX
It'1"̂•,-- . III. Die Ermittlung der Testkennwerte für eine Batterie aus
gewogenen und nicht gewogenen Untertesten . . . . 3871. Der Rohwert der Testbatterie 387
' 2 . Der Mittelwert der Testbatterie 3873 . Die Varianz der Testbatterie 388
F . D i e V a l i d i t ä t von T e s t b a t t e r i e n 389I. Die Validität einer Testbatterie als Maßkorrelation eines
Kriteriums mit einer Summe von Untertest-Rohwerten . 389II. Multiple Validität und Suppressor-Funktion . . . . 392
III. Die multiple Validität als Korrelation zweier Testegegenüber einem Kriterium 394
IV. Die allgemeine Formel für den multiplen Validitätsko-effizienten für eine Batterie mit mehreren Untertesten . 399
V. Rohwert- und Beta-Gewichte als Koeffizienten in dermultiplen Regressionsgleichung 3991. Die Rohwert-Gewichte 3992. Die Beta-Gewichte 401
VI. Die Ermittlung der Beta-Gewichte bei zwei Untertestenüber das Determinanten-Verfahren . . . . . . . 402
VII. Die Ermittlung der Beta-Gewichte über das DOOLITTLE-Verfahren bei mehreren Untertesten 405
VIII. Die Verwendung der Beta-Gewichte 409G.Die U n t e r t e s t - S e l e k t i o n 412
I. Die Selektionskennwerte 412II. Die rationale Untertest-Selektion 414
III. Die Untertest-Selektion nach dem Determinationskoeffi-zienten 417
IV. D i e WHERRY-DOOLITTLE-Untertest-Selektion . . . 418H . D i e E i c h u n g v o n T e s t b a t t e r i e n 437
I . D ie Normierung von Tes tba t t e r i en 437I I . D i e Normierung von Prof i lbat ter ien 439
o*'
• .Kapitel 15 : ZUR STANDARDISIERUNG PROJEKTIVER TESTVERFAHREN
i ^ P ^ e E i g e n a r t d e r p r o j e k t i v e n T e s t e . . . . . 440
x&$r3<'"""•'(• 'l- 1 . D i e Auswertung pro jekt iver T e s t e 440
•3V*."J~ •i®?f: H . D ie Entwicklung projekt iver Tes t e 441
V ! • G ü t e k r i t e r i e n p r o j e k t i v e r T e s t e . . . . 442
U We Objektivität . 443DJ« Reliabilität 444
III. Die Validität 445C.Die E ichung p r o j e k t i v e r T e s t e 449
Kapitel 16: ZUR INTERPRETATION OBJEKTIVER TESTRESULTATEA.Zur I n t e r p r e t a t i o n e i n f a c h e r T e s t e 451
I.Der Standardmeßfehler als Unsicherheitsmaß für indivi-duelle Testpunktwerte 451
II. Die praktische Bedeutung des Standardmeßfehlers . . 453III. Die Beurteilung interindividueller Unterschiede . . . 454IV. Die Beurteilung intraindividueller Unterschiede . . . 455
B.Zur I n t e r p r e t a t i o n von T e s t p r o f i l e n . . . . 457I. Die Bedeutung des Profilreliabilitätskoeffizienten . . 457
II. Die speziellen Aussagemöglichkeiten eines Testprofils . 458III. Die Ähnlichkeitsbeurteilung von Profilen 464
C.Die K r i t e r i u m v o r h e r s a g e b e i T e s t e n und T e s t -b a t t e r i e n 468
I. Die einfache Regression bei der Interpretation empirischvalider Teste 468
II. Die multiple Regression bei der Kriteriumvorhersage . . 473D.Die U n s i c h e r h e i t der K r i t e r i u m v o r h e r s a g e . . 476
I. Der Standardschätzfehler als Unsicherheitsmaß der Krite-riumvorhersage 476
II. Die Unsicherheit der Voraussage eines dichotomischenKriteriums 478
Kapitel 17: HINWEISE ZUR PUBLIKATION VON TESTENA.Die I n f o r m a t i o n des Un te r suche r s 482
I. Die wissenschaftliche Publikation 48211. Die Handanweisung zum Test 482
B.Die In fo rma t ion des Probanden 485• C.Die äuße re Aufmachung e ines Tes t e s . . . . 486D.Verkauf und Verb re i t ung e ines T e s t e s . . . . 487
j. Anhang: PRINZIPIEN UND RECHENTECHNIKEN DER FAKTOREN-ANALYSE 489
XXI
TAFELN
Tafel 1: Die Funktionen z, ip, y der Standardnormalverteilung(N= 1, // = 0, a = 1) 561
Tafel 2: Die Transformation von Testnormen 562Tafel 3: Die Funktionen p, q, z, y in der Standardnormalver-
teilung 563Tafel 4: t-WertefürP = 5%undP = 1% 565Tafel 5: x2-Werte für P = 50%, P = 5<#> und P = 1% . . . 566Tafel 6: F-Werte für P = 5% und P = 1% 567Tafel 7: Die Bestimmung des tetrachorischen Korrelationskoef-
fizienten r t e t nach der Cosinus-Pi-Formel . . . . 568Tafel 8: Die Transformation des Korrelationskoeffizienten r in
die Korrelationsziffer z' (FISHER) 569Tafel 9: MOSIER'sches Nomogramm zur Ablesung von r t e t . . 570Tafel 10: GUILFORD'sches Nomogramm zur Ablesung von XJ . 571Tafel 11: Nomogramm zur Ablesung von S 572Tafel 12: TAYLOR-RUSSELL-Tafeln (Auszug) 573
Literaturübersicht 574Autorenverzeichnis 583Sachregister 587