Theorie psychometischer Tests, V Nichtklassische Modelle U. Mortensen Mainz, Juni 2009

Theorie psychometischer Tests, VNichtklassische Modelle

U. Mortensen

Mainz, Juni 2009

Das allgemeine logistische Modell (A. Birnbaum)

exp( ( ))( 1| , , ) (1 )

1 exp( ( ))g g

g g g g gg g

P X

:

:

: ( 1/ )

:

:

3-parametriges, logistisches Modell ( 3-PL-Modell)

Wahrscheinlichkeit, korrekt zu raten

Steilheit

Schwierigkeit der g-ten Aufgabe

hier kein Parameter, sondern unabhängige Variable

g

g g

g

exp( ( ))( 1| , )

1 exp( ( ))

exp( )( 1| , )

1 exp( )

( 2-parametriges Modell, 2-PL-Modell)

( 1-parametriges, 1-PL-Modell, Rasch-Modell,

wenn noch lokale Unabhängigkeit postuliert

g gg g

g g

gg g

g

P X

P X

wird)

Das allgemeine logistische Modell (A. Birnbaum)

Das spezielle Rasch-Modell (G. Rasch)

Rasch-Homogenität: zwei Items Ig und Ih heißen Rasch-homogen, wenn beide ein und dasselbe Merkmal messen.

( 1| ) ( 1| )

( 0 | ) ( 0 | )g h

g ghg h

P X P X

P X P X

Rasch-Homogenität gilt, wenn die Bedingung

erfüllt ist: ist gleich der Differenz der Schwierigkeitengh


Alternative Parametrisierung:

exp( )( 1| ) ( )

1 exp( ) 11

g

g

g gg g

g g

e eP X F

e e

Die Reparametrisierung verweist auf eine Beziehung des Rasch-Modells zu anderen Modellen: - Division durch sigma führt auf

( ) ( )1 1 /

gg g

g g g

F G

Dies ist das Bradley-Terry-Luce-Modell für den Paarvergleich(Beziehung zur Messtheorie Suppes & Zinnes, 1963)


Beim Rasch-Modell sind die Itemfunktionen für Items mit verschiedenen Schwierigkeiten parallel.

'

'

( ) , ( )1 1 1

( ) ( )

g g g g g

g g g g gg g

g g g

e e eF F

e e eF F


Wettquotienten und Logits:

1( 0 | ) 1 ( 1| ) .

1 gg gP X P Xe

( 1| )

( 0 | ) gg

g

P Xe

P X

( 1| )log[ ]

( 0 | )g

gg

P X

P X

(Wettquotient)

(Logit)


Spezifische Objektivität:

''

'

( 1| ) ( 1| )log[ ] log[ ]

( 0 | ) ( 0 | )ag a g

a aag a g

P X P X

P X P X

''

'

( 1| ) ( 1| )log[ ] log[ ]

( 0 | ) ( 0 | )ag ag

g gag ag

P X P X

P X P X

Der Vergleich der Logits zweier Personen beim gleichen Item liefert die Differenz der Personenparameter, der analoge Vergleich zweier Items bei der gleichen Person liefert die Differenz der Itemparameter.


Die Schätzung der Parameter: Maximum-Likelihood-Methode

( )

11( , , )1

ag a g

a g

X

nma g

eL x x

e

Likelihood der Messungen

Maximum-Likelihood-Schätzungen von Parametern sind asymptotisch normalverteilt (aber nicht notwendig bias-frei!).


Der Test des Modells

Aufgabe: es muß geprüft werden, ob die Daten mit der Annahme(i) Der logistischen Verteilung, (ii) des 1-pl-Modells kompatibel sind.

Problem: es gibt viele Funktionen, die der logistischen Funktion so ähnlich sind, dass man mit Hilfe der üblichen statistischen Tests(z.B. Chi-Quadrat-Test für die Güte der Anpassung) nicht entscheidenKann, ob die beobachtete Funktion mit der postulierten Funktion über-einstimmt oder nicht.

Das Rasch-Modell sagt parallele Itemfunktionen für verschiedene Items voraus. – also kann man Itemfunktionen auf Parallelität testen. Es treten aber ähnliche Probleme wie beim Vergleich von Funktionen auf.



Gefordert: Homogenität der Items.

Im Prinzip: Faktorenanalyse. Problem: 0-1-Daten liefern oft nicht erwartungstreue Schätzungen für die Korrelationen, es können „Schwierigkeitsfaktoren“ resultieren.

Spezifische Objektivität: dieses Merkmal sagt gleiche Schwierigkeitsparameter für verschiedene Populationen voraus. Also kann man die Schwierigkeitsparameter von verschiedenen Items miteinander vergleichen (Hypothese: Gleichheit für verschiedene Teilpopulationen).



''

'

( 1 0)log[

( 0 1)g g

g gg g

P X X

P X X

Der Quotient hängt nicht von den Personen ab!

Quotienten müssen für verschiedene Populationen gleich sein, wenn das Modell gilt.



' '

' '

( 1 0) ( 1 0)

( 0 1) ( 0 1)

I IIg g g g

I IIg g g g

P X X P X X

P X X P X X

(Sub-)Population I (Sub-)Population II

Diese Quotienten können für alle Paare von Items (g, g‘) gebildet werden.

Die linke und die rechte Seite können als Koordinaten eines Punktes, der das Paar (g, g‘) repräsentiert. Alle Punkte müssen auf der 45-Grad Geraden mit additiver Konstante = 0 liegen, wenn das Modell gilt.



Wie gut, d.h. genau sind die Schätzungen der Personenparameter?

( )Konfidenzintervall = a aVar

Die Schätzungen sind – als Maximum-Likelihood-Schätzungen – asymptotisch normalverteilt. Also kann man ein Konfidenzintervall erklären:

2

2

1 log( ) , ( ) ( )

( )

L a a

a

Var I EI

Das Rasch-Modell: mehrdimensionale Verallgemeinerungen

1. Abgestufte Antwortskalen

Beispiel: Einstellung zur Umwelt.

Item: Ich fahre mit dem Fahrrad zur Arbeit.

Antwortalternativen: - gelten für alle Items!

1. Tue ich bereits2. Kann ich mir gut vorstellen3. Würde ich tun, wenn geeignete Bedingungen existieren4. Das wäre keine geeignete Maßnahme für den

Umweltschutz

Das Rasch-Modell: mehrdimensionale Verallgemeinerungen

Für jede befragte Person werden die Häufigkeiten bestimmt, die sich für die einzelnen Alternativen ergeben:

1 2 3 4( , , , ) 'a a a a ar r r r r

Gegeben seien n Items – wie viele mögliche solcher „Antwortvektoren“ kann es geben? (Kombinatorik!)

( ,0,0,0) '

(0, ,0,0) '

( 1,1,0,0) '

( 1,0,1,0) '

a

a

a

a

r n

r n

r n

r n

(Mögliche Verteilungen von n Kugeln auf k Fächer)

( 1)!

!( 1)!

n KM

K n

Das Rasch-Modell: mehrkategoriale Verallgemeinerung (Rasch,1961)

Mit welcher Wahrscheinlichkeit wählt eine Person a die k-te von K möglichen Alternativen?

Annahme: die Wahrscheinlichkeit hängt von der Differenz zwischen ihrem Parameter und der Kategorie ab.

( 1| , )ak gk

ak gkag ak gk

k

eP X

e

Tendenz der a-ten Person für k-te Kategorie

Schwierigkeit der k-ten Kategorie bei g-ter Aufgabeak

gk

Das Rasch-Modell: mehrdimensionale Verallgemeinerung

1 1 2 2ag g a g a gr ar agz q q q

Faktorenanalyse:

1, ,

standardisierter Score der a-ten Person, g-te Aufgabe

Faktorladung g-tes Item, k-te Dimension,

Faktorwert a-te Person, k-te Dimension

ag

gk

ak

ak ak

z

k r

q

q

1 1 2 2ag g a g a gr arz

Logistische Regression!


Logistische Regression:

1 1 2 21 g a g a gr ar g

p

p

exp( )

( 1| , )1 exp( )

gj aj gj

ag a ggj aj g

j

P X

1( , , ) 'a a ar


exp( )

( 1| , )1 exp( )

gj aj gj

ag a ggj aj g

j

P X

( ) ist eine deterministische Funktion der !gj aj g ajj

Interpretation: die Komponenten der Fähigkeit gehen stets in festen Anteilen deterministisch in das Lösungsverhalten ein, es gibt keine probabilistischen Aspekte des Zusammenwirkens!

Dies trifft natürlich auf das faktorenanalytische Modell ebenfalls zu.Frage: ist das eine plausible Annahme?


Carlson & Muraki (1995)

1 1 2 2ag g a g a gr ar agy

(0,1) verteilter FehlerN

Indikatorvariable: Antwort j-te Kategorieg gw w j

, 1

Die Antwort fällt in die j-te Kategorie, wenn

; danng j ag gjy

,

, 1

2

2

( )1( | ) exp( ) ,

22

g j

g j

agg a

gg

y yP w j dy

Das Rasch-Modell: das linear-logistische Modell

Das linear-logistische Modell (Suppes, Jerman, Brian 1968, Fischer 1973 etc

1 1 2 2log1

Ansatz: die Logit-Funktion ist linear in den Teilschwierigkeiten:

gg g g g gr gr

g

pc c c

p

Ansatz: das Lösen von Aufgaben bedeutet das Lösen einer Reihe von Teilaufgaben, die jede ihre eigene Schwierigkeit haben.

Zum ersten Mal von Suppes et al (1968) vorgeschlagen

1 2

1 2

, , ,

, , ,

"Gewichte"

Schwierigkeiten der r Komponenteng g gr

g g gr

c c c

1 1 2 2log1

gg g g g gr gr

g

pc c c

p

Der Ansatz entspricht dem der logistischen Regression, wobei die Schwierigkeiten unbekannte Parameter sind, die Gewichte werden aufgrund einer Aufgabenanalyse vorgegeben.

Scheiblechner (1972) fügte einen Fähigkeitsparameter hinzu, es entstand damit ein Rasch-Modell mit einem Schwierigkeitspara-Meter, der durch eine gewogene Summe von Teilschwierigkeiten definiert ist:


1

exp( )

( 1| , , , )1 exp( )

gj gjj

g g grgj gj

j

c

P Xc

Anwendungen:1. Scheiblechner 1972: Lösen logischer Probleme2. Fischer 1973: Lösen von Differentiationsaufgaben3. Hornke & Habon 1986: Lösen, aber auch Konstruktion von

Raven-Matrizen-Tests, etc

Frage: ist das Modell ein geeignetes Modell, um Teilprozesse beim Lösen von Aufgaben oder Problemen zu charakterisieren?


Der auf Suppes et al 1968 zurückgehende Ansatz bedeutet, dass implizit Annahmen über die Existenz von Abhängigkeiten beim Lösen der Teilaufgaben gemacht werden, ohne dass diese in irgendeiner Weise spezifiziert werden.

Beispiele aus Hornke & Habon 1986


Man betrachte insgesamt drei Aufgaben:1. Aufgabe 1 erfordert Lösen der Teilaufgaben A1 und A22. Aufgabe 2 erfordert nur das Lösen von A13. Aufgabe 3 erfordert nur das Lösen von A2

Es gelte jedes Mal das linear-logistische Modell. ZusätzlicheAnnahme: die beiden Teilaufgaben werden stochastisch unabhängig voneinander gelöst.

Ist diese Annahme mit dem linear-logistischen Modell kompatibel?



1 1 2 2

1 1 2 2

exp( )exp( ) exp( )

(1 exp( )) (1 exp( )) 1 exp( )

gj gjj

gj gjj

cc c

c c c

Vorhersage bei Unabhängigkeit Linear-logistisches Modell

Frage: existiert eine 2-dimensionale Verteilung derart, dass sowohl die Randverteilungen als auch die gemeinsame Verteilung durch logistische Funktionen repräsentiert werden und die gemeinsame Verteilung gerade das linear-logistische Modell darstellt?

Die Frage ist einerseits nicht beantwortet, richtet sich andererseits auf die interne Konsistenz des Modells!

Warnung und Gebot: Du sollst nicht drauflos modellieren!!!

Mehrdimensionalität: Korrespondenzanalyse

Probleme mit der Faktorenanalyse:(1) Korrelationen problematisch bei dichotomen Items(2) Nahezu beliebige Häufigkeitsverteilungen bei Ratings

Korrespondenzanalyse: „Faktorenanalyse‘‘ bei Häufigkeitstabellen.

Idee: Zerlegung des Chi-Quadrats der Tabelle in unabhängige Komponenten, die zu latenten Dimensionen korrespondieren.

Korrespondenzanalyse: Skaliere die Koordinaten der Zeilen- und Spaltenkategorien derart, dass die Abhängigkeiten zwischen Zeilen- und Spaltenkategorien dargestellt werden.

Tocher (1908), R. A. Fisher (1940)


Westphal (1931): Daten aus allen Psychiatrischen Landeskrankenhäusern




Selbstmorde in Deutschland 1974 - 1977

Selbstmorde in Deutschland 1974 - 1977

Korrespondenzanalyse - Theorie

22

1 1

( / )

/

m nij i j

i j i j

n n n N

n n N

/

/ij i j

ij

i j

n n n Nx

n n N

2 2

1 1

m n

iji j

x

1/2 'X Q P

(Singularwertzerlegung)

1/2 'X Q P

Korrespondenzanalyse - Theorie

Residuen

Zeilenkategorien Spaltenkategorien

Re-skaliert derart, dass euklidische Distanzen zwischen den repräsentierenden Punkten Chi-Quadrat-Differenzenentsprechen

Multiple Korrespondenzanalyse

Items

Probanden

Matrix X =


Die Burt-Matrix

'Formal: C X X


Diskussion: KKT versus IRT

KKT: Zentrales Problem ist die Populationsabhängigkeit der Schwierigkeitsindices für die Items.

IRT: Großer Vorteil ist die Populationsunabhängigkeit von Person- und Itemabhängigkeit – Spezifische Objektivität der Testresultate.

Rasch: ein Modell sollte nicht nur gut auf die Daten passen, es sollte der Vergleich von Personen unabhängig von den Items (aus einer Klasse von Items) sein.

Jedes Testmodell sollte die Bedingung der spezifischen Objektivität erfüllen; dieses Merkmal sei ein notwendiges, wenn auch kein hinreichendes Merkmal für ein gutes Testmodell.


Zweites wünschenswertes Merkmal: die Schätzungen für die Personparameter sollten Suffiziente Statistiken sein.

Suffiziente Statistiken: eine Schätzung („Statistik“) für einen Parameter ist suffizient oder erschöpfend, wenn sie alle Information über den Parameter, die in den Daten ist, enthält.

1 2(

( )

,y , ,y ) Stichprobe

sei Statistik ( Mittelwert für Erwartungswert, etc,

allgemein für einen Parameter )

nY y

T Y

( | ( ) , ) ( | ( ) )Suffizienz, wenn P Y y T Y t P Y y T Y t

( | ( ) , ) ( | ( ) )Suffizienz: P Y y T Y t P Y y T Y t


Suffizientes Statistiken

Spezielle Stichprobe Statistik Parameter

Unabhängigkeit vom Parameter, - Information über theta bereits in T enthalten!


Beispiel für Suffiziente Statistik: Binomialverteilung

1( ) (1 ) , {0,1} i iy yi iP Y y p p y

11

( , , ) ,Statistik für ist

( Schätzung als relative Häufigkeit)

n

n ii

p T y y y k

kp

n

p ist unbekannter Parameter,


Beispiel für Suffiziente Statistik: Binomialverteilung

1( ( , , ) ) ( , ) (1 )

!( , )

!( )!

k n knP T y y k C n k p p

kC n k

n n k

11

( ( , , ) )( ( , , ) | )

( )n

n

P Y T y y T kP Y T y y T k

P T k

(1 ) 1( | )

( , ) (1 ) ( . )

k n k

k n k

p pP Y T k

C n k p p C n k

Unabhängig von p!

Relative Häufigkeit ist suffiziente Statistik für den Parameter p.


Es läßt sich zeigen, dass die Schätzungen der Parameter für die logistische Funktion suffiziente Statistiken sind!

Es ist von G. Rasch und dann von G. Fischer (Wien) postuliert worden, dass (i) spezifische Objektivität und (ii) Parameterschätzungen als suffiziente Statistiken notwendige Voraussetzungen für ein Testmodell sein müssen.

Dann bleibt nur das Rasch-Modell als das einzig sinnvolle Modell.

Ramsay (1975): alle fundamentalen Gesetze der Physik haben eine multiplikative Form – Unterstellung: alle fundamentalen Gesetze haben diese Form.


Auch das Rasch-Modell kann in diese Form gebracht werden:

( )( 1| , )

1 ( ) 1

epx e eP Y

exp e e

( 1| , )1

, mit ,P Y e e

Reparametrisierung!

Multiplikative Gesetze, spezifische Objektivität, und Physik:

Multiplikative Gesetze, spezifische Objektivität, und Physik:


Kraft ist gleich Masse mal Beschleunigung:

K mb

Masse (m) und Beschleunigung (b) können unabhängig voneinander bestimmt werden. Für konstante Kraft gilt für zwei Körper mit unterschiedlicher Masse:

1 21 1 2 2

2 1

.m b

K mb m bm b

1 21 2

2 1

1 2

,

1/

lassen sich messen,man erhält Messungen

für , mit als Einheit.

m bb b

m b

m m


Frage: aus welchem ontologischen Prinzip folgt, dass fundamentale Gesetze eine multiplikative Form haben müssen?

Es gilt (Einstein 1905) die Beziehung

0

2

2

,

1

Geschwindigkeit, Lichtgeschwindigkeitm

m v cvc

hängt von ab, keine spezifische Objektivität mehr!dv

K mb m vdt

Ist Einsteins Beziehung kein „fundamentales“ Gesetz mehr?


Micko (1969) „A psychological scale for reaction time measurement“:

1( )

1 ( ) ( )iP ta i b t

Rasch-Modellierung von Reaktionszeiten:a(i) Person-Funktion, b(t) > 0 eine beliebige Funktion der Zeit, wird durch spezifische Aufgabe näher bestimmt.

Vorberg & Schwarz (1990): Eine Reihe zentraler Modelle über Reaktionszeiten wird bei diesem Ansatz von vornherein ausgeschlossen, es bleiben nur unplausible, mit den Daten nicht kompatible Modelle übrig!


Zusammenfassung:

Für die Forderung nach spezifischer Objektivität und suffizienten Statistiken existiert kein ontologisches Argument,- Rasch-Modell ist nicht notwendig allein seligmachend!

Modelliert man psychische Prozesse, so sind die Parameter der Modelle nicht notwendig spezifisch objektiv und die Schätzungen nicht notwendig suffizient!

Hat man eine Menge von Items, die dem Rasch-Modell genügen:sehr schön – Glück gehabt!

Zumal der große Nachteil der KKT die Populationsabhängigkeit der Schwierigkeitsparameter!

Danke für Ihre Aufmerksamkeit!

Documents

Theorie psychometischer Tests, V Nichtklassische Modelle U. Mortensen Mainz, Juni 2009