Einführung in die Psychologische Diagnostik
Prof. Dr. Lothar Schmidt-AtzertFachbereich Psychologie, Philipps-Universität Marburg
Überblick
• Die Gütekriterien diagnostischer Verfahren
• Kombination von Verfahren• Zielsetzung (Vortrag):
– einzelne Auswahlverfahren beurteilen können
– gesamte Auswahlprozedur bewerten können (bei Kombination von Verfahren)
Gütekriterien: Ausgangslage
• Zur Auswahl von Studierenden stehen unterschiedliche Verfahren zur Verfügung– Gesamtnote Abitur– (gewichtete) Einzelnoten– spezifische Studierfähigkeitstests– Auswahlgespräche
• alle können nach einheitlichen Maßstäben (Gütekriterien) beurteilt und sind damit vergleichbar!
Gütekriterien: Übersicht
• Objektivität • Reliabilität (Messgenauigkeit)• Validität (Gültigkeit der Messung) • Nebengütekriterien (Ökonomie
etc.)
Objektivität
„Wenn ich mein Abitur an einer anderen Schule gemacht hätte, wären meine Noten bestimmt besser gewesen“
„Ich hatte Pech mit dem Prof., der mich interviewt hat“
Aussage: das Ergebnis hängt von den Umständen ab, unter denen es gewonnen wird
Definition Objektivität
• Grad, in dem die Ergebnisse eines diagostischen Verfahrens unabhängig vom Untersucher sind
• drei Teilaspekte:– Durchführung der Messung– Auswertung der „Antworten“– Interpretation der Ergebnisse
Durchführung: Fehlerquellen
• unterschiedliche Aufgaben stellen (Schule A – Schule B)
• die Personen unterschiedlich freundlich behandeln
• im Interview unterschiedliche Fragen stellen
• Testaufgaben in unterschiedlicher Reihenfolge vorgeben
• unterschiedlich viel Bearbeitungszeit gewähren
Auswertung: Fehlerquellen
• zwei Interviewer bewerten die gleiche Antwort unterschiedlich
• zwei Schulen geben unterschiedlich viele Punkte für eine richtige Lösung
• Hilfskraft macht Fehler beim Addieren der richtigen Lösungen
Interpretation: Fehlerquellen
• trotz gleicher Anzahl richtiger Lösungen unterschiedliche Noten geben (an zwei Schulen)
Maßnahmen zur Sicherung der Objektivität
• Standardisierung– der Durchführung (z.B. schriftliche
Instruktion, Aufgaben/Fragen immer die gleichen …)
– der Auswertung (Schablonen, Liste mit richten und falschen Antworten, …
– der Interpretation (feste Bewertungsregel, …)
Wie erkennt man die Objektivität?
• an den Maßnahmen zur Standardisierung
• bei nicht ganz eindeutigen Auswertungsregeln (insbes. Interview) an der Übereinstimmung der Beurteiler
Kontrollfragen zur Objektivität
• bei welchem Auswahlverfahren ist es schwierig, die Durchführung zu standardisieren?
• bei welchem ist es schwierig, die Auswertung zu standardisieren?
Bedeutung der Objektivität
Wenn das Auswahlverfahren unterschiedlich abläuft, fühlen sich Bewerber unfair (ungleich) behandelt.
Mängel in der Objektivität wirken sich negativ auf die Reliabität und Prognosegüte des Auswahlverfahrens aus.
Reliabilität (Messgenauigkeit)
„Ich hatte Glück. Bei vielen Fragen habe ich einfach richtig geraten.“
„Im Rechentest kamen Aufgaben vor, die mit den anderen Aufgaben kaum etwas zu tun hatten.“
Reliabilität (Messgenauigkeit)
• Eine Wiederholung der Messung führt zum gleichen Ergebnis (stabiles Merkmal vorausgesetzt, keine Übungseffekte).
• Bei Verwendung vieler Aufgaben/Fragen erfassen alle Aufgaben/Fragen das gleiche Merkmal – die Leistung in der einen Aufgabe hängt mit der in der anderen zusammen.
Definition Reliabilität
• Grad der Genauigkeit, mit der ein diagnostisches Verfahren ein Merkmal misst
Reliabilität: Fehlerquellen
• schlechte Konstruktion des Verfahrens – ungünstige Aufgaben/Fragen– zu wenige Aufgaben/Fragen
Maßnahmen zur Sicherung der Reliabilität (Konstrukteur)• statistische Analyse der
Aufgaben/Fragen• Verwerfung ungünstiger
Aufgaben/Fragen (erkennbar an Kennwerten)
• hinreichend viele Aufgaben/Fragen verwenden
Wie erkennt man die Reliabilität?
• empirisch ermittelte Kennwerte (insbes. Cronbach´s Alpha, Retestreliabilität)
• Werte liegen zwischen 0 und 1 • liegen bei guten Leistungstests
über .90
Kontrollfrage zur Reliabilität
• Ein Auswahlverfahren soll aus ökonomischen Gründen möglichst kurz sein. Welches Problem kann man sich damit einkaufen?
Bedeutung der Reliabilität
Ein hohe Reliabilität bedeutet, dass das Messergebnis kein Zufallsergebnis ist, sondern im Prinzip immer wieder so replizierbar wäre.
Eine hohe Reliabität ist leider keine Garantie für eine hohe Validität (siehe unten).
Validität (Gültigkeit)
„Mein schlechtes Abiturzeugnis sagt doch nichts darüber aus, ob ich das Studium schaffe.“
„Mit diesen Testaufgaben wollen die feststellen, ob ich für das Studium geeignet bin – das kann doch nicht funktionieren!“
Definition Validität
• Grad, in dem das diagnostische Verfahren das misst, was es messen soll
• drei Teilaspekte:– Inhaltsvalidität (die Aufgaben repräsentieren
den Messgegenstand)– Kriteriumsvalidität (z.B. Vorhersage von
Studienerfolg)– Konstruktvalidität (misst der Test vielleicht nur
die Intelligenz?)
Validität: Fehlerquellen bei Konstruktion
• Test- oder Interviewkonstruktion nicht auf begründeten Anforderungen basiert
• vorliegende wissenschaftliche Befunde nicht genutzt
Validität: Fehlerquellen bei der Auswahl eines Verfahrens• vorgelegte Befunde falsch
interpretiert - ungeeignetes Kriterium- Durchführungsbedingung inadäquat- Stichprobe zu klein- inadäquate Stichprobe- Korrektur nicht beachtet
• bessere Alternativen nicht beachtet
Maßnahmen zur Sicherung der Validität (Konstrukteur)
• anforderdungsbezogen vorgehen• vorhandene wissenschaftliche
Erkenntnisse nutzen • Objektivität und Reliabilität
sicherstellen• Verfahren evaluieren und
verbessern
Wie erkennt man die Validität?
• empirisch ermittelter Zusammenhang zwischen Prädiktor und Kriterium (meist Korrelationen)
• Werte liegen zwischen 0 und 1. • Hohe Kriteriumsvaliditäten liegen
bei guten Leistungstests um .50.• Kriterium beachten!
Kontrollfrage zur Validität
• Ein Studierfähigkeitstest korreliert .40 mit den Noten im Diplom.
• Die Abiturnote korreliert .45 mit der Klausur im Fach Methodenlehre.
• Welches Verfahren ist der beste Prädiktor für Studienerfolg?
Bedeutung der Validität
Bei Auswahlverfahren ist die Kriteriums-
validität der wichtigste Kennwert.
Beachten: welches Kriterium? welche Stichprobe? korrigierte Koeffizienten angegeben? (fallen meist höher aus als unkorrigierte)
Bedeutung der Validität
Hat ein Auswahlverfahren eine hohe Kriteriumsvalidität, werden die danach ausgewählten Bewerber später hohe Kriteriumswerte (Studienerfolg) aufweisen!
Jeder Abstrich bei der Kriteriumsvalidität wird mit niedrigeren Kriteriumswerte bezahlt (schlechterer Studienerfolg).
Rechenbeispiel
1) jedes Jahr 300 Bewerber, 100 Studienplätze2) 80 Prozent der Bewerber sind geeignet3) Kriterium = schließt Studium erfolgreich ab
Validität ErfolgreicheVerfahren 1: r = .30 89.1 %Verfahren 2: r = .50 94.3 % bei Verfahren 2 jedes Jahr 5 Erfolgreiche mehr!
weiteres Rechenbeispiel
1) jedes Jahr 500 Bewerber, 100 Studienplätze2) 70 Prozent der Bewerber sind geeignet3) Kriterium = schließt Studium erfolgreich ab
Validität ErfolgreicheVerfahren 1: r = .30 83.6 %Verfahren 2: r = .50 91.4 % bei Verfahren 2 jedes Jahr 8 Erfolgreiche mehr!
Vorsicht bei zu wenig Bewerbern!
1) jedes Jahr 120 Bewerber, 100 Studienplätze2) 80 Prozent der Bewerber sind geeignet3) Kriterium = schließt Studium erfolgreich ab
ValiditätErfolgreiche
Verfahren 1: r = .30 82.9 %gegenüber Zufallsauswahl jedes Jahr nur 3
Erfolgreiche mehr
Quelle: Berechnungen nach Taylor-Russell Modell unter http://www.hr-guide.com/data/G906.htm
einige „Nebengütekriterien“
• Ökonomie (Preis, Zeitaufwand)
• Akzeptanz (bei Bewerbern, in der Öffentlichkeit)
• Fairness(keine Benachteiligung bestimmter Gruppen)
• Verfälschbarkeit(Ergebnis allein Ausdruck der Eignung)
Kombination diagnostischer Informationen
unterschiedliche Urteilsmodelle
• Auswahl nach einem Verfahren• Auswahl nach zwei oder mehr
Verfahren– Gesamtwert mit Gewichtung– Schwellen bei jedem Verfahren
Auswahl nach einem Verfahren
Wenn keine Probleme bei der Objektivität und den Nebengütekriterien bestehen, das Verfahren mit der höchsten prognostischen Validität wählen.
Die Reliabilität kann weitgehend vernachlässigt werden.
Auswahl nach mehreren Verfahren (z.B. Abitur und
Test)• Bei Kombination mehrerer Prädiktoren kann die Validität
nur gleich bleiben oder zunehmen.
• die inkrementelle Validität (Zunahme an Validität) beachten
Beispiel: Abiturnote: r =.40 r2= 16.0% Verfahren x: r =.41 r2= 16.8% Abi. + Verfahren x : R = .42 R2= 17.6%
(+1.6%)
inkrementelle Validität gering, wenn die Prädiktoren hoch korrelieren (ähnliches messen)
Anstieg der Validität u. U. so gering, dass sich der erhöhte Aufwand nicht lohnt
Auswahl nach mehreren Verfahren (z.B. Abitur und
Test)• Beide Verfahren können simultan
verwertet werden (Kombination).• Alternative: sukzessiv mit
Mindestwerten im ersten Verfahren
Beispiel
erst nach Abiturnote auswählen – mind. Note 1.8die vorausgelesenen Personen nach
Testwert auswählen (z.B. die besten 100 nehmen)
fiktives Zahlenbeispiel:- 500 Bewerber- 150 mit Note 1.8 oder besser testen- 100 annehmen, 50 ablehnen
Fazit
• die Gütekriterien machen Verfahren beurteilbar und untereinander vergleichbar
• zentral ist die Kriteriumsvalidität– diese ist nicht ganz einfach zu beurteilen
(Kriterium, Stichprobe, Korrekturen, …)• Objektivität und Nebengütekriterien
auch beachten