7. Sitzung

Empirische Forschung IIIUntersuchungsdesign

Gültigkeit der Ergebnisse

Operationalisierung

Einführung in die quantitative und qualitative

Sozialforschung

Einführung in die quantitative und qualitative

Sozialforschung

Einführung in die quantitative und qualitative

Sozialforschung

Überblick● Wiederholung

● Untersuchungsdesign

● Gültigkeit der Ergebnisse

● Operationalisierung

Wiederholung: Stichprobenziehung

Auswahlverfahren:Willkürliche Auswahl: ohne jede RegelBewusste Auswahl: nach vorgegebenen Regeln (z.B. Quoten-Auswahl,

Schneeballverfahren)Zufallsauswahl: Auswahl entsprechend Auswahlwahrscheinlichkeiten für

alle Elemente der Population⇒ Fehlschlussrisiken kalkulierbar,

Berechnung von Standardfehlern Einfache Zufallsauswahl,Clusterauswahl (z.B. systematische Zufallsauswahl) u. mehrstufige Auswahlgeschichtete (stratifizierte) Auswahl

Statistische Repräsentativität: Die Wahrscheinlichkeit von Abweichungen zwischen Stichproben und Populationseigenschaften sinkt mit der Größe der Abweichung

Problem: Unit- und Item-Nonresponse (Ausfälle)

Gewichtung

Die Fälle einer Stichprobe werden vor der Datenanalyse oft gewichtet. Hat z.B. ein Fall das Gewicht 2, zählt er bei statistischen Berechnungen doppelt, hat er das Gewicht 1/2, zählt er nur die Hälfte.

Sinnvoll und notwendig sind Gewichtungen, wenn aufgrund des Stichprobenplans (bei ge-schichteten Stichproben) eine Teilpopulation bewusst überrepräsentiert wird.Für Vergleiche zwischen den neuen und alten Bundesländern werden oft mehr Personen in den neuen Ländern befragt, als ihrem Anteil an der Gesamtbevölkerung entspricht. Bei Auswahl einer Person pro Haushalt sind Personen aus Single-Haushalten überrepräsentiert.

Um Ausfälle auszugleichen werden die Elemente in der Stichprobe so gewichtet, dass bei be-stimmten Merkmalen (z.B. Alter und Geschlecht) die Häufigkeitsverteilung mit der bekannten Verteilung in der Population übereinstimmt. Oftmals führt solches Redressment aber zu keiner Verbesserung und täuscht nur über tatsächliche Stichprobenfehler hinweg!

Alternativen zur Gewichtung:In der Statistik werden zunehmend Verfahren entwickelt und in der Sozialforschung eingesetzt, die auf der Basis der verfügbaren Informationen die zusätzlichen Fehlermöglichkeiten durch Ausfälle abschätzen und zu korrigieren versuchen.

2.5. Untersuchungsdesigns und die Gültigkeit von Untersuchungsergebnissen

Beispiel (nach Schnell u.a. 1999: 204 ff ): Untersuchung, ob das Sehen von Filmen mit Gewaltdarstellungen die Aggressivität von Jugendlichen fördert.

Befragung unter Jugendlichen: Messung der Aggressionsneigung mit einer Aggressionsskala

anschließende Befragung, ob die Jugendlichen Gewaltfilme gesehen haben.

Ergebnisse:

Jugendliche sahen FilmeWerte auf Aggres- mit Gewaltdarstellungensionssskala sind nein ja ... niedrig 66.6% (333) 30.0% (150)... hoch 33.4% (167) 70.0% (350)

(Quelle: fiktive Daten)

Untersuchungsdesign = die Vorgehensweise bei der Durchführung einer Untersuchung

2.5.1 Ex-post-facto-Design

Ex-post-facto-Design: Forscher hat überhaupt keine Kontrolle über die Ausprägungen der erfassten Variablen. Häufige Verwendung in soziologischen UntersuchungenBeispiel: Umfragen (engl: Surveys)

Problem, keine eindeutige Feststellung der tatsächlich vorliegenden Kausalstruktur.Beispiel: Die tatsächliche Kausalrichtung könnte etwa genau entgegen der Vermutung sein.

Aggressions- Gewaltdarstellungen Gewaltdar- Aggressionsskalaskala nein ja stellungen niedrig hoch

niedrig 66.6% (333) 30.0% (150) nein 68.9% (333) 32.3% (167) hoch 33.4% (167) 70.0% (350) ja 31.1% (150) 67.7% (350)

2.5.2 Experiment

experimentelles Design:Forscher kann die Werte der erklärenden Größe beeinflussen Treatment: Erklärungsgröße

tritt zeitlich vor der abhängigen Größe auf

echtes (randomisiertes) Experiment : Zuordnung zur Experimental- und Kontrollgruppe erfolgt per Zufall;Möglichkeit der Kontrolle durch statistische Tests

Beispiel: Forscher zeigt einer Gruppe von Jugendlichen einen Film mit Gewaltdarstellungen (Experimentalgruppe) und einer anderen Gruppe einen Film ohne Gewaltdarstellungen (Kontrollgruppe). Wenn sich nun zeigt, dass es mehr Jugendliche mit hohen Werten auf der

Aggressivitätsskala in der Gruppe gibt, die den Film mit Gewaltdarstellungen sahen, spricht dies eher für den vermuteten kausalen Effekt. Möglich ist aber auch hier, dass sich die eine Gruppe von vornherein aus aggressiveren Jugendlichen zusammensetzte. Um diese Möglichkeit zu minimieren, erfolgt die Zuordnung der Jugendlichen zu den beiden Gruppen per Losentscheid.

Zum ersten Zeitpunkt t0 werden die Jugendlichen per Zufall den Gruppen zugeordnet(symbolisiert durch „R“), Zum zweiten Zeitpunkt t1 wird in der Experimentalgruppe ein Film mit Gewaltdarstellungen (X=1) und in der Kontrollgruppe ein Film ohne Gewaltdarstellungen

(X=0) gezeigt, Zum dritten Zeitpunkt t2 wird die Reaktion auf die Filme über die Aggressivitätsskala (Y)

gemessen.

Probleme von echten Experimenten:technische, finanzielle und nicht zuletzt ethische Probleme

Schematische Darstellung eines randomisierten Experiments

Gruppe 1: R: X=1 Y1 ExperimentalgruppeGruppe 2: R: X=0 Y0 Kontrollgruppe Messzeitpunkt: t0 t1 t2

R: Randomisierung: zufällige Zuordnung der Versuchspersonen zu den GruppenX=1: Film mit Gewaltdarstellungen, X=0: Film ohne GewaltdarstellungenY=1: Aggressivitätswert in Experimentalgruppe, Y=0: Wert in Kontrollgruppe

2.5.3 Quasi-Experimente

quasi-experimentelle Designs keine randomisierte Zuordnung der Untersuchungseinheiten zu den Gruppen oder keine vollständige Beeinflussung der erklärenden Größe durch Experimentator

Problem: Risiko dass fälschlicherweise von einem kausalen Effektausgegangen wird, ist größer als bei einem echten Experiment, aber kleiner als bei einem Ex-post-facto-Design.

Quasi-experimentelle Untersuchungsdesigns, die mehrere Zeitpunkte berücksichtigen

1) Querschnittserhebung: (i.a. kein Quasi-Experiment!)Messung aller interessierenden Eigenschaften der Erhebungseinheiten zum gleichen Zeitpunkt

4) Längsschnittserhebungen:mindestens zwei Messzeitpunkte

a) Trendstudien:Messungen zu verschiedenen Zeitpunkten und Vergleich der Messwerte, wobei zu jedem Messzeitpunkt unterschiedliche Untersuchungseinheiten beobachtet werden.

0

10

20

30

40

50

1982 1984 1986 1988 1990 1992 1994 1996

Messzeitpunkt

Ant

eil i

n Pr

ozen

t

Beispiel: Entwicklung der KriminalitätsfurchtAnteil von Personen, die in Wohnumgebung nachts nicht allein auf die Straße gehen mögen.

Jahr: 1982 1990 1992 1996

Anteil: 38.5% 32.2% 37.9% 32.0%

Quelle: Kumulierter Allbus 1980-1998)

b) Panelstudie Messungen zu verschiedenen Zeitpunkten und Vergleich der Messwerte, wobei zu jedem Messzeitpunkt stets die gleichen Untersuchungseinheiten beobachtet werden.

Pro: Veränderungen auf der Ebene der Untersuchungseinheiten (= individuelle Veränderungen) erfassbar

Contra: Panelmortalität= Ausfälle von Untersuchungseinheiten zwischen den Erhebungszeitpunkten,

Folge: Verzerrungen, wenn diese Ausfälle systematisch Subgruppen unterschiedlich stark betreffen.

Wenn im Beispiel die Wahrscheinlichkeit größer ist, dass jemand zum zweiten Messzeitpunkt nicht befragt werden kann, wenn er zum ersten Messzeitpunkt keine Parteineigung aufweist, dann ist der beobachtete Zuwachs an Parteineigung möglicherweise tatsächlich gar nicht vorhanden.

Beispiel für Paneldaten: Erhebungszeitpunkt 1989

1990 Parteineigung? Parteineigung ja nein total 1990

ja 67.3% (601) 13.5% (121) 80.9% (722)nein 10.8% (96) 8.4% (75) 19.1% (171)total 1989 78.1% (697) 21.9% (196) 100.0% (893)

(Quelle: Wahlstudie 1990 Panel)

Geringer Zuwachs an Parteineigung von 2.8% (=80.9%-78.1%) zwischen 1989 und 1990 ist deutlich geringer als der Wechsel insgesamt, der immerhin 24.3% (=10.8%+13.5%) beträgt.

c) Retrospektiverhebungen:Erhebung von ex-post Informationen aus der Vergangenheit, z.B. der Lebensverlauf in einem Interview

Problem: Erinnerungs- bzw. Archivierungsfehler Daten aus Retrospektiverhebungen sind eigentlich keine echten

Längsschnittdaten.

d) Zeitreihen:Messwerte einer Größe zu sehr vielen Zeitpunkten,= spezielle Panels, bei denen Informationen nur über eine oder wenige Untersuchungseinheiten vorliegen, die aber sehr viele Wellen (Erhebungszeitpunkte) umfassen, die in der Regel gleiche Abstände aufweisen.beziehen sich oft auf die Aggregatebene = oft Statistiken auf der Basis einer Trendstudie mit sehr vielen Messzeitpunkten

Problem, oft Abhängigkeiten zwischen den Werten. Beispiel: saisonale Effekte bei der Arbeitslosenquote

2.5.4 Validitätsgefährdungen von Untersuchungsergebnissen

Campbell und Stanley (1963):Das Ergebnis einer konfirmatorischen Untersuchung ist gültig (valide), wenn falsche Hypothesen als falsch erkannt und richtige als richtig bestätig werden.

Das Ergebnis einer deskriptiven Studie oder explorativen Studie ist gültig, wenn die Beschreibungen zutreffen oder adäquat sind und alle relevanten Aspekte berücksichtigen.

Interne Validität nicht gegeben, wenn der beobachtete Zusammenhang fälschlicherweise kausal interpretiert wird, obwohl der Zusammenhang tatsächlich durch andere Größen hervorgerufen wird, als es in der Untersuchung behauptet wird.

Externe Validität nicht gegeben, wenn das Untersuchungsergebnis nur für die spezifischen Gruppe gilt, aus der die Untersuchungsfälle kommen und nicht auf andere Gruppen verallgemeinert werden kann.

a) Statistische Schlussvalidität

Verletzung der statistischen Schlussvalidität:beobachteter (statistischer) Zusammenhang gilt nur für die in einer Untersuchung beobachteten Fälle.

Beispiel: Experiment: Differenz zwischen Experimental- und Kontrollgruppe nur eine bloße Folge der (zufälligen oder systematischen) Zuordnung der Untersuchungseinheiten auf diese Gruppen.

Statistische Tests zur Kontrolle der Gefährdung der statistischen Schlussvalidität.

Notwendigkeit eines signifikanten Zusammenhangs zwischen den beobachteten Größen

b) Interne Validität

Verletzung der internen Validität: Existenz einer anderen Ursache als postuliert bzw. Ursache-Wirkungs-Richtung wirkt entgegengesetzt als vermutet

Folge: Es darf keine Alternativerklärung geben.

Beispiel: Zusammenhang zwischen der Anzahl der bei einem Feuer eingesetzten Feuerwehrleute und der Höhe des Versicherungsschadens

Reduktion der Gefährdung der internen Validität: Längsschnittuntersuchungen; Randomisierung der Zuordnung der Untersuchungseinheiten zu den Treatmentgruppen;Drittvariablenkontrolle

c) Konstruktvalidität

Verletzung der Konstruktvalidität: Bezeichnungen der Einfluss- und/oder Wirkungsgrößen ist falsch.

Beispiel: Nicht das Sehen von Gewaltdarstellungen erhöht die Aggressionsneigung, sondern positive Äußerungen während der

Gewaltdarstellungen von anderen Jugendlichen, die den Film ebenfalls sehen.

keine eindeutigen Richtlinien

Reduktion der Gefährdung der Konstruktvalidität:Klare Bedeutung der für die Untersuchung relevanten Begriffe; Intensive Untersuchung der Frage, wie das Vorliegen der bezeichneten Phänomene erfasst werden kann.

d) Externe Validität

Verletzung der externen Validität:keine Möglichkeit der Verallgemeinerung der Untersuchungsergebnisse von der speziellen Untersuchungssituation

Folge: Notwendigkeit der Unabhängigkeit von Zeit, Situation und der Auswahl der Untersuchungsobjekte

Beispiel: ökonomisches Experiment mit „Spielgeld“: Es stellt sich die Frage, ob das gleiche Verhalten auch zu beobachten

wäre, wenn stattdessen echtes Geld verwendet würde.

Problem bei Ausschluss aller vier Validitätsgefährdungen:

in echten Experimenten Probleme mit der externen Validität in Ex-post-facto-Designs Probleme mit interner und externer Validität

psychologische Experimente: Durchführung oft mit Psychologiestudenten, die verglichen mit „Normalbürgern“ andere Vorkenntnisse haben.

2.5.5 Drittvariablenkontrolle

Drittvariablenkontrolle= explizite Kontrolle von alternativen Erklärungsmöglichkeiten

Beispiel: Zusammenhang zwischen der Zahl der bei der Brandbekämpfung eingesetzten Feuerwehrleute und der Größe des Schadens

Ein großer Schaden hat eine um 25.3 (= 56.4% − 31.1%) Prozentpunkte höhere Auftretenschance, wenn statt einer niedrigen, eine hohe Zahl von Feuerwehrleuten eingesetzt wird.

Anzahl Feuerwehrleute Größe des Schadens geringe Anzahl hohe Anzahl Total

kleiner Schaden 68.9% (310) 43.6% (240) 55.0% (550) großer Schaden 31.1% (140) 56.4% (310) 45.0% (450)

Total 100.0% (450) 100.0% (550) 100.0% (1000)

(fiktive Daten)

Drittvariablenkontrolle durch Bildung von Teiltabellen:

für alle Werte von möglichen alternativen Erklärungsgrößen wird jeweils eigene Zusammenhangstabellen berechnet.

Größe des Feuers kleines Feuer großes Feuer

Anzahl Feuerwehrleute Anzahl FeuerwehrleuteGröße des Schadens gering hoch gering hoch

kleiner Schaden 80.0% 80.0% 30.0% 30.0% (280) (120) (30) (120)

großer Schaden 20.0% 20.0% 70.0% 70.0% (70) (30) (70) (280)

Total 100.0% 100.0% 100.0% 100.0% (350) (150) (100) (400)

Im Beispiel „verschwindet“der zunächst beobachtbare Zusammenhang: Anzahl der Feuerwehrleute ist offenbar nicht für die Höhe des Schadens verantwortlich

Scheinkausalität =Scheinkorrelation= nur bei Ignorierung der alternativen Erklärungsgröße (Drittvariable) besteht ein bivariater Zusammenhang

Unterschied zwischen: Korrelation (= empirisch beobachtbarer Zusammenhang) Kausalität (= Ursache-Wirkungs-Zusammenhang)

Pro der Drittvariablenkontrolle:Erleichterung der Unterscheidung von Korrelation und Kausalitätwichtige Methode zur Erhöhung der Validität von Untersuchungsergebnissen

Aber: keine Garantie der Aufdeckung von Kausalitätoft keine Berücksichtigung der Zeitdimension

2.6 Operationalisierung und Messen

Operationalisierung= Herstellung einer Beziehung zwischen Begriff und beobachtbarem Sachverhalt

Beobachtung ( Messung) = Feststellung des Vorliegens bzw. Nichtvorliegens der entsprechenden Sachverhalte

2.6.1 Begriffesexplikation

Bedeutung eines Begriffes : • Extension: Gesamtheit der Objekte, auf die ein Begriff zutrifft;

extensionale Aufzählung nicht immer möglich•• Intension: Gesamtheit der gemeinsamen Eigenschaften, die die

Objekte haben, auf die ein Begriff zutrifft.

Die Intension des Begriffs „Demokratie“ besteht in der vollständigen Auflistung aller Eigenschaften, die eine Demokratie ausmachen, die Extension in der Aufzählung aller Demokratien.

Voraussetzungen für eine konsistente Verwendung eines Begriffs:

• Eindeutigkeit: Begriffsverwendung in immer gleicher, einheitlicher Bedeutung

• Präzision: Für jeden Begriff soll entscheidbar sein, ob etwas unter diesen Begriff fällt.(extensionale Präzision);alle Eigenschaften des Begriffs sollen bekannt sein (intensionale Präzision)

Aufhebung von Mehrdeutigkeit durch Aufsplittung in mehrere neue Begriffe.

Beispiel: Aufsplittung des Begriffs „soziale Norm“ in die beiden Unterbegriffe „verinnerlichte Norm“ (Gewissen) und „Verhaltenserwartung der „sozialen Umwelt“ (sozialer Druck)

Präzisierung vager Begriffe:• Extensionale Festlegung (Aufzählung)

Beispiel: Zu den Vögeln gehören: Elster, Papagei, ..., Schwalbe.• Einengung der Extension (Einführung zusätzlicher Merkmale)

Beispiel: die Bedeutung von Vogel als „Tier, das fliegen kann“ kann zur Abgrenzung von fliegenden Insekten präzisiert werden als „Tier, das fliegen kann, auf zwei Beinen läuft, einen Schnabel hat, Eier legt, Federn hat und warmblütig ist“;

• Erweiterung der Extension (Eliminierung von Merkmalen)z. B. Verzicht auf das Merkmal „fliegen können“ beim Vogel;

• Skalierung/Klassenbildung (neben den beiden Klassen „Begriff trifft zu“ vs. „Begriff trifft nicht zu" werden zusätzliche Klassen gebildet),z. B.: nicht Unterscheidung „städtisch“ und „ländlich“, sondern Unterscheidung zwischen „großstädtisch“,

„kleinstädtisch“, „stadtnah“ und „dörflich“ unterschieden werden.

Konzeptspezifikation= Explizierung der Bedeutung eines Begriffes;

häufig verschiedene Subdimensionen (Aspekte) eines BegriffsBegriff „Systemunterstützung“ kann den Aspekt der Zufriedenheit mit den politischen Institutionen und den politischen Akteuren beinhalten oder auch die Identifikation mit Staat und Gesellschaft.

Konzeptspezifikation: Möglichkeit der Darstellung einzelner Aspekte eines Begriffs in Form eines Baumes oder Netzwerks:

Systemunter-stützung

Systemzu-friedenheit

Zufriedenheitmit Parteien

Zufriedenheitmit Politikern

Zufriedenheitmit Regeln

Identifikation

Zufriedenheitmit Ergebnissen

Identifikationmit Staat

Identifikationmit Gesellschaft

2.6.2. Definitionen

Definitionen = Gleichsetzungen (unbekannter) Begriffe mit bekannten Begriffen:

• Definiendum: zu definierender Begriff;• Definiens: Aussagen, die ausschließlich bekannte Begriffe

enthalten.

a) Nominaldefinitionen = sprachliche Festlegung, nach der das Definiendum mit dem Definiens gleichgesetzt wird Beispiel: Schimmel = weißes Pferd

Daher gilt:Nominaldefinitionen = Tautologien, d.h.. können nicht falsch sein;Nominaldefinitionen können jedoch inadäquat sein.

Kriterien bei Nominaldefinitionen:

Eliminierbarkeit: Definiens und Definiendum müssen austauschbar sein. Beispiel „Schimmel“

Nichtkreativität: Bei Austausch von Definiens und Definiendum darf keine zusätzliche Bedeutung erzeugt werden.

Beispiel: „Arbeiter“

Nicht-Zirkularität: Der zu definierende Begriff darf nicht unmittelbar oder mittelbar im Definiens vorkommen.

Beispiel: Definition „Ausbeutung = unfaire Ausnutzung von Ressourcen einer Person“ wäre zirkulär, wenn an anderer Stelle „unfair“ als „jemanden ausbeuten“ definiert würde.Keine Mehrfachdefinitionen: Ein Begriff darf nur einmal definiert werden.

Beispiel: Definition „Arbeiter = Person, die ihre Körperkraft anderen entgeltlich zur Verfügung stellt“ und an anderer Stelle „Arbeiter = Arbeitnehmer, der bei einer

Landesversicherungsanstalt rentenversichert ist“.

b) RealdefinitionenRealdefinition = Behauptung über die richtige Verwendung eines Begriffes

Beispiel: „‘Handy‘ ist eine in Deutschland übliche Bezeichnung für Mobiltelefone“.

= empirische Aussage, d.h. empirisch wahr oder falsch

unterschiedliche Konzeptionen von Sprache und Sprechen:

Begriffskonventionalismus: Bedeutung eines Begriffs wird durch Konvention vereinbart Problem: infiniter Regress (Wir brauchen für jede Begründung wiederum eine Begründung, die wir wieder begründen müssen, usw. usf., ein Prozess ohne Ende (und daher praktisch nicht durchführbar).

Begriffsessentialismus: Bedeutung eines Begriffes ist naturnotwendig vorgegebenProblem: intersubjektive Erkennbarkeit der „wahren Bedeutung“;

keine Berücksichtigung der kulturellen Bedingtheit von Begriffen