6: De selectie van de eenheden: steekproeven

Onderzoek bij concrete eenheden– Bij wie = operationele definitie van eenheden – Maar dan vraag: bij iedereen of maar een deel (subset) ervan?

o Iedereen = “census”. Bvb. volkstelling 2001, census in VS.o Deel = “steekproef”.

Soorten steekproeven?

Op basis waarvan steekproef maken?– Theoretische overwegingen

o Theoretische of natuurlijke steekproef.o Vooral voor explorerende studies, kwalitatief van aard (theorievorming)

Doel = eenheden met meeste informatieve waarde selecteren Vb. illegale vreemdelingen selecteren uit zoveel mogelijk verschillende landen, met zoveel

mogelijk verschillende redenen (politiek,econ)

– Toevalsbasiso Toevalssteekproef o Vooral voor beschrijvende, toetsende studies (zoals survey onderzoek).

Doel = onderzoeks-populatie zo goed mogelijk weerspiegelen Veralgemening maken naar totale populatie (geldigheid!!) Kans van elke eenheid om getrokken te worden is bekend of berekenbaar! Kans op toevalsfouten berekenen

Toevalssteekproeven1 Terminologie

Populatie (universum)– Verzameling eenheden waarover onderzoek gaat, waarover we conclusies willen trekken, waaruit steekproef

o Te vinden in “operationele definitie” van onderzoekseenheden, bvb. “alle inwoners Vlaamse Gewest tussen 15 en 85 jaar oud.”

– Zijn niet altijd mensen

Speciaal universum– Populatie die concreet betrokken is in onderzoek, hier en nu. – Theoretische veralgeming vind plaats

Algemeen universum– Denkbeeldige theoretische populatie, niet plaats- en tijdsgebonden

o Onderzoeksresultaten ook geldig, zelfs na geboortes en sterfte van mensen over periode van een paar maanden of zelfs jaren

Steekproef– Subset van populatie die effectief betrokken wordt in onderzoek (waar we gaan observeren)– Geselecteerde elementaire eenheden (onderzoekseenheden in populatie) = “steekproefeenheden” (B.)

o Personen, gezinnen, bedrijven, boeken = elementaire eenhedenSteekproef kader of “frame”

– Lijst van alle eenheden in de populatie waaruit steekproef zal worden getrokkeno Moet zo dicht mogelijk bij populatie aansluiten

1

o Lijst of administratieve registratie door de onderzoeker opgesteldo Kader als basis voor het trekken van de steekproef

– Geselecteerde eenheden = geplande steekproef (geselecteerde steekproefeenheden) o Steekproefplan: wijze van trekken en omvang steekproef

– Eenheden die meewerken aan onderzoek vormen de (feitelijk) gerealiseerde steekproef

Steekproeffractie– Verhouding aantal in geplande steekproef (steekproefomgang) over aantal in populatie.

o Vb. steekproef van 2500 studenten KULeuven uit 6000= 2500/6000= 0,4167– Is dus ook de kans op opname in de steekproef

o Elke eerste jaar student KULeuven heeft bij zuiver toevallige selectie 41,67% kans om in de steekproef te zitten

Representativiteit– Mate waarin steekproef correcte weerspiegeling is van populatie

o Op geselecteerde kenmerken (geslacht, leeftijd, opleiding) steeds zeggen “representatief naar sekse en leeftijd ”

o Nooit representatief in het algemeen! “Onze steekproef is representatief voor de Vlaamse bevolking” = nonsens

o Enkel doenbaar voor kenmerken waarvan verdeling bekend is in populatie (Vb. NIS)– Representativiteitanalyse gaat na of steekproef significant afwijkt van doelpopulatie

Foutenbronnen bij toevalssteekproeven: vertekening

Voorbeeld– Stel je wil onderzoeken hoeveel % van alle KULeuven studenten naar een bepaalde soap kijken– Probleem: je kan niet àlle studenten in je studie opnemen. Te duur, te weinig tijd

o Je zal een steekproef nemen.o Maar hoe precies, concreet?

– Enkele mogelijke concrete strategieën:o Centrale plaats kiezen en voorbijgangers interviewen, bvb. Alma of bibliotheek?o Studentenvereniging contacteren en leden interviewen?o Iedereen in jouw studierichting interviewen?

Van drie strategieën leidt geen enkele tot representatieve steekproef– Opname in steekproef te sterk afhankelijk van persoonlijke overwegingen, de beschikbaarheid van

respondenten, selectiecriteriao De steekproef zal “ vertekend ” zijn (“ bias ”). o Vertekening bij selectie vermijden of minimaliseren door eenheden op toevalsbasis te selecteren

soorten vertekening1.“sampling error” of steekproeffout

– = het verschil tussen de populatie en de geplande steekproef– Ongeluk bij trekking niet-representatieve steekproef– Nagaan of Vb. sekse en leeftijd niet significant verschilt van verdeling in populatie– Vaak ook uitval en zelfselectie– Vb. We willen % soap kijkers in kaart brengen

o Populatie N=200, steekproef, n=50o Stel in werkelijkheid kijkt 50% naar soaps:

Om grote afwijkingen tussen (geplande) steekproef en populatie te vermijden:– Toevalsselectie gebruiken, dus a-selecte steekproeven– Maar ook toeval zal niet altijd perfect werken…

2

o “foutenmarge”. Dit drukken we uit door resultaten niet als één cijfer weer te geven, maar als een interval (betrouwbaarheidsinterval, zie verder).

2. Non- sampling error– Selectie niet bepaald door toeval, – dus zeer onderhevig aan selectie bias (bijvoorbeeld: zelfselectie zoals weigeren)

Vb. Non-respons = uitval– Is geen selectie bias bij trekking (geplande) steekproef, maar selectie bias bij realisatie van de steekproef

door weigering tot medewerken, onbereikbaarheid, verkeerde informant– Als non-respondenten afwijken van respondenten: vertekening

o Vb. werkende mensen minder bereikbaaro Vb. jongere mannen weigeren meer

– Motivatie en inzet van interviewer nodig!!o Drie keer terugkeren naar adres

– = Non-respons error (netlogo voorbeeld)

3. Onvolmaakt steekproefkader– Wie er niet op staat kan niet worden geselecteerd– Niet up to date (Vb. lijst werknemers: mensen zijn vertrokken)– Meervoudige registraties. Sommigen staan twee keer of meer op lijst

o Meer kans om opgenomen te worden– = Coverage error of dekkingsfout systematische vertekening

5. Non-respons analyse– Vergelijkbaar met “representativiteitsanalyse”, en is zelfde indien die analyse gebeurt met gerealiseerde

steekproef.o Vergelijken van respondenten met populatie (maar fout kan ook bij steekproeftrekking zitten)o Vergelijken van respondenten met non-respondenten op basis van voor iedereen gekende

informatie dezelfde populatie???o Vb. leeftijd en geslacht vaak gekend in steekproefkader. Nagaan of respondenten ouder zijn dan

non-respondenten, of mannen minder meedoen dan vrouwen. Geeft idee over non-respons fout.o Reserve-respondenten: neemt weigering niet weg!

6.3.4 Schatten en toetsen

Sterktes van toevalssteekproeven– Toevalssteekproeven > resultaten generaliseren (veralgemenen) naar doelpopulatie/ speciale universum– Maar we weten dat we vaak geen 100% correcte resultaten zullen hebben (zie selectie bias).– Onze resultaten zijn slechts “schattingen”, geen zekerheden!

o Altijd een zekere “ foutenmarge ” . Dit drukken we uit door resultaten niet als één cijfer weer te geven, maar als een interval ( betrouwbaarheidsinterval : 1 - α)

o– Als we toevalssteekproeven gebruiken dan kunnen we deze betrouwbaarheidsintervallen (B.I.) berekenen

o B.I. wordt rond onze schatting gelegdo Bvb. we vinden 18% rokers in onze steekproef van 1200 mensen.o Dit zal niet exact 18% zijn in populatie, maar zal wel in de buurt liggen.

We zoeken ondergrens en bovengrens van het interval waarbinnen het echte populatie percentage met een bepaalde kans (Vb. 95%) zal liggen

3

Dus we kunnen met 95% zekerheid stellen dat het percentage rokers in de populatie tussen 15,83% en 20,17% ligt.– Waar vind je de waarde van zα?

o In tabellen, maar meestal maar één van drie waarden:

% gewenste zekerheid Alpha niveau Z alpha

90% 10% 1,64

95% 5% 1,96

99% 1% 2,58

We kunnen met 95% zekerheid stellen dat de gemiddelde gezinsgrootte tussen 2,35 en 2,45 zit.

SlotsomToevalssteekproeven laten toe om te veralgemenen van steekproef naar doelpopulatie met een berekenbare kans op vergissing

– Dit kan niet met selecte steekproeveno Non respons systematische vertekening

– Als je wil veralgemenen, dan steeds toevalssteekproef gebruiken.

Samenvatting– Steekproeven

o Op basis van toeval trekken om selectie bias te voorkomeno Voordeel van toevalssteekproef = veralgemenen naar populatie

Daarbij drukken we onze onzekerheid uit in de vorm van een betrouwbaarheidsinterval

4

6.3.5 Hoe groot moet een steekproef zijn

– Is technische vraag, vaak ingewikkeld: welke nauwkeurigheid, welk α-niveau– Onderwerpen aan “power analyse”

Algemeen: “hoe groter de steekproef, hoe kleiner onze kans op vergissing”

Absolute grootte vs. relatieve grootte– De absolute grootte is van belang, niet de relatieve grootte (steekproeffractie)

o Steekproef van 1000 mensen in VS is even goed als steekproef van 1000 mensen in België, ongeacht het feit dat de VS veel meer inwoners telt dan België

– Hoe groter de steekproef, hoe kleiner het BI, en dus hoe preciezer onze resultaten (omvang n zit in noemer van de formules)

– Met zelfde kans op vergissen (5%) kunnen we in de grotere steekproef een kleiner, preciezer BI opgeven.– Grotere steekproeven zijn dus preciezer, maar…

o Ook duurder en tijdrovendero Hoe moeilijker om voldoende aandacht te schenken aan de steekproef. Minder zorg leidt tot

slechtere gegevens. Grotere steekproeven dus zeker niet steeds betero Dus nagaan of een grotere steekproef wel nodig is

Welke elementen in rekening brengen om grootte van steekproef te bepalen?– Heterogeniteit in populatie (standaarddeviatie, SE)– Gewenste kans van vergissing (de gekozen zα )– Gewenste nauwkeurigheid (breedte van het BI)– Analysebehoeften– Praktische overwegingen (tijd en geld)

1. Heterogeniteit in populatie– Verwijst naar diversiteit in populatie. Dit wordt gevat in variantie (=> Standard Error)

– Hoe heterogener de populatie, hoe groter de SEo Meer steekproefeenheden om dezelfde nauwkeurigheid te bekomen

– SE: één component in berekening van BI

5

Herneming vb. aantal kinderen in gezin.

– Als populatie heterogener is dan zullen de BI’s groter zijn (minder precies worden)o Dit tegenwerken door grotere steekproef te nemen (dan verkleint BI)

– Als populatie homogener is = allen van dezelfde sekse of leeftijd kleinere steekproefo Let op: een survey bevat meerdere variabelen; heterogeniteit verschilt van kenmerkt tot kenmerk!

Dus zoeken naar compromis.

2. De gewenste kans op een verkeerde beslissingMeestel 95% betrouwbaarheid

3. Gewenste nauwkeurigheid– Verwijst naar breedte van het gewenste BI– Kan soms cruciaal zijn om een onderzoeksvraag te beantwoorden

Voorbeeld 6.4– Vorige verkiezing: partij X 22% van de stemmen, partij Y 24%.– We willen weten wie van de twee nu zal winnen.– Als de BI’s te groot zijn en elkaar overlappen, dan niets besluiten

o Vb. steekproef van 500

– L = lengte van het betrouwbaarheidsinterval– Gewenste steekproefomvang berekenen

6

– Als je p en q niet kent: gelijk stellen aan 50 grootst mogelijke spreiding– Stel 5% kans op vergissen, interval maximaal +/-0,9% punten rond schatter (L=1,8), we weten niet hoeveel p

is in populatie (dan nemen we 50):

4. Analysebehoeften– Hoe meer variabelen je wil gebruiken hoe groter je steekproef moet zijn– Hoe meer categorieën (waarden) elke variabele bevat hoe groter je steekproef moet zijn

Voorbeeld 6.6– Negatieve houding tegenover migranten– 6 variabelen, met 3 x 2 x 2 x 2 x 4 x 2 categorieën = 192 combinaties. Als je in elke combinatie 20 eenheden

wenst: 3840 eenheden in totaal nodig! – Als er dan nog eens weinig in de populatie voorkomen van een bepaald type, dan moet je nóg meer

eenheden in steekproef nemeno Niet haalbaar. In dat geval zal men elke populatie eenheid niet langer een zelfde kans tot opname in

de steekproef geven, maar sommige types een grotere kans. Dat is dan een “disproportioneel gestratificeerde steekproef”

5. Praktische overwegingen– Hoe groter de steekproef hoe duurder economische aard– Deadlines als tijdsbeperking– Datakwaliteit: organisatie is niet in staat om het af te werken fouten

7

n=4⋅1 ,962 50⋅501,82

=11856 ,8

Types van toevalssteekproeven in het survey-onderzoek

1. Enkelvoudige Toevalssteekproef = simple random sample (SRS)– Meest eenvoudige toevalssteekproef

o Elke populatie eenheid heeft dezelfde kans tot opname in steekproef (=steekproeffractie)o Via een uitputtend steekproefkader en met toevalsgetalleno Vb. Onschuldige hand uit hoed trekenn

Voorbeeld. 800 eenheden uit lijst eerste jaar KULeuven studenten (N=5779)– Elke student heeft kans van 800/5779=13,8% om geselecteerd te worden

Percentages worden min of meer goed weerspiegeld– Toeval heeft redelijk gewerkt, maar niet “perfect” (sampling error)– Representativiteit naar faculteit is in orde, maar niet perfect

o Percentage van elke fac. in de steekproef ligt zeer dicht in buurt van het percentage in de populatie

Voordelen:– Eenvoudig te realiseren– Eenvoudig te analyseren (formules relatief eenvoudig)

Nadelen:– Kleine groepen leveren kleine aantallen in steekproef bemoeilijkt analyse– Geografische spreiding verhoogt reiskosten interviewers (face-to-face interview)– Omslachtige method en vaak zijn er geen genummerde lijsten

2. Systematische enkelvoudige toevalssteekproef – Alleen het eerste element wordt toevallig geselecteerd– Daarna selecteren we elke n-de eenheid = systematische wijze

o Bvb. elke 10de bezoeker in een bibliotheeko Voordeel als geen genummerde lijst aanwezig is en enkel bestand

– Gevaar = systematiek kan leiden tot selectie biaso Lijsten niet toevallig geordendo Systematiek van ordening valt samen met de systematiek van de steekproeftrekking

8

Voorbeeld 6.8: lijst van soldaten.– Elke tiende soldaat selecteren. – Maar lijsten waren gerangschikt per rang in leger in afdelingen van 10 soldaten. – Resultaat: enkel sergeanten in steekproef

3. Gestratificeerde toevalssteekproef“Proportionele” gestratificeerde steekproef

– Proporties in de populatie worden volstrekt gerespecteerd: we “helpen” toeval een handje– Gedeelte van variante onder controle gehouden en correct weerspiegeld wordt.– Naar één of meer kenmerken

o Dit verdeelt de populatie op in groepen (strata = m) o Daarna trekken we een toevalssteekproef in elk van die strata met zelfde omvang (n)o Dit reduceert de variantie – er zijn geen afwijkingen meer tussen steekproef en populatie voor de

kenmerken waarop we stratificeren.

Vb. 800 eerste jaar studenten KULeuven uit frame van 5779– Gestratificeerd naar faculteit– Eerst populatie percentages bekijken om te berekenen hoeveel eenheden we per stratum moeten trekken.

o Vb. 6,21% van bewegings- en revalidatiewet. In populatieo Dus 6,21% van 800=49,68 (=50) trekken

– P = proportie (kans op succes in stratum i)– Q = complement ( 1 - p)– W = proportioneel aandeel van stratum in de steekproef– M = aantal strata

9

– N = steekproefgrootte van stratum

Voorbeeld 6.9

Globale percentage kerksen berekenen?– Percentage in elk stratum x aandeel in populatie (hier = w i)– Sommeren

o (18,90 x 0,203) + (25,69 x 0,224) + (48,19) x (0,154 + 11,90) x (0,104) + (14,36 x 0,125) + (32,32 x 0,102) + (6,52x 0,029) + (8,00 x 0,031) + (32,16 x 0,028) = 24,69

Op basis van de steekproef schatten we 24,69% kerksen in en 95% BI is: – SE = (1,072)1/2 = 1,035 – 24,69-(1,96 x 1,035)=22,66– 24,69+ (1,96 x 1,035)=26,72

Indien gedaan alsof SRS:– SE = [(24,69 x 75,31)/1605]1/2 = 1,076– 24,69 – (1,96 x 1,076) = 22,58– 24,69 + (1,96 x 1,076) = 26,80

– BI zal steeds kleiner of gelijk zijn aan dat van een SRS– Dus gestratificeerde steekproef altijd beter dan SRS, gegeven zelfde kans op fout (α) en zelfde

steekproefomvang!

4. Disproportioneel gestratificeerde toevalssteekproefSteekproef is gestratificeerd > trekken van eenheden per stratumSteekproef is disproportioneel > de proporties van in populatie worden niet gerespecteerd in de steekproefvb. uit elk stratum minimum 30 studenten kleinste strata oververtegenwoordigen met dezelfde steekproefomvang

Gewone gestratificeerde steekproef

10

In volgend voorbeeld werden de kleine aantallen opgetrokken tot 30, alleen het kleinste tot 28

Door minimum aantal op te leggen– Kleine faculteiten oververtegenwoordigd– Hierdoor andere faculteiten ondervertegenwoordigd

o Reden: totale steekproefgrootte blijft gelijk (let op: niet gerealiseerd in voorbeeld want daar blijven de grotere groepen gelijk, maar men kan daar wel voor zorgen…)

o Als we méér nemen van enkele groepen, dan stijgt hun aandeel (over vertegenwoordiging)o En dan daalt automatisch het aandeel van de andere groepen een beetje (onder

vertegenwoordiging)

Omdat bepaalde groepen over- en andere ondervertegenwoordigd worden– Verhoudingen ten aanzien van populatie niet meer correct weerspiegeld– Dus kunnen we niet zomaar onze resultaten veralgemenen. We moeten de proportionaliteit eerst terug in

orde brengen >Dit kan door te “wegen” –

Twee manieren om te wegen (corrigeren)1. op groepsniveau

– % kerksen berekenen zoals eerder: % x aandeel in populatie, en dan sommeren (29,37 x 0.581) = 17,06 + enz

– Ongewogen gemiddelde = (29,37 + 19,11 + 14,89) / 3 = 21,12%o Dit zou correct zijn moesten de drie regio’s in de juiste verhoudingen in de steekproef zitten, maar

dat is niet zo niet zomaar delen door 3!!!!!– Parameter in elk stratum wegen met aandelen van elk stratum in de steekproef

o Ook fout!! Onderschatting– Steekproefpercentages wegen met juiste verhoudingen in populatie

o Elke stratum is goede afspiegeling van elke regio (in VL 29,37% kerks)o Als we naar België willen veralgemenen: elk stratum het gewicht geven dat ze hebben in de

populatie (bvb. VLA: 58,1%)

2. op individueel niveau wegen– Elke eenheid juiste gewicht geven– Omvang van steekproef gelijk houden– Eens je een gewicht hebt per persoon kan je dit altijd gebruiken

11

o Anders: voor elke analyse (tabel bvb.) steeds opnieuw gaan wegeno Dus praktischer om eerst voor elk individu een gewicht te berekenen

Individueel gewicht gi = pop/wi

– Aandeel van stratum in populatie delen door aandeel van stratum in steekproefo Bvb. 58,1% Vlamingen in populatie, 41,4% in steekproef: gewicht = 58,1/41,4 = 1,403

– Algemeen: o in de steekproef ondervertegenwoordigde groepen krijgen een gewicht groter dan 1o In de steekproef oververtegenwoordigde groepen krijgen een gewicht kleiner dan 1o Correct vertegenwoordigde groepen krijgen gewicht 1

– Individueel gewicht wordt berekend op basis van de groepsgegevens (proportie in populatie / steekproef)o Maar toegepast op individueel niveau

– Aantal kerksen veranderen– Totaal percentage kerksen = aangepaste aantallen optellen en delen door gewogen steekproefomvang– Hoger percentage omdat de regio waarin de kerksen beter vertegenwoordigd zijn, krijgen meer gewicht

BI berekenen met zelfde formule als voor gestratificeerde steekproef, maar wi = populatie aandeel!

– SE voor disproportionele steekproeven niet kunnen berekenen op examen

5. Clustersteekproeven– SRS met als “ primaire eenheid” een verzameling van elementen (“cluster”)

o Onderscheid primaire en secundaire eenheden Secundaire eenheden tegelijk gekozen

o Vb. uit lijst van scholen toevallig (SRS) een aantal scholen kiezen (=primaire eenheid). Binnen elke gekozen school alle leerlingen (=cluster van secundaire eenheden)

– SRS kan in sommige gevallen ook gestratificeerd zijn als men bijvoorbeeld scholen eerst opdeelt ngl van zinvolle criteria (Vb. Vrije scholen, officiële scholen.)

– Clusters moeten zo vergelijkbaar mogelijk zijn* (“inwisselbaar”) binnen elk stratum indien gestratificeerdo Hoe meer verschillend ze zijn hoe groter de kans op vertekening

– SE groter dan bij SRS, maar moeilijk berekenbaar, want hangt af van mate waarin clusters op elkaar gelijken / van elkaar verschillen

Voordelen– Eliminatie grote geografische spreiding

o Vb. 10 scholen, dus maximaal 10 verschillende gemeenten– Studie kan in groep gebeuren (goedkoper)

o Vb. vragenlijst klassikaal invullen– Lost probleem op van niet-bestaande lijsten van elementaire eenheden

12

SE=√∑i=1

m

wi2 p iqini−1

6. Tweetrapssteekproef Vergelijkbaar met cluster steekproef

– Ook primaire en secundaire eenheden die toevallig geselecteerd worden*o Eventueel binnen strata (Vb gemeenten per provincie in plaats van over gans het land, maar aantal

gemeenten evenredig met bevolkingsomvang per provincie)– Eerst toevalssteekproef van primaire eenheden– Daarna opnieuw toevalssteekproef van secundaire eenheden

o In cluster steekproef: geen steekproef op dit niveau, alle eenheden worden geselecteerdo Om dit verschil aan te geven spreken we van sets ipv clusters

– Aantal primaire eenheden in verhouding tot hun aandeel in de populatieo Meer primaire eenheden dan secundaire eenheden

– Aantal secundaire eenheden gefixeerdo Resultaat = goede afspiegeling van de populatie met weinig geografische spreidingo Vandaar meest gebruikte methode in België (en elders) voor persoonlijke interviews (reistijden

interviewers verkorten)o Resultaat is dat secundaire eenheden eenzelfde kans hebben om in de steekproef te zitten

Steekproef trekking mét teruglegging– Stel dat je terecht komt in Brussel, dan mag dit niet impliceren dat je nadien niet meer in Brussel terecht kan

komen. Je moet Brussel “terugleggen” en opnieuw de kans geven dat we Brussel trekken– Hoe groter gemeente, hoe groter kans dat we ze trekken, en hoe groter ook de kans dat we ze meermaals

trekken– Dus vaker in grote gemeenten dan in kleine gemeenten.

o Aangezien in elke set bvb. 15 adressen trekken, grotere gemeenten meer stkprfeenheden dan kleinere gemeenten omdat ze kans hebben meermaals getrokken te worden (dus proportioneel naar inwonersaantallen)

Vb. 589 gemeenten in België– Van elke gemeente kennen we inwoners aantal (in totaal 10.541.893 inwoners)

Gemeente Totaal

Anderlecht 97153

Bruxelles 145717

Ixelles 77341

Etterbeek 42033

Evere 33848

Ganshoren 21177

Jette 43269

– We willen x sets trekken van elk 15 adressen zodat we 1000 eenheden in steekproef hebben. 1000 / 15 = 66,66 clusters

o Afronden naar 67 sets, dus in totaal 1005 secundaire eenhedeno

Tweetrapssteekproef:– 67 sets, kans op selectie = 67/589 = 0,113752– Kans op selectie secundaire eenheid = 15 / grootte gemeente (is gemiddeld 10.541.893 / 589 = 17.897,95)

o Dus 15/17.897,95=0,000838*o Dit is gemiddeld, die kans is per set kleiner voor secundaire eenheden in grote gemeenten en groter

in kleine gemeenten, grote gemeenten hebben meer kans op meerdere sets

13

– Kans op selectie = 0,113752 x 0,000838 = 0,000095

Dus exact zelfde kans als bij SRS

We trekken onze 67 clusters op toevalsbasis uit de Excel file– 53 gemeenten geselecteerd

o Dus geografisch geconcentreerder dan SRSo 1 keer in Anderlecht (15 adressen)o 2 keer in BXL (30 adressen)o 7 keer in A’pen (105 adressen)

Dus proportioneel naar grootte van de gemeenten Gemeente Totaal % pop. Clusters

Anderlecht 97153 0,92 1

Bruxelles 145717 1,38 2

Evere 33848 0,32 1

Jette 43269 0,41 1

Antwerpen 464038 4,40 7

Boom 16204 0,15 1

Standaardfout (SE)

blijft relatief beperkt

Voorbeeld 6.12

Effectief trekken van steekproef via software, bvb. Sas, SPSS,…– Enige dat we nodig hebben: bestand zoals Excel bestand “gemeenten_Belgie”

o En dan via bv. Sas de steekproef trekken.o Enkel opgeven hoeveel clusters je wil, en welke variabele de populatiegrootte per gemeente bevat.

7. Tweefasensteekproef – Eerste fase: verkennen (screenen)

o Grote steekproef trekkeno Nagaan of ze aan een bepaald criterium voldoen, zij die daaraan voldoen: naar 2 de fase

– Vb. Onderzoek bij Internet gebruikers

14

Gemeente Totaal Clusters

Anderlecht 97153 1

Bruxelles 145717 2

Evere 33848 1

Jette 43269 1

Antwerpen 464038 7

Boom 16204 1

o Geen lijst met alle internet gebruikers in Belgiëo Telefonische enquête (=fase 1) vragen: gebruikt u Internet? Zo ja => enquête afnemen (=fase 2)

8. Quota steekproef – Geen toevalssteekproef, selecte steekproef

Quota = vaste aantallen of proporties– Eerst verdeling van bepaalde kenmerken in populatie nagaan

o Vb. 51% vrouwen, 49% mannen; 20% lager geschoolden, 50% middengeschoolden, 30% hooggeschoolden (matching bij experimenten)

– Dan ervoor zorgen dat de steekproef deze verdelingen volgto Interviewer heeft lijst van met eenheden dat van elke klasse gezocht moet wordeno Je contacteert iemand, bvb. een hogergeschoolde man, en gaat na of je nog zo iemand nodig hebt.

Probleem = selectie is niet toevallig– Gestratificeerde steekproef met selecte keuze binnen strata, afhankelijk van

o Interviewer en diens voorkeuren (of vrienden, kennissen)o Bereikbaarheid en bereidwilligheid van elementen

– BI niet berekenbaar! Dus geen veralgemenende uitspraken mogelijk…o Probleem wordt minder erg bij “random walk” = vreemde streek

“Random walk”– Gebruikt voor persoonlijke interviews– Geef startpunt aan interviewer

o Bvb. Korte Sint Annastraat A’pen, nummer 15– Dan regel over route:

o Bvb. 6 huizen tussenlaten, aanbellen, indien geen contact: verder langs deze zijde van de straat, indien wel contact, oversteken, 6 huizen verder lopen, aanbellen,… enzoverder

– Bij elke contactname nagaan of er iemand woont die we nodig hebben – Zo wordt de selectie van mensen toch wat “meer toevallig”

o Minder invloed van voorkeuren interviewer– In commerciële onderzoek vaak gebruikt

o Want goedkopero En soms kan men indruk wekken bij klanten dat steekproef in orde iso Soms berekent men BI’s, en zelfs de BI’s die horen bij SRS. Is misleidend en deontologisch niet

correct.

6.5 Natuurlijke/ theoretische steekproeven– Selectie niet toevallig– Maar op basis van theoretische gronden: redeneren

o Doel = cases vinden die theoretisch interessant zijn (rijk aan informatie)o Vb. zoeken naar grootst mogelijke variatieo Om te zien of theorie blijft kloppen bij al deze mogelijke caseso Cfr. analytische inductie: hypothese toetsen door cases te selecteren die grootste kans geven om

hypothese te moeten verwerpen. Als dat niet meer kan: theoretische verzadiging

“Open” steekproeven– Steekproef wordt groter naarmate veldwerk vordert. In functie van bevindingen: nieuwe (extra) cases

zoeken. Dus steekproef groeit

Toevalssteekproeven binnen survey onderzoek: “gesloten” steekproeven– We beginnen met een vast aantal steekproefeenheden (bv. 2000), en daarbij gaan we bv. Interviewen– Steekproef “krimpt” zelfs onder invloed van weigeringen, onbereikbaarheid

o Uiteindelijk zal gerealiseerde steekproef kleiner zijn dan geplande steekproef 15

Vb. 6.15: “Silent community” Delph– Doel = op welke plaatsen vinden anonieme, vluchtige homoseksuele contacten plaats tss. mannen in New

York, en hoe verlopen die ontmoetingen daar, welke gedragsregels,… (en verschillen die naar soort plaats, “setting”)?

– Steekproef van “alle openbare plaatsen in NY waar homoseksueel gedrag voorkomt” o Gedrag verborgen houden in stilte

Gaat dus op zoek naar zulke plaatsen = participerende observatie– Geholpen door informant “Dr. E.”– Probeert zo uiteenlopend mogelijke plaatsen te selecteren

o Openbare parken, Publieke toiletten, Stranden, Tunnels– Dus “steekproef” van plaatsen, en observeert telkens hoe men zich daar gedraagt

6.5.1 Verschillen theoretische steekproeven en toevalssteekproeven

– Wordt gecreëerd tijdens veldwerk, niet ervooro Zolang het nodig is om de theorie bij te schaven worden eenheden geselecteerd op basis van hun

informatieve waarde. o Selectie van eenheden dus niet toevallig (statistisch), maar op basis van theorie. “Welke eenheid is

meest informatief voor mijn theorie” o Constant rekening houden met ruimte en tijd theoretisch verantwoorden

– Interactiefo Selectie ligt bij aanvang niet vast beslissing nodigo Steekproef wordt opgesteld in interactie met analyse. Na analyse van bestaande cases: welke

eenheid (eenheden) zou ik nu moeten hebben? Dus keuze afhankelijk van analyse uitkomsten = interactief

– “Open”o Representativiteit moet pas op einde gerealiseerd zijn, niet in het begin zoals bij een

toevalssteekproef (die dan minder representatief wordt door uitval) o Vs. Gesloten: toevalssteekproeven binnen survey onderzoek

Douglas: creatieve steekproeven– Naarmate fenomenen “meer essentieel” voor menselijk gedrag, hoe minder cases nodig– Doorgaan met selecteren tot geen nieuwe inzichten meer mogelijk (‘theoretische verzadiging’)– Actief zoeken naar negatieve gevallen– Als theorie toch stand houdt: dan sterke theorie– Cfr. analytische inductie!

time sampling = totale duur vooraf bepaald via verzadiging en cycli

6.5.3 Types van theoretische steekproeven

1. Sneeuwbalsteekproef– Steekproef wordt groter naarmate onderzoek vordert– Startpunt = Eén of meer starteenheden

o Die je in contact brengt met anderen (die voldoen aan een bepaald criterium)– Twee methoden om te beginnen

o Aantal zeer verscheiden subjecten en vragen om anderen aan te duideno sleutelinformanten

– Vb. onderzoek Becker bij Marihuana gebruikers

16

o Je start met een paar mensen die je in contact brengen met andere gebruikers– Gevaar = blijven steken in “kliekjes”

o Proberen zo gevarieerd mogelijke “ingangen” te vinden

2. Doelgerichte steekproeven– Selectie van “informatierijke” elementen

o Steekproeven met extreme of afwijkende gevalleno Steekproeven met zo groot mogelijke verscheidenheido Homogene steekproeveno Steekproeven van typische gevallen

17

7: De gestandaardiseerde vragenlijst

7.1 InleidingSurvey onderzoek

– Onderzoeksvraag, theorie, hypothesen = kunst en kundeo Onderzoeksplan

– Concepten geoperationaliseerd in vorm van survey vragen– Steekproef getrokken– NU: vragenlijst maken (=H7) en in bepaalde vorm (modus: persoonlijk of telefonisch interview, postale of

web enquête) gebruiken in veldwerk (=H8) Survey modi

– Interviewer of niet?– Communicatie kanaal?– Op papier of computer?

Interviewer Geen interviewerPapier PAPI (Paper And Pencil Interview) SAQ (Self Administered Questionnaire, bv.

post enquête)Computer CAPI, CATI (Computer Assisted

Personal/ Telephone Interview)CASI (Computer assisted Self Interview, bvb. web enquête)

Focus H7 = vragen en vragenlijsten ontwerpen– Operationaliseringen van concepten in vorm van survey vragen is een eerste, ruwe, omzetting naar een

survey vraag– Nu: verfijnen. Rekening houden met kennis over hoe je best vragen stelt– Waarom belangrijk?

Voorbeeld 7.21983: plaatsen kruisraketten in België

– Veel protest, marsen– Vraag: “hoeveel procent van de Belgen is voor en hoeveel procent is tegen?”– Opiniepeiling Panorama bij 1376 Belgen

o Voor: 16,9%o Tegen: 78,8%o Geen mening: 4,3%

Dus “meerderheid Belgen tegen” – Opiniepeiling Pourquoi-pas bij 1200 Belgen

o Tegen: 34,1% Dus “minderheid Belgen tegen”

– Twee opiniepeilingen bij zelfde populatie in zelfde periode geven tegenovergestelde resultaten… Waarom?o Kan aan allerlei zaken liggeno Denk aan 4 foutenbronnen van een survey

Vier foutenbronnen survey onderzoek– Dekkingsfout (coverage error)– Steekproeffout (sampling error)– Non-respons fout (nonresponse error)– Meetfouten (measurement error)

18

Elk survey maakt deze fouten, maar sommige maken ze meer dan andere– Verschillen in fouten leiden tot verschillen in resultaten – Bv. de ene peiling gebruikte een beter sampling frame dan de andere– Of: meer non-respons in het ene survey tov het andere– Of: meer sampling error in het ene dan in het andere…

Maar hier vooral aandacht aan meetfouten: hebben we wel dezelfde vraag gebruikt, in dezelfde context?

Vraag Panorama:– Bent U voor of tegen de plaatsing van kernwapens in België?

o Voor 16,9%o Tegen 78,8%o (Geen mening) 4,3%

Vraag Pourquoi-pas? – Welke van de volgende oplossingen hebben uw voorkeur om beter de verdediging van België en Europa te

waarborgen? o Beslist om op z’n grondgebied Pershing

raketten te installeren onder controle vanhet Atlantisch Bondgenootschap 34,9%

o Beslist om op z’n grondgebied Pershingraketten te installeren onder uitsluitende controle van de Belgische regering 27,1%

o De installatie van Persing raketten op z’n grondgebied weigert 34,1%

o (Geen mening) 3,9%

Ontleding van de vraag van Pourquoi-pas – Manisfest attitude object (plaatsing van raketten ) EN tweede attitudeobject (bevoegheid van Belgische

regering vs. NAVO maar in feite alleen Amerikanen bevoegd!– Kernwapen werd vervangen door Pershing maar is fout, het gaat om kruisraketten– Er is geen expliciete geen mening zonder mening hebben 2/3 kans voor te zijn– Eénzijdig argument in vraagtekst: oplossing om de verdediging van België en Europa te waarborgen

o Uitgangspunt = er is een probleem (nl. bedreiging van B en Eur.) en we moeten daar iets aan doen: wat?

o Maakt het de respondent (R.) moeilijk om te zeggen “niets” – Er zijn twee antwoordmogelijkheden die het plaatsen van de raketten goedkeuren, en slechts één die het

afkeurt onevenwicht– Het afkeurende antwoord staat laatst en goekeurende eerst

o Verlaagt de kans dat de R dit zal noemeno Hangt af van modus: telefonisch, schriftelijk of face-to-face

Conclusie: deze vraag “duwt” R naar het goedkeuren van het plaatsen van raketten!

Voorbeeld: gemeentelijk stemrecht voor migranten?– Politiek “hot topic” rond 2002-2003– Hoeveel % van de Belgen is voor of tegen?

o Le Soir: 55% vooro Het Belang van Limburg: 80% tegeno Wat is het nu? Voor of tegen???

Wetenschappelijke peilingen (cijfers voor Vlaanderen):– ISPO 1999: 36% tegen– APS 2001: 49% tegen– DWTC 2002: 61% tegen– ISPO 1999 (face-to-face)

19

o “Vreemdelingen die hier lang genoeg legaal wonen moeten gemeentelijk stemrecht krijgen”– APS 2001 (face-to-face)

o “Vreemdelingen die meer dan 5 jaar legaal in België wonen moeten gemeentelijk stemrecht krijgen”– DWTC 2002 (postaal)

o “Vreemdelingen die hier 5 jaar verblijven moeten gemeentelijk stemrecht krijgen” Verschillen?

– Verblijfsstatuuto ISPO en APS vermelden dat het gaat om legaal verblijvende vreemdelingen, DWTC zegt hier niets

overo Mensen allicht eerder geneigd gemeentelijk stemrecht voor legale vreemdelingen goed te keuren

– Duurtijd van verblijfo ISPO zegt lang genoeg, APS zegt 5 jaar of langer en DWTC zegt 5 jaaro “lang genoeg” is vaag en houdt element van integratie in.

– Moduso ISPO en APS: persoonlijk interview, DWTC: postale enquêteo Met interviewer: meer sociale wenselijkheid: men zal een meer politiek correct antwoord geven

Zijn deze verschillen belangrijk genoeg om van minderheid tegenstanders (36% ISPO) naar meerderheid tegenstanders (61% DWTC) te gaan?

– Kunnen we nagaan in een experiment– We houden alles gelijk in de groepen, behalve de vraag waarop ze antwoorden (of de survey modus waarin

ze antwoorden)– Vb. van experiment ingebed in survey onderzoek

Studie in 2004, bij eerste jaar KUL studenten– Web enquête:

o 6 condities (= 6 versies van de vraag)o Resultaat van kruising van 2 factoren:

Status van verblijf: “legaal” vs. niets vermelden (2 levels) Duurtijd van verblijf: “5 jaar of langer” vs. “lang genoeg” vs. niets vermelden (3 levels) Dus 2 x 3 = 6 levels of condities

– Face-to-face enquête met één versie van de vraag (DWTC versie)

Resultaten:

– Vraagverwoording alleen: van 29,1% naar 56,5% dus +27,5% punten– Modus alleen: van 31,9% naar 47,6%, dus +15,7% punten– Samen zouden we dus maximaal +43,2% punten kunnen bereiken als effecten cumulatief zijn – Door andere vraagverwoording en andere survey modus kunnen we een volledig ander resultaat bekomen

o Als survey onderzoeker goed de effecten begrijpen en zorgen voor de “beste vraago Erover waken dat anderen dit niet misbruiken voor eigen doeleindeno Bv. politieke partijen zouden hun eigen maatschappelijke basis kunnen creëren door een bepaalde

vraag en survey modus te kiezen

Hoe effecten van vraagverwoording en context (bv. Survey modus) begrijpen?– Theoretische inzichten in het vraag-antwoord proces– Op basis van “methodologische experimenten”, vrnl. “ split-ballots ” – Op basis van ervaring

20

7.2 Algemene aanbevelingen1. Onderzoeksvragen niet uit het oog verliezen

– Elke vraag moet verband houden met je onderzoeksvraag of -vrageno Enkel vragen wat je echt nodig hebt om de onderzoeksvraag te beantwoorden. De rest is “ballast” en

moet je schrappen– Neiging om steeds meer vragen te verzinnen

o Geduld en tijd is echter beperkto Geen enkele specifieke vraago Vraag je af: waarom wil ik dit weten?

2. Putten uit vorige vragenlijsten van andere onderzoekers– Warm water niet opnieuw uitvinden, recycleer vragen

o Sommige topics worden mbv “standaard-vragen” bevraagd.o Dit verhoogt vergelijk-baarheid van surveys onderling.

– Maar let op: geen al te oude vragen hergebruiken. Gewijzigde sociale context kan hun betekenis gewijzigd hebben

o Dus kijken of ze wel nog zelfde betekenen en dus “meten”

3. Begrijpelijke vragen met geen te moeilijke woorden– Vervang moeilijke woorden door eenvoudigere synoniemen of omschrijvingen

o Vrijetijdsbesteding……………..ontspanningo Toelage………………………….bijslag

4. Vragen stellen in “goed Nederlands” en in volledige zinnen– Hoeft geen stijve schrijftaal te zijn

o Bij interviews zelfs richten naar gesproken taalo Bij homogene groepen kan evt. slang gebruiken

– In volledige zinnen, dus niet “Leeftijd”, “Uw postcode”,… (vb.)

21

1. Hoeveel jaar hebt u gewoond in Vlaanderen? ___________ jaar2. In welke stad of gemeente woont u? ___________stad of gemeente3. In welke deelgemeente woont u? ___________deelgemeente

5. Vragen best kort houden, tenzij in bijzondere gevallen – Toevoeging van zinnen is nuttig zolang de vraag niet gewijzigd wordt– Soms wat langere vraag om

o Mensen de tijd te geven na te denken Vooral voor herinnering nodig

o Een bedreigende context weg te werken

22

Men interpreteert elke vervolgvraag in termen van aantal jaar!

Geobserveerd patroon voor 20%:

5

5

40

1. Aantal jaar gewoond in Vlaanderen___________ jaar

1. Uw stad of gemeente___________stad of gemeente

1. Uw deelgemeente___________deelgemeente

Verwacht patroon:

Kessel-lo

Leuven

40

1. Aantal jaar gewoond in Vlaanderen___________ jaar

1. Uw stad of gemeente___________stad of gemeente

1. Uw deelgemeente___________deelgemeente

Vooral voor bedreigende vragen (zie verder) – Antwoord op langere vraag is vollediger omdat vraag wordt herhaald

6. Eenduidige en eendimensionele vragen: slechts één attitudeobject– Vermijd vragen die naar twee of meer dingen tegelijkertijd peilen (“ double barreled questions ”)

Voorbeeld– Bent u ervoor of ertegen dat vreemde-lingen die ons land binnenkomen medisch onderzocht worden en in

afzondering geplaatst worden als zij drager zijn van het aids-virus?o Vooro Tegen

Twee attitudeobjecten– Houding tegenover medische controle– Houding tegenover het in afzondering plaatsen– Voor het ene en tegen het andere wat dan antwoorden?– Verschillende dimensies opsplitsen in meerdere vragen

– V1. Bent u ervoor of ertegen dat vreemdelingen die ons land binnenkomen medisch onderzocht worden?o Voor: Ga naar Vraag 2o Tegen: Ga naar Vraag 3

– V2. Bent u ervoor of ertegen dat vreemdelingen die ons land binnenkomen in afzondering geplaatst worden als zij na medisch onderzoek drager blijken te zijn van het aids-virus?

o Vooro Tegen

7. Vermijd dat respondent JA moet zeggen om NEEN te bedoelen (dubbele negaties)– Bent u voor of tegen het niet toestaan van de staat om belastingen te verhogen zonder 60% meerderheid?– Bent u voor of tegen het vereisen van een 60% meerderheid om de belastingen te verhogen?

8. Alle antwoordmogelijkheden overzichtelijk meegeven, maar niet vooraan in de vraagtekst– Bij post of web-enquête: niet in vraagtekst vermelden– Bij persoonlijk interview achteraan in vraagtekst, antwoordkaart gebruiken als meer dan 3 antw. cat.– Bij telefonische: achteraan in vraagtekst

9. Vermijd vragen die het kennisniveau van respondenten overstijgen– “Hebt u de indruk dat de prijzen van de meeste producten in vergelijking met vorig jaar sneller gestegen zijn,

even snel gestegen zijn, of trager gestegen zijn?”

9b. Vermijd het om respondenten onnodige berekeningen te laten maken– Welke proportie van uw zakgeld besteedt u maandelijks aan de film? ________

o Betekenis van proportie?– Hoeveel zakgeld hebt u vorige maand in totaal besteed? ________– Hoeveel zakgeld hebt u vorige maand aan de film besteed? ________

9c. Vermijd vragen die ten onrechte veronderstellen dat de respondent een exact antwoord kan geven– “Hoeveel boeken hebt u gedurende de laatste 12 maanden gelezen?” – “Hoeveel boeken hebt u ongeveer gedurende de laatste 12 maanden gelezen?”

o Geeno 1-10o 11 of meer

9d. Maar probeer toch zo exact mogelijke info te krijgen– Hoe vaak woonde u kerkelijke diensten bij gedurende het afgelopen jaar?

23

o Nooit, zelden, soms, vaak, altijd– Hoe vaak woonde u kerkelijke diensten bij gedurende het afgelopen jaar?

o Geen enkele keero Een paar keero Ongeveer een keer per maando Ongeveer een keer per week

10. Onderscheid tussen vragen over feiten en opinies– Vragen over persoonlijke feiten, ervaringen = makkelijker te beantwoorden– Perceptievragen: oordeel uitspraken = moeilijker

11. Geef indien nodig een precieze definitie van begrippen in de vragen– Gemeenschappelijk referentiekader bieden

o Hoe de vraag duidelijk overbrengen– Zorgt ervoor dat mensen hetzelfde idee hanteren bij het beantwoorden van de vragen– Vooral van belang als exacte informatie nodig is

o Vb. definitie van “huishouden”, “kamers”, “een job hebben”

Voorbeeld. VS: National Health Institute – Wat zijn groenten?

o Frieten worden ook gerekend als groenten!o Hoeveel mensen zouden spontaan frieten meerekenen?

Let op: definities “verzwaren” de vragenlijst (VL)– Worden vaak niet gelezen– Geven indruk dat VL complex is– Definitie al of niet geven maakt soms zelfs niet eens zoveel uit voor de antwoorden – Dus enkel voor cruciale vragen gebruiken!

Volgende aanbevelingen eerder op het niveau van vragenlijst

12. Algemene inleiding in vragenlijst, en inleidende stukjes bij onderdelen vragenlijst– Introductiebrief: informatie over onderzoek

o Onderzoeksorganisatie voorstelleno Onderwerp & doel onderzoeko Vertrouwelijke verwerking gegevens

– In algemene inleiding: kort herhalen, taak van respondent duidelijk maken, anonimiteit– Bij nieuw thema in vragenlijst: kort situeren om overgang duidelijk te maken

13. Volgorde van de vragen!– Vragen schikken om tot een zinnig en logisch geheel te komen– Vragen samen zetten naar thema vanuit perspectief respondent

o Inhoudelijk samenhorende onderwerpen bij elkaar plaatsen– Eerste vraag moet gemakkelijk, interessant en op de meeste mensen van toepassing zijn

o Gesloten vragenNiet1. In welk jaar bent u geboren?1. Denk aub na over alle dingen die deze wijk een leuke plaats maken om in te wonen. Schrijf dan de 5 belangrijkste dingen neer, gerangschikt van het meest belangrijke tot het minst belangrijke ding.

Wel1. Als je aan deze wijk denkt, in welke mate vind je dit leuke plaats om te wonen?1. Hoe lang woon je al in deze wijk?

24

– Doorheen VL: van gemakkelijke naar moeilijkere vragen (die kern van informatie bevatten), dan terug gemakkelijkere = soort cadans.

– Trechterkeuze = algemeen specifiek = beste keuze– Omgekeerde trechterkeuze = specifiek algemeen = bij complex onderwerp– Laatste blok = debriefing. Ervaring van R met vragen (evt. over gevoelige vragen)

14. Schriftelijke VL: opmaak goed verzorgen– Instructies duidelijk onderscheiden van eigenlijke vragen– Vermijden dat interviewer fouten maakt – Doel = vooral oriëntatie in VL bevorderen

o Naar welke vraag moet ik nu gaan?o Waar staan de antwoordopties die bij deze vraag horen?o Hoe moet ik deze vraag beantwoorden?

– Bevorderlijk voor de verwerking van de vragenlijst– Mooie en duidelijke lay-out, geen overdaad!– Vragen en antwoordopties visueel groeperen– “Doorverwijzingen” goed zichtbaar maken (bv. pijltjes gebruiken)

Samenvatting– Manier waarop vragen gesteld: effect op antwoorden– Enkele “regels” om in achterhoofd te houden bij aanmaak vragenlijst

o Gebaseerd op theorie, experimenteel onderzoek, ervaringen

7.3 Specifieke regels voor verscheidene vraagsoorten– Feiten: het ‘ware’ antwoord in principe bekend dat gecontroleerd kan worden– Opinie: waarderende betrokkenheid

Foutenbronnen– Onnauwkeurige omschrijving van de gewenste informatie in de vraag– Falende geheugen van respondent

o R. categoriseren gebeurtenissen niet per precieze maand of jaaro Sommige zaken te alledaags

– Sociale (on-) wenselijkheid; dreigend karakter 7.3.1 Vragen over feiten, gedragingen en gebeurtenissen

A. Niet-bedreigende vragen1. Zo volledig mogelijk qua antwoord categorieën bij een gesloten vraag

– Vermijd andere, specificeer teveel moeite voor respondent

2. Geheugensteuntjes (bronnen raadplegen) tegen onderraportering

3. Overzichtelijke chronologische tabellen zodat niets vergeten wordt– Nadeel: kan respondent in richting duwen– Screening question = voorafgaande open vraag of de feiten wel eens voorkwamen

4. Precies omschreven tijdsperiodes: algemene vragen opsplitsen– Voor weinig voorkomende gebeurtenissen: geen al te lange tijdsperiode:

o “Hoeveel keer hebt u in de afgelopen 3 jaar een dokter bezocht?”o “Hoeveel keer hebt u in de afgelopen 6 maanden een dokter bezocht?”

– Voor alledaagse gebeurtenissen: vragen naar schatting voor een typische week (hier periode niet te kort maken!)

25

o “Hoeveel keer hebt u in het afgelopen jaar op restaurant gegeten?”o “Hoeveel keer gaat u in een gemiddelde maand uit eten op restaurant?”

5. Tweetrapsvragen met eerst ruime klasse en daarna specifieke items

6. Verscheidene vragen om te voorkomen dat R zich van periode vergist

7. “Cognitief design” om herinnering te stimulerenNiet cognitief10. Nu zou ik u iets willen vragen over de laatste keer dat u met de wagen reed. Gedurende die laatste rit, zou u zeggen dat u uw veiligheids-gordel

– de hele tijd droeg– ongeveer de helft van de tijd droeg– of niet droeg?

Cognitief10. Nu zou ik u iets willen vragen over de laatste keer dat u met de wagen reed. Wanneer was dat?

– Vandaag– Gisteren– Eergisteren of daarvoor

11. Zou u ongeveer kunnen zeggen waar die laatste rit begon en eindigde?12. Hoe lang was deze rit ongeveer?

– Minder dan 2 kilometer– 2 tot 10 kilometer– Meer dan 10 kilometer

13. Was u tijdens deze rit...– De bestuurder– Een passagier in de voorste zetel– Een passagier, achteraan gezeten

14. Gedurende die laatste rit, zou u zeggen dat u uw veiligheidsgordel...– de hele tijd droeg– ongeveer de helft van de tijd droeg– of niet droeg?

Doel– = bewuste rit voor ogen halen om zo een betere herinnering van de gebeurtenissen te krijgen

Nadeel– = maakt vragenlijst zeer lang.– Enkel gebruiken voor cruciale vragen!

8. Lange vragen gebruiken respondent kan langer nadenken.

9. Opletten met proxy respondenten– “proxy” = iemand in “nabijheid” van persoon waarin we geïnteresseerd zijn en die ons over die persoon info

verschaft. (Vb. man over zijn vrouw, moeder over haar zoon)– Is minder nauwkeurige info (zeker niet gebruiken voor opinies!)– Geen info over ouders bij kinderen vragen zonder toestemming ouders

10. De vijf W’s: Wie, wat, waar, wanneer, waarom?

B. Bedreigende vragen– Gevaar op onderrapportering, ontwijkende antwoorden

o Gezondheid, Illegaal gedrag, Gedrag tegen gangbare normen, Financiële vragen

26

1. Open vragen indien mogelijk– Vermijd suggestie van sociaal wenselijke antwoorden

2. Lange vragen ipv korte vragen voor frequentie vragen

3. Vertrouwde woordenschat gebruiken: familiaire

4. Sociaal onwenselijk gedrag: eerst: is het al eens voorgekomen? Daarna pas het actuele gedrag. – Is het al eens gebeurd dat u onveilig gevrijd hebt?

o Jao Neen

– Hebt u tijdens de voorbije twee weken onveilig gevrijd?o Jao Neen

Bij sociaalwenselijke vragen: direct actuele gedrag– Hebt u tijdens de voorbije 3 maanden een goed doel financieel ondersteund?

o Jao Neen

5. Vraag minder bedreigend maken door woordkeuze– Hebt u ooit een winkeldiefstal gepleegd?

o Jao Nee

– Hebt u ooit iets meegenomen uit een winkel zonder er voor te betalen?o Jao Nee

6. Geen controles op antwoorden op bedreigende vragen (bv. meermaals stellen) wantrouwen

7. Bijzondere technieken om anonimiteit te waarborgeno ACASI of stembustechnieko Randomized Responseo Voet tussen de deur techniek

ACASI– Audio Computer Assisted Self Interview– Gebruikt bij CAPI. Bij reeks van bedreigende vragen wordt laptop aan R gegeven, die dit gedeelte zelf invult.– Audio: stem leest vragen voor (hoofdtelefoon) om mensen met leesmoeilijkheden te helpen.

Stembustechniek– Bij PAPI, bedreigende vragen zelf invullen op papier, en in gesloten omslag aan interviewer geven

Randomized Response– Twee vragen, één bedreigend, één niet bedreigend– Welke van de 2 beantwoorden: gebaseerd op toeval, enkel R weet op welke van de 2 hij antwoordt– Antwoordverdeling op niet bedreigende vraag moet gekend zijn, alsook kans dat de bedreigende vraag

gesteld wordt

Vraag A = “Hebt U inkomens niet aangegeven aan fiscus?”Vraag B = “bent u geboren in Juli?”

– Toestel dat bepaalt welke vraag moet worden beantwoord, 70% kans op A, 30% kans op B. Enkel R weet wat uitkomst is!

27

– Op basis van antwoorden in volledige sample kunnen we % inkomens niet aangegeven bij fiscus schatten

Voorbeeld 7.7 . stel dat 450 R op 1500 JA zeggenOp welke vraag (A of B) weten we niet!

– Kans dat men vraag B moest beantwoorden (geboortemaand) = 0,30o Kans dat men dan JA zal zeggen is 1/12o Gecombineerd: 0,30 x 1/12 = 0,025o Dus 0,025 x 1500 = 37,5 zegt JA op vraag B

– De rest (450-37,5=412,5) heeft JA gezegd op vraag A. o Dus 412,5 / (0,7 x 1500) = 39,3% heeft bepaalde inkomens niet aangegeven

Problemen met Randomized Response– Geen info op individueel niveau, dus we kunnen niet correleren met andere variabelen (zoeken naar

samenhangen dus uitgesloten)– Wantrouwen bij R (is dit een truuk?)– Goede controlevraag niet eenvoudig (geboortemaand vaak gekend of gevraagd in enquête). Zoeken naar

vraag waarvan we verdeling kennen in populatie, niet bedreigend is, en waarbij aantal JA’s groot genoeg is (+/-10%)

Voet tussen de deur techniek– Eerst een minder bedreigende vraag, daarna de bedreigende – Vb. inkomensvraag

1. Hoeveel bedraagt uw maandelijks netto inkomen? ____ Euro

1. Bedraagt uw maandelijks netto-inkomen meer of minder dan 1.500 Euro?– Meer– Minder

2. In welke inkomenscategorie valt uw maandelijks netto-inkomen?

1+2. GecombineerdV1. Hoeveel bedraagt uw maandelijks netto inkomen? ______ Euro => ga naar V5

Weigert te antwoorden => ga naar V2

V2. Ik begrijp dat het niet gemakkelijk is om op deze vraag te antwoorden. Toch is deze informatie voor ons heel belangrijk. Ik zou u daarom willen vragen of uw maandelijks netto-inkomen meer of minder bedraagt dan 1.250 Euro?

– Meer– Minder– Weigert => ga naar V5

28

(schaal afhankelijk van antwoord op vraag 1)

• 1501 – 1750 Euro• 1751 – 2000 Euro• 2001 – 2250 Euro• Meer dan 2250 Euro

• Minder dan 1000 Euro• 1000 – 1250 Euro• 1251 – 1500 Euro

3. In welke inkomenscategorie valt uw maandelijks netto-inkomen?

4. In welke inkomenscategorie valt uw maandelijks netto-inkomen?

5. (vervolg van de VL)

Schema

Experiment: Niet in schemas

29

• 1501 – 1750 Euro

• 1751 – 2000 Euro

• 2001 – 2250 Euro

• Meer dan 2250 Euro

• Minder dan 1000 Euro

• 1000 – 1250 Euro

• 1251 – 1500 Euro

GA NAAR V5

8. Op aggregaatsniveau de antwoordverdelingen controleren op geldigheid– Betrouwbare statistische informatie

9. Laden van de vraag door gebruik van leading questions

10. Laden van de vraag door gebruik van question loadingQuestion Loading

– “laden van vragen” om het geven van sociaal onwenselijke antwoorden te vergemakkelijkeno Veronderstel het gedrago “Iedereen doet het”o Rechtvaardigeno Anderen doen het ook

1. De Kinsey techniek: Kijk de respondent recht in de ogen en vraag in klare taal, met de woorden die de respondent gewoon is..

– “Hebt u uw echtgenoot vermoord?”

2. De achteloze benadering– “Gebeurde het wel eens dat u uw echtgenoot vermoordde?”

3. De genummerde kaart– “Wilt u het nummer van deze kaart lezen dat overeenkomt met hetgeen met uw echtgenoot gebeurde?”

o a. Hij stierf een natuurlijke doodo b. Ik heb haar vermoordo c. Andere (wat?)

4. De « iedereen doet het » benadering– “Zoals u weet hebben al veel vrouwen hun echtgenoot vermoord.

o Hebt u uw echtgenoot vermoord?”

5. De « andere mensen » benadering– “Kent u iemand die zijn echtgenoot vermoord heeft?

o Hebt u uw echtgenoot vermoord?”

Je kunt natuurlijk ook nog “vermoord” vervangen door “van het leven benemen”, maar of dat in zo’n geval zal helpen om cimineel gedrag te rapporteren???

Question loading – Veronderstel het gedrag (“leading questions”)

o Hoeveel sigaretten rookt u per dag ?o hoeveel lessen bros je gewoonlijk per week ?

30

o wanneer was je de laatste keer dronken ? o welke kleur had de fiets die je onlangs hebt meegenomen?

– Anderen doen het ooko Kent u studenten die al eens een fiets ontvreemd hebben om een tijdje te gebruiken? o Hebt U al eens een fiets vervreemd?

– Rechtvaardigeno Nogal wat geneesheren zijn van oordeel dat wijn de spijsvertering kan verbeteren.o Hebt u in de afgelopen week wijn gedronken?

– Iedereen doet heto Zelfs de meest kalme ouders worden al eens kwaad op hun kinderen. o Hebt u zich in de afgelopen week kwaad gemaakt op uw kinderen?

Let op: leading questions niet hetzelfde als question loading – Leading question = vraag waarin de veronderstelling fout is

o “welke kleur had de fiets die je meenam?”o “hoe snel reed de wagen toen hij door het stop-teken reed?”

– Question loading = vraag zodanig schrijven dat het geven van een sociaal onwenselijk antwoord minder moeilijk wordt

o “iedereen doet het”, “rechtvaardigen”,…o Pas op: het gedrag veronderstellen is dus door middel van een leading question aan question loading

doen

11. Na-interview (debriefing vragen)– Ervaringen met interview

o Bv. hoe moeilijk waren de vragen, hoe interessant,… (zie vb 7.9)– Ook peilen naar welke vragen gevoelig lagen

o Laat toe in te schatten op welke vragen je allicht een sociaal wenselijkheids effect hebt gekregen

102. Soms hebben vragen een verschillend effect op mensen. We zouden graag Uw opinie kennen over sommige vragen uit het interview. Ik zal nu een aantal vragen ter herinnering brengen. Wilt U mij dan meedelen of volgens Uw mening de meeste mensen zich bij die vragen zeer ongemakkelijk, redelijk ongemakkelijk, licht ongemakkelijk of helemaal niet ongemakkelijk voelen'. (overhandig kaart nr. …). Hoe voelen volgens U de meeste mensen zich bij de vragen over:

Niet ongemakkelijk

Licht ongemakkelijk

Redelijk ongemakkelijk

Zeer ongemakkelijk

A.Vrije tijd en ontspanning? 1 2 3 4

B. Sport activiteiten? 1 2 3 4 C. Geluk en welzijn? 1 2 3 4

D. Sociale activiteiten? 1 2 3 4

E. Het gebruik van bier, wijn, en sterke drank?

1 2 3 4

G. Dronkenschap 1 2 3 4

H. Gebruik van marihuana of hasj? 1 2 3 4

I. Gebruik van stimulerende of opwekkende middelen

1 2 3 4

J. Vrijen en kussen? 1 2 3 4

C. Demografische en achtergrondkenmerken bevragen – Vragen over leeftijd, geslacht, samenstelling gezin, huwelijkstoestand, opleiding, levensbeschouwing– Zoveel mogelijk standaardiseren (vooraf = input standaardisatie)

o Vergelijkbaarheid andere survey onderzoeken– Best achteraan in VL, tenzij info nodig tijdens interview (bv. adaptieve vragenlijst)

Aanbevelingen– Gezin: overzichtelijke tabellen met informatie per gezinslid

31

o Ga niet zomaar uit van het twee-oudergezino Precieze geboortedatum

– School: onderscheid tussen volledige dagonderwijs en bijkomend onderwijso Behaalde diploma en richting

– Werkloosheid: ook rekening met tewerkstelling en beroepo Zelfstandige, vrij beroep

– Inkomen: netto - bruto inkomen, maandelijks - jaarlijks

D. Kennisvragen Waarom in survey onderzoek?

– Rechtstreekse interesse in wat mensen weten: kennis– Onrechtstreekse interesse om betrokkenheid bij thema (“attitude sterkte”) te meten– Moeilijkheidsgraad van vragen achterhalen– Eerst attitude en opinievragen om respondent met onvoldoende kennis af te zonderen– In elk geval: bedreigend karakter

o Iets niet weten: schaamte

Aanbevelingen– Enkele gemakkelijke vragen stellen zodat iedereen iets kan beantwoorden

o Andere formulering– Fictief onderwerp om gokken te detecteren– Meerdere JA/NEEN vragen stellen

o Verminderen van gokken– Numerieke vragen: best open vraag– Niet gebruiken in zelf in te vullen vragenlijsten (R kan opzoeken, vragen aan anderen)

Voorbeeld. intUne project – Europees survey, over 16 verschillende landen– Topic: houding tegenover Europa

o Euroscepticisme, vertrouwen in Europese instellingeno Can you tell me which of the following countries are members of the European Union (European

Community)? The Netherlands (ja) Malta (ja) Croatia (nee)

o How many member states are there in the EU? ___ aantal (27)

Voorbeeld. kennis als indicator van attitude sterkte– Attitude sterkte = “kracht” waarmee men bepaalde overtuiging heeft (ook: de mate waarin men bij het

onderwerp betrokken is)*o Hoe sterker een opinie, hoe weerbaarder ze is

Beter bestand tegen tegenargumenten Beter bestand tegen “de tand des tijds”: stabieler Groter effect op eigen gedrag

* Let op: attitude sterkte alleen te meten door meerdere vragen te stellen, is niet hetzelfde als “extremiteit” = de sterkte van de attitude richting

Studie 2001 bij ruime populatie (web)– Eerst 3 kennisvragen over migranten (multiple choice)

o Wat is de Arabische term voor “vrijheidsstrijder”?o Wat bedoelen Moslims met “jihad”?

32

o Wat betekent “taliban”?– Verder in VL: “Vindt u dat bedrijven wettelijk verplicht moeten worden om een vast percentage allochtonen

aan te werven?” (quota vraag)o Jao Neen

Direct na deze vraag: adaptief tegenargument om sterkte attitude te meten– Indien voor quota:

o “zelfs indien dit betekent dat het bedrijf niet de beste persoon voor de betrekking kan aanwerven?”– Indien tegen quota:

o “zelfs indien dit betekent dat allochtonen economisch achterblijven?”

Sommige mensen “veranderden van idee”– Geeft een zwakkere attitude aan, onder invloed van tegenargument wijzigen ze standpunt.

Bevindingen:– Hoe langer men erover deed om een antwoord te kiezen op de 3 kennisvragen, hoe kleiner de kans werd dat

ze het correcte antwoord kozen– Hoe minder correcte antwoorden men selecteerde, hoe groter de kans werd dat men het standpunt wijzigde

onder invloed van tegenargument– Dus: hoe minder kennis, hoe zwakker de attitude.

7.3.2 Opinie- en houdingsvragen

Opinievragen bedoeld om “attitude” (houding) te meten– = niet rechtstreeks waarneembaar– Attitude = neiging om iets (een “psychologisch object”) systematisch positief of negatief te evalueren =

subjectief en persoonlijko Kenniscomponent: je weet iets over het themao Gevoelscomponent: je voelt er iets bijo Gedragscomponent: je gedraagt je er op een bepaalde manier tegenover

– Discrepantie tussen houdingen en gedragingeno Andere contexto Overeenstemming: attidusterkte

Voorbeeld. “attitude tegenover aanwerving van migranten in bedrijf”– Kennis

o Werken even hard als Belgeno Gedragen zich loyaal tegenover werkgever

– Gevoelo Positief*

– Gedrago Niet discrimineren bij aanwerving

De richting van de attitude kan ook negatief zijn: perceptie van negatieve feiten, negatief gevoel, negatief gedrag

Opinie meten veronderstelt dat mensen een opinie hebben– Maar is niet steeds het geval!– Vb. houding tegenover Europese Parlement

o Voor veel mensen een ver-van-mijn-bed-show, dus heeft men er eigenlijk geen opinie over– Ook onderscheid tussen sterke en zwakke attitudes!

33

A het beantwoorden van opnievragen: RAS-model van Zaller– Reactie tegen “fichebak model”

o Wat is uw houding tegenover pizza met ansjovis? Even het kaartje “pizza met ansjovis” opzoeken in mijn mentale fichebak en het antwoord

genereren– Mensen “maken” hun attitude (volgens het RAS model)

o Opinie over doodstraf: nooit over nagedacht nadenken en overwegingeno Veel over het onderwerp weten voor de vraag geen opinie hebben

– Veelzijdige opinieExterne factoren: media

o Correcte antwoord bestaat niet

RAS model– Mensen zijn ambivalent en staan constant bloot aan informatie stromen (= Receive )

o Sommige info slaan ze op = Accept, receptieo Andere niet (evt. wegens weerstand) = Resistentie

– Als gevolg veel overwegingen in hun hoofd, allemaal wel iets te maken met de attitude– Op moment dat je het hen vraagt: ze rakelen een aantal overwegingen op (= Sample ) , en “knutselen” het bij

mekaar tot een “opinie”

RAS model: receive

RAS model: resistence, accept

Bent u ervoor of ertegen dat geweld wordt getoond in tekenfilms voor kinderen?”– Voor– Tegen

34

Predispositie – = afhankelijk van betrokkenheid bij onderwerp om bepaalde informatie wel op te slaan en andere niet

Vier axioma’s– Receptie axioma

o Begrijpen en ontvangen stijgt als cognitieve engagement tot issue groter is– Resistentie axioma

o Toehoorders hebben weerstand tegen argumenten die inconsistent zijn met presdispositieso Verband leggen tussen boodschap en predisposities

– Accessibility axiomao Respondent gebruikt informatie die het gemakkelijkst bereikbaar is en minst tijd vergto Meestal meest recente informatie = information accessibilityo Massamedia of informatie uit voorafgaande vragen

– Response axiomao Respondenten antwoorden uit overwegingen die het meest toegankelijk zijn

Belang!– Verklaring voor gebrek aan stabiliteit van de antwoorden op opinievragen– Verklaring waarom antwoorden stabieler zijn bij degenen die sterkere opinies hebben

o Bewuster met informatie omgaan– Aanzet voor het beantwoorden van complexe vraag als kans toeneemt om werkelijk van opinie te

veranderen– Belang van het discours onder politieke elites en aanwezigheid van massamedia

Centrale” versus “perifere” routeWaarom slechts steekproef van overwegingen?

– Psychologisch model: “centrale” versus “perifere” routeo Centraal = informatie diepgaand verwerken. Cognitief belastend!o Perifeer = informatie oppervlakkig verwerken, op basis van “heuristieken” (vuistregels). Cognitief

veel gemakkelijker.

Wanneer welke route?– Belang (motivatie)

o Nieuwe mp3 speler kopen: alles zorgvuldig overwegen (functies, prijs, design, merk,…).o Balpen kopen: “moet gewoon schrijven”

– Taakmoeilijkheid / cognitieve vaardighedeno Europese verkiezingen: “ik snap er niks van, maar politica X ziet er wel sympathiek uit. Ik zal voor

haar stemmen”

35

Extremen op continuüm

– Nooit absoluut centraal of perifeero Maar meer van het ene of meer van het andereo Bvb. mp3 speler kopen: “merk” overwegingen zijn perifeer! (“Sony is goed”, “Ipod is duur voor wat

het is”, “X is brol”)

Enquête meestal niet erg belangrijk voor de ondervraagde– Meer aan de perifere kant– Dus enkel steekproef van overwegingen

o De info die snel toegankelijk is zal antwoord bepalen (“information accessibility”)o Maar vraagverwoording kan oproepen van sommige info gemakkelijker maken…o of kan zelfs sommige info op voorhand “oproepen” en dus zo het antwoord sturen (=“priming”)

Consequenties?– Als je de vraag een beetje anders stelt: andere overwegingen worden geactiveerd

o Dus andere gerapporteerde opinie!– Dus opinie vragen waarschijnlijk erg gevoelig voor formulering, de context en de moeilijkheidsgraad van de

vragen– En voor de motivatie en “cognitieve vaardigheden” van de respondent – Er speelt ook een conversatie component mee = conversatienormen

Samenvatting– Feiten, gedragingen, gebeurtenissen

o Bedreigende vs. niet-bedreigende– Demografische vragen– Kennisvragen– Opinie- en houdingsvragen

o Theoretisch model: (RAS model)o Enkele voorbeelden van problemen en aanbevelingen

Opinievraag om attitude te meten– Attitude = “neiging om iets (een “psycho-logisch object”) systematisch positief of negatief te evalueren

o Kenniscomponent: je weet iets over het themao Gevoelscomponent: je voelt er iets bijo Gedragscomponent: je gedraagt je er op een bepaalde manier tegenover

RAS model (Zaller, 1992) – Receive : informatiestromen bereiken individuen– Accept : sommige informatie wordt geaccepteerd – Resistence : andere informatie niet niet geaccepteerd– Op moment van bevraging: “steekproef” van overwegingen ( Sample ) waarmee antwoord wordt opgebouwd

ConversatienormenPragmatically significant answer

– Enkel zeggen wat betekenisvol is voor interviewstero Informatief in het licht van (veronderstelde) bestaande kenniso Bruikbaar voor (veronderstelde) doel vh gesprek

36

centraalperifeer

o Vraagt niet meer inspanning dan nodig bij ondervraagde

Given new contract– Veronderstelling dat interviewster enkel info zal vragen die ze nog niet weet.– Inclusion / exclusion model hierop gebaseerd

o Enkel info waarvan men denkt dat de interviewer die nog niet heeft moet opgenomen worden (inclusion)

o De rest niet (exclusion) Ook wat “niet hoort”, waarmee de interviewer “geen zaken heeft”

B De gevoeligheid van opinievragen voor formulering en context– Afkomstig van split ballot experimenten = vergelijkbare toevalssteekproeven met éénzelfde vraag in

verschillende varianteno Vergelijkbaar verschillen in vragen

– Inzichten uit psychologieo Voor alle types survey onderzoek

– Inzichten uit linguïstieko Voor survey onderzoek via interviews

Vier types “effecten” op antwoorden op opinievragen1. Overtuigingskracht van de vraag2. “Question constraint” (onuitgesproken spelregels)3. Onbedoelde info in antwoordschalen4. Referentiekader ondervraagde 1. Overtuigingskracht van de vraagRespondent in bepaalde richting sturen: manipulatie

– Eenzijdige argumenten in de vraag– Gekleurde informatie in inleiding tot de vraag– Onevenwicht in vraagformulering– Onevenwicht in antwoordcategorieën

Eenzijdige argumenten in de vraag– “Vindt u het een goede zaak dat de regering soms bijzondere machten heeft om sneller noodzakelijke

maatregelen te kunnen nemen?”o Ja: 73,2%o Neen: 26,7%

– “Vindt u het een goede zaak dat de regering soms bijzondere machten heeft?”o Ja: 62,9%o Neen: 37,1%

Onevenwicht in de vraagformulering– “Vindt u het een goede zaak dat de regering soms bijzondere machten heeft?”

o Ja: 62,9%o Neen: 37,1%

– “Vindt u het een goede of een slechte zaak dat de regering soms bijzondere machten heeft?”o Een goede zaako Een slechte zaak

Onevenwicht in antwoordcategorieën– Hoe tevreden was u met de dienst na verkoop van deze winkel?

o Volledig tevredeno Eerder tevredeno Nogal tevreden

37

o Noch tevreden, noch ontevredeno Ontevreden

– Hoe tevreden was u met de dienst na verkoop van deze winkel?o Volledig tevredeno Eerder tevredeno Noch tevreden, noch ontevredeno Eerder ontevredeno Helemaal ontevreden

2. Question constraint – Respondenten houden zich aan onuitgesproken spelregels van sociale interactie: “antwoord op de vraag,

niet tegenspreken” (vrnl. inzichten uit linguïstiek hier van belang)– Bv. wie eigenlijk geen mening heeft zal toch een antwoord geven

Voorbeeld. 7.12: ‘geen mening’ filter

– Wie geen mening heeft kiest waarschijnlijk “noch noch” indien de “geen mening” optie er niet staat =‘question constraint ’

– Regel: maak onderscheid tussen “neutraal midden” en geen mening door “geen mening” als laatste categorie aan te bieden

o Prijs is natuurlijk verlies aan data!

Voorbeeld. 7.15– “2 werknemers, een Vlaming en iemand van een etnische minderheidsgroep. Op alle punten zijn beide

werknemers gelijk. Als één van hen ontslagen moet worden, wie moet dat dan zijn: de werknemer behorend tot de minderheidsgroep of de Vlaamse werknemer?”

– Of mag dat geen verschil uitmaken? ”

Steekproef A(zonder “geen verschil” in vraag)

Steekproef B(met “geen verschil” in vraag)

38

Etnische minderheid 45,1% 25,9%

Vlaamse werknemer 7,4% 6,4%

Mag geen verschil uitmaken 39,5% (spontaan) 65,1%

Geen mening (spontaan) 7,9% 2,60%

– Als mensen niet de optie krijgen “mag geen verschil maken”, dan kiezen ze toch voor één van de twee, al zouden ze eigenlijk liever “mag geen verschil maken” zeggen (40% spontaan)

– De stabiele categorie met etnische minderheid ligt een stuk lager– A: uitgesproken categorie die discriminatie afwijst

o Spontaan voor ‘mag geen verschil maken’ kiezen– B: inzicht op meer uitgesproken neiging tot discriminatie

o Meer voor ontslag van de etnische minderheid

3. Onbedoelde info in antwoordschalen– Via antwoordschaal op onbedoelde en ongewilde wijze informatie verschaffen voor R– Idee te vormen over “ware verdeling” in populatie.

o Het midden is het modale gedrag extremen = outlierso Dit is een “heuristiek” (cf. perifere route)

– “Waar zou ik ongeveer zitten tegenover de rest?”

Vb. aantal uren TV kijken – A: schaal met lage waarden– B: schaal met hoge waarden

Voorbeeld. 7.13– “Er wordt soms beweerd dat werklozen niet willen werken. Hoe groot schat u het percentage werklozen dat

niet wil werken?”

Antwoord Gesloten vraag % Open vraag %

< 5% 18,3 5,6

5-9% 27,8 2,8

10-14% 28,8 21,4

15-19% 8,4 5,6

20 of meer 16,7 62,4

Weet niet 0 2,8

– Met open vraag: R kan geen beroep doen op schaal om af te leiden waar het ware antwoord ongeveer zal zitten.

39

o Resultaat: grove overschattingo Ook geduwd in die richting door eenzijdig argument in vraag “er wordt soms beweerd dat werklozen

niet willen werken”)– Gesloten vraag: geeft idee over waar de werkelijke waarde zal liggen (niet in extremen)

4. Context effecten– Referentiekader van de ondervraagde– Context van een vraag = “vorige vragen” en de antwoorden daarop

o Antwoord in overeenstemming brengen “carry-over effect”

o Of juist contrasteren met vorige antwoorden “contrast effect” of “backfire effect”

Voorbeeld 7.14: algemene vs. specifieke vraag over abortus: in welke volgorde stellen? – Algemene vraag wordt beperkter in context van voorafgaande specifieke vraag

Algemene vraag– “Vindt u dat het voor een zwangere vrouw wettelijk mogelijk moet zijn een abortus te ondergaan als ze

gehuwd is en geen kinderen meer wil?”Specifieke vraag

– “Vindt u dat het voor een zwangere vrouw wettelijk mogelijk moet zijn een abortus te ondergaan als er een grote kans bestaat dat haar baby ernstig gehandicapt zal zijn?”

Als volgorde van vragen geen effect heeft, – Verwachten we even groot % voor en tegenstanders op de specifieke vraag, ongeacht of ze nu eerst komt of

als tweede – Verwachten we even groot % voor en tegenstanders op de algemene vraag, ongeacht of ze nu eerst komt of

als tweede

Antwoorden op specifieke vraag– Als eerst specifiek en dan algemeen:

o 89% voor, 11% tegen– Als eerst algemeen en dan specifiek:

o 93% voor, 7% tegen– Zeer klein verschil

o Statistische test: p>0,05 dus GEEN VERSCHIL– Dus: specifieke vraag niet gevoelig voor vraagvolgorde

Antwoorden op algemene vraag– Als eerst specifiek en dan algemeen:

o 40% voor, 60% tegen– Als eerst algemeen en dan specifiek:

o 56% voor, 44% tegen– Groot verschil

40

o Statistische test: p<0,05 dus VERSCHIL– Dus: algemene vraag wel gevoelig voor vraagvolgorde

moeilijk om nog voor abortus in het algemeen te zijn

Verklaring van dit soort effecten: – Vorige vragen vestigen aandacht op onderwerp zodat de antwoordverdeling wijzigt– Vorige vraag maakt dat betekenis van de volgende vraag wijzigt

o Sluit aan bij “given new contract” (contrast, “nu gaat het over iets anders”)o Toepassen op het abortus voorbeeld

Dus beter eerst de algemene vraag stellen, en pas daarna pas de specifieke– Of enkel specifieke vragen gebruiken– Of aankondigen dat er twee vragen zijn– In algemeen: best geen al te algemene vragen gebruiken. Stel liever specifieke vragen– Maar in geval van twee specifieke vragen kunnen zich ook volgorde effecten voordoen– Twee soorten effecten: assimilatie en contrast

Dit was vb. van contrast effect (of backfire effect)– Als eerst specifieke vraag (handicap), dan lijkt tweede vraag te gaan over alle overige situaties (“ given new

contract ”), dus buiten “groot risico op handicap”. En dan zal men minder geneigd worden om “voor” te zeggen.

o Dus contrast effect tussen twee vragen. De specifieke vraag wordt gecontrasteerd met de algemene.

Waarom een contrast effect?Sleutel om op te lossen:

– kijk naar de vraag waar volgorde effect heeft (algemene vraag)– bekijk eerst situatie ZONDER effect (algemene vraag eerste)– vergelijk dan met situatie waar effect is (algemene op tweede plaats)– indien verschil tussen de twee vragen toeneemt, dan is er contrast

– Hier wordt antwoord op 2de vraag in overeenstemming gebracht met 1ste vraag (voor groep A)– Hun antwoord op 2de vraag ligt in lijn met dat op 1ste vraag– = consistentie of carry-over effect – “ priming ” hier van belang: de “reden” werd al gegeven in de eerste vraag, dus in de tweede vraag wordt

deze herhaald

Besluit– Precieze en objectieve regels om vragen te formuleren of kwaliteit ervan te oordelen

o Mogelijke manipulaties aanwijzen– Twijfel over goede formulering

o Effect van formulering of volgorde bekend– Meerdere varianten gebruiken

41

C Een verklaring van effecten van de vraagverwoording– Eerste fase: meten en verklaren van responseffecten = nadruk bij ons – Tweede fase: vermijden van fouten

Geïntegreerd model 1. Interpretation 2. Information retrieval 3. Editing the response4. Mapping response onto response categories

1. Interpretation Moeilijke termen, gekleurde woorden

2. Information retrieval – Geheugen aftasten: heb ik daar een opinie over?– Indien niets gevonden: opinie “fabriceren”– Overwegingen selecteren en integreren tot een opinie (zie RAS model)– Externe factoren helpen het antwoord vormen

o Context vraaggesprek– “accessibility” hier van belang: gebruikte vraagverw. en aangeboden antwoordcat., “priming” maken

sommige overwegingen meer bereikbaar: stuurt antwoord

3. Editing the responseConversatienormen: interpreteren en beantwoorden van vragen

– Welk antw. is meest betekenisvol voor interviewer (pragm. sign. answer)o Respondent kent kennis en belangstelling interviewer

– Wat weet interviewer al en kan ik weglaten (given new contract)o Respondent denkt dat interviewer antwoord niet kento Inclusion/exclusion = algemeen: gebruik van gemakkelijk toegankelijke informatie

– Bijsturen antwoord in licht van “aanvaardbare” antwoorden (sociale wenselijkheid)

4. Mapping response onto response categories – Hoe mijn antwoord in het “keurslijf” van de antwoordcat. krijgen? – Welk antw. cat. past het beste bij mijn antwoord?

– Effect ‘geen mening filter’ door vermelding ervan in vraagtekst– Gebruik van ‘mag geen verschil uitmaken’ als hint van de interviewer– Respondent grijpt terug naar informatie uit voorgaande vragen

42

D. Regels voor het ontwerpen van opinievragen1. Duidelijk omschrijven van attitude object, niet vaag blijven

– Concepten moeten eenduidig zijn

2. Drie aspecten aan attitudes– Cognitief, affectief/evaluatief, gedragscomponent– Duidelijk weten wat je wil meten

o Affectief: pro en contra gevoelenso Cognitief: bekendheid van verscheidene aspecteno Gedrag: bereidheid om activiteiten te ontplooien

– Merk op: componenten hangen samen, maar niet perfect!

3. Richting houding ≠ sterkte houding!– Sterkte: belang dat men eraan hecht, intensiteit en centraliteit van gevoelens

o Niet meten door sterk voor - sterk tegen = verfijning van richtingo Meten door aparte vragen: open vraag

4. Richting houding ≠ sterkte houding!– Richting = mate van extremiteit

o Meten door meerdere vragen over meerdere aspecten– Verfijnen door antwoordschaal of tweetrapsvraag

Voorbeeld: tweetrapsvraag

Welke drie onderwerpen zijn voor u de belangrijkste thema’s voor deze verkiezingen?1. Belastingen verlagen2. Staatshervorming doorvoeren3. Invoeren van gemeentelijk stemrecht voor migranten4. Werkgelegenheid verzekeren5. Jobs creëren

5. Duidelijk omschrijven van attitude object– Slechts één attitude object in vraag– Tenzij ze samen voldoende eenheid vormen

6. Alle antwoordalternatieven geven!– Mensen spelen spel volgens de regels, te weinig gemotiveerd om zelf antwoorden te verzinnen– Vooral geen antwoord categorieën vergeten

7. Nieuwe vragen uittesten vooraleer te gebruiken– Indien ze een effect kunnen hebben: experiment (‘split-ballot’) om dit na te gaan

8.Vergelijkingen over de tijd:– Vraag en context perfect gelijk houden

43

– Indien nieuwe versie: zowel oude als nieuwe samen gebruiken om te zien of ze zelfde resultaat op leveren. Pas daarna de oude echt weglaten

9. Liever specifieke dan algemene vragen– Minder onderhevig aan context effecten

o Zie abortus vraag– Betere voorspellers van gedrag

10. Geen mening antwoord– Spaarzaam mee zijn! Respondenten kiezen het té gemakkelijk

o Zich niet inspannen– Rekening houden met analyse: “listwise deletion”. Alle observaties

waarvoor één ontbrekende waarde: verloren!

11. Gebruik gebalanceerde schalen– Gaat volgzaamheid tegen (“ja” zeggen, “acquiescence”) of laat

tenminste toe deze bias te detectereno Evenveel positieve als negatieve uitspraken

SamenvattingOpinievragen om attitudes te meten

– Theoretische inzichten uit psychologie:o RAS modelo Centrale vs. perifere route

– Theoretische inzichten uit linguïstieko Conversatienormen

7.3.3 Het registreren van de antwoorden op vragen

– Eentonigheid en routine vermijden– Open vraag: respondent vrij de om in zijn eigen woorden te

antwoorden– Gesloten vraag: antwoordmogelijkheden liggen vast = minder

inspanning

A. Open vragen– Interessant om R wat ademruimte te geven– Maar zeer lastig om te analyseren = niet vergelijkbaar– Geheel van specifieke vragen inleiden of aflsuiten

B. Gesloten vragenAlgemene regels voor gesloten vragen

– Bij de vraag passende respons opties voorzien– Respons opties moeten elkaar uitsluiten– Geen overlap in respons opties– Bij lange lijsten, zo weinig mogelijk “duidt alles aan wat van toepassing is” maar vraag telkens “ja” of “neen”

te antwoorden

Bij de vraag passende opties:– “Uit angst dat ik word overvallen sluit ik altijd onmiddellijk mijn wagen als ik instap”

o Helemaal eenso Eerder eenso Noch eens, noch oneens

44

1 3 5 2 .

o Eerder oneenso Helemaal oneens

– “Uit angst dat ik word overvallen sluit ik altijd onmiddellijk mijn wagen als ik instap”o Jao Neen

Regel: Geen “eens….oneens” bij feitelijke vragen over wat je zelf doet, men gebruikt hier zelfs beter een vraagvorm in plaats van uitspraak…

Bij de vraag passende opties– Gaat u vaak naar het fitness centrum?

o Meer dan een keer per weeko Eens per weeko 2 of 3 keer per maando Eens per maando Nooit

– Hoe vaak gaat u naar het fitness centrum?o Meer dan een keer per weeko Eens per weeko 2 of 3 keer per maando Eens per maando Nooit

Elkaar uitsluitende respons opties– Hoe hebt u onze winkel leren kennen?

o Via een advertentieo Via het interneto Via de gouden gidso Via vrienden of familieo Via de krant

De gouden gids raadplegen kan ook via het internet, een advertentie kan ook in de krant verschenen zijn (hoeft niet op radio of tv)

Geen overlap in respons opties– Hoeveel bedraagt uw maandelijks netto inkomen?

o 1000 euro of mindero 1000-1250 euroo 1250-1500 euroo 1500-2000 euroo Meer dan 2000 euro

– Hoeveel bedraagt uw maandelijks netto inkomen?o 1000 euro of mindero 1001-1250 euroo 1251-1500 euroo 1501-2000 euroo Meer dan 2000 euro

Zo weinig mogelijk “duid alles aan wat van toepassing is” vragen (“check-all-that-apply”)– Welke sporten hebt u sinds 1 september vorig jaar beoefend?– U kunt meerdere antwoorden aanduiden

45

Hebt u sinds 1 september van vorig jaar...– Badminton gespeeld? JA NEEN– Basketbal gespeeld? JA NEEN– Aan bowling gedaan? JA NEEN– Voetbal gespeeld? JA NEEN– Golf gespeeld? JA NEEN– Handbal gespeeld? JA NEEN– Squash gespeeld? JA NEEN– Gezwommen? JA NEEN– Tennis gespeeld? JA NEEN

Hebt u in die periode nog andere sporten beoefend?– Ja: specificeer:– Neen

Reden!– Respondenten lezen niet alle antwoord-mogelijkheden

o Primacy effect : vooral bovenstaande categorieën worden gekozen

Types gesloten vragenB1. Antw. cat. niet expliciet in de vraag

– Vb. Ja/neen vragen:o “Bent u tevreden met uw werk?”o “Is het prettig om in deze wijk te wonen?”

– Na instructie:o “In welke mate gaat u akkoord met volgende uitspraken? Antwoord met helemaal eens, eerder

eens, noch eens noch oneens, eerder oneens en helemaal oneens” Kinderen onder de 3 jaar worden best door hun ouders opgevoed (1) Men stuurt kleuters best zo vroeg mogelijk naar school (2)

– Zeer gericht– Ook bruikbaar voor schaaltechnieken met pro (1) en contra (2) uitspraken

46

Handbal Squash Zwemmen Tennis Andere,

specificeer

Badminton

Basketbal Bowling Voetbal Golf

B2. Antwoordmogelijkheden in vraag– Contrastvragen (2 contrasterende mogelijkheden)

o “Vindt u dat migranten die hier wonen zich voldoende inspannen om Nederlands te leren of vindt u dat zij zich niet voldoende inspannen?”

o “Vindt u dat migranten die hier langer dan vijf jaar legaal wonen gemeentelijk stemrecht moeten krijgen of vindt u van niet?”

– Forced choice o Gedwongen te kiezen uit een van de mogelijkheden (contrast of niet) o Dwingt R om na te denken, en niet gewoon “JA” te zeggen of “akkoord”o “Hebben de christen-democraten meer dan de liberalen bijgedragen tot de sanering van de openbare

financiën in de vorige regering?” Gemakkelijk antwoord = ja (christen-democraten)

o “Welke regeringspartner heeft in de vorige regering het meest bijgedragen tot de sanering van de openbare financiën, de christen-democraten of de liberalen?”

Meestal andere antwoordalternatief kiezen (liberalen)– Uit “gemak” ja zeggen/akkoord zijn = “ volgzaamheidsbias ” of “acquiescence ”

o Respons set = een systematische manier van respondenten om te antwoorden.o Vb. Batterij items om functioneren van politiediensten in België te evalueren, maar R wil er niet echt

over nadenken of weet er niet genoeg over

Helemaal eens

Eerder eens

Eerder oneens

Helemaal oneens

1. Burgers werken makkelijk samen met de politiediensten

R

2. Politiediensten werken onderling slecht samen R

3. Politiediensten beschikken over voldoende middelen

R

4. Politiediensten worden slecht geleid R 5. Politiediensten werken professioneel R 6. Politie en justitie werken moeilijk samen R

– Bij gebalanceerde schaal kan je dit zieno R geeft inconsistente antwoordeno Zou eigenlijk “van kant moeten wisselen”, maar doet dit niet

– Bij niet-gebalanceerde schaal zou je het niet zien...o Dus steeds gebalanceerde schalen gebruiken, en checken op mensen die op één kant blijven zitten

Meerkeuzevragen– Meer dan 2 antwoordmogelijkheden

o Heel sterk tegen, redelijk sterk tegen, eerder tegen, eerder voor, redelijk sterk voor, heel sterk vooro Helemaal eens, eerder eens, noch eens noch oneens, eerder oneens, helemaal oneens

– Bij persoonlijk interview: vanaf meer dan 3 antwoordalternatieven: antwoordkaarten gebruiken

Hoe zou je jouw kot omschrijven?

47

B3. Niet-alternatieve antw. categorieën– R mag meerdere antwoorden aanduiden– Soms onbeperkt, soms beperkt ≠ door onderzoeker

o Naar welke TV zenders gekeken afgelopen week? (onbeperkt)o Voor welke politieke partijen hebt u al allemaal gestemd? (onbeperkt)o Welke 3 eigenschappen zijn volgens u het belangrijkste voor kinderen van 12 jaar? (beperkt)

B4. Rangschikkingsvragen – “Welke 3 eigenschappen zijn volgens u het belangrijkste voor kinderen van 12 jaar?”

o Je krijgt er wel 3, maar welke is nu hét belangrijkste?– Vragen om te rangschikken

o Kan snel heel moeilijk worden!

a. Rangschikken uitersten– Gekozen uitersten meedelen + ordenen– Welke 3 eigenschappen zijn volgens u het belangrijkste voor kinderen van 12 jaar?

o (R zegt 3 eigenschappen)– Welk van deze 3 eigenschappen vindt u het belangrijkste?

o (R zegt 1 eigenschap)– Welk van de twee overblijvende eigenschappen vindt u het belangrijkste?

o (R zegt 1 eigenschap) – Prioriteiten achterhalen van R = R middelen verschaffen die hij moet verdelen

o Politieke doeleinden: beperkt budget verdelen over veel doeleinden

b. Rangschikken van alle mogelijkheden– Antwoordcategorieën volgens een criterium ordenen– “Hieronder staan enkele eigenschappen die kinderen van 12 jaar kunnen hebben. We willen u vragen deze

eigenschappen van belangrijkste naar minst belangrijke te ordenen. Dus zeg mij eerst wat u de belangrijkste eigenschap vindt, daarna de tweede belangrijkste eigenschap”

c. Partieel rangschikken van telkens enkele mogelijkheden– Gebruikt indien veel mogelijkheden: enkele vergelijken en ordenen

o Paarsgewijs (per twee) Aantal vergelijkingsparen erg groot

o Triades (per drie) Rangschikking van drie categorieën: tradia drie paarsgewijze vergelijkingen Één vergelijken met 2 andere

48

KAART 31. Een kamer in een peda of residentie van de universiteit 2. Een kamer bij een particulier3. Een studio4. Een appartement 5. Een kamer in een gemeenschapshuis6. Een kamer in een huis of pand waarvan mijn ouders de eigenaar zijn7. Andere, specificeer

Voorbeeld 7.19 Paarsgewijs– Welk van deze twee vindt u telkens het belangrijkst– Warme maaltijden - gemengde klassen– Warme maaltijden - voor- en naschools toezicht– Gemengde klassen - voor- en naschools toezicht

Voorbeeld 7.20 Triades– Meest belangrijk = 1, volgende = 2, minst belangrijk = 3– Warme maaltijden 3– Gemengde klassen 2– Voor- en naschools toezicht 1

d. plaatsen op een continuüm– “Zelfbeoordelingsschalen” of “self rating scales”– Continuüm onderverdeeld in oneven aantal categorieën (5, 7, 9, 11)

Hoe belangrijk of onbelangrijk vindt u elk van onderstaande zaken bij de aankoop van een gsm?”

Onbelangrijk Belangrijk

-3 -2 -1 0 +1 +2 +3

Camera

FM player

Prijs

“Hoe belangrijk vindt u elk van onderstaande zaken bij de aankoop van een gsm?”

Niet belangrijk Belangrijk

0 1 2 3 4 5 6

Camera

FM player

Prijs

– Nummeren van -3 tot +3 of van 0 tot en met 6?o Als “bipolair” en we willen echt duidelijk maken dat er een middenpunt is: - naar + of omgekeerdo Als “unipolair” (gevoel kan maar in één richting gaan): van 0 tot en met 6 (of 1 tot en met 7)

– Semantische differentiaalo Associatieve betekenis bij een attitudeobjecto Tegengestelde adjectieven: bipolairo Enkel de uiteinden zijn benoemd (“gelabeld”)

Vb. Als u denkt aan BMW, wat roept dit bij u op?Actief PassiefOud JongLangzaam SnelDuurzaam Niet duurzaam

49

B5. Numerieke schalenAantal punten

– 4 à 7, afhankelijk van situatie en doel (te maken construct of schaal)o Metrische latente variabele verwerkt als quasi-metrisch: 5 of 7o Categorische latente variabele: 2 tot 4o Scheefheid verwacht: differentiëren

Alle punten benoemen (labelen) of enkel de uiteinden?– Afhankelijk van analyse doel

o “Item op zichzelf gebruiken”: alles labeleno 7 punten schaal: geen labels alleen uiteindeno Aangepaste benaming van categorieën: eens, oneenso Labels tot 6 punten

– Veronderstelt kennis van analyse techniekeno “Op zichzelf gebruiken” betekent dat in rapportering aandacht wordt gegeven aan elke categorie

apart.

Voorbeeld– Sommige mensen voelen dat zij helemaal geen racist zijn. Anderen vinden dat zij heel racistisch zijn. Hoe voelt

u zich?o Helemaal niet racisto Eerder niet racisto Eerder wel racisto Heel racist

Als dan 55% van de R zich in één van de twee laatste categorieën plaatst: uitspraak is verantwoord.

Voorbeeld 7.1 uit een Eurobarometer vraag in 1997Bestempelt 55% van de Belgen zichzelf als racist?

(Eurobarometer ‘97: vraagtekst)

“Sommige mensen voelen dat zij helemaal niet racistisch zijn. Anderen vinden dat zij heel racistisch zijn. Bekijk deze kaart en geef mij het nummer dat uw eigen gevoelens daaromtrent toont. Als U zich helemaal niet racistisch voelt, geef dan score 1. Als U zich heel racistisch voelt, geef dan score 10. De scores tussen 1 en 10 geven weer hoe dicht U bij de ene of de andere zijde staat”.

Maar antw. cat. in een Eurobarometer van 1997 waren

– Verwoording vraag: Niemand bestempelt zichzelf als racist– Met deze antwoordschaal kan je het item maar moeilijk op zichzelf gebruiken.– Het enige dat je kan zeggen is: x% heeft categorie “7” of “3” aangeduid. En dat zegt niets

MAAR DE ONDERZOEKERS DEDEN ALS VOLGT

50

Heel racistHelemaal niet racist

1 2 3 4 5 6 7 8 9 10

55% noemt zich racistisch!Latente variabelen maken met items (vragen of stellingen)

– Factor analyse– Likert schalen

– Hier gebruik je info uit verschillende items om er één latente variabele van te makeno Info in verschillende items best zo “fijn” mogelijk (veel differentiatie).

Metrische latente variabele vs. latente klasse variabele (categorische latente)– Metrische: hogere score = meer van iet

o Vb. “Onveiligheidsgevoelen”: hoe hoger de score, hoe meer men zich onveilig voelt– Categorische benadering: maakt “types” van mensen

o Vb. NLSY (National Longitudinal Survey of Youth, VS)o Op basis van 17 antisociale gedragingen (Ja/neen vragen, 0/1 score) maken we “types”

Resultaat analyse: één variabele met cat.1. Property Offense Class (9,8%)

– Mensen die eigendommen beschadigen, winkeldiefstallen plegen, geld stelen, inbreken in gebouw, gestolen goederen

2. Substance Involvement Class (18,3%)– Mensen die marihuana en andere drugs gebruiken

3. Person Offenses Class (27,9%)– Mensen die vechten, bedreigen, bedriegen

4. Normative Class (44,1%)– De jongeren die zich aan de normen (regels) houden

Verwachte scheefheid.– Vb. Je verwacht dat mensen niet erg veel boeken lezen. De meerderheid zal er 0 tot 5 lezen, een minderheid

leest er meer

Neutraal middenpunt en “geen mening”?– Nooit samen gebruiken– Forced choice : geen middenalternatief– Unipolaire schaal (weinig => veel): middenalternatief gebruiken

51

– Indien “weet niet” of “geen mening” logisch mogelijk is (concreet onderwerp) dan mag je “geen mening” of “weet niet” aanbieden

o Niet te veel aanbieden, want veel dataverlies!! (cf. listwise deletion) C. Algemene regels

– Keuze tussen open en gesloten vragen: nooit veldcoderen!– Gesloten vragen laten volgen door open vragen als check

o Verminderen van gokken– Sociaal wenselijke antwoord niet eerst aanbieden– Bij numerieke responsschalen gebruik maken van hulmiddelen– Primacy en recency effecten : “duid alles aan” vragen omvormen tot JA/NEEN vragen

o Primacy : eerst aangeboden categorie meer gekozeno Recency: laatst gehoorde antwoord kiezen

7.4 Richtlijnen bij het voorbereiden van de vragenlijst– Optimaal verwoorden van vragen– Checken of er al vragenlijsten bestaan– Vragen aan grondig onderzoek onderwerpen

7.4.1 Het gebruik van cognitieve interviewtechnieken bij voorbereiding

A. Expertevaluatie– Beoordelen van experts = inhoudsanalyses– Verwoordingen die moeilijkheden brengen ontdekken– Voorbereidende gesprekken

B. Uitgebreid interviewen– “ think aloud ”

o Vraag stellen en R hardop laten nadenken om te zien waar hij/zij aan denkt– “ probing ”

o Doorvragen om te zien waarop het antwoord gebaseerd is– Gelijktijdig bij antwoorden of retrospectief– Dieper ingaan op spontane opmerkingen: hoe worden vragen geïnterpreteerd

C. Doelgerichte methodes– Particuliere component van het proces– Parafraseren van de vraag: herhalen van vraag in eigen woorden van respondent– Vrije sorteertaken: niet-verbale opdrachten ter vervanging van verwoording

o R kan onderliggende dimensie niet onder woorden brengeno Vrije classificatie: uitspraken sorteren volgens eigen gekozen criteriumo Dimensionele classificatie: gesorteerd volgens criteria van onderzoekero Groeperen via theoretische dimensie van concepto Vignette-classificatie: beschrijving leest en dan plaatsen binnen set

D. Groepsmethodes– Focusgroepen, groepsinterviews en groepsexperimenten– Betekenis van vragen als voorwerp voor discussie tussen studenten of experts

o Invullen van vragenlijst = discussie observeren– Achtergrondinformatie verzamelen

7.4.2 Participerend en blind uittesten

– Participerend: R weet dat het een testinterview is52

– Blind: R weet dit niet– Doel = nagaan of betekenis vragen goed overkomt (=zelfde als bij cognitief interviewen)

o Kan vragenlijst vlot en inadequaat ingevuld worden

A. Testen van specifieke vragen– Vragenlijst uittesten bij zeer verscheiden groep– Beoogde betekenis overeenkomt bij R?– Moeilijkheid van de taak: geen geldig antwoord– Voldoende interesse en aandacht

B. Testen van VL als geheel– Overgangen vlot?– Volgorde onderdelen goed?– Verwijzingspatroon in orde?– Duurtijd? – Voldoende aandacht en interesse

C. Enkele aandachtspunten:– Na testfase: herwerken én opnieuw testen! = twee fasen!– Meestal gesloten vragen– Testinterviews niet langer dan twee x duur van interview– Pretest meet 25-50 proefrespondenten– Proefrespondenten: uit doelpopulatie, maar zo veel mogelijk verscheidenheid (soort theoretische

steekproef)– Goede interviewers, zelf interviewen– Op band opnemen!– Interviewer een lijst met vragen bezorgen– Ervaringen bespreken met interviewers– Schriftelijke VL: soortgelijke pretesting (maar dan niet in vorm van interview!)

7.5 Cross-cultureel onderzoekCross-cultureel = over “culturele” grenzen heen

– Vb. European Social Survey: 25 Europese landen– Problemen:

o Vragen in andere taal: vertaalproblemeno Heeft een concept dezelfde betekenis in een ander land?

1. Vertaalproblemen (ESS R1)

53

D51 The government should be generous in judging people's applications for refugee status.

Agree (strongly) Neither agree nor

disagree Disagree (strongly) N

Belgium 18,0 17,9 22,8 22,6 59,2 59,5 1852 Germany 15,8 15,9 24,8 24,7 59,4 59,4 2873 France 62,9 63,1 18,8 18,6 18,3 18,3 1470 United Kingdom 27,2 27,2 26,1 25,7 46,8 47,1 2028 Luxembourg 31,3 31,0 23,5 24,3 45,2 44,7 1416 Netherlands 10,0 10,0 14,9 15,2 75,2 74,8 2336

– Some people come to this country and apply for refugee status on the grounds that they fear persecution in their own country. Using this card, please say how much you agree or disagree with the following statements. “The government should be generous in judging people’s applications for refugee status”

– Des gens viennent en [pays] et demandent un statut de réfugié car ils se sentent persécutés dans leur propre pays. A l’aide de cette carte, dites-moi s’il vous plaît dans quelle mesure vos êtes d’accord ou en désaccord avec les propositions suivantes “Le gouvernement devrait être généreux en traitant les demandes du statut de réfugié”

Vertaling blijft zeer dicht bij bron, dus “gelijke stimulus” en ook vergelijkbare antwoorden (in de zin dat de antwoorden met elkaar vergeleken mogen worden)

– Certaines personnes arrivent en France et demandent le statut de réfugié parce qu’elles craignent des persécutions dans leur pays “Les pouvoir publics devraient se montrer plus ouverts dans l’examen de ces demandes”

Enkele verschillen met de bron:– “pouvoir publics” ipv “gouvernement”– “plus ouverts” ipv “plus généreux”– “ces demandes” ipv “les demandes du statut de réfugié”

Dus: slechte vertaling en daardoor geen vergelijkbare stimulus. Dus geen equivalente vraag!– Bij cross-cultureel onderzoek gemakkelijke introductie van fouten door slechte vertalingen te gebruiken

o Speciale procedures zoals “translation-back translation”o Deze is echter niet gebruikt in ESS want men komt dan tot zeer veel irrelevante verschillen, daarom

twee onafhankelijke vertalers vergelijken van verschillen beoordeeld door hoofdonderzoeker die weet waarover het gaat discussie, beslissing, annoteren dan pas vergelijken binnen taalgroepen (vb Ned, Vla)

Betekent een bepaald concept wel hetzelfde in twee verschillende culturen?– Vb. typisch Westerse concepten worden getransplanteerd naar niet-westerse culturen: “vrijheid, gelijkheid,

democratie”: in andere landen denkt men niet noodzakelijk in deze termen– Vb. Amerikaans onderzoek in Afrika: gewoon de Amerikaanse VL vertalen?– Dit is moeilijker probleem dan vertaalproblemen! Veronderstelt “feeling” met andere culturen.

8: Dataverzameling: gestandaardiseerde interviews en zelf-in-te-vullen vragenlijsten

8.1 InleidingNa planning onderzoek: data verzamelen

– Onderzoeksplanning: theorie, hypothesen, operationaliseringen, steekproeftrekking, vragenlijst opmaken.o Onder controle van onderzoeker: eigen sturing

54

– Dataverzameling: respondenten en evt. interviewers (evt. onderzoeksbureau)o Veel minder onder controle van onderzoeker: afhankelijko Kenmerken effectief waarnemen

8.2 Kiezen voor een methode van dataverzameling

8.2.1 Bondige omschrijving van de verschillende methodes

Twee belangrijke manieren om survey data te verzamelen:– Met interviewers

o Persoonlijk (face-to-face) interview = R direct en persoonlijk ontmoeteno Telefonisch interview = geen fysiek en visueel contacto Groepsenquête = vragenlijst door alle leden van groep ingevuld

– Zonder interviewerso Post-enquête = vragenlijst via post bezorgeno Web enquête

Belangrijkste verschillen– Kostprijs hoger met interview(st)ers – D atakwaliteit hoger bij gebruik van interviewers

o Op voorwaarde dat interviewers getraind zijno Maar bij sociaal-wenselijke vragen problemeno Datakwaliteit zeer ruim begrip!

Verwijst meestal naar meetbare kwaliteit van data, bv. percentage “geen mening”, mate van “differentiatie” op antwoordschalen,...

8.2.2 Computerondersteunende methodes

Survey modi Interviewer Geen interviewer

Papier PAPI (Paper And Pencil Interview)

SAQ (Self Administered Questionnaire, bv. post enquête)

Computer CAPI, CATI (Computer Assisted Personal/ Telephone Interview)

CASI(Computer assisted Self Interview, bvb. web enquête)

– CATIo Interviewer stelt één voor één vragen die op scherm verschijnen

– CAPIo Interviewer brengt draagbare PC mee en neemt interview af

– CASI

55

o R leest zelf de vragen af via een computerprogramma)o Disk-by-mail = R krijgt diskette met programma en terugstureno Electronic Mail Survey = via computernetwerken een lijst en terugsturen via emailo Tele-interview = R vult vragenlijst in om bepaalde tijd en doorsturen via modemo Touchtone Data Entry = R opbellen en verbinden met pco Voice Recognition = beperken tot ja of nee

8.3 Voor- en nadelen van de verschillende types

8.3.1 Voordelen van het interview

– Soepelheido Vraag herhalen, uitleg geven, doorvragen

– Hogere responso Minder weigeringeno 60-70% respons vs. 30-50% bij post enquêtes

– Niet-verbaal gedrago Interviewer ziet omgeving en beoordeelt die

– Controle over settingo Zijn er “derden” aanwezig? R laten antwoorden, niet familie!

– Volgorde van de vrageno Volledig onder controle van interviewer. R kan niet eerst alle vragen bekijken.o Wel manipulatie: vorige vragen bekend voor R

– Spontane uitingen registreren– Kennisvragen

o In zelf-in-te-vullen VL niet echt aangewezen– Volledigheid / adequaatheid

o Interviewer als hulp bij controleo Doorvragen, niet-adequate antwoorden opvangen en bijsturen (aanleren rol van “betrouwbare

respondent”)– Info over de tijd

o Wanneer interview gedaan? Starttijd / Eindtijd.– Meer complexe zaken

o Sortereno Veronderstelt wel dat I voldoende getraind is

8.3.2 Voordelen van schriftelijke enquêtes

– Lagere kostprijso 120-150€ F2F vs. 5-20€ post

– Tijdsbesparingo Geen capaciteitsplafond (# interviewers, # telefoonterminals).o Dus meer data op kortere tijd verzamelbaar (na 1 maand volledig rond)

– Invullen op door R gekozen geschikt momento R kan stoppen als er iets in de weg komt

– Indruk van anonimiteito Vrij om ook op bedreigende vragen te beantwoorden

– Meer gestandaardiseerdo Geen verschillen in stimuli over de R heen

– Geen interviewer effecteno Geen interviewer, dus geen effecten van deze mogelijk (zie verder)

– Gebruik van bronneno Informatie opzoeken alvorens in te vullen

– Bereikbaarheid56

o Post komt overal, interviewers niet altijd (VS: “gated communities”)

8.3.3 Voor- en nadelen van computergestuurd interviewen

Voordelen– Controle over routing

o Doorverwijzingen foutloos (indien goed geprogrammeerd!)– Controle over ingevoerde gegevens

o “On the spot checks”: direct nagaan of een bepaald antwoord wel logisch mogelijk is gegeven de andere antwoorden

– Experimenten gemakkelijk te implementereno Randomisering mogelijko Niet langer slechts 2 condities (“split-ballots”), véél meer (zelfs honderden!)

– Vermindering codeerfouten (eigenlijk “input fouten”)o Coderen = codes toekennen aan een antwoordo Inputten = gegevens invoereno Gegevens direct ingevoerd in PC, met checks (Vb. kan deze code wel?).

Uitschakelen editing- en codeerfase– Documentatie verloop (proces)

o “Process data”: voor elke vraag precieze tijdsduur, we kunnen zien of men terug is gegaan in de VL, antwoorden heeft gewijzigd

– Groter gevoel privacyo Gegevens direct in PC = anoniemer dan een papieren VL waar alles ingevuld is en zichtbaar is.

– Grotere bereidheid tot medewerking– Meer standaardisatie

o Interview proces wordt strakker in de hand gehouden, minder speelruimte voor interviewer, dus meer gestandaardiseerd

Nadelen– Kostprijs

o Vooral initiële kost (aankoop PC’s, laptops, software) + (laptop) onderhoud– Grotere rigiditeit

o Minder flexibiliteito Wat niet voorgeprogrammeerd is, kan niet (bvb. vraag overslaan, “andere” opnoemen indien niet

toegelaten,...)– Drempelvrees– Minder privacy

o Big Brother gevoel: niet vertrouwd met PC meer sociaal wenselijke antwoorden– Bekwaamheid om te typen

o Open vragen: onervaren interviews: problemen bij vlot intikken– Extra training nodig (software)– Ergonomische aspecten

o Gewicht van de computer

Computersturing– Niet enkel vragenlijst– Maar ook “case management” systeem

o Houdt bij welke eenheden (cases) al data verzameld werden, bij welke nieto Vb. CATI

57

Random Digit Dialing : software maakt random telefoonnummers aan Systeem vormt het nummer Indien beltoon: wijst toe aan een beschikbare interviewer Indien geen beltoon of geen contact: zal later (bvb. na minstens 20 minuten) opnieuw

gebeld worden Indien afspraak gemaakt (bv. “morgen om 20u”): software houdt dit bij en zal morgen om

20u bellen naar dit telefoonnummer

8.4 Het gestandaardiseerde survey-interview– Vraaggesprekken courant:

o Job interviewo Politieverhooro Journalistiek interview

– Doelo verzamelen informatieo uit mededelingen geïnterviewde persoono om een vooraf bedachte vraagstelling te beantwoorden

– Vb. Job interview:o Verzamelen informatie om de vraag te beantwoorden of sollicitant de job goed zou kunnen

uitvoeren– Vb. Politieverhoor:

o Is deze persoon een mogelijke verdachte? “is hij degene die X gedaan heeft?”

Survey interview– Eén type interview– Toegepast in sociale wetenschappen– Grote aantallen respondenten die beschouwd worden als steekproef van populatie– Via stellen van vragen achterhalen wat de “waarden zijn van een aantal kenmerken”

o Deze informatie moet kwalitatief goed zijn, anders vertekende resultaten! (datakwaliteit)o Hangt af van vragenlijst en de manier waarop interviewers hun werk doen (heel goed – heel slecht)

8.4.1 Kenmerken van het survey-interview

Gesprek tussen 2 personen, met zeer duidelijke rolverdeling– Gesprek van persoon tot persoon met duidelijke rolverderling (I en R)– Interviewer stelt de vragen

o Formulering en volgorde van vragen list vast in vragenlijsto Over meningen, gedragingen, feiten

– Geïnterviewde (=Respondent) beantwoordt deze naar best vermogeno Zo volledig en accuraat mogelijk

A. Interactie tussen 2 personen– Sociologie

o Interactie met personen als rolbeklederso Wederzijdse rolverwachtingen: reageren op basis van rollen

– Psychologie: conversatienormeno Ondervrager kent antwoord niet, wil het kennen, gelooft dat er een waar antw. bestaat, en hij denkt

dat R het antw. kan en wil geven Probleem bij informatie die R al weet (= in de val lokken)

58

o Antw. R bepaald door wat R veronderstelt dat ondervrager al weet (inclusion/exclusion model), doel vh interview, en waarde van antwoord voor ondervrager ( pragmatically significant answer )

B. Duidelijke rolverdeling– Vaste rollen– Rol interviewer = vragen stellen + motiveren en stimuleren R + evalueren

o Aanleren via “training” (zie verder)– Rol respondent = vragen zo accuraat en volledig mogelijk beantwoorden

o Onrechtstreeks aanleren via de interviewer Hoe zijn rol best spelen: adequaat inadequaat rolgedrag

o Door toepassen psychologische principes: belonen en “straffen” “goed zo”, “dank u”, “hmm” “wil u daar nog eens over nadenken”, “bent u daar zeker van” Maar nooit sturend: “amai, vindt u dat écht???”

– Respondent niet op zichzelf belangrijko Geen directe interesse in deze particuliere respondent, zoals dat wel het geval is bij job interviews,

politieverhoren,...– Maar als “vertegenwoordiger” van een categorie personen waaruit dit individu toevallig werd geselecteerd

Dubbelzinnige statuut respondent– De respondent is zéér belangrijk

o Medewerking zeer geapprecieerd, liefst niet moeten “vervangen” omdat anders kans op vertekening door selectieve uitval vergroot.

– Maar anderzijds is de respondent niet belangrijk als particulier individuo We proberen geen inzicht te krijgen in deze ene persoon. Moesten we toevallig een andere persoon

geselecteerd hebben in de steekproef, dan zou dat even goed geweest zijn. o Maar eens we een persoon geselecteerd hebben, is het uitermate belangrijk dat we deze persoon

kunnen overtuigen mee te werken (reden hierboven).

8.4.2 Functies van het survey-interview

A. Motiveren tot medewerking– Met survey in algemeen (‘unit respons’)– Op elk moment tijdens het interview (op elke vraag een adequaat antwoord geven; elke vraag

beantwoorden [=‘item respons’])

B. Verkrijgen van informatie– Vragen bedoeld om “waarde op kenmerken te bepalen”

o Dezelfde informatie vragen bij iedereen– Adequaat antwoord = antwoord dat gewenste info oplevert.

o Vb. Bent u het daarmee eens of oneens? Neen.o Vb. Hoe oud bent u? 19 (adequaat, niet noodzakelijk “waar”!, kan eigenlijk 18 zijn)

C. Aanleren adequaat respondentengedrag– R aanleren wat van verwacht wordt– Verschillende “rollen” die R zich kan aanmeten

o De volgzame respondento De R die goede indruk wil geveno De negatief ingestelde Ro De betrouwbare R

Spant zich in om vragen zo goed mogelijk te beantwoorden

59

Interviewer moet proberen dit gedrag op te wekken, te vestigen, en te ondersteunen (hulpmiddel = psychologische principes van straffen / belonen en instructies en feedback)

8.4.3 Foutenbronnen bij het survey-interview

A. Een model van het vraag-antwoord proces– 5 stappen om tot accuraat antwoord te komen– R kan op elk moment een “shortcut” nemen om cognitieve belasting te verminderen en een niet-accuraat

antwoord geven– R begrijpt vraag niet of niet gemotiveerd = situationele aanwijzingen

1. Duidelijkheid, woordgebruik en complexiteit2. Welk referentiekader relevant is en welke informatie nodig is3. Adequaat antwoord: nauwkeurigheid, volledigheid en oprechtheid4. Evaluatie van persoonlijke doelstellingen van R (goede indruk geven)5. Zich niet laten beïnvloeden door allerhande factoren = accuraat antwoord1b-4b. Context vraag en eigen opvattingen en doelstellingen situationele aanwijzing5b. Situationele aanwijzing spelen mee bij antwoord = vertekening

B. Foutenbronnen vd kant van respondent– Communicatie

o Bij onvoldoende motivatie: niet voldoende nadenken, antwoorden zijn onvolledig en onnauwkeurig, last van geheugen en weinig herinneren

o Verdringing: bedreigd voelen door informatie– Perceptie

o R kan “interview” beschouwen als iets anderso Vb. opsporen zwartwerkers. R zal informatie verzwijgen: sociaal wenselijk antwoord

C. Interviewer effecten– Interviewers kunnen fouten maken

60

o I nterviewers kunnen antwoorden van respondent systematisch fout interpreteren, in de plaats van de respondent een antwoord geven,…

– En R kan zijn antwoorden laten sturen door kenmerken van de interviewero R laat zich leiden door zijn perceptie van de interviewero Wat I zegt, hoe I zich gedraagt, zich kleedt

1. Rolafhankelijke kenmerkenAlles wat te maken heeft met rol als interviewer

– Vragen niet goed voorlezen, onvoldoende tijd laten om na te denken, vragen vergeten– Antwoorden (on-)bewust beïnvloeden: eigen opinie geven, (vage) antwoorden van R interpreteren en zelf

invullen, versterken van antwoorden door verwachtingen– Verwachtingen

o Attitudestructuur = antwoord in overeenstemming met vorige antwoorden Wat zou hij zeggen, gegeven zijn vroegere antwoorden

o Probabiliteitsverwachtingen = meest voorkomende antwoord in populatieo Rolverwachtingen = kenmerken van respondent

Het is een vrouw, dus moet ik het zo begrijpen

2. Rolonafhankelijke kenmerken– Kenmerken die niets met rol van interviewer te maken hebben (leeftijd, geslacht, kledij)– Effect als kenmerken manifest samenhangen met onderwerp– Vb. “Hebt u een seksueel overdraagbare ziekte?” % JA

Interviewer man Interviewer vrouw

Respondent man 9% 4%

Respondent vrouw 12% 23%

– Hoogste scores indien overeenstemming geslachten respondent / interviewer

8.4.4 Hoe kan de kwaliteit van het survey-interview verbeterd worden?

Kwaliteitsverbetering interviews– Maatregelen vooraf

o Selectieo Training

– Maatregelen tijdenso Supervisieo Beloning

A. Selectie van interviewsters(voor een onderzoeksproject)– Zorgvuldige selectie van de interviewers– Lijst van beschikbare en betrouwbare interviewers: ervaren interviewers

o Ervaring met interviewers in vorige projecteno MAAR! Neiging te vlug te werken

– Nieuwe interviewerso Screenen op communicatieve vaardigheden

Kan ook tijdens de “algemene training”

61

B. De training– Algemene taakuitvoering + particuliere vragenlijst als onderwerp

Algemene training– Bruikbaar voor alle survey onderzoeken– Algemene regels voor het interviewen

o Kennismaking, voorstelling van inhoud, belango Uitleg over survey-interview, voorstelling taakregels

Vragen letterlijk lezen Alle antwoordopties lezen Antwoordkaarten leren gebruiken

o Inoefenen van taakregels via rollenspelleno Aanleren van bijzondere technieken

Instructies geven aan R Feedback = R aanmoedigen bij adequaat gedrag Probing = doorvragen bij meerdere antwoorden

– Contactmoduleo Gebruik van “contactblad” (zie verder)o Contactstrategieëno Overtuigen van respondenten: medewerking bekomen

Problemen– Fysieke barrière

o Van at-home patroon van Ro Van het aantal en tijdstip van contact

– Verschillende factoren spelen meeo Sociale contexto Sociaal-demografisch kenmerko Kennis van onderwerpo Ervaring met survey

– Survey design (legnte) en samenstelling van interviewers (controle door onderzoeker)

Specifieke training– Gericht op particulier onderzoek– Vragenlijst overlopen met interviewers– Onduidelijkheden uitklaren– Interviewers vullen zelf de VL eens in– Specifieke zaken contactblad verduidelijken

62

Eenvoudig contactblad

Bedoeling van contactblad– Controle over data kwaliteit

o Informatie over elke contactpoging (hoe, wanneer, met wie?)o Opvolgen van verloop van veldwerko Elke contact uitkomst documentereno Redenen van niet contactereno Redenen van weigering o Andere nonresponse o Waarneembare informatie over steekproefeenheid en over de woonsituatie en buurt

– Zeer bruikbaar voor de studie van de nonrespons

C. SupervisieHoudt verloop veldwerk in de gaten: voortdurende opvolging

– Zijn alle interviewers bezig?– Binnenkomende interviews evalueren: goed ingevuld, volledig ingevuld, geen verdachte zaken te merken

(Vb. zeer snel, met twee kleuren balpen ingevuld)– Controles uitvoeren (telefonisch, schriftelijk)

o Contactblad: richtlijnen contactnames gerespecteerd? o R contacteren en nagaan of interviewer er geweest is, hoe lang, welk?

Enkel een paar vragen stellen, rest zelf in vullen Interviews doorgeven aan mekaar (bv. Interviewerkoppels)

– Tijdig en gepast reageren: bijsturen, eventueel interviewer vervangen

63

D. Beloning– Duidelijke afspraken– Meestal vergoeding per afgewerkt interview (rond €35-50)– Bijkomende reiskostenvergoeding– Soms bijkomende vergoeding correct invullen contactblad

E. Vooruitzicht dat gecontroleerd wordt– Interviewers moeten weten dat ze gecontroleerd worden– Stimuleren om degelijk werk af te leveren

8.4.5 Evaluatie van de kwaliteit achteraf

A. Hoeveelheid bruikbare informatieKwaliteitscontrole

– (Unit-) non-responso Weigering, non-contact, resultaten registeren

Info uit contactblad (laat ook toe na te gaan of I richtlijnen omtrent contactnames heeft gerespecteerd)

– Ontbrekende antwoorden = moeilijk te interviewen respondent Weet-niet geen antwoord, geen mening Analyse van item non-respons

– Informatie op open vrageno Aantal woorden, topics

– Extreme antwoorden, non-differentiatie, inconsistente antwoorden

B. Interviewer effecten (interviewer-variantie)– Bekijken als “hiërarchische structuur”:

o Interviewers / respondenteno Cf. operationalisering Hfst 4

– Noodzakelijke voorwaarden o R toevallig toewijzen aan interviewerso Bijhouden door welke interviewer elke respondent ondervraagd werd.

Toegepast op interview– De interviewer mag de antwoorden van de R niet beïnvloeden!– Elke interviewer heeft een (toevallig samengestelde) set van respondenten

o Dus de verkregen antwoorden zouden op toevalsfouten na gelijk moeten zijn per interviewero Grote verschillen = interviewer effecten

Geen interviewer effecten Wel interviewer effecten

In twee stappen

– Eerst nagaan of er verschillen zijn per interviewer (variantie op niveau van de interviewer)– Daarna, indien mogelijk, info over interviewer hiermee in verband brengen

64

o Belang van interviewers zelf ook een VL te laten invullen! Aanwijzingen dat houdingen van R gelijken op die van hun interviewers

Voorbeeld. Vragen naar “belangstelling voor sport”– Zou ongeveer gelijk moeten zijn voor alle interviewers (want random assignment)– Maar: gemiddelde score = 6,81 bij interviewers die zelf zwak geïnteresseerd zijn in sport– En 10,09 bij interviewers die zelf sterk geïnteresseerd zijn in sport! (p<0.01) eigen houding van I speelt door op die van de R.

C. Interactie tussen interviewer en R– Interviews op (video-)band opnemen– Beluisteren, eventueel formeel analyseren (inhoudsanalyse) = taak adequaat uitvoeren?

D. Kwaliteit van de informatie: Accuraatheidsonderzoek – Gekende informatie vergelijken met antwoorden respondenten

o Kan enkel voor feiten, gebeurtenissen, gedragingen!o Ware antwoorden zijn niet bekend

– Denver Validity Study: o Hoe meer tijd tss gebeurtenis en interview, hoe groter de kans op onderraportering o Voor R belangrijke gebeurtenissen worden accurater gerapporteerdo Sociaal onwenselijke gebeurtenissen: kans op onderraportering stijgt; sociaal wenselijke:

omgekeerde – Als interviewers:

o Hogere frequenties behalen op Onbelangrijke gebeurtenissen Die verder in het verleden liggen En op sociaal onwenselijke gebeurtenissen

o En lagere frequenties behalen op Sociaal-wenselijke gebeurtenissen

o Dan nemen we aan dat deze interviewers “betere data” opleveren.

Voorbeeld 8.2 Heeft het volgen van een interviewer-training een positief effect op de datakwaliteit? – Getrainde interviewers

o Significant meer informatie bij getrainde interviewers

o Hogere respons op bedreigende vragen

E. Informatie uit het na-interview– “Debriefing vragen” voor R: enkele vragen over

interview kort na interviewo Moeilijkheid, interessant

– Rapport van de interviewero Vragen worden niet voorgelegd aan R, Interviewer vult ze zelf in (na het interview)

Hoe gemotiveerd en bekwaam was de R? Aanwezigheid van derden? Hoe vaak heeft R moeilijkheden gehad om de vragen te beantwoorden?

De “moeilijk te interviewen respondent

65

F. Evaluatie op basis van telefonische controles– Steekproef uit de steekproef als controle

o Subset van respondenten EN weigeraars opnieuw contactereno Enkele basisvariabelen opnieuw bevrageno Hoe lang duurde interview?o Welk geslacht had de interviewer, leeftijd?o Controle van weigeraars of die wel degelijk gecontacteerd zijn

– Bij vermoeden dat er iets niet klopt: alle interviews van de bewuste interviewer nakijken

Samenvatting– Belangrijk om training, supervisie, kwaliteitscontrole vooraf in te plannen (onderzoeksplan)– Als niet gepland (en gebudgetteerd), dan zal het er hoogstwaarschijnlijk niet van komen

o Voor studie interviewer effecten = random toewijzen, wie dr wie?o Accuraatheidsonderzoek: vragen over verleden, soc.onw vragen opnemeno Telefonische controles: budget opzij houden om dit te doeno Ruimte voor na-interview voorzien in vragenlijsto Sommige interviews per interviewer op band opnemen

8.5 Postenquête

8.5.1 Verhogen van de respons: de Total Design Method

Don Dillman– Postenquêtes– Probleem was zeer grote non-respons– Ontwikkelde reeks “strategieën” om respons te verhogen, gebaseerd op “ sociale ruiltheorie ” – Noemde dit de “ Total Design Method ” – Reden: integratie aantal losstaande bevindingen (met dank aan sociale ruiltheorie)

o Respons variatie door onderwerp, opdrachtgever, follow-up contacteno Verhogen: aantrekkelijke onderwerpen, bekende opdrachtgever, persoonlijkheid

A. Theoretisch uitgangspunt: de ruiltheorieSociale ruiltheorie

– Sociale handelen bepaald door voordelen die men denkt te maken = kosten-baten analyseo Ook sociale emotionele voordelen

– Kosteno Tijdsinvestering, mogelijk “gezichtsverlies” = zo gering mogelijk

– Bateno Dankbaarheid, persoonlijke interesse, gevoelen van waardering, gevoelen bij te dragen tot

wetenschappelijk project = zo groot mogelijk– Vertrouwen

o Overtuigd zijn dat baten (op termijn) groter (zullen) zijn dan kosten

Toepassing– Kosten verlagen:

o Korte, makkelijk in te vullen vragenlijst– Baten verhogen

o Persoonlijk aanspreken van mensen, bv. hun naam gebruiken in briefwisseling, persoonlijk handtekenen brieven, adres met de hand op de enveloppe schrijven

o Invloedrijke of bekende opdrachtgever = persoonlijk– Vertrouwen verhogen

o Pre-paid incentive, legitieme survey sponsor (bv. Universiteit)

66

B. Toepassing van de TDM– Persoonlijkheid: vorm en uitzicht introductiebrief en omslag– Herinneringen : hoeksteen van de TDM

o 5 contacten voorzien Eerst introductie brief, aankondigen onderzoek Enkele dagen (max. 1 week) na (1): vragenlijst mailout

Brief, vragenlijst, eventuele incentive, retour enveloppe Vragenlijsten zijn genummerd!

2 weken na (1): bedankkaartje / herinnering 4 weken na (1): herinneringsbrief + VL voor non-respondenten 8 weken na (1): laatste poging om belang onderzoek aan te tonen: andere survey modus

(telefoon, face-to-face) of koerierdienst, persoonlijke afgifte VL o Alleen effect als alle richtlijnen opgevolgd wordeno Percentage antwoorden stijgt na elke herinnering tot 65% soms

– In vroegere TDMo Laatste contact = aangetekend schrijven, maar is aangepast want kan negatief werkeno Nu dus eerder bijkomende inspanningen van kant van onderzoeker om belang van onderzoek aan te

tonen Vooral overschakelen naar andere survey modus tegenwoordig “in” = Mixed mode surveys

– Verschil naar gelang betrokkenheid populatieo Sociale voorzieningen bij studenten: 90%o Betrokkenheid als stimulerende factor (beloning helpt)

8.5.2 Evaluatie van de non-respons

– Vaak toch nog non-respons van 1/3o Meestal samenhang tussen weigeringen, aard van onderwerp en kenmerken Ro Non-respons zelf als voorwerp nemen van onderzoek

– Vergelijken met bekende gegevens (1)– Respons vgl. met non-respons (2)– Opnieuw benaderen van weigeraars (3)– Vergelijken van “response waves”(4)

o 1 tot 3 kan evenzeer in interview surveys en voor 3 is er aan alternatief ontwikkeld: refusal conversion )

A. Vergelijken met bekende gegevens– Als er geen bijkomende informatie is en data afkomstig van bekende populatie– Uitgangspunt = geplande steekproef is representatief en feitelijk gerealiseerde steekproef dus ook– Probleem: populatiegegevens vaak veroudering: niet meer zoveel samenhang– Geslacht, leeftijd, opleiding van gerealiseerde steekproef met hoe dat zit in populatie (NIS)

o Eerst univariaat (kenmerk per kenmerk)o Dan multivariaat (alle kenmerken samen als mogelijk)

67

– Zo mogelijk ook nog kruisen meet opleidingsniveau

B. De respons en non-respons vergelijken– Als steekproefkader gegevens bevat over aantal kenmerken van R

o Vb. Geslacht, leeftijd gekend voor respondenten én nonrespondenten – Nulhypothese niet verworpen = minder zorgen

o Wel eventueel verschillen over niet-onderzochte kenmerken– Nagaan of respondenten afwijken van non-respondenten op deze kenmerken

o Univariaat o Multivariaat

C. Opnieuw benaderen van de weigeraars– Steekproef uit nonrespondenten:

o Korte VL naartoe stureno Of telefonisch contact nemeno Of persoonlijk langsgaan (interviewers) en deze korte VL afnemeno Informatie vergelijken van de antwoorden van “geconverteerde” weigeraars met R

– Refusal conversion : in ESS worden met dat doel de weigeraars opnieuw benaderd en men kan dan vergelijken als er voldoende bekeerde weigeraars zijn; in R3 van ESS zelfs een apart survey onder weigeraars enkele maanden na het hoofdsurvey

o Veronderstelling: bekeerde weigeraars gelijken op finale weigeraars

D. Vergelijk de stromen van binnenkomen van de vragenlijsten– Beschikken over weinig middelen: stromen van binnenkomende antwoorden uit elkaar houden tussen

verschillende tijdstippen vergelijken– Vroege respondenten vgl met late respondenten (ideaal voor postenquête)– Assumptie = late respondenten gelijken meer op non-respondenten dan dat de vroege respondenten

gelijken op non-respondenten– Late respondenten als “proxy” voor non-respondenten

68

– Na tweede herinnering antwoorden: tussen de meewerkers en niet-meewerkers– Weigeren hangt samen met leeftijd, sekse, opleiding, woonomgeving– Weigeringen neemt toe als men minder geïnteresseerd of betrokken is– Interviewer speelt belangrijke rol bij interviews

Hoe werkt het vergelijken van stromen van binnenkomen?– Hou goed bij op welk moment de formulieren binnenkomen (na eerste, tweede, derde herinnering)– Vergelijk de stomen van binnenkomen op een aantal cruciale variabelen – Probeer de volgende hypothese niet te verwerpen: « Er is geen verschil! » – Welke veronderstelling moet de onderzoeker maken opdat de methode van de ‘stromen van binnenkomen’

geldig zou zijn?o Klopt die veronderstelling?

Voorbeeld 8.3. Onderzoek “vrijwilligerswerk”– Respons stromen vergelijken: vroeg vs. laat: Iets minder vrijwilligers in de late groep, maar niet significant

(p=0,769) omwille van klein aantal wellicht– Weigeraars opnieuw benaderen met korte VL: hier zien we wel veel minder vrijwilligers.– Dus:

o We overschatten allicht % mensen dat vrijwilligerswerk doet of deedo Late respondenten gelijken meer op non-respondenten dan dat vroege respondenten gelijken op

nonresp.

– Significante samenhang tussen snelheid respons en afhankelijke variabeleo Onmiddellijk antwoorden: meer vrijwilligerswerko Vrijwillig engagement wordt overschat

69

8.6 Web enquêtes– Elektronische variant” van postenquête

o Een aantal principes overdraagbaar: Personalisering, herinneringen, lay-out,...

o Maar toch ook eigenheid Bv. herinneringen korter op elkaar

– Heeft problemen met non-respons, maar nog groter probleem is dekkingsprobleem

Dekkingsprobleem– Niet iedereen heeft internet verbinding– Van iedereen die dit wel heeft hebben we geen lijsten...– Maakt steekproeftrekking zeer problematisch voor algemene populaties

o Voor specifieke populaties geen probleemo Studenten, werknemers, leden van organisaties,...

Oplossingen?– On-line panels (“access panels”)

o Vaak vele duizenden ledeno Krijgen allerhande voordelen (cadeaucheques, kunnen punten sparen om dingen te kopen in

winkels,...)o Maar zijn mensen die zichzelf inschrijven

Zeer selectief! De “professionele respondent” Niet representatief voor “algemene populatie”!

Oplossingen?– “Wegen”

o Te weinig mannen? We geven ze een groter gewichto Te veel hooggeschoolden? We geven ze een lager gewicht

– Soms zeer geavanceerdo Vb. “Propensity Score Adjustment” (PSA) = men past de cruciale variabelen aan een ‘gold standard’

aan (een face to face survey van hoge kwaliteit)o Assumptie: ook verdelingen van andere cruciale variabelen komen dan beter overeen met

populatie(?)

Onderzoeksresultaten?– Eigenlijk maakt wegen niet zoveel uit

o Soms verbetering, soms niet, soms zelfs verslechtering na weging!– Fundamentele probleem blijft dekking en selectiviteit. Kan je niet zomaar oplossen met technische ingrepen

o Voorlopig dus geen statistische methode die vertekening kan wegwerken

Toepassingsmogelijkheden web survey?– In “gesloten” populaties (studenten, werknemers)– Maar ook in algemene populaties indien steekproef getrokken uit goed frame en we offline contacteren (vb.

brief)– Om bepaalde zaken uit te testen

o Methodologisch georienteerd onderzoeko Vb. over vraagverwoording, operationaliseringen

70

8.7 Mixed mode surveys– Geen enkele reden om slechts één survey modus te gebruiken in onderzoek

o Combinatie kan goedkoper zijn én betere data genereren...o 1967: eerste mixed mode survey door Hochstim. Eerst postaal, daarna opvolgen met telefonische

enquêtes – In praktijk: eerst goedkoopste survey modus, daarna pas duurdere survey modi gradueel inzetten, bv.

o Eerst web survey o Dan post enquête o Dan telefonischo Dan face-to-face

– Volgende survey modus vangt telkens de non-respondenten van de vorige survey modus op

“Sequentieel design”

Problemen?– Mode effecten

o Exact zelfde vraag geeft verschillende antwoorden in de verschillende survey modi Sociale wenselijkheid, acquiescence Visueel vs. auditief communicatiekanaal

Primacy vs. recency Interviewer vs. R controleert stimulus

Vraagvolgorde effecten

Oplossing?– “Uni-mode” constructie principes, o.a.:

o Alle antw. cat. zelfde over alle survey modi heeno Verminder aantal antw. cat. indien nodig

Telefonisch: maximaal 4 cat.o Rangordeningvragen vooraf laten gaan door zelfbeoordelingschaal (rating scales)o Doorverwijzingstructuur eenvoudig maken

Vooral indien postenquête gebruikt wordt

Bijkomend probleem:– Differentiële groepssamenstelling

o Cfr. Quasi / pre-experimenten– Non-respondenten opvolgen in latere survey modus: niet enkel mode effecten, maar ook andere mensen!

o Dus 2 effecten tegelijkertijd aanwezig, en we kunnen ze niet van elkaar scheideno Nood aan “methodologisch onderzoek”

Simultane mixed mode designs– Houdt samenstelling van de groepen gelijk– Varieert de survey modus

o Cfr. het echte experiment– Om effect van survey modus op zichzelf te evalueren en op zoek te gaan naar manieren om deze effecten te

elimineren 71

Appendix: Ethiek en deontologie van de onderzoeker

1. Deontologische regels eigen aan het wetenschapsbedrijf– Gebruik de meest aanvaarde inzichten en methodes

o Gebruikers moeten er op kunnen vertrouwen dat de onderzoeker op de hoogste is van de recente stand van zaken en dat die daar gebruik van maakt

o Onderzoeker maakt melding van eventuele verschillen in opvatting over de best geschikte methode – Transparant over je methode = kenbaar maken van gebruikte methode– Openheid voor controle / replicatie

o Materiaal ter beschikking stellen eens gepubliceerd– Correct refereren naar ander onderzoek

o Geen plagiaat– Vergissingen toegeven / kenbaar maken– Reviewen van artikels: info niet zelf gebruiken

Toegepast op survey onderzoek : AAPOR code: « best practice »– Doel van het survey?– Is survey beste methode gegeven doelstelling? = adequaatheid– Kwaliteit van steekproef verzorgen – Optimale balans tussen kostprijs en kwaliteit realiseren – Zorg voor geldigheid van indicatoren – Informatie over non-respons

o Kwaliteitscontroles– Aandacht voor pre-testen – Goede interviewertraining – Gepaste analyse technieken – Ontsluiten van informatie

o Informatie voor sponsor, bedoeling en doelstellingen, steekproefdesign

2. Ethische regels m.b.t. onderzochte subjecten– Confidentialiteit en anonimiteit

o Cfr. Wet op de privacy bescherming: nooit informatie prijsgeven– Bij responsverhoging: grens van correcte behandeling niet overschrijden

o Meermaals terugbellen, aanmelden, brieven– « Informed consent » respecteren

o = Subjecten hebben recht op wanneer het onderzoek, bedoelingeno Subjecten moeten vrijwillig deelnemen

72

o Verschillende modaliteiten, opletten bij verborgen waarneming

Regels m.b.t. onderzochte subjecten: rond informed consent – Onderzochten zijn geïnformeerd over bedoelingen, anonimiteit

o Kennis niet meedelen bij effect op resultaten– Maak afweging met maatschappelijk belang van onderzoek bij verborgen of semi-verborgen – Jezelf of anderen niet in psychisch of fysiek gevaar brengen – Publieke (verantwoording aan publieke opinie) vs. Private rollen (privé-sfeer eerbiedigen)– Vertrouwen toch in acht nemen bij doorbreken ‘privacy’– Wetten en regels van fatsoen in acht nemen, dus toch ethische lijn indien overtreding ‘informed consent’– Welzijn van onderzochten bij ‘misleiding’ – Onderzochten mogen geen last ondervinden uit publicatie van onderzoek (vb.).

o Subjecten zijn menselijke wezens, eventueel embargo op publicatie (of thesis)– Als onderzoek verandering teweegbrengt is er steeds ethisch probleem – Wat indien getuige van criminele feiten?– Bij overtreding ‘informed consent’ wel informatie achteraf – Niet oneerlijk zijn om ‘eerlijke’ data te krijgen, maar ook niet naïef zijn – Rekening houden met later onderzoek

Geen kinderen ondervragen over ouders – Enkel als proxy R gebruiken bij toestemming van ouders– Geen:

o “ Sugging ” : Selling under the guise of surveying o Frugging ”: Fund raising under the guise of surveyingo “ push-polling ”: opdringen van politieke overtuiging via survey

– Veld proper achterlaten o Andere onderzoekers ook nog een kans laten

73