Kvantitatiiviset tutkimusmenetelmät

Luento 3Mittaaminen ja tutkimuksen arviointi

Kaisu Puumalainen

Tutkimuksen arviointi ja virheet

Hyvän tutkimuksen ominaisuuksia

− Rigour− Hyvä tieteellinen käytäntö niin toteutuksessa kuin

raportoinnissa− http://www.tenk.fi/hyva_tieteellinen_kaytanto/kayta

nto.html

− http://www.aomonline.org/aom.asp?ID=268&page_ID=240

− Validiteetti ja reliabiliteetti− Relevance

− Tutkimuksella on merkitystä− Ei nollatutkimusta− Käytännön relevanssi ja tieteellinen relevanssi

Virheitä voi tulla joka vaiheessa

ilmiö

käsitteet

muuttujat

kohderyhmä

otos datamatriisi

tulokset

käsitteellistäminen

operationalisointi

mittaaminen

kohderyhmän määrittely

otanta tiedonkeruu analyysi

Kohderyhmän määrittely ja otanta

− Valittu kohderyhmä ei palvele tutkimuksen tavoitetta− Valintavirhe (selection bias eli survivor bias)− Perusjoukon määrittelyvirhe− Otantakehyksen virheet ja puutteellisuudet− Liian pieni (tai suuri) otos− Väärä informantti

− Otantavirhe (sampling error) on virhe, joka liittyy aina otantaan ja joka otetaan huomioon tilastollisessa analyysissa (laskemalla otoksesta saatujen estimaattien keskivirheitä, luottamusvälejä ja tilastollisia testejä)

Tiedonkeruuvirheet

− Tutkijan virheitä− kysymys esitetään väärin, seurauksena esim. vinot jakaumat,

keskittyneisyys tai halo effekti− vastaus tallennetaan väärin− häirintä tiedonkeruutilanteessa

− Vastaajan vastausvirheet− tahalliset− Tahattomat

− vastaamattomuusvirhe

Vastausvirheet

− tahattomat− ei tiedä /muista vastausta/ ei osaa muotoilla oikein− Common method/source variance/bias (jos kaikki kysymykset

kysytään samalla tavalla samoilta henkilöiltä niin vastauksissa ilmenee näennäistä, pelkästä kysymystavasta johtuvaa korrelaatiota, voi todeta Harman’in testillä ja välttää käyttämällä useita eri informantteja tai kysymällä eri aikoina)

− Vastaustyylit (esim. agreement bias, vastaaja on kaikesta samaa mieltä, ARS/DARS, ExtremeRS, RRange, MidPointR)

− tahalliset− haluaa antaa sosiaalisesti hyväksyttäviä vastauksia (social

desirability, Crowne&Marlowe 1964)− haluaa ”kaunistella” tilannettaan− Haluaa tehdä kiusaa− hutiloi, on väsynyt

Vastaamattomuusvirheet (non-response bias)

− kaikki eivät vastaa ollenkaan, alhainen vastausprosentti− kannusteet− uusinnat− informointi etukäteen− vastaamatta jättäneiden analysointi− Aikaisten ja myöhäisten vastaajien vertailu

− epätäydelliset vastaukset− Hyödynnä, jos suurin osa kysymyksistä on vastattu ja

hylkää kokonaan jos suurin osa puuttuu− Puuttuvien arvojen imputointi

Analysointivirheet

− Väärä tai liian heikko tilastollinen testi− Tulosten väärät tulkinnat− Huolimattomuus (esim. outlier-tarkastelut)− Mallien väärä spesifiointi− Ylisovittaminen (overfitting, mallissa on liikaa muuttujia suhteessa

havaintojen määrään, johtaa hyvään sopivuuteen otoksessa mutta heikkoon yleistettävyyteen)

− Johtopäätösten on oltava linjassa analyysitulosten kanssa

Mittaaminen

12

Mittaaminen

− Yleistä− Mittarin kehittämisprosessi ja vaiheiden yksityiskohdat− Kirjallisuutta aiheesta− Esimerkki ja reliabiliteetin arviointi SAS-ohjelmistolla

13

Yleistä mittaamisesta

− Tieteellisen tutkimuksen tavoitteena teorian kehittäminen − Teoria muodostuu käsitteistä ja niiden välisistä

yhteyksistä (käsitteet, typologiat, suhteet)− Monet käsitteet ovat hypoteettisia: ei vastinetta

fysikaalisessa maailmassa (älykkyys, sitoutuminen)− Jotta tiede edistyisi, teorioiden (epä)pätevyys on

todistettava− Empiirinen tutkimus onnistuu vain, jos käsitteet on

määritelty ja operationalisoitu

14

Miksi operationalisoinnilla on väliä?

− operationalisointi = millä indikaattoreilla mitataan käsitettä, ja miten tieto kerätään ja analysoidaan

− data, jota keräämme on mittauksen tulos – se ei ole välttämättä todellinen arvo tai määrä käsitettä− todellinen (käsite) = aineistosta saatu (mittari) + virhe

− virhe (error, bias) voi olla satunnaista tai systemaattista− mittaamiseen liittyy aina virhettä, mutta tulisi pyrkiä mahdollisimman lähelle

todellista

15

Yhdistetty mittari vai yksittäinen muuttuja?

− jos käsite on abstrakti, vaikeasti havaittava ja monitahoinen, niin yhdistetty on parempi

TRUE Actual

Single-item Measure

TRUEActual-1Actual-2

Actual-3

Multi-item Measures

valokuvat kohteesta useammasta suunnasta antavat paremman käsityksen kuin yksi valokuva

16

Mittaamisen kaksi näkökulmaa

− reflektiivinen perinteisesti yleisempi− latentti käsite vaikuttaa indikaattoreihin (items, väittämät, osiot)− indikaattori on käsitteen funktio− kaikki indikaattorit muuttuvat yhtä aikaa, jos käsite muuttuu− Indikaattorit korreloivat keskenään− Esim. kielitaito

− formatiivinen− indikaattorit vaikuttavat latenttiin käsitteeseen− käsite muuttuu, jos yksikin indikaattori muuttuu− Indikaattorit eivät välttämättä korreloi keskenään− esim. SES, HDI, maariski ym. indeksit− Esim. liikunnan harrastaminen− (Diamantopoulos, A. artikkeleita aiheesta )

− matemaattiset menetelmät hieman erilaisia

17

Mittarin muodostamisprosessi (scale development)− käsitteen määrittely − väittämien laatiminen (item generation)− muuttujien karsiminen− tiedon keruu − muuttujien karsiminen− mittarin muodostaminen− yksidimensioisuuden varmistaminen (unidimensionality)− reliabiliteetin arviointi (reliability)− validiteetin arviointi (validity)− yleistettävyyden arviointi (replikointi, stability across

samples)− Ks. SERVQUAL.pdf

18

Käsitteen määrittely

− Arkikielen määritelmä ja tieteellinen määritelmä− Samalle käsitteelle löytyy yleensä monta erilaista

määritelmää tieteellisistä tutkimuksista (esim. Kulttuuri yli 300 kpl)

− Mitä tämä diversiteetti aiheuttaa tieteen edistymiselle?− Operationaalinen määritelmä käyttää termejä, jotka

ovat empiirisesti mitattavissa − Ks. Marketorientation.xls− esim. Sitoutuminen: jatkuvuus, panostus, valmius

uhrauksiin

19

Käsite: äidinkielen taito

AI

suullinen viestintä

kirjallinen viestintä

sanaston käyttö

kuuntelutaito

puheviestintätaito

lukutaito

kirjoitustaito

kielioppitaito

sanavarasto

20

Käsitteen määrittelyn keinot

− kirjallisuuskatsaus ylivoimaisesti tärkein!− muista ottaa huomioon muut tutkimusalat ja erilaiset näkökulmat tai

analyysin tasot− miten käsite eroaa lähikäsitteistä− mitä on, eikä miksi on (capability?)− aiemmat tutkimukset ja niissä käytetty operationalisointi voi auttaa − haastattelut− oma kokemus

21

Väittämien laatiminen

− Item generation− deduktiivinen ja induktiivinen lähestyminen− deduktiivinen

− vaatii ilmiön ymmärtämistä− kirjallisuuskatsaus käsitteen määritelmistä

− induktiivinen− sopii kun ilmiö on vähemmän tutkittu− laadullinen aineisto pohjana− sisältöanalyysi ja teemoittelu− kuvaile, miten esimiehesi kommunikoi kanssasi− kriittisten tapausten tekniikka

22

Butler 1991 luottamuksen edellytysten operationalisointi

induktiivinen lähestyminen1. managerit kuvailivat henkilöä, johon luottavat ja henkilöä, johon eivät luota2. kuvailivat kriittisiä tapauksia, jotka olivat johtaneet luottamuksen syntyyn

tai menettämiseen3. löytyi 280 + 174 edellytystä4. opiskelijat ryhmittelivät ne 10 luokkaan5. kirjoitettiin määritelmät kullekin luokalle6. laadittiin 4 väittämää kullekin luokalle

23

Väittämien laatiminen

− aiemmat empiiriset tutkimukset− mittarikäsikirjat (handbook of …)− kvalitatiivisia menetelmiä (critical incident)− delphi, aivoriihi, GDSS, yms.− asiantuntijapaneelit, yrityshaastattelut− mahdollisimman paljon, karsitaan myöhemmin− Aluksi ainakin 10 per dimensio/alakäsite, lopulliseen 4-6− positiivisia sekä negatiivisia− selkeitä ja yksikäsitteisiä− käyttäytymistä vai asennetta vai mielipidettä vai aikomusta− suoria vai projektiivisia− mittaustapoja useita (Likert 5 tai 7, Osgood)− vaihtelua on saatava, ja normaalijakaumia

24

Asenneväittämien laadinta (Metsämuuronen)− yksinkertaisuus (luennon hyödyllisyysaste oli korkea –

luennosta oli minulle hyötyä)− ei faktoja (matematiikan arvosanani oli kiitettävä – saan

helposti hyviä arvosanoja matematiikassa)− vältä ääritermejä: aina, ei koskaan, kaikki, ei kukaan,

ainoa (en koskaan valehtele – pyrin olemaan rehellinen)− lyhyitä väittämiä, max 20 sanaa− yksiselitteisyys (rasismi on oikeusasia – ketään ei saisi

aliarvostaa rodun tai ihonvärin perusteella)− ei johdattelevia (myönnän, että jaettu materiaali oli hyvä

– olen tyytyväinen …)

25

Asenneväittämien laadinta (Metsämuuronen)− yksi asia per väittämä

− pidän kirjallisuudesta, koska lukemalla opin uusia asioita – pidän kirjallisuudesta

− vältä ja-sanaa väittämässä− pitää tulla vaihtelua

− on hyväksi käydä koulua – minusta on hauskaa käydä koulua− ei liikaa negatiivisia väittämiä− väittämät satunnaiseen järjestykseen

26

Väittämien karsiminen I

Ennen varsinaista tiedonkeruutaScale purification, item reductionasiantuntija-arviotryhmittely

käsitemääritelmät esitetään ja pyydetään asettamaan kukin item sitä vastaavaan käsitteeseen

asiantuntijoiden yksimielisyyden arviointi (konkordanssikerroin)

pilottitutkimus/esitestaus, josta saadaan itemien jakaumatkorrelaatiot itemien välilläfaktorianalyysit

27

Väittämien karsiminen II

− Varsinaisen ison tiedonkeruun jälkeen− varmistetaan normaalit jakaumat− varmistetaan riittävä varianssi− käännetään negatiiviset väittämät− itemien väliset korrelaatiot (min .30)− Item-total korrelaatiot− Reliabiliteettikerroin Cronbach alpha− eksploratiivinen faktorianalyysi

− ei liian suuria sivulatauksia− lataus min .40− faktorien määrän voi rajoittaa

28

Mittarin muodostaminen

− Kullekin dimensiolle itemien summa (SAS: filter&query, functions, sum)− itemien keskiarvo (SAS: filter&query, functions, mean)

− yleensä parempi kuin summa, koska haluat ehkä verrata keskenään sellaisia yhdistettyjä mittareita, joissa on eri määrät itemeita

− Faktoripistemäärä (voidaan tallentaa SAS-ohjelmassa faktorianalyysin yhteydessä)− Standardoitu muuttuja− Kaikki itemit vaikuttavat kaikkiin dimensioihin

29

Yksidimensioisuuden varmistaminen

− unidimensionality− Tarkistetaan että väittämistä muodostuu oletettu määrä dimensioita, ja että

kukin väittämä sijoittuu oikeaan dimensioon− faktorianalyysi

− eksploratiivinen vaatii min 150 havaintoa− konfirmatorinen parempi, vaatii 200 havaintoa− alle .40 latautuvat väittämät poistetaan yleensä− aineisto hyvä puolittaa niin että kehittely ja validointi tapahtuvat eri

puolikkaissa

Mittareiden validiteetti ja reliabiliteetti

Reliabiliteetti ja validiteetti

Scale Evaluation

Reliability Validity

Test-RetestInternal

ConsistencyAlternative Forms Construct

Criterion

Content

Convergent Validity

Discriminant Validity Nomological

Validity

32

Reliabiliteetti

− tarkoittaa vapautta satunnaisesta virheestä− tyypit:

− Stability (“test-retest reliability”)− Equivalence (“parallel forms reliability”, esim. ranking vs. rating)− Consistency (“split-half reliability”)− Homogeneity (“internal consistency reliability”)− Inter-rater reliability (concordance)

33

Reliabiliteetti

− Cronbach alpha− mittaa yhdistetyn summa-asteikon sisäistä yhtenäisyyttä

(internal consistency), saa arvoja välillä 0…1.− Enemmän muuttujia -> korkeampi alpha− kuinka paljon väittämät korreloivat keskenään positiivisesti

(inter-item correlations, min.30)− Alphan on oltava vähintään 0.60 alustavassa tutkimuksessa,

0.70 teorioiden testaamisessa (Nunnally)− poista sellaiset väittämät, joiden item-total correlation on heikko

(min. noin .50)− Poista sellaiset väittämät, joiden Squared multiple correlation

on heikko (yli .5 olisi hyvä, huom. SAS ei tulosta ko. lukua)− Älä nosta reliabiliteettia validiteetin kustannuksella

34

Cronbach alpha

N of items

Average inter-item correlation Alpha

2 0,3 0,4615382 0,5 0,6666672 0,7 0,8235293 0,3 0,56253 0,5 0,753 0,7 0,8755 0,3 0,6818185 0,5 0,8333335 0,7 0,9210537 0,3 0,759 0,2 0,692308

rN

rN*)1(1(

*

N=väittämien määrä

r= väittämien välisten korrelaatioiden keskiarvo

Validiteetti

tyypit:− ulkoinen validiteetti eli tulosten yleistettävyys ko. otoksen

ulkopuolelle− Sisäinen tulosten validiteetti eli onko analyysit oikein

tehty ja tulkittu− Sisäinen mittarin validiteetti eli mitataanko sitä mitä on

tarkoitus mitata, onko mittari vapaa systemaattisesta virheestä− sisältö- eli ilmivaliditeetti− kriteerivaliditeetti (ennustevaliditeetti)− Käsite- eli rakennevaliditeetti

36

Mittarin reliabiliteetti ja validiteettiScale

EvaluationReliability Validity

Test-RetestInternal

ConsistencyAlternative Forms Construct

Criterion

Content

Convergent Validity

Discriminant Validity Nomological

Validity

37

Sisältövaliditeetti

− content validity− onko mittarit laadittu siten että niiden avulla

saadaan vastaukset tutkimuskysymyksiin− capture the domain of the construct− ei voi arvioida matemaattisesti− huolellinen käsitteiden määrittely− pinnallisuuden välttäminen− ulkopuolisten asiantuntijoiden arvioinnit

38

Kriteerivaliditeetti

− criterion validity− onko mittarit laadittu siten että niiden avulla

saadaan hyvä selitysaste tai ennustetarkkuus− concurrent tai predictive− Esim. Yrityksen konkurssiriskiä kartoittavan

mittarin kriteerivaliditeetti voidaan arvioida pitkittäistutkimuksella, jossa verrataan myöhemmin konkurssiin menneiden aiempaa riskitulosta eloonjääneiden vastaaviin riskilukuihin

39

Käsite- eli rakennevaliditeetti

− construct validity− onko käsite teoreettisesti validi ja onko mittari

riittävän kattava (deficiency, contamination)− kertooko mittari käsitteestä ”the whole truth and

nothing but the truth”− convergent validity (samanlaiset tulokset kuin

aiemmin käytetyillä vastaavilla mittareilla)− korrelaatio, MTMM

− discriminant validity (eroaa muista käsitteistä)− faktorianalyysi, MTMM

− nomological validity (suhteet teorian mukaiset)

40

Multitrait - Multimethod Matrix (Campbell & Fiske,

1959) Method 1 Method 2 Trait a Trait b Trait a Trait b

Trait a b1 Method 1 Trait b m1 b1 Trait a va d b2 Method 2 Trait b d vb m2 b2

b1 = reliability for method 1va = convergent validity for both methods wrt trait am1 = discriminant validity for method 1d = “nonsense”-correlation

Requirements: • v > 0 and "high enough"• v > d• v > m• d low

Correlationcoefficients{

41

ExampleMosher Forced Choice Guilt Scale

3 traits− Guilt feelings about sex− Hostile guilt− Guilt concerning morality

3 methods− Incomplete sentences "When I dream about sex …"− Forced choice " When I dream about sex …"

a) I don't remember a thing in the morningb) I feel happy when I get up

− True / false− "When I dream about sex I wake up feeling happy"

42

MTMM matrix for the Mosher Forced Choice Guilt Scale

TF(true/false)

FC(forced choice)

IS(incompl. sent.)

SG HG MC SG HG MC SG HG MCSG .91HG .52 .84TFMC .68 .50 .84SG .86 .56 .73 .97HG .53 .83 .53 .61 .96FCMC .63 .54 .83 .70 .58 .92SG .78 .51 .63 .79 .54 .57 .72HG .24 .67 .23 .33 .73 .37 .32 .65ISMC .47 .40 .66 .48 .49 .70 .49 .28 .55

Sexual

Hostile

MoralityFC very reliable,

TF too, IS not

Good convergent

validityDiscriminant validity OK

43

Yleistettävyyden arviointi

− mittarin toimivuutta tulisi aina arvioida eri otoksella kuin se on laadittu− replikointi hakee rajoja sille, missä konteksteissa teoriat pätevät (tai

mittarit toimivat), esim. SERVQUAL erityyppiset palvelut− kansainvälisen tutkimuksen invarianssi (cross-cultural validation)

44

Kirjoja mittareista

http://www.socialsciencesweb.com/ tosi paljon kirjoja− Nunnally & Bernstein (1994) Psychometric Theory. McGraw Hill− DeVellis (1991) Scale Development: Theory and Applications. Sage− Marketing Scales Handbook: A Compilation of Multi-Item Measures, Vol.

I-III Authors: G. Bruner , K. James , P. Hensel − Measures of Personality and Social Psychological Attitudes : Volume 1:

Measures of Social Psychological Attitudes. Authors: J. Robinson , P. Shaver , L. Wrightsman

− Metsämuuronen (2004): Tutkimuksen tekemisen perusteet ihmistieteissä− Price JL and Mueller CW. (1986). Handbook of organizational

measurement. Marshfield,Mass.: Pitman. − Rubin RB, Palmgreen P & Sypher HE. (1994). Communication research

measures: A sourcebook. New York: Guilford Pr. − Psykologian mittareita

http://www.ull.ac.uk/subjects/guides/psycscales.shtml

45

Artikkeleita mittaamisesta

− Churchill (1979) A paradigm for developing better measures of marketing constructs. J Mark Res, 16(1):64-73

− Campbell et al (1973) The development and evaluation of behaviorally based rating scales. J Appl Psych, 57:15-22

− Mullen (1995) Diagnosing measurement equivalence in cross-national research. J Int Bus Stud, 26(3):573-96

− Campbell & Fiske (1959) Convergent and discriminant validity by the multitrait-multimethod matrix. Psych Bulletin 56(March):81-105

− Gerbing & Anderson (1988) An updated paradigm for scale development incorporating unidimensionality and its assessment. J Mktng Res 25(May):186-192

− Hinkin (1995) A review of scale development practices in the study of organizations. Journal of management, 21(5)

− jne…

SAS-esimerkki: Summamuuttujan reliabiliteetti ja muodostaminen

47

IGO väittämät

International Growth Orientationtarkoitus kuvata yrityksen tahtoa kansainväliseen kasvuun

Kuusi väittämää, joista kaksi sanamuodoltaan käännettyjä

IGO4: Growth can be achieved mainly through internationalizationIGO5:There is still enough growth potential in domestic markets*IGO6: Risks related to internationalization are too high*IGO7: We need to internationalize in order to succeed in the futureIGO10: It is important for our company to internationalize quicklyIGO11: Internationalization is the only means to achieve the

objectives of growth we have set*huom. Sanamuoto käännetty

48

IGO –väittämien korrelaatiomatriisiAnalyze- multivariate - correlations

49

IGO –väittämien korrelaatiomatriisi

Igo5 ja igo6 korreloivat negatiivisesti muiden kanssa, arvot on käännettävä 1->5, 2->4, 4->2, 5->1

Pearson Correlation CoefficientsProb > |r| under H0: Rho=0

Number of Observationsigo4 igo5 igo6 igo7 igo10 igo11

igo4kasvu lhinnà kansainvÃlistymÃlllÃ

1.00000

287

-0.70955<.0001

287

-0.37947<.0001

285

0.67503<.0001

285

0.56300<.0001

285

0.73467<.0001

286igo5kotimaassa kasvupotentiaalia riittÃvÃsti

-0.70955<.0001

287

1.00000

288

0.44797<.0001

285

-0.59091<.0001

285

-0.52070<.0001

285

-0.67336<.0001

286igo6kansainvÃlistymisen riskit liian suuret

-0.37947<.0001

285

0.44797<.0001

285

1.00000

285

-0.42719<.0001

283

-0.38194<.0001

283

-0.41510<.0001

284igo7kansainvÃlistyminen vÃlttÃmÃtontà tulevaisuuden menestystà varten

0.67503<.0001

285

-0.59091<.0001

285

-0.42719<.0001

283

1.00000

285

0.63456<.0001

285

0.72844<.0001

285

igo10tÃrkeÃà kansainvÃlistyà nopeasti

0.56300<.0001

285

-0.52070<.0001

285

-0.38194<.0001

283

0.63456<.0001

285

1.00000

285

0.66460<.0001

285igo11kansainvÃlistyminen ainoa keino saavuttaa kasvutavoitteet

0.73467<.0001

286

-0.67336<.0001

286

-0.41510<.0001

284

0.72844<.0001

285

0.66460<.0001

285

1.00000

286

50

Väittämien suunnan kääntäminenquery builder – computed columns – new – recoded column

Footer

SAS-koodit, väittämien suunnan kääntäminenPROC SQL; CREATE TABLE LUENTO3.igodataluento3b AS SELECT t1.igo4, t1.igo5, t1.igo6, t1.igo7,

t1.igo10, t1.igo11, /* igo5kää */ (CASE WHEN 1 = t1.igo5 THEN 5 WHEN 2 = t1.igo5 THEN 4 WHEN 4 = t1.igo5 THEN 2 WHEN 5 = t1.igo5 THEN 1 ELSE t1.igo5 END) FORMAT=IGO5A. AS 'igo5kää'n, /* igo6kää */ (CASE WHEN 1 = t1.igo6 THEN 5 WHEN 2 = t1.igo6 THEN 4 WHEN 4 = t1.igo6 THEN 2 WHEN 5 = t1.igo6 THEN 1 ELSE t1.igo6 END) FORMAT=IGO6A. AS 'igo6kää'n FROM WORK.IGODATALUENTO3 AS t1;QUIT;

52

Reliabiliteetin laskeminenAnalyze- multivariate - correlations

Tänne aina yhden mittarin kaikki väittämät kerrallaan

53

Esimerkki: IGO reliabiliteettiAnalyze- multivariate - correlations

Footer

SAS-koodit, korrelaatiomatriisi ja reliabiliteetti

PROC CORR DATA=LUENTO3.IGODATALUENTO3BPLOTS=NONEALPHAPEARSONVARDEF=DF;VAR igo4 igo7 igo10 igo11 igo5kää igo6kää;

RUN;

Sana ALPHA tulostaa reliabiliteettitunnusluvut

55

Esimerkki: IGO reliabiliteettiAnalyze- multivariate - correlations

Simple StatisticsVariable N Mean Std Dev Sum Minimum Maximum Label

igo4 287 3.62021 1.31373 1039 1.00000 5.00000 igo4

igo5kää 288 3.55556 1.26479 1024 1.00000 5.00000 igo5kää

igo6kää 285 3.60000 1.05216 1026 1.00000 5.00000 igo6kää

igo7 285 3.65965 1.20443 1043 1.00000 5.00000 igo7

igo10 285 2.81404 1.07327 802.00000 1.00000 5.00000 igo10

igo11 286 3.37413 1.40046 965.00000 1.00000 5.00000 igo11

56

Esimerkki: IGO reliabiliteettiAnalyze- multivariate - correlations

Cronbach Coefficient Alpha

Variables Alpha

Raw 0.890422

Standardized 0.888217Katso tätä, jos muuttujilla on kovin erisuuruiset keskiarvot

57

Esimerkki: IGO reliabiliteettiAnalyze- multivariate - correlations

Cronbach Coefficient Alpha with Deleted VariableDeletedVariable

Raw Variables Standardized Variables

Label

Correlationwith Total

Alpha Correlationwith Total

Alpha

igo4 0.774771 0.860229

0.766160 0.858630 igo4

igo5kää

0.735935 0.866803

0.730886 0.864388 igo5kää

igo6kää

0.48161 0.90235

0.483720 0.902578 igo6kää

igo7 0.767328 0.861979

0.764493 0.858904 igo7

igo10 0.682471 0.876013

0.679342 0.872662 igo10

igo11 0.81675 0.85290

0.812711 0.850910 igo11

IGO6 poistaminen hieman parantaisi reliabiliteettia, IGO11 poistaminen huonontaisi aika paljon

58

Esimerkki: IGO reliabiliteettiAnalyze- multivariate - correlations

Pearson Correlation CoefficientsProb > |r| under H0: Rho=0

Number of Observations

igo4 igo5kää igo6kää igo7 igo10 igo11

igo4igo4

1.00000

287

0.70955<.0001

287

0.37947<.0001

285

0.67503<.0001

285

0.56300<.0001

285

0.73467<.0001

286

igo5kääigo5kää

0.70955<.0001

287

1.00000

288

0.44797<.0001

285

0.59091<.0001

285

0.52070<.0001

285

0.67336<.0001

286

igo6kääigo6kää

0.37947<.0001

285

0.44797<.0001

285

1.00000

285

0.42719<.0001

283

0.38194<.0001

283

0.41510<.0001

284

igo7igo7

0.67503<.0001

285

0.59091<.0001

285

0.42719<.0001

283

1.00000

285

0.63456<.0001

285

0.72844<.0001

285

igo10igo10

0.56300<.0001

285

0.52070<.0001

285

0.38194<.0001

283

0.63456<.0001

285

1.00000

285

0.66460<.0001

285

igo11igo11

0.73467<.0001

286

0.67336<.0001

286

0.41510<.0001

284

0.72844<.0001

285

0.66460<.0001

285

1.00000

286

59

Esimerkki: IGO reliabiliteetti

IGO6 on huono item -> jätetään pois summamuuttujasta ja tarkastellaan reliabiliteettiluvut uudelleen

Cronbach Coefficient Alpha

Variables AlphaRaw 0.902357

Standardized 0.902578

60

Esimerkki: IGO reliabiliteetti

Cronbach Coefficient Alpha with Deleted Variable

DeletedVariable

Raw Variables Standardized Variables

LabelCorrelation

with Total AlphaCorrelation

with Total Alphaigo4 0.790887 0.873191 0.786684 0.874558 igo4

igo5kää 0.725578 0.887444 0.720087 0.888912 igo5kää

igo7 0.767385 0.878715 0.767536 0.878728 igo7

igo10 0.681770 0.896764 0.681543 0.897031 igo10

igo11 0.829704 0.864607 0.830065 0.864983 igo11

Nyt ok: minkä tahansa poistaminen heikentäisi reliabiliteettia

Footer

SAS-koodit, Summamuuttujan muodostaminen

Lasketaan summamuuttuja keskiarvona 5 muuttujastaFilter and queryComputed columns – new – advanced expression - functions mean (muuttuja1, muuttuja2, …)

SAS –koodillaPROC SQL; CREATE TABLE LUENTO3.IGODATALUENTO3c AS SELECT t1.igo4, t1.igo7, t1.igo10, t1.igo11, t1.'igo5kää'n, /* igosumma */ (MEAN(t1.igo4, t1.igo10, t1.igo11, t1.'igo5kää'n , t1.igo7)) AS igosumma FROM LUENTO3.IGODATALUENTO3B AS t1;QUIT;

62

Esimerkki: reliabiliteetin raportointi

-itemien sanamuodot, ja tieto siitä mitkä itemit ovat sanamuodoltaan käänteisiä

-tarkasteltiin reliabiliteettia korrelaatiokertoimien ja Cronbachin alfan avulla

- 6 itemin mittarissa alfa=.890

-item IGO6 poistettiin koska sen korrelaatiot muiden kanssa olivat .38 - .45 kun muilla .52 - .73 ja sen item-total korrelaatio oli vain .48 kun muilla .68 - .82-5 itemin mittarissa alfa = .902, kaikki itemien väliset korrelaatiot tilastollisesti merkitseviä 1% tasolla ja vähintään .52-Itemien korrelaatiot taulukossa (tiivistetty aiemmin esitetyistä SAS-tulostetaulukoista)

63

Esimerkki: reliabiliteetin raportointi

Pearson Correlation Coefficientsand Cronbach Alpha (N= 285 – 288)

igo4 Igo5* igo7 igo10 igo11Igo5* .710

igo7 .675 .591

igo10 .563 .521 .635

igo11 .735 .673 .728 .665

Item-total (if item deleted) .791 .726 .767 .682 .830

Alpha (if item deleted) .873 .887 .879 .897 .865