Psühhodiagnostika - Tallinn University · Taju Intuitiivne mõtlemine (Arutlev) mõtlemine (sarnane tajuga) “Väljavaateteooria” / Prospect theory • Otsustuse väljavaateid

Psühhodiagnostika

6. Otsused testitulemuste põhjal

K. Konstabel

2016

Sisukord

• Statistilised mudelid otsustamisel

– Lineaarne regressioon

– Logistiline regressioon

• Info ja otsus

• Otsus ja inimene

Regressioonimudelid

• Sõltuva tunnuse jaotus:

– normaaljaotus lineaarne regressioon (võib

sisaldada sõltumatute muutujate

mittelineaarseid teisendusi, nt y=a+bx2).

– binoomjaotus (nt õige/vale või jah/ei)

logistiline regressioon

– Poissoni jaotus (loendamise teel saadud

arvud, nt sissemurdmiste või tulekahjude arv

mingil perioodil) Poissoni regressioon

1a. Lineaarne regressioon

yi’ = b0 + b1x1i + ... + bkxki

• Vähimruutude meetod: leitakse sellised b-d, mille

korral Σ(yi-yi’)2 on minimaalne.

• Korrelatsioon (näitab seose tugevust):

sd(y’) / sd(y)

• Standardviga:

22 1 xyy r

Lin

eaa

rne

re

gre

ssio

on

(2

)

-3 -2 -1 0 1 2

-3-2

-10

12

3

A

B

-4 -2 0 2 4

0.0

0.1

0.2

0.3

0.4 y' = bx+cy' = bx+c

y

Lineaarne regressioon (3)

• Interaktsioonid

• Ruutliikmed jm

21322110 xxbxbxbby

2

2423

2

12110 xbxbxbxbby

Lineaarne regressioon

Estimate Std.error t p (Intercept) 2.99147 0.11373 26.304 <2e-16 ***

A 1.94063 0.12890 15.055 <2e-16 ***

B 0.18453 0.09775 1.888 0.0621 .

A*B 3.90248 0.06164 63.308 <2e-16 ***

---

Residual standard error: 0.9748 on 96 degrees of freedom

Multiple R-Squared: 0.9782, Adjusted R-squared: 0.9775

F-statistic: 1435 on 3 and 96 DF, p-value: < 2.2e-16

Milline on ennustatud Y väärtus, kui A=1 ja B=0.5?

Milline on standardviga kui Y dispersioon on 42.23?

1b. Logistiline regressioon

• Kasutatakse, kui sõltuv muutuja on dihhotoomne, st võimalikud väärtused näiteks:

– 0; 1

– on; ei ole

– jah; ei

• Lineaarse regressiooni puhul võivad dihhotoomsed olla sõltumatud muutujad, kuid mitte sõltuv muutuja

Logistiline regressioon (2)

• Mudel mingi sündmuse toimumise

tõenäosusele: P(Y=1)

• Matemaatiliselt on parem tegelda

sündmuse šanssidega (odds), mis on

teisendatavad tõenäosuseks.

• Kui sündmuse toimumise tõenäosus on

0.8, siis šansid on 8:2 ehk 4:1. Üldisemalt,

šansid = p / (1 – p)


• Kress, Peterson ja Hartzell (J of Psychosomatic

Research, 2006) uurisid depressioonisümptomite

seost ülekaalulisusega. Kontrollides rassi,

vanust, haridust jm, selgus, et

ülekaalulistel naistel on oluliselt suurem

depressioonirisk kui normaalkaalulistel:

šansside suhe (odds ratio, OR) = 3.4.

• Mida see tähendab?


Tähistame depressiooni Y-ga (Y=1 kui esinevad depressioonisümptomid) ja kehakaalu X-ga (X=1 kui on tegu ülekaaluga). Meid huvitab, kas Y sõltub X-st, st kas siis kui X=1 esineb depressioon (Y=1) suurema tõenäosusega kui vastasel korral.

p1 = P(Y = 1 | X = 1)

p2 = P(Y = 1 | X = 0) )1/(

)1/(

22

11

pp

ppOR


OR = AD / BC

X on riskitegur, kui OR > 1

X-i esinemine vähendab riski, kui OR < 1

X ei muuda midagi, kui OR = 1


• Mudel sündmuse tõenäosusele /

šanssidele:

• Tagurpidi ...

ikiki XXORp

p

110log)

1log(

i

i

e

epi

1


Coefficients:

Estimate Std. Error z value Pr(>|z|)

(Intercept) 0.498770 0.007343 67.92 <2e-16 ***

X1 1.004179 0.008591 116.88 <2e-16 ***

X2 -0.507757 0.007584 -66.95 <2e-16 ***

Aivari X1=1 ja X2=-1. Milline on Y risk?

Log šansid = eeta = 0.499 + 1.004* 1 + (-0.508 * (-1)) =

2.011

Šansid = exp(eeta) = 7.471 (risk, et Aivar on Y, on 7.5

korda suurem, kui et ta ei ole Y)

Tõenäosus = exp(eeta) / (1+exp(eeta)) = 0.882

Tõenäosus, et Aivaril on Y, on 0.882.


Coefficients:

Estimate Std. Error z value Pr(>|z|)

(Intercept) 0.498770 0.007343 67.92 <2e-16 ***

X1 1.004179 0.008591 116.88 <2e-16 ***

X2 -0.507757 0.007584 -66.95 <2e-16 ***

Vabaliige (intercept) viitab Y tõenäosusele, kui mõlemad

X-id on võrdsed nulliga. See tõenäosus on 0.622,

šanssidena 1.647:1.

X-ide parameetrihinnangud (estimate) näitavad, kui palju

suureneb Y tõenäosus, kui X suureneb ühe võrra. NB!

Hinnangud sõltuvad muidugi ühikutest, st nt kas X on

standardiseeritud või mitte.

X2 OR = exp(-0.508) = 0.602, st kui X2 suureneb ühe võrra,

siis tuleb Y eelnevad šansid korrutada 0.602-ga

(1.647*0.602 = 0.991).


• Vabaliige on “ennustuses” kaustatav ainult

siis kui tegu on esindava valimiga! Kui ei

(nt juhtkontrolluuringute puhul), siis peame

piirduma suhtelise hinnanguga riskile,

mida väljendab šansside suhe.

2. Info ja otsus

• Näited testi põhjal tehtavatest otsustest: “X-il on depressioon”; “X, Y ja Z on on teistest kandidaatidest nupukamad ja jäärapäisemad, st sobivad paremini ametisse A”.

• Seni rääkisime informatsioonist, mis võib aidata otsuse tegemisel. Otsus ise aga ei sõltu ainult informatsioonist, vaid ka ... – kriteeriumist: nt mitu depressiooni sümptomit on vaja

ütlemaks, et X-il on depressioon

– otsustaja eesmärkidest ja vahenditest: nt mitu inimest on vaja tööle võtta või kui palju raha on võimalik kulutada valikuprotseduurile

Millist infot on otsustamiseks vaja?

• Suhtelised otsused (A on parem kui B; millised

on 10 kõige paremat a-d, jne) – piisab

kokkuvõtlikust valiidsusinfost: korrelatsioonid,

šansside suhted jne.

• Absoluutsed otsused (A vajab abi; B kõlbab

lenduriks; C tuleb saata erikooli) – vaja on nt

regressioonivõrrandit, äralõikepunkti vmt.

• Absoluutsed otsused on alati riskantsemad kui

suhtelised.

2012

Info ja otsus

?

Kas 68-tollisel

inimesel on

kingad jalas?

McNicol 1972, figure 1.1

2012

Kriteerium:

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Vastuvõtja töökõver (Receiver Operating Curve)

p(S|n) -- valehäired

p(S

|s)

-- t

abam

used

äralõikepunkt -0.856

y=0 y=1

x=0 11 3

x=1 17 68

Tundlikkus ja spetsiifilisus

• Tundlikkus (sensitivity) kitsamas tähenduses: tabamuste protsent signaali olemasolul: p(X=1 | Y=1) ehk p(S | s)

• Spetsiifilisus (specificity): valehäirete protsent: p(X=0 | Y=0) ehk p(N | n)

• Tundlikkus signaali avastamise mõttes on nende kahe kombinatsioon:

OR = ...

d’ = Z(H) – Z(F)

2012

Tundlikkus ja spetsiifilisus

McCrae et al JP 69:2, 2001

Kriteerium

• Vastuse kriteerium: “kui tugev peab signaal olema, et sellest välja tehtaks”

c=0.5[z(H)+z(F)] ... või ... β = ed’c

• Kriteeriumi nihutamisega muutuvad korraga (samas suunas) nii tabamuse kui valehäire tõenäosus

• Milline peaks olema kriteerium, et valehäirete tõenäosus oleks 0? Et tabamusi oleks 100%?

Kriteerium (2)

• Kõige parem on äralõikepunktiks valida selline

x-i väärtus, mille korral β = P(n)/P(s). Näiteks kui

depressiooni tõenäosus on 0.1, siis õigete

tulemuste arv on maksimaalne sellise BDI

skoori korral, kus β = 0.9/0.1 = 9.

• Kui valehäirete ja tabamuste kaalukus on

erinev, siis võib optimaalsele äralõikepunktile

vastava β leidmiseks kasutada valemit

)()(

)()(

sPCV

nPCV

MH

FACR

• Üks võimalus otsustada valikuprotseduuri kasulikkuse üle:

ΔU – kui kasulik on valikuprotseduur võrreldes juhusliku

valikuga

N – mitu töötajat protseduuriga valitakse

Rxy – valiidsuskoefitsient

Zx – valitute keskmine standardskoor

SDy – kriteeriumi (soorituse) standardhälve (näiteks rahalistes ühikutes) populatsioonis enne valikut

C – valikuprotseduuri maksumus

Kasu

Guion , 1998

3. Otsus ja inimene

• Kas kliiniline kogemus muudab otsused

üksmeelsemaks?

A. Cahan et al. / Journal of Clinical Epidemiology 58 (2005) 1211–1216

2012

Otsustamise kaks mehhanismi

Daniel Kahneman

Taju

Intuitiivne

mõtlemine

(Arutlev)

mõtlemine

(sarnane

tajuga)

“Väljavaateteooria” / Prospect theory

• Otsustuse väljavaateid hinnatakse

suhteliselt, kaotuste või võitudena (st

muutusena võrreldes mingi algse seisundi

suhtes)

• Kasulikkuse teooria järgi peaksime

lähtuma ainult seisundist pärast kaotust

või võitu

GAINSLOSSES

UTILITY

Väärtusfunktsioon V(X)

• kumer võitude piirkonnas ja nõgus kaotuste piirkonnas

• tundlikkus kõige suurem väikeste võitude või kaotuste korral

• kaotuste puhul järsem kui võitude puhul (st kaotuste negatiivne mõju on suurem kui võitude positiivne mõju)

Raamimine + kaotuste

vastumeelsus

• Imagine the US is preparing for the

outbreak of an Asian disease,

expected to kill 600 people (N = 152

subjects):

– If program A is adopted, 200 people will

be saved (72% preference)

– If program B is adopted, there is one

third probability that 600 people will

be saved and two thirds probability that

no people will be saved (28% preference)

Raamimine + kaotuste

vastumeelsus (2)

• Imagine the US is preparing for the

outbreak of an Asian disease,

expected to kill 600 people (N = 155

subjects):

– If program C is adopted, 400 people will

die (22% preference)

– If program D is adopted, there is one

third probability that nobody will die

and two thirds probability that 600

people will die (78% preference)

Separate evaluation $1.66 $2.26

Joint evaluation $1.85 $1.56

• Inimesed otsustavad sageli selle variandi

kasuks, mida nad peavad objektiivselt

väärtuslikumaks, olenemata sellest, et nad

peaksid mingit muud varianti subjektiivselt

meeldivamaks

• Šokolaad: 2$ prussakakujuline vs 0.5$

südamekujuline

• Suusareis: 100$ Michigan vs 50$ Wisconsin

• Vahendi maksimeerimine

• Valikuvabadus

Pseudoratsionaalsus

Tavalised otsustusvead

• Olulise info eiramine – Baastõenäosuse (base rate) ignoreerimine

Punapead on sagedamini terroristid kui

sinisilmad. Juss on punapea.

– Kinnitava info eelistamine (eriti pärast otsust)

• Loogikavead – Tinglikke tõenäosusi peetakse sümmeetriliseks

70% hüpohondrikutest saab BHI skaalal

üle 30 palli. Oliver sai BHI skaalal 31

palli. Kui suur on tõenäosus, et

Oliveril on hüpohondria?

Otsustusvead (2)

70% hüpohondrikutest saab Baumanni

HüpohondrIa (BHI) skaalal üle 30 palli.

Oliver sai BHI skaalal 31 palli. Kui suur on

tõenäosus, et Oliveril on hüpohondria?

+ -

<=30 30 970 1000

>30 70 930 1000

100 1900

HüpohondriaB

HI

Nõuded testi kasutajale

Testistandardid

Testikasutaja rollid

Testistandardid

• Guidelines: juhised, suunised, direktiivid

• ITC suunised testide kasutamiseks (nüüd ka eesti keeles); lisaks sellele on olemas ITC suunised kahes spetsiifilises valdkonnas: – testi adapteerimine

– arvuti abil läbi viidavad testid

• Euroopa standard testide kasutamiseks töö ja organisatsiooni keskkonnas (EFPA ja EAWOP). Selle täienduseks on testi "retsensiooni" vorm.

• Testikasutaja kvalifikatsiooninõuded (näide: PAR testide jaotus kvalifikatsiooninõuete taseme järgi)

ITC suunised (1)

• Deklaratiivsed teadmised – teadmised põhilistest psühhomeetrilistest

põhimõtetest ja protseduuridest ning testide tehnilised nõuded (nt reliaablus, valiidsus, standardiseeritus);

– teadmised testidest ja mõõtmisest, mis on piisavad testi tulemuste korrektseks mõistmiseks;

– teadmised ja arusaamad asjakohastest teooriatest ning võimekuse, isiksuse ja muude psühholoogiliste konstruktide mudelitest või psühhopatoloogiast, vastavalt sellele, mida on tarvis testi valikust informeerimiseks ja testi tulemuste tõlgendamiseks, ning

– teadmised testidest ja testimüüjatest oma tegevusvaldkonnas. .

ITC suunised (2)

• Instrumentaalsed teadmised ja oskused

• Üldised isiklikud ülesandega seotud

oskused

• Kontekstuaalsed teadmised ja oskused

• Ülesande juhtimise oskused

• Situatsioonijuhtimise oskused

ITC suunised (3)

1 Eetilise testikasutuse eest vastutamine:

Testikasutaja kohustub:

1.1 Tegutsema professionaalselt ja eetiliselt

1.2 Tagama, et neil on testide kasutamiseks vajalik

pädevus

1.3 Vastutama oma testikasutuse eest

1.4 Tagama, et testimaterjale hoitakse turvaliselt

1.5 Tagama, et testitulemusi käsitletakse

konfidentsiaalselt

ITC suunised (4)

2 Testide kasutamisel heade tavade järgimine

2.1 Hinnata testimise otstarbekust

2.2 Valida tehniliselt head ja antud olukorrale sobivad testid

2.3 Pöörata testimisel piisavalt tähelepanu õiglasele kohtlemisele

2.4 Teha testimiseks vajalikud ettevalmistused

2.5 Viia testid läbi reeglipäraselt

2.6 Skoorida ja analüüsida testi tulemused täpselt

2.7 Tõlgendada tulemusi õigesti

2.8 Tutvustada tulemusi asjaosalistele selgelt ja täpselt

2.9 Analüüsida testi ja selle kasutamise õigsust

Testikasutaja rollid töö- ja

organisatsioonipsühholoogias

EFPA-EAWOP standard (Helsingi, 2005)

1A: otsustab testide kasutamise üle

organisatsioonis, kuid ei vii ise testimist läbi

1B: viib läbi testimist kindlalt piiritletud

tingimustes

2: kasutab piiratud arvu teste kindlalt piiritletud

tingimustes (nt tööle kandideerijate

hindamine)

3: ekspert

Algtase: 1A • Tunneb testide kasutamist

organisatsioonikeskkonnas

• Oskab hinnata testide tehnilisi omadusi (sh kõlblikkust mingiks otstarbeks)

• Teab, kust leida informatsiooni või kellega konsulteerida, et hinnata erinevate testide võimalikke kasutusviise

• Ei kvalifitseeru testikasutajaks

• Ei saa anda ekspertnõu testide kasutamise alal

• Näide: personalispetsialist

• Koolitus: 1-2-päevane koolitus; kirjandus; teadmiste pidev täiendamine


Algtase: 1B

• Võib läbi viia ja kasutada teatud teste, kui teda juhendab 2. või 3. taseme isik, või selgelt piiritletud tingimustes

• Ei otsusta, millist testi kasutada; ei interpreteeri testiskoore (võib kasutada standardseid raporteid)

• On teadlik testide kasutamise ja testimise tagamaadest, tõlgendamise ja kasutamise piirangutest ning teab, millal küsida nõu eksperdilt



Kesktase: 2

• Võimeline otsustama, kas ja kus mingit testi kasutada

• Saab aru testide tehnilistest omadustest, kuid ei pea oskama neid ise konstrueerida

• Võib testikasutajana töötada iseseisvalt

• Omab vajalikke teadmisi ja oskusi spetsiifiliste testide kasutamiseks


• Näide: personalitöötaja, personali- v testifirma töötaja.

• Tegevusvaldkonna näited: personalivalik, personaliarendus, karjäärinõustamine


Ekspert: 3

• Võimeline testimise alal nõu andma ja teisi

õpetama

• Võib anda ekspertnõu kohtuasjades

• Tüüpiliselt: w/o psühholoog, kes on

spetsialiseerunud testide kasutamisele ja

on läbinud sel alal mitmeid kursusi.


Testikasutaja teadmised

• EFPA/EAWOP küsitlus testinduse

asjatundjate seas: milliseid teadmisi on

testi kasutajal vaja?

• “Kõik” testikasutajad == tasemed 1A, 1B, 2

ja 3

• “Enamus” testikasutajaid == tasemed 2 ja

3

• “Eksperdid” == tase 3

Kõik Enamus Eksperdid

Teaduslik meetod; tõenduspõhine lähenemine

hindamisele 68 84 89

Testistandardid 100 100 100

sh ITC guidelines 42 89 100

local good practice guides 58 89 100

Informeeritud nõusolek ja konfidentsiaalsus 95 95 95

Andmekaitse seadustik 84 95 100

Testimisega kaasnevad riskid 58 89 100

Puudega inimeste testimine 53 79 95

Turvalisusnõuded andmete säilitamisel 75 89 100

Kogemusest õppimine 74 89 100

Eneseanalüüs 63 89 100

Klassikaline testiteooria 84 95 100

Reliaablus ja valiidsus 95 100 100

Normid ja standardiseerimine 95 95 100

DIF ja testi nihe 32 63 95

IRT (ÜVT) 37 58 100

Õiglus ja bias testimisel 74 89 100

Meta-analüüs ja valiidsuse üldistatavus 42 63 100

Üldistatavusteooria 37 53 100

Kõik Enamus Eksperdid

Psühholoogilised teooriad ja mudelid:

kognitiivne võimekus 58 89 100

isiksus 63 95 100

motivatsioon 53 89 100

hoiakud, uskumused ja väärtused 53 84 100

Teooriad ja mudelid testide kasutamisest

töökohal:

kasulikkuse teooria: kulu, kasu ja riskide

hindamine 32 79 100

töösoorituse hindamine 47 100 100

karjäärivalik 26 84 100

valik ja värbamine 63 100 100

Kõik Enamus EksperdidSkaalade tüübid (normatiivne, ipsatiivne)

ja vastuseformaadid ning nende mõju

skoori tõlgendamisele 74 89 100

Skoorimine

skoorimisvõtme kasutamine 84 95 100

toorskooride teisendamine 89 100 100

normitabelite kasutamine 89 95 100

veidra vastustemustri tuvastamine 63 84 100

Interpreteerimine

hindamise mõju testitavale 95 100 100

hindamisviisi mõju tulemuste kvaliteedile 95 100 100

ärevuse mõju tulemusele 89 100 100

Testikasutaja kvalifikatsioon • PAR, Psychological Assessment Resources)

Testikasutaja kvalifikatsioon

A level assessments are available for purchase by individuals who have:

a) A Bachelor's Degree in psychology or a related discipline (e.g., counseling, education, human resources, social work, etc.) and coursework relevant to psychological testing; OR

b) Equivalent Training in psychological assessments from a reputable organization; OR

c) Professional Membership in an organization that requires training and experience in the use of psychological assessments and surveys; OR

d) Certification from an organization with similar proficiency requirements; OR

e) Practical Experience in the use of psychological assessments.

http://www.sigmaassessmentsystems.com/departments/qualifications.asp


B level assessments are available for purchase by individuals who have:

• a) A Graduate Degree in psychology or a related discipline (e.g., counseling, education, human resources, social work, etc.) and have completed graduate-level coursework in psychological testing or measurement; OR

• b) Equivalent Training focused on psychological testing or measurement from a reputable organization.

• Interested in becoming qualified to administer and interpret "B" level assessments? Click here to learn about an innovative e-learning qualification program that will allow you to administer and interpret a wide range of personality and HR-related tests.



• C level assessments are available for purchase by individuals who:

• a) Have a Doctorate Degree in psychology or a related discipline (e.g., counseling, education, human resources, social work, etc.); OR

• b) Have Professional Licensure/Registration to independently practice psychology; OR

• c) Are under the Direct Supervision of a qualified psychologist or a qualified professional in a related discipline.


Documents

Psühhodiagnostika - Tallinn University · Taju Intuitiivne mõtlemine (Arutlev) mõtlemine (sarnane tajuga) “Väljavaateteooria” / Prospect theory • Otsustuse väljavaateid