Konstrukcija_psiholoskih_testova

KONSTRUKCIJA KONSTRUKCIJA PSIHOLOPSIHOLOŠKIH TESTOVAŠKIH TESTOVA

FPPS – Poslovna psihologijaFPPS – Poslovna psihologija

NastavniNastavnicici

Prof. dr Stanislav [email protected]

doc. dr Aleksandar Vasić[email protected]

demonstrator: Dušana

Nov. 2009 2SF-FPPS-Psihologija

Obavezna literaturaObavezna literatura• Fajgelj, S. (2009). Psihometrija: metod i

teorija psihološkog merenja, III izdanje. Beograd: Centar za primenjenu psihologiju.

• Slajdovi i gradivo prezentirano na predavanjima

• Skup SPSS makroa Kakao za ajtem analizu


Dopunska literaturaDopunska literatura

• Bukvić, A. (1994). Načela izrade psiholoških testova. Beograd: Zavod za udžbenike i nastavna sredstva

• Crocker, L., & Algina, J. (1984). Introduction to Classical and Modern Test Theory. New York: Holt, Rinehart & Winston

• McDonald, R. (1999). Test Theory: A Unified Treatment. Mahwah, NJ: Lawrence Erlbaum

• Momirović, K., Wolf, B., i Popović, D.A. (1999). Uvod u teoriju merenja I: Interne metrijske karakteristike kompozitnih mernih isntrumenata. Priština: Fakultet za fizičku kulturu; i drugo.

Nov. 2009 SF-FPPS-Psihologija 4

Napomene Napomene

• Prezentacija je vodič kroz gradivo – ono što nema u prezentaciji, neće se ispitivati

• Kandidat da postane pitanje u testu znanja je:• Ono što je u slajdovima istaknuto masnim

slovima• Ono što predstavlju glavnu celinu (sadržano u

naslovima slajdova)


Napomene Napomene

• Međutim, slajdovi su suviše kratki i sažeti da bi se gradivo razumelo

• Ako se gradivo ne razume i ne povezuje, teško je položiti test znanja

• Da bi se gradivo razumelo treba:• Slušati i učestvovati na predavanjima, vežbama,

konsultacijama• Pročitati knjigu i druge izvore, a za dobru ocenu i

ono što nije na slajdovima. . .• Uz neke slajdove priključene su beleške

(notes), koje imaju za cilj da pojasne gradivo iz slajdova


Plan kursaPlan kursa – SF – SF

• Uvod, teorija merenja, IR, varijabla• Modeli merenja, KTT, model paralelnih

indikatora, model uzorkovanja iz domena, TAO

• Osnovna merna svojstva: težina, diskriminativnost, pogađanje

• Pouzdanost

• Valjanost


UvodUvod


Istorijat psihometrije – počeciIstorijat psihometrije – počeci

• 1882 – Francis Galton – prve skale za objektivno merenje nižih kognitivnih procesa

• 1904 – Charles Spearman – prvi merni model i početak faktorske analize

• 1905 – Alfred Binet i Theodore Simon – “merna skala inteligencije”. . .


Francis Galton, 1822–1911Francis Galton, 1822–1911


Charles Spearman, 1863—1945Charles Spearman, 1863—1945


Istorijat – razvoj testovaIstorijat – razvoj testova

• Grupni testovi inteligencije od Prvog svetskog rata

• Grupni testovi ličnosti – Woodworthova skala – 1920. g.

• Projektivni testovi – mrlje mastila Hermanna Rorschacha – 1921. g.

• Klinički individualni testovi – MMPI – 1940. g.


Hermann Rorschach, 1884–1922Hermann Rorschach, 1884–1922


Testovi – današnje stanjeTestovi – današnje stanje

• Buros Institute• U tekućem katalogu 4000 testova• Od 1935. g. 11.000 testova

• The Educational Testing Service• 25.000 testova

• Directory of Unpublished Experimental Mental Measures• 7000 testova

• . . .


Istorijat – razvoj modela merenjaIstorijat – razvoj modela merenja

• Klasična teorija testa – Charles Spearman, 1904. g. – model paralelnih indikatora

• Teorija uzorkovanja iz domena – druga polovina XX veka• Image teorija Guttmana• Teorija generalizabilnosti Cronbacha

• Teorija ajtemskog odgovora – druga polovina XX veka


Ciljevi predmetaCiljevi predmeta

• Razumevanje koncepta psihološkog merenja

• Praćenje i razumevanje gradiva iz psiholoških stručnih predmeta

• Pravilna primena testova, interpretacija i upotreba rezultata

• Ovladavanje konstrukcijom, standardizacijom i evaluacijom testova


Dva modela psihometrijeDva modela psihometrije

• Funkcionalistički pristup ne ulazi u to šta test meri nego da li obavlja svoju funkciju

• Osobinski pristup konstruiše test sa ciljem da meri psihičku osobinu


Teorija testova – Teorija testova – psihološko ocenjivanjepsihološko ocenjivanje

• Teorija testova• Metodologija psihološkog merenja• Bavi se konstrukcijom i evaluacijom testova• Predmet psihometrije su testovi a ne ljudi

• Psihološko ocenjivanje• Bavi se primenom testova• Testiranje je samo deo ocenjivanja• Ocenjivanje je integracija različitih podataka

Opšti problemi merenja psiheOpšti problemi merenja psihe

• Problem razumevanja pojedinca

• Psihologija u očima javnosti

• Psihologija, umetnost i religija

• Prirodna ili društvena nauka

• Redukcionizam i realnost psihičkih osobina

• Psihologija kao profesija

stručnost je stvaralačka primena znanja



Nomotetski – idiografski pristupNomotetski – idiografski pristup

• Nomotetski pristup• Traganje za opštim zakonima• Primena merenja• Psihologija je prirodna nauka, naglasak na

objektivnosti, presudan uticaj nasleđa, preferencija eksperimentalne metode...

• Idiografski pristup• Nema opštih zakona• Merenje se ne koristi• Psihologija je društvena nauka, presudan uticaj

sredine, preferencija kliničke metode...

Teorija merenjaTeorija merenja


Osnovni pojmoviOsnovni pojmovi

• Entiteti imaju atribute-svojstva-osobine

• Atribut može biti kvantitativan ili kvalitativan

• Ako je kvantitativan, zvaćemo ga kvantitetom

• Kvantitet ima različite nivoe, veličine, odnosno magnitude

Ciljevi i zadaci merenjaCiljevi i zadaci merenja

• U svakodnevnom životu, merenje ima mnoge ključne primene – od razmene dobara (trgovine) do gradnje

• Međutim, u nauci ono ima fundamentalnu funkciju:

U nauci merenje učestvuje u stvaranju i proveri teorija


Ciljevi i zadaci merenjaCiljevi i zadaci merenja

• Osim te fundamentalne uloge, merenje se u psihologiji koristi i za:• praktične ciljeve: klasifikacija ispitanika,

dijagnostika, predviđanje, ocenjivanje, selekcija, donošenje odluka...

• Opisivanje i evaluaciju• Objašnjavanje – “šta jeste”• Razlikovanje i poređenje• Predviđanje na osnovu dosadašnjih mera• Komunikaciju i evaluaciju znanja. . .


Šta je merenjeŠta je merenje

• Definicije merenja kao primenjenog postupka, tj. kada se raspolaže gotovom mernom skalom:• Postupak kojim se mereni objekt poredi sa

standardnom skalom• Merenje pomoću zastupničke varijable...

• Teži problem je definisati merenje na principijelan, teorijski način


Merenje u prirodnim naukamaMerenje u prirodnim naukama

• Ekstenzivni atributi su oni koji su dostupni našim čulima i našoj manipulaciji – sabiranju, odnosno konkatenaciji• Štapove možemo spojiti i dobiti zajedničku dužinu• Dva štapa možemo zajedno staviti na tas vage i

odrediti zajedničku težinu• Dva otpornika možemo vezati redno ili paralelno i

dobiti ukupnu otpornost. . .

• Ekstenzivni atributi se mere direktno, kao količnik prema jedinici merenja


Merenje u prirodnim naukamaMerenje u prirodnim naukama

• Intenzivni atributi su: brzina, temperatura, gustina, viskoznost, tvrdoća, tačka ključanja...

• Njih ne možemo spajati (konkatenirati) uz pomoć čula i manipulacije

• Danas se intenzivni fizičko-hemijski atributi mere posredno:• Tako što se direktno mere njihove komponente• I što su poznate tačne relacije između komponenti,

često iskazane nekim fizičkim zakonom

• Npr. brzina je količnik pređenog puta i vremena


Osnovne teorije i definicije merenjaOsnovne teorije i definicije merenja

• Tradicionalna – Euklidova

• Reprezentacijska – Campbellova

• Operacionalistička – Stevensova

• Druge teorije (npr. Raschov model)


Tradicionalna teorija merenjaTradicionalna teorija merenja

• Aristotelova definicija kvantiteta: „Mi zovemo kvantitetom ono što je deljivo u svoje sastavne delove od kojih je svaki po svojoj prirodi jedan i isti. Kvantitet je mnoštvo (multituda) ako je prebrojiv, a veličina (magnituda) ako je merljiv“



• Euklid u Knjizi V “Elemenata” (IV vek p.n.e) kaže:• magnituda je deo magnitude, manja od veće, kada

ona meri veću • veća je umnožak manjih kada je merena manjim• količnik je vrsta odnosa u pogledu veličine između

dve magnitude iste vrste...

• Ovim (i drugim) definicijama dokazuje da se količnik (racio, kvocijent) dve magnitude nalazi na brojnoj skali, tj. da ima svojstva broja



• Merenje je uspostavljanje količnika između jedne magnitude i neke standardne magnitude

• U osnovi je količnik, kvocijent, racio

• Rezultat je broj

• Primer: dužina stola, podeljena sa jednim metrom, je četiri

• Euklidove mere imaju svojstvo aditivnosti: sabiranje mera je isto kao sabiranje objekata


Reprezentacijska teorija merenjaReprezentacijska teorija merenja

• Najpoznatije ime: Norman Campbell• Cambellova definicija merenja (1920):

• Dodeljivanje numerala sistemima saglasno naučnim zakonima

• Sa svojim varijantama, nakon višedecenijskog razvoja i doterivanja, reprezentacijska teorija se može smatrati dominantnom u društvenim naukama



• Numeral je simbol koji zamenjuje broj

• Da bi numeral postao broj, dodeljivanje mora biti obavljeno tako da objekti i njihove relacije budu izomorfni brojnoj lestvici

• Ključna relacija je aditivnost

• Aditivnost se na objektima proverava konkatenacijom


Reprezentacijska teorija merenja - Reprezentacijska teorija merenja - primerprimer

• Imamo tri štapa različite dužine• Rangiramo ih 1 (najkraći), 2, 3 (najduži)• Spojimo štap 1 i štap 2• Dobijemo da je ukupna dužina ista kao kod

štapa 3• U tom trenutku numerali 1, 2 i 3 su postali

brojevi• Praktično smo demonstrirali da su odnosi

između štapova jednaki odnosima između brojeva



• Generalizovana, moderna definicija: Merenje je mapiranje objekata iz empirijskog u numerički sistem, tako da ta dva sistema budu izomorfna

• Reprezentacijska teorija zadržava aditivnost kao osnovno svojstvo dobrog merenja

• Koristi se jedino u društvenim naukama, iako pretenduje na opštost



• Ako se merenjem uspostavi odnos izomorfnosti između objekata i skupa realnih brojeva, onda:

• Umesto operacija na objektima možemo da vršimo aritmetičke operacije na brojevima

• Brojevi su zamenili objekte, stvarnost je reprezentirana brojevima


Operacionalistička teorija merenjaOperacionalistička teorija merenja

• Glavno ime je Stanley Smith Stevens

• Njegova je najpoznatija definicija merenja u društvenim naukama (1946):

Dodeljivanje numerala objektima ili događajima saglasno pravilima

• Dakle, Stevensova teorija je u osnovi reprezentacijska



Stevensova operacionalistička Stevensova operacionalistička teorija merenjateorija merenja

Stanley Smith Stevens,1931—1973


• Međutim, Stevensova teorija je počela kao reprezentacijska, ali je završila kao operacionalistička

• Stevens je prihvatio operacionalizam, što je dovelo do toga da je izjednačavao objekte sa operacijama pomoću kojih su utvrđeni



• Zašto je Stevensova teorija operacionalistička?

• Kao prvo, konstrukt se definiše kao zbir operacija pomoću kojih se on utvrđuje - operacionalizam

• Zatim, dodeljeni numerali proizlaze iz mernih operacija

• Time se uspostavlja odnos brojeva i operacija, a ne odnos brojeva i sveta


Stevensove noir skaleStevensove noir skale

• Najpopularniji Stevensov “proizvod”• U konačnoj verziji, Stevens ih je definisao

na osnovu dopustivih transformacija• Dopustive transformacije su one koje ne

menjaju:• Identitet (nominalni nivo)• Poredak (ordinalni nivo)• Intervale (intervalni nivo)• Količnike (racio nivo)• Statističke zaključke (relevantno za sve nivoe)


Šta su dopustive transformacijeŠta su dopustive transformacije

• Primer:• Prvi trkač koji stigne na cilj dobija broj 1• Drugi trkač koji stigne na cilj dobija broj 2...• Dodeljeni numerali X = 1, 2, ... su na

ordinalnom nivou merenja – rangovi• Rangovi mogu da se transformišu, npr.: 2X,

X2 itd. i da poredak trkača ostane isti• Ali... transformacija 1/X nije dozvoljena jer

ona menja poredak trkača


Operacionalistička teorija merenja Operacionalistička teorija merenja – šta ne valja– šta ne valja

• Kao rezultat Stevensovog operacionalističkog tumačenja merenja:

Ne zna se da li dodeljeni numerali reprezentuju operacije ili objekte

• Primer: Ako na dodeljenim brojevima izvršimo linearnu transformaciju i oni ne promene odnose, onda je skala intervalna. Nigde se ne spominje svojstvo.

• Aditivnost nije osnovna relacija koja mora povezivati i dodeljene numerale i objekte


Operacionalistička teorija merenja Operacionalistička teorija merenja – šta ne valja– šta ne valja

• U psihologiji se problem ispoljava na taj način što su mnoge skale intervalne na deklarativnom nivou, ali čak i površna analiza pokazuje da nisu

• Najočigledniji primer su Likertove skale i svi slični ordinalni formati

• Manje očigledan, ali potpuno validan, primer su sumacioni testni skorovi – prebrojavanje tačnih ne mora da reprezentuje sposobnost


Kritike Stevensove teorijeKritike Stevensove teorije

• Postoje i druge podele mernih skala• Dihotomne (binarne) i multitomne skale• Kategorijalne i merne skale• Brojanje i merenje• Diskretne i kontinuirane skale• Kvalitativne i kvantitativne skale• . . .

• Drugim rečima, ma koliko noir skale bile popularne i opšte prihvaćene, njihova mernoteorijska zasnovanost je pod znakom pitanja


Zašto je Stevensova teorija tako Zašto je Stevensova teorija tako popularna u društvenim naukamapopularna u društvenim naukama

• Intuitivno je jasna, opisuje osnovne procedure merenja, tj. način nastanka podataka

• Definiše i nominalni nivo kao merenje – dakle, kvantitativnost nije potrebna

• “Uljuljkuje” psihologe u uverenju da mere kvantitativno ukoliko operacije dodeljivanja izgledaju kvantitativno (recimo, prebrojavanje tačnih odgovora)

• Konvencija – ugrađena je u udžbenike, u softver, u raspoloživu literaturu


Značaj kvantifikacijeZnačaj kvantifikacije

• Kvantitativni imperativ – ono što se ne može meriti nije naučno

• Početak psihologije – Psiho-fizika

• Kako bi izgledala psihologija bez kvantifikacije?• Identifikacija fenomena, otkrivanje značenja,

postavljanje hipoteza, taksonomije...• Postavljenje pitanja “šta” i odgovoranje na njih


““Kvantitativni imperativ”Kvantitativni imperativ”• Pitagora (VI vek p.n.e): “Sve što postoji, postoji u

nekoj količini”• Galilej (XVII vek): “Broj što se može brojati, meri

što se može meriti, a što se ne može meriti učini da bude merljivo”

• Lord Kelvin (XIX vek): “Ako možeš da meriš nešto i iskažeš brojevima, onda nešto znaš o tome. Ako ne možeš da meriš ili iskažeš brojevima, onda ti je znanje mršavo i nezadovoljavajuće: ono može predstavljati početak znanja ali ćeš teško dostići nivo nauke bez obzira o kojoj temi se radi”.


Psihologija je počela kao Psihologija je počela kao kvantitativnakvantitativna

• Fechner, Spearman i mnogi drugi su utemeljili psihologiju u skladu sa “kvantitativnim imperativom”

• Međutim, osim delimično u domenu psihofizike i čulne osetljivosti, u Ψ ne raspolažemo dokazima da su psihičke pojave kvantiteti

• Ako svojstvo koje merimo nije kvantitativno, onda ni merenje ne može biti kvantitativno


Kvantifikacija u teorijama merenjaKvantifikacija u teorijama merenja

• Tradicionalna teorija merenja podrazumeva isključivo kvantitativno merenje

• Reprezentacijska teorija uglavnom da

• Operacionalistička teorija ne podrazumeva kvantifikaciju (npr. nominalni nivo)


Realnost psihičkih osobinaRealnost psihičkih osobina

• Psiholozi moraju prvo da dokažu da psihička svojstva postoje, pa tek onda da li su merljiva

• Dokazi da postoje se izvode:• Na osnovu toga što se ljudi ponašaju

dosledno u različitim situacijama – homogenost, korelacije, FA. . .

• Na osnovu biohemijskih, genetskih i fizioloških korelata. . .


Merljivost psihičkih osobina?Merljivost psihičkih osobina?

• Dokazivanje da je psihičko svojstvo merljivo može se obaviti jedino eksperimentalno

• U nedostatku toga, svojstvo se smešta u sve šire kontekste i utvrđuje se njegova povezanost sa drugim pojavama i osobinama

• Prave se pretpostavke i predviđanja i empirijski se proveravaju

• Primer inteligencije i introverzije – ekstraverzije


Problem psihološkog merenjaProblem psihološkog merenja

• Važno ime: Joel Michell

• Njegove osnovne kritike su:• Prvo: psiholozi podrazumevaju da je psihika

kvantitativna• Drugo: tu hipotezu ne proveravaju• Treće: usvajaju teoriju merenja (Stevensovu)

koja je pogrešna i potpuno maskira prethodna dva problema


Problem psihološkog merenjaProblem psihološkog merenja

• Primer• Psiholozi misle da je inteligencija kvantitativno

svojstvo• Mere je tako što prebroje tačno rešene

zadatke• Operacija brojanja daje minimalno intervalnu

skalu• Psiholozi iz toga izvode zaključak da je prva

hipoteza tačna i da je merenje bilo kvantitativno


Šta je kvantitativno svojstvoŠta je kvantitativno svojstvo

• Kvantitativno svojstvo mora biti slično liniji (pravoj), npr.• Dve magnitude mogu biti iste ili različite• Svaka magnituda ima jednu koja je manja od nje• Za svaki par magnituda postoji jedna koja predstavlja

njihov zbir• Svaki zbir magnituda je veći od svojih sabiraka• Ako je jedna magnituda manja od druge, postoji treća

koja predstavlja razliku između njih itd.


Kako merenje učiniti kvantitativnimKako merenje učiniti kvantitativnim

• Izgraditi takve konstrukte da se može proveriti njihova kvantitativnost

• Ψ-logiji nedostaju čvrsti dokazi o realnosti konstrukata, a pogotovo o njihovoj kvantitativnosti

• Dosada je predloženo niz postupaka koji imaju za cilj da se ovi nedostaci postepeno prevazilaze

• Npr. građenje nomološke mreže:• Povezivati konstrukte sa drugim varijablama, u sve

širim kontekstima• Tragati za biološkim korelatima• Tragati za praktičnim korelatima. . .


Kako merenje učiniti kvantitativnimKako merenje učiniti kvantitativnim

• Međutim, ključni dokaz mora biti eksperimentalan, kroz proveru kauzalnih hipoteza – npr. kao Galilejevi opiti u Pizi

• Dokaz konkatenacije bi bio kada bi dve prosečne osobe skupa rešile dvostruko više zadataka u nekom testu


Individualne razlikeIndividualne razlike

IzvoriIzvori

Šta je slučaj?Šta je slučaj?

• Slučaj nastaje tokom svrsishodne praktične delatnosti, kao odstupanje od očekivanja ili odstupanje od cilja

• Primer: kad se izvlače listići iz šešira slučaj doživljavaju igrači, a ne osoba koja ih izvlači

• Svaki događaj je svet u malom (preplitanje “kauzalnih lanaca”)


Individualne razlike su slučajne Individualne razlike su slučajne pojavepojave

• IR su nužan ishod svrsishodne i praktične delatnosti kao što je merenje

• Najbolji alat za njihovu analizu je statistika• One su “odjeci iz dubina”, njihovom

analizom otkrivamo njihove izvore• Ako između dve varijable postoji

korelacija, one ili dele zajedničke izvore ili je jedna izvor drugoj


Izvori individualnih razlikaIzvori individualnih razlika

• Prvi izvor je sam postupak merenja. IR koje potiču iz tog izvora nazivamo greškama merenja jer su neželjene i nepotrebne

• Drugi izvor je interakcija individue i merne procedure. IR koje potiču iz ovog izvora obično su neželjene, ali ne uvek

• Treći izvor je razvoj individue, splet naslednih, fizioloških i sredinskih uticaja. Ovaj izvor određuje nivo osobine


Dve paradigme psihološkog Dve paradigme psihološkog merenjamerenja

• Prva paradigma. Odlikuje je• spoljno ocenjivanje i • maksimalna aktivnost

• Druga paradigma. Odlikuje je• unutrašnje ocenjivanje i• tipična aktivnost


Greške merenjaGreške merenja

• Klasična podela• Slučajne greške. Njihova AS je nulta pa ne

menjaju aritmetičku sredinu osobine• Sistematske greške menjaju lokaciju i oblik

distribucije osobine

• Suštinski:Greške su neočekivane i zato neželjene

individualne razlike• Što znači da mogu da potiču iz svakog od

izvora


Analiza individualnih razlikaAnaliza individualnih razlika

Analiza individualnih razlikaAnaliza individualnih razlika

• Statistika je najbolje oruđe za analizu individualnih razlika u psihologiji

• Analiza individualnih razlika omogućuje pristup skrivenim i nepoznatim izvorima manifestnog ponašanja

• Osnovni pojam na osnovu koga identifikujemo te izvore, odnosno latentne osobine je

KORELACIJA


Merenje i statistikaMerenje i statistika

• Drugi najvažniji Stevensov rezultat je spisak dozvoljenih statističkih tehnika za svaki nivo merenja, npr.:• Na nominalnim podacima mogu se računati

frekvencije, mod i koeficijent kontingencije

• Na ordinalnim podacima: percentili, Mdn i ρ

• Na intervalnim: M, σ i r . . .

• Stevens: samo one statističke manipulacije na podacima su legitimne koje su invarijantne na dozvoljene transformacije


Merenje i statistikaMerenje i statistika• Taj Stevensov spisak je izvor velikih glavobolja u

istraživačkoj praksi, ali i sporenja u metodologiji• Mentori i recenzenti zahtevaju da statistici i

testovi budu prilagođeni podacima• Međutim, praksa pokazuje nešto drugo:

• Mnogi statističari “peru ruke” od nivoa merenja• Podaci su obično mešoviti – mešavina više nivoa• Testni skorovi (možda) nisu intervalni i nisu normalni• Postoje i koriste se mnoge druge podele skala• Mnogim merama se, po konvenciji, priznaje

intervalnost...



• Statističke tehnike (statistici i testovi) su modeli koji važe pod određenim uslovima• AS i SD su dobri statistici ako je varijabla

normalno raspodeljena• r-koeficijent je dobar ako je povezanost

varijabli linearna• Ako varijabla nije kontinuirana, ne može biti ni

normalna. . .

• Podaci se mogu saobraziti statističkim modelima putem transformacija



• Lord je ironično opisao kako je statističar izračunao aritmetičku sredinu na brojevima dresova fudbalera

• Kad ga je očajni profesor psihometrije upozorio da je to nominalna skala, statističar je odgovorio da brojevi ne pamte odakle dolaze i uvek se ponašaju na isti način

• Zbog ugleda koji Lord uživa i zbog značaja ove opterećujuće teme, ovo je postala jedna od vrlo često citiranih rečenica



• Do danas nije završena debata oko toga da li je statistika ona koja “traži” određene podatke, ili to treba da brine jedino istraživače

• Mnogi statističari ili nisu upoznati sa time ili smatraju da nivo merenja nije njihov problem

• Statistika se obavlja na brojevima, a ne na merama – kažu oni


““Praktična” teorija merenjaPraktična” teorija merenja

• Zbog mernoteorijskih nejasnoća,• zbog grešaka merenja,• zbog konvencija,• zbog dokazane robusnosti statistika i

testova itd.,• na delu je “praktična” teorija merenja• Poštuju se konvencije, “gleda se kroz

prste”, a najčešće seordinalni podaci tretiraju kao intervalni


Usklađivanje mernih skala i statističkih Usklađivanje mernih skala i statističkih tehnikatehnika

• Jednostavno: kad god u formuli postoji sabiranje sirovih podataka, oni moraju biti kvantitativni, tj. moraju biti brojevi

• Preciznije: “najbolje” statističke tehnike, bazirane na korelaciji, zahtevaju numeričke i kontinualne podatke (koji su pri tom normalno raspodeljeni)


Razlozi u prilog pragmatičkom Razlozi u prilog pragmatičkom stanovištustanovištu

• Monotone transformacije skale ne menjaju značajno r-ove, F i t testove, kovarijanse...

• Dakle, podaci mogu biti i slabo kvantitativni – rangovi – i da zaključci još uvek budu prihvatljivi• Da podsetimo, ordinalna skala je slabo

kvantitativna jer poseduje nekoliko svojstava koje mora da poseduje kvantitativna skala, ali ne sva, npr.

• “Veće od” i tranzitivnost



Monotono rastuća ln(X+10)Monotono rastuća ln(X+10)


Monotono neopadajuća XMonotono neopadajuća X33


Nemonotona 1/XNemonotona 1/X

Izbor statističke tehnikeIzbor statističke tehnike - generalno - generalno

• Izbor statistističke tehnike je stvaralački, heuristički zadatak

• Statistika je modeliranje – statistički model se primenjuje na podatke• Svuda u nauci, pa i u psihologiji vrši se

modeliranje

• Takođe, statistika je sredstvo za kondenzaciju podataka

• To omogućava psihologu da bude slobodan i kreativan pri izboru stat. tehnike


Ipak. . .Ipak. . .

• Primena neodgovarajuće statističke tehnike je jednaka primeni neodgovarajućeg modela – zaključci će biti pogrešni

• Nestručnost u primeni statistike je istovetna nestručnosti u primeni psiholoških testova ili bilo koje druge psihološke metode


Usklađivanje statističke tehnike i podatakaUsklađivanje statističke tehnike i podataka

• Postoje različite mogućnosti, ali zadatak nije lagan

• Podaci se mogu transformisati da bi se prilagodili statističkoj tehnici: binarizacija, normalizacija, “peglanje”, prešifriranje. . .

• Izbor odgovarujuće savremene tehnike: neparametrijske, optimalno skaliranje, MDS, analiza nominalnih varijabli...


Usklađivanje statističke tehnike i Usklađivanje statističke tehnike i podatakapodataka

• Najbolje je povisiti nivo merenja, povećati uzorak, smanjiti greške...

• Ordinalni nivo merenja psiholozi dostižu po pravilu, a intervalni je problematičan

• Ukratko: izbor statističke tehnike je kreativan zadatak – treba očuvati značenje


Ko je odgovoran za rezultateKo je odgovoran za rezultate

• Konačna odgovornost za zaključke je u rukama svake posebne nauke pa tako i psihologije

• Psihologija mora:• Stvoriti konstrukte koji realno postoje• Konstruisati i sprovoditi merenje• Naći najbolje načine za statističku analizu• Dati konačni smisao i značenje podacima• Dati konačne interpretacije. . .


Varijable i entitetiVarijable i entiteti

VarijablaVarijabla

• Entiteti i atributi. Entitete saznajemo preko njihovih atributa, a atributi ne mogu da postoje bez entiteta

• Entiteti su diskontinuirani, tipovi, klase, a atributi su kontinuirani

• “Pridruživanje” atributa entitetima izvršeno je zahvaljujući empirijskom metodu

• Jedinstvo odslikava matrica: entiteti × atributi



Aristotel, sin Nikomahov, 384—322 p.n.eAristotel, sin Nikomahov, 384—322 p.n.eDiskontinualni način mišljenjaDiskontinualni način mišljenja


Galileo Galilei, 1564—1642Galileo Galilei, 1564—1642

Kontinualni način mišljenja

Entiteti u psihologijiEntiteti u psihologiji

• Razlikovanje objekata/entiteta i njihovih svojstava je davno uočen i razmatran – još od Platona i Aristotela

• Tipični entiteti u psihologiji nisu sporni i oni su:• Ljudi• Grupe• Životinje• Artefakti• Geografske celine...

• Nazivamo ih ispitanicima, subjektima, jedinicama posmatranja itd. ali i objektima ili slučajevima


Atributi u psihologijiAtributi u psihologiji

• Varijable su atributi, svojstva ili osobine entiteta

• U žargonu, ali ne samo žargonu, danas se atributi nazivaju varijablama

• Pošto su psihički atributi obično skriveni, nedostupni čulima, sadrže manju ili veću dozu hipotetičnosti

• Zato se nazivaju i konstruktima• Sledstveno tome, i konstrukte često

nazivamo varijablama


Slučajna varijablaSlučajna varijabla

• Međutim, stroga statistička definicija varijable je:

Varijabla je rezultat merenja nekog atributa na skupu entiteta

• U statistici se ovakva varijabla naziva slučajna varijabla

• Budući u opštoj upotrebi u psihologiji, pojam je vremenom počeo da se koristi i za označavanje atributa/konstrukata


Varijabla Varijabla

• Povrh svega, varijablom nazivamo i uslove, odnosno atribute okoline (recimo da li je ispitanik iz sela ili grada)

• Dakle, postoji dvojnost upotrebe pojma varijable – nekada se varijablom naziva konstrukt, a nekada rezultat merenja tog konstrukta

• Epistemolozi imaju problema sa ovakvim različitim značenjima, a istraživači ih koriste intuitivno


Manifestne i latentne varijableManifestne i latentne varijable

• Psiholozi mere manifestno ponašanje da bi pomoću njega doprli do latentnih osobina koje generišu ili modulišu to ponašanje

• Latentne varijable se definišu na osnovu kovarijacija (korelacija) manifestnih ponašanja


Tipovi latentnih varijabliTipovi latentnih varijabli

• Hijerarhijski sistemi• U osnovi su obično manifestna ponašanja• Zatim idu nivoi latentnih varijabli različite

opštosti i obima – facete• Na vrhu su tipovi

• Multipolarni sistemi, morfološki, funkcionalni. . .

• Različita trajnost varijabli• Pitanje osnovnih jedinica ličnosti


Tipovi latentnih varijabliTipovi latentnih varijabli

• Unipolarne, bipolarne i multipolarne• Za bipolarnost nisu dokaz različiti predznaci

koeficijenata• Nije dokaz ni negativna formulacija ajtema• Mora se postaviti pitanje: “šta je suprotno od. .

.?”• Mora postojati teorijska i empirijska podrška

za “drugi pol”


Od konstrukta do ajtemaOd konstrukta do ajtema

• Konstrukt se, po pravilu, ne može meriti direktno (npr. “kolika Vam je inteligencija”)

• Konstrukt treba raščlaniti (na osnovu teorije ili ad hoc) na tipove ponašanja – indikatore ili znake

• Indikatori su formulisani na jeziku teorije i njih treba prevesti u ajteme/stavke


Crta, osobina, tip, stanje. . .Crta, osobina, tip, stanje. . .

• Crta: osobina ličnosti koja ima direktivan karakter na ponašanje

• Osobine/crte usmeravaju, podstiču ili modulišu ponašanje

• Osobine/sposobnosti određuju domete tog ponašanja

• Stanje je, za razliku od crte, kratkotrajno – uglavnom strah ili bes


Emergentne i latentne varijableEmergentne i latentne varijable

• Latentne varijable: smer kauzalnosti ide od latentnih ka manifestnim varijablama – crta izaziva ponašanje

• Emergentne varijable: indikatori su deskripcija emergentnih varijabli, kauzalni smer ide od indikatora ka varijabli

• Emergentne varijable su stanja odnosno statusi (stanje zdravlja, materijalni status, delinkventno ponašanje. . .)


Modeli merenjaModeli merenja

Modeli psihološkog merenjaModeli psihološkog merenja

• “Psihometrijska dogma”U odgovaranju na stavke učestvuje

čitava ličnost

• Psihometrijska definicija merenjaMerenje je praktična delatnost koja ima za cilj objektivno prikupljanje podataka

o nekom svojstvu ili pojavi


Šta je model merenja u Šta je model merenja u psihometriji?psihometriji?

• Matematički ili statistički model koji numerički kombinuje nezavisne varijable, sa ciljem da se predvidi zavisna varijabla

• NV je obično latentna osobina

• ZV je obično odgovor, odnosno ponašanje, odnosno skor


DvDvaa glavn glavnaa modelamodela merenj merenjaa u u psihometrijipsihometriji

• Klasična testna teorija – KTT, odnosno klasični merni model, odnosno teorija pravog skora

• Teorija ajtemskog odgovora – TAO, odnosno teorija latentne crte


Opšta i specifična objektivnostOpšta i specifična objektivnost

• Merenje koje poseduje opštu ili generalnu objektivnost se prepoznaje po tome što ima apsolutnu nulu i jedinicu merenja

• Nula označava odsustvo svojstva, a jedinica je uvek ista

• Specifična ili lokalna objektivnost ne poseduje jedno ili drugo

• Specifično objektivno merenje dobro odražava relativni poredak objekata, ali ne na istoj skali

• Intervalni merni nivo je dobra ilustracija specifične objektivnosti


Klasična teorija testaKlasična teorija testaMODEL

Z = T + EPretpostavke

S2 = EtE = diagTtE = 0ZtE = (T + E) tE = S2

KonsekvenceP = ZtT = Zt(Z–E) = ZtZ – ZtE = R – S2

C = TtT = (Z–E)t(Z–E) = = ZtZ – EtZ – ZtE + EtE = R – S2

R = ZtZ = (T+E)t(T+E) = C + S2


Nedostaci KTTNedostaci KTT

• Platonski pravi skorovi• Ne mogu se direktno izračunati – uvek je tačna• Postoji više koncepcija i načina izračunavanja (npr.

interna konzistencija i test-retest)...

• Greške u stvarnosti nisu nekorelirane• Međuzavisnost mera osobine od uzorka

• Lak test je težak “lošim” ispitanicima. . .

• Preplitanje definicija mernih svojstava


Suportni modeli KTTSuportni modeli KTT

Suportni modeli KTTSuportni modeli KTT

• Da bi se otklonili nedostaci KTT, stvoren je niz pomoćnih modela:

• Model paralelnih indikatora

• Model uzorkovanja iz domena

• Guttmanov imaž model

• Cronbachova teorija generalizabilnosti

• Faktorski merni model...


Modeli paralelnih indikatoraModeli paralelnih indikatora

• Paralelni indikatori

Tj = Tk

σj2 = σk

2 iste varijanse

σjk = σlk iste kovarijanse

rjk = rtt = στ2 / σ2

• Pouzdanost nekog indikatora jednaka je njegovoj korelaciji sa nekim drugim, njemu paralelnim indikatorom



• Tau ekvivalentni indikatori

Tj = Tk

σj2 ≠ σk

2 različite varijanse

σjk = σlk iste kovarijanse

• Za ocenjivanje pouzdanosti testa najčešće se koristi upravo model τ-ekvivalentnih indikatora



• Kongenerički indikatori

Tj ≠ Tk

σj2 ≠ σk

2 različite varijanse

σjk ≠ σlk različite kovarijanse

• Jedini zahtev je da indikatori imaju samo jedan zajednički izvor (predmet merenja)


Model uzorkovanja iz domenaModel uzorkovanja iz domena

• Druga populacija i drugi uzorak

• Domen crte čine sva ponašanja koja izaziva ili na koja utiče ta crta

• Test obuhvata jedan uzorak tih ponašanja

Pravi skor je onaj koji bi ispitanik dobio kad bi bio ispitan svim ajtemima iz

domena


Model uzorkovanja iz domenaModel uzorkovanja iz domena

• Ajtemi

r1. = r2. = ... = rj. = rjk

rj. je prosečna korelacija u koloni

rjk je prosečna korelacija u matrici

rj(1...m) = rjT = sqrt(rjk) = sqrt(rj.) m→∞• Testovi

rj. = rjk = rjT2

rjT je korelacija j-tog testa sa pravim skorom


Guttmanova imaž teorijaGuttmanova imaž teorija

• Predstavlja razradu modela uzorkovanja iz domena

• U univerzumu:• Imaž je onaj deo varijable koji se može

predvideti iz ostalih varijabli• Antiimaž je onaj deo koji se ne može

predvideti

• U uzorku-testu:• parcijalni imaž = imaž – specifitet• parcijalni antiimaž = specifitet + greška


Šta su imaž i antimaž ajtemaŠta su imaž i antimaž ajtema

• Najlakša je regresiona interpretacija

• Skup svih ajtema: 1, ..., j, ..., m

• Skup svih ajtema osim j-tog: m~j

• R2j,m~j = koeficijent determinacije = imaž

• (1 – R2j, m~j) = koeficijent alijenacije =

koeficijent nedeterminacije = antiimaž


Guttmanov model merenjaGuttmanov model merenja

• Ključna matrica je: V2 = diag(R–1)–1

• Ona sadrži parcijalne antiimaže varijabli, dakle:

greške se mogu egzaktno izračunati

• Međutim, u Guttmanovom modelu

greške mogu biti korelirane


Faktorski model merenjaFaktorski model merenja

• Nastao kao model podataka, a ne model merenja

• Prava varijansa se definiše kao varijansa koju objašnjavaju zadržani faktori• U terminima FA to je komunalitet – h2

• Neobjašnjena varijansa se naziva unikvitetom (u2) i sadrži specifitet (s2) + grešku (e2)

h2 + (s2 + e2) = 1


Teorija ajtemskog odgovoraTeorija ajtemskog odgovora

Teorija ajtemskog odgovoraTeorija ajtemskog odgovora – TAO – TAO

• Item Response Theory – IRT

• Osnovne karakteristike:• Skaliranje• Modeliranje• Statistički pristup dodeljivanju numerala• Specifična objektivnost – invarijantnost

poretka


TAOTAO

• Strogi modelski pristup se ogleda u tome što osnovna jednačina modela direktno izračunava verovatnoću da će ispitanik i zaokružiti određenu alternativu na ajtemu j

• To daje osnovu za poređenje modela i podataka


Osnovne pretpostavkeOsnovne pretpostavke

• Jednodimenzionalnost• Svi ajtemi moraju imati zajedničko jezgro

• Lokalna nezavisnost• Korelacija između ajtema mora biti nulta ako

se osobina drži konstantnom


Osnovni pojmovi TAOOsnovni pojmovi TAO

• KKS je nelinearna regresija ajtemskog odgovora (manifestno ponašanje) na latentnu osobinu koja se meri

• Parametri ajtema i ispitanika se ocenjuju na istoj skali – u logitima ili z-skorovima



Karakteristična kriva ajtema – Karakteristična kriva ajtema – KKSKKS

Vrste TAO modelaVrste TAO modela• Postoji veliki broj različitih• Za svaki format stavke

• Za dihotomne• Za politomne ordinalne• Za politomne nominalne. . .

• Za različit broj parametara• 1P, 2P, 3P

• Za različitu veznu funkciju• Logistički – L• Normalni - N

• Višedimenzionalni• Neparametrijski. . .


3PL TAO model za dihotomne 3PL TAO model za dihotomne ajtemeajteme

• θ je parametar ispitanika – nivo osobine• δ, a i c su parametri ajtema:

• Težine• Diskriminativnosti• Pogađanja


p c ( c )e

e(x ) j j

a ( )

a ( )ij

j i j

j i j

1 11

Parametar Parametar δδii

• Parametar težine ajtema• Nalazi se na skali osobine θ i izražava se u

jedinicama osobine (npr. logitima)• To je količina osobine koja je potrebna da se

na ajtem odgovori pozitivno• Dakle, i težina ajtema i nivo osobine

ispitanika se iskazuju na istoj skali• δ se naziva i lokacijom KKS-a• Ajtem se naziva uparenim sa ispitanikom

kada je δj = θi


Parametar Parametar aajj

• Nagib ogive u tački preloma

• Pošto je KKS nelinearna regresija, nagib linije predstavlja vrstu korelacije ajtema sa osobinom

• Zato je to diskriminativnost ajtema

• 1/σ – obrnuto je proporcionalan SD logističke funkcije (stavke)

• Zato se naziva i parametrom skaliranja


Parametar Parametar aajj

<0,75 nisko diskriminativan ajtem

>1 visoko diskriminativan ajtem

>1,75 vrlo visoko diskriminativan ajtem

(u logit metrici)

• Velike razlike u diskriminativnosti stavki nisu poželjne zbog:• Lordovog paradoksa• visoko diskriminativni ajtemi su redundantni• poredak ispitanika zavisi od odgovorenih stavki


Parametar Parametar ccjj

• Donja asimptota KKS• Parametar pogađanja – verovatnoća da će

ispitanik odgovoriti pozitivno čak i bez prisustva osobine

• Svojstvo ajtema, a ne ispitanika• Generalno; fitovanje je bolje kod 3P modela• Teškoće:

• teško se ocenjuje• logičnije je da bude parametar ispitanika• nestabilan je, obično mali i kad je >0,30 smatra se

sumnjivim. . .


Raschov modelRaschov model

• 1PL model


lnp

pij

ij

i j1

log it

pe

eij

( )

( )

i j

i j

1

Raschov modelRaschov model

• Najbliži ideji modela merenja – sličan psihofizičkim modelima

• Najbliži konceptu invarijantnosti poretka, odnosno specifičnoj objektivnosti

• Najbliži Thurstoneovoj definiciji dobrog merenja


Fitovanje modelaFitovanje modela

• Modelski pristup merenju podrazumeva da se sistematski proverava da li podaci odgovoraju modelu (ili obrnuto)

• Upoređuju se modelske predikcije (verovatnoće odgovora) i dobijeni podaci - vidi rešenja prvog i drugog problema u primeru


Ocenjivanje fitovanja modelaOcenjivanje fitovanja modela

• Uključuje proveru svih pretpostavki TAO modela:• jednodimenzionalnost,• lokalna nezavisnost,• invarijantnost ocene parametara,• invarijantnost ocene osobine,• jednakost koeficijenata diskriminativnosti,• odsustvo – prisustvo pogađanja,• da li je vreme bilo izvor varijanse. . .


Provera modelskih predikcijaProvera modelskih predikcija

• Analiza fitovanja je analiza reziduala

• Reziduali su razlike između modelske predikcije i podataka

• Analiza fitovanja ajtema

• Analiza fitovanja ispitanika

• Analiza fitovanja modela u celini


Problemi analize fitovanjaProblemi analize fitovanja

• Statistički pokazatelji fitovanja (goodness of fit) nisu razvijeni, ne daju zadovoljavajuće rezultate ili nisu uvek primenjivi

• Psiholozima treba tumačenje misfita – zašto je neko odgovorio, a nije trebao, ili nije odgovorio, a trebao je



Ocena osobine i težine po KTTOcena osobine i težine po KTTAjtem 1težak

Ajtem 2težak

Ajtem 3

Ajtem 4

Ajtem 5najlakši

Ajtem 6najteži

Skor

Osoba 1

1 1 1 1 1 0 5najbolj

aOsoba 2

0 1 1 1 1 0 4

Osoba 3

0 0 1 1 1 0 3

Osoba 4

0 0 0 1 1 0 2

Osoba 5

0 0 0 0 1 1 2loša

Osoba 6

1 1 0 0 0 0 2loša

Težina 0,33 0,5 0,5 0,67 0,83 0,17


ProblemiProblemi

• Osoba 6• “loša” osoba koja je rešila teške ajteme a nije

lake

• Ajtem 6• Najteži ajtem koji je rešila “loša” osoba, a nisu

“dobre”


Ocena osobine i težine u TAOOcena osobine i težine u TAO• δajtema = ln[pkolone / (1 – pkolone)] = δj

• θispitanika = ln[preda / (1 – preda)]= θi

• Raschov model, program Winsteps ili makro kakaoMiks• Metoda: JMLE, iterativno

pe

eij

( )

( )

i j

i j

1


TAOTAO re rešenje (bez problema)šenje (bez problema)

Ajtem 1

Ajtem 2

Ajtem 3

Ajtem 4

Ajtem 5

Osobina

Osoba 1

0,83 0,93 0,97 0,99 1,00 3

Osoba 2

0,50 0,73 0,86 0,94 0,99 1,39

Osoba 3

0,27 0,50 0,69 0,86 0,97 0,41

Osoba 4

0,14 0,31 0,50 0,73 0,93 -0,41

Osoba 5

0,06 0,14 0,27 0,50 0,83 -1,39

Težina 1,39 0,41 -0,41 -1,39 -3


Rešenje prvog problemaRešenje prvog problema-prilagođavanje ajtemskih težina-prilagođavanje ajtemskih težina-misfit-misfit ( (osenčeno)osenčeno) i velike S.G. i velike S.G.

Ajtem 1

Ajtem 2

Ajtem 3

Ajtem 4

Ajtem 5

Logita

Osoba 1

0,83 0,94 0,94 0,98 0,99 3,20

Osoba 2

0,52 0,79 0,79 0,91 0,97 1,72

Osoba 3

0,25 0,53 0,53 0,76 0,91 0,54

Osoba 4

0,11 0,29 0,29 0,53 0,79 -0,50

Osoba 5

0,03 0,11 0,11 0,25 0,52 -1,73

Osoba 6

0,11 0,29 0,29 0,53 0,79 -0,50

Logita 1,64 0,40 0,40 -0,63 -1,82 ←


Rešenje drugog problemaRešenje drugog problema-prilagođavanje osobine-prilagođavanje osobine

-misfit -misfit ((osenčeno)osenčeno) i velike S.G. i velike S.G.

Ajtem 1

Ajtem 2

Ajtem 3

Ajtem 4

Ajtem 5

Ajtem 6

Logita

Osoba 1

0,59 0,85 0,95 0,98 1,00 0,59 1,90

Osoba 2

0,29 0,61 0,84 0,95 0,99 0,29 0,63

Osoba 3

0,11 0,33 0,61 0,85 0,96 0,11 -0,54

Osoba 4

0,03 0,11 0,29 0,59 0,86 0,03 -1,91

Osoba 5

0,03 0,11 0,29 0,59 0,86 0,03 -1,91

Logita 1,55 0,17 -1,00 -2,27 -3,76 1,55 ↑


Oba problema spojenaOba problema spojena- obostrano prilago- obostrano prilagođavanjeđavanje

- - mnogo mnogo misfitmisfita a ((osenčeno)osenčeno) i S.G. i S.G.

atem 1

ajtem 2

ajtem 3

ajtem 4

ajtem 5

ajtem 6

logita

osoba 1

0,76 0,89 0,89 0,95 0,98 0,51 2,02

osoba 2

0,51 0,72 0,72 0,85 0,94 0,25 0,89

osoba 3

0,30 0,51 0,51 0,70 0,87 0,12 0,00

osoba 4

0,15 0,30 0,30 0,50 0,73 0,05 -0,89

osoba 5

0,15 0,30 0,30 0,50 0,73 0,05 -0,89

osoba 6

0,15 0,30 0,30 0,50 0,73 0,05 -0,89

logita 0,84 -0,03 -0,03 -0,87 -1,89 1,99

Primeri iz Raschovog modelaPrimeri iz Raschovog modela

• Infit i outfit, infit je važniji

• “mean square” (MnSq) i “ZStd”

• MnSq• > 2 vrlo loše• 1,5 – 2,0 neproduktivan, ali ne degradira

merenje• 0,5 – 1,5 produktivan za merenje• <0,5 manje produktivan, ali ne degradira



Primer iz Raschovog modelaPrimer iz Raschovog modela

Sklop odgovoralaki....................teški

Dijagnoza sklopa OUTFITMnSq

INFITMnSq

111|0110110100|000

u skladu sa modelom/idealan

1,0 1,1

111|1111100000|000

Guttmanov/deterministički 0,3 0,5

000|0000011111|111

pogrešno kodiranje 12,6 4,3

011|1111110000|000

nepažljivost/uspavanost 3,8 1,0

111|1111000000|001

pogađanje 3,8 1,0

101|0101010101|010

odgovaračko usmerenje/pogrešno kodiranje

4,0 2,3

111|1000011110|000

specijalno znanje 0,9 1,3

111|1010110010|000

namerno ubačeni ekstremi 0,6 1,0


Konverzija logita u z-skoroveKonverzija logita u z-skorove

Logit verovatnoća ztačnog skorodgovora

5 99% 2,474 98% 2,103 95% 1,672 88% 1,181 73% 0,620,8 69% 0,500,5 62% 0,310,1 52% 0,060 50% 0

Logit verovatnoća ztačnog skor odgorova

-0,1 48% -0,06-0,5 38% -0,31-0,8 31% -0,50-1 27% -0,62-2 12% -1,18-3 5% -1,67-4 2% -2,10-5 1% -2,47

Višeparametarski modeliVišeparametarski modeli


2P dihotomni modeli2P dihotomni modeli


3P dihotomni modeli3P dihotomni modeli

Politomni modeliPolitomni modeli


Uređeni politomni modeliUređeni politomni modeli

• Thurstoneovi pragovi

1-------------2--------------3-------------4-------------5 | | | |

nimalo pomalo srednje umereno jak

prag 1 prag 2 prag 3 prag 4

• Prag je onaj nivo osobine na kome ispitanik ima podjednaku šansu da izabere nižu ili višu kategoriju


Operativne krive kategorijaOperativne krive kategorija


Karakteristične krive kategorijaKarakteristične krive kategorija


Nominalni modelNominalni model

• Na kom uređenom paru se nalazi “*”?

A. (3,3)

B. (3,5)

C. (5,3)

D. (5,5)

6

5 * @

4 #

3 % $

2

1 +

1 2 3 4 5 6


Nominalni modeliNominalni modeli


Ostali TAO modeliOstali TAO modeli

• Sa normalnom ogivom

• Neparametrijski modeli

• Višedimenzionalni modeli

Osnovna merna svojstvaOsnovna merna svojstva


Osnovna merna svojstvaOsnovna merna svojstva

• Stavki

• Testova

• Po KTT – koeficijenti ili statistici

• Po TAO – parametri


““TeTežina” stavke – KTTžina” stavke – KTT

• Kod binarnih stavki – proporcija pozitivnih odgovora – p vrednost

• U opštem slučaju: aritmetička sredina ajtemskih skorova

• Za binarne var. M=p

• Za polihotomne var. umesto M mogu se koristiti Mdn ili Mod



““TeTežina” stavke i testa – KTTžina” stavke i testa – KTT

Težina

kao

lokacija

na

kontinuumu

osobine

““Težina” stavke – KTTTežina” stavke – KTT

• Protivrečnost: veći p ili M – manja težina

• “Težina” nije dobar naziv za stavke koje ne mere sposobnosti

• Alternativni nazivi: indeks težine, popularnost, indeks lakoće, p-vrednost...


Težina testa – KTTTežina testa – KTT

• Prosečna težina stavki u testu ili: aritmetička sredina ukupnog skora

• Zavisi od težine stavki


Težina stavke – TAO Težina stavke – TAO

• Parametar δj

• U L modelima je u logitima, a u N u z-vrednostima

• U istim jedinicama i na istoj skali se iskazuje i nivo osobine kod ispitanika – θ

• Postoji približna jednačina za konverziju u z-vrednost za 2PL modele


TeTežina stavkežina stavke

• KTT• Težina je jedan od dva osnovna kriterijuma

za izbor stavki u test• Biraju se stavke različitih težina, ali tako da

im prosečna težina bude p = 0,50• Izbegavaju se ekstremno lake i ekstremno

teške stavke (npr. 0,10 i 0,90)• TAO• Najbolje ako je ajtem adaptiran ispitaniku• Inače važi slično pravilo kao u KTT


Težina stavke i druga merna Težina stavke i druga merna svojstvasvojstva

• Diskriminativnost stavki i pouzdanost testa će biti najveći ako je varijabilnost težina stavki najmanja

• Lord je pokazao da je najbolje za test u celini ako su sve stavke nešto lakše (p>0,5)


Diskriminativnost stavke – KTTDiskriminativnost stavke – KTT

• Svojstvo stavke da razlikuje ispitanike sa niskom i visokom osobinom

• Alternativni naziv osetljivost (da se razlikuju ispitanici sa različitim nivoom osobine)



• Klasični pokazatelj: diskriminativna moć (DP), tj. indeks diskriminativne moći, tj. indeks diskriminativnosti ajtema

• DP = (G – D)/n, pri čemu je G frekvencija pozitivnih odgovora u grupi sa najvišim ukupnim skorom. . .

• DP se kreće u rasponu od –1 do +1



• Danas se kao pokazatelj diskriminativnosti koristi korelacija stavke sa ukupnim skorom, tj. korelacija ajtem—total

• Najčešće se koriste r (ili njegova modifikacija rpbis), ili rbis

• Faktorsko opterećenje, takođe

• Korelacija sa spoljašnjim standardom, takođe



• Preporučuje se korekcija ajtem-total korelacije putem uklanjanjem tog ajtema iz ukupnog skora

• Diskriminativnost je povezana sa težinom: vrlo laki i vrlo teški ajtemi ne mogu imati visoku ajtem-total korelaciju (osim rbis)



• Visoko diskriminativne stavke su redundantne (testleti)

• Nisko diskriminativne stavke su beskorisne

• KKS stavki sa visokim razlikama u diskriminativnosti se “seku” – Lordov paradoks



• Biraju se ajtemi čije su korigovane diskriminativnosti u opsegu umerenih koeficijenata – npr. 0,30 do 0,80.

• Ako se kao koeficijent koristi r i ako se koristi korekcija, minimalna prihvatljiva vrednost je 0,30

• Postoje okolnosti kada su prihvatljivi niži koeficijenti• Heterogeni testovi, npr.

• Ali i kada se očekuju viši:• Homogeni testovi, npr


Diskriminativnost stavke – TAO Diskriminativnost stavke – TAO

• Parametar aj

• Definiše se kao nagib KKS, a korelacija se takođe definiše kao nagib regresione linije


Diskriminativnost testa – KTTDiskriminativnost testa – KTT

• Nije teorijski i praktično čvrsto utemeljena• Zavisi od: dužine testa, grešaka merenja,

distribucije skorova i namene testa (normativni ili kriterijumski)

• Distribucija skorova testa zavisi od ajtemskih težina i njihovih interkorelacija


Homogenost testaHomogenost testa

• Alternativni naziv:

jednodimenzionalnost

• Svojstvo testa:• Da se cela njegova prava varijansa može

objasniti delovanjem samo jedne osobine, ili• Da svi njegovi ajtemi imaju samo jedan

zajednički predmet merenja – zajedničko jezgro


Homogenost stavkeHomogenost stavke

• Može se definisati kao učešće zajedničkog predmeta merenja u njenoj varijansi

• Ne koristi se često kao merno svojstvo


Homogenost testaHomogenost testa

• Tautologije i “semantička homogenost” nisu homogenost

• Potpuna homogenost nije moguća zbog “psihometrijske dogme”

• Međutim, homogenost dramatično olakšava evaluaciju testa

• Multidimenzionalnost, potrebna za ocenjivanje ličnosti, postiže se korišćenjem baterije jednodimenzionalnih testova


Homogenost Homogenost i prosečna korelacijai prosečna korelacija

• Savršeno homogen test je skup paralelnih indikatora čije su greške nulte – intekorelacije su jedinične

• Savršeno heterogen test je skup paralelnih indikatora čiji su pravi skorovi nulti – interkorelacije su nulte

• Dakle, na ocenu homogenosti po KTT utiču greške merenja – a to nije poželjno

• Zato prosečna interajtemska korelacija nije dobra mera homogenosti


Homogenost Homogenost kroz faktorski modelkroz faktorski model

• Test je homogen ako fituje jednofaktorski model

• Test je homogen ako u njegovoj pravoj (ili ukupnoj) varijansi ubedljivo najviše učestvuje prvi faktor – glavna komponenta


Ocenjivanje homogenosti u KTTOcenjivanje homogenosti u KTT

• Faktorska analiza je optimalna alatka za analizu dimenzionalnosti testa

• Ako ima više faktora slične dužine:• Ako su korelirani, moguća je hijerarhijska

faktorska analiza• Mogu da predstavljaju facete iste osobine

• Koeficijenti homogenosti se obično zasnivaju na odnosu varijanse prvog faktora prema ukupnoj varijansi


Reprezentativnost testaReprezentativnost testa

• Vezana je za model uzorkovanja iz domena, specifično za Guttmanov model

• Uprošćeno, to je odnos antiimaž varijanse i ukupne varijanse – što test ima manje unikne varijanse, više je reprezentativan za domen

• Najčešći pokazatelj je Kaiser-Meyer-Olkinov (KMO) “measure of sampling adequacy” (MSA)


PogađanjePogađanje

• Samo u oblasti kognitivnog testiranja

• Klasična definicija podrazumeva “slepo pogađanje”, odnosno jednake verovatnoće biranja alternativa

• Abbottova formula:

Tt = T – [P / (k – 1)]

• Korekcija nema efekta kada je korelacija T i P jedinična, tj. kada ispitanik pokuša da reši sve zadatke


PogađanjePogađanje

• U stvarnosti, pogađanje nije slepo

• Teže da pogađaju loši ispitanici na teškim ajtemima

• Ispitanici koriste testovnu mudrost i ne pogađaju na slepo

• Postoje testovna anksioznost i nepažljivost koje mogu delovati simultano sa pogađanjem u različitim uslovima primene testa


Umanjivanje efekta pogađanjaUmanjivanje efekta pogađanja

• Klasična preporuka je da se: a) ispitanicima dadne instrukcija protiv pogađanja i b) da se primeni Abbottova formula

• Suprotno, postoji i preporuka da se od ispitanika traži da pokušaju da reše svaki zadatak (da bi korelacija T i P bila -1)


Umanjivanje efekta pogađanjaUmanjivanje efekta pogađanjaDanas se preporučuje sledeće:

• Koristiti PVI• Pažljivo formulisati distraktore• Koristiti PKO sa dopunjavanjem• Dati dobro uputstvo, obezbediti pravilnu

atmosferu. . .• Ako se daje instrukcija protiv pogađanja (ili

suprotna), mora biti jasna i precizna• Test mora biti prilagođen uzorku – ne pretežak

(ali ni prelak)• Primeniti 3P TAO model


Definicija Definicija ttesta brzineesta brzine

• Test je ubrzan onoliko koliko vremensko ograničenje: • utiče na konačan rezultat ispitanika, odnosno

koliko učestvuje u varijansi ukupnih skorova,• a to se vidi po tome koliko smanjuje korelaciju

ukupnog skora sa ukupnim skorom dobijenim bez ograničenja vremena


Testovi brzineTestovi brzine – problemi – problemi

• Nameću razne probleme:1. Šta mere2. Kako im se određuju merna svojstva

• Asimetrija distribucije utiče na korelacije• Faktori brzine

• Pouzdanost se može odrediti metodom testa i retesta ili alternativnih formi

• Postoje “koeficijenti brzine” i “korekcije za brzinu”


Testovi brzineTestovi brzine – neke napomene – neke napomene

• Testovi brzine su obično znatno duži od testova snage

• Praksa je pokazala da skraćivanje vremena za 1/3 ili čak za ½ ne menja znatno merna svojstva testa

• Ispitanici se žale na prekratko vreme, ali im učinak ne bude bitno smanjen

• Skraćivanje vremena može da promeni predmet merenja, jer: a) laki ajtemi (sa početka testa) mogu da mere nešto drugo, b) na učinak mogu da utiču faktori ličnosti, c) brzina se u nekim teorijama pojavljuje kao nezavisna faceta inteligencije. . .



POUZDANOSTPOUZDANOST - - RELIJABILNOSTRELIJABILNOST


Pouzdanost i valjanostPouzdanost i valjanost

Tipovi pouzdanostiTipovi pouzdanosti

• Po načinu ocenjivanja (izračunavanja):• Pouzdanost interne konzistencije• Pouzdanost testa i retesta• Pouzdanost alternativnih formi• Pouzdanost slaganja (pr)ocenjivača


Definicije pouzdanostiDefinicije pouzdanosti testa testa

• U zavisnosti od toga kako se ocenjuje – izračunava:• Interna konzistencija: stepen konzistencije

ajtema• Test – retest: stepen stabilnosti tokom

vremena• Alternativne forme: stepen ekvivalencije formi• Slaganje procenjivača – stepen slaganja -

objektivnost


Psihometrijski i statističkiPsihometrijski i statistički

• Pouzdanost je mera odsustva grešaka merenja

• Opšte formule za računanje pouzdanosti:


2

2

2

2

1Y

E

Y

Tttr

Svojstvo testa ili podataka?Svojstvo testa ili podataka?

• Iako se može definisati i za ajteme, u praksi se pozdanost koristi prvenstveno kao merno svojstvo testa

• Neki testovi jesu manje, a neki više pouzdani, ali:

pouzdanost se uvek odnosi na konkretne podatke


Pouzdanost interne konzistencijePouzdanost interne konzistencije

• Izračunava se iz varijansi i kovarijansi stavki

• “Unutrašnja” je, nisu potrebni nikakvi dodatni podaci

• Pošto se izračunava samo iz svojstava stavki testa, nekada se nazivala “metodom analize stavki”


Koeficijent alfaKoeficijent alfa

• Alfu je prvi predložio Guttman, ali se danas naziva po Cronbachu

• Zasniva se na pretpostavkama: minimalno tau-ekvivalentni skup ajtema, aditivnost pravih skorova, normalna distribucija skorova


2

1

2

11 Y

m

jj

m

m

Koeficijent alfaKoeficijent alfa

• Alfa je dobra ocena pouzdanosti testa ukoliko njegovi ajtemi predstavljaju skup tau-ekvivalentnih indikatora

• Treba obratiti pažnju da u izrazu ne figurišu kovarijanse ili korelacije

• Danas je to najčešće korišćen pokazatelj pouzdanosti


Spearman-Brownov koeficijentSpearman-Brownov koeficijent

• Koeficijent koji se zasniva na podeli testa na m delova

• Inicijalno je izveden za podelu na dva dela i poznat je kao split-half koeficijent

• Pretpostavka: paralelni skup ajtema• U tom slučaju svi ajtemi koreliraju r


rm

mrBS

)1(1

Spearman-Brownov koeficijentSpearman-Brownov koeficijent

• Podela testa na dva dela može se izvršiti: slučajnim izborom, podelom na parne i neparne ajteme, sortiranjem po težini i podelom na parove

• Danas se S-B obrazac koristi tako da m bude jednak broju ajtema

• U tom slučaju se mora izračunati prosečna interajtemska korelacija nekom od metoda


Proricanje pomoću S-B koeficijentaProricanje pomoću S-B koeficijenta

• k = m2 / m1

• m2 = nova dužina testa, m1 = stara dužina testa

• rmm = nova ili potrebna pouzdanost


)1(

)1(

)1(1

mmtt

ttmm

tt

ttmm

rr

rrk

rk

krr

Kuder-Richardsonova formula 20Kuder-Richardsonova formula 20

• Jednak je alfi, prilagođenoj binarnim ajtemima i ručnom računanju


2

120 1

1 Y

m

jjjqp

m

mRK

Pouzdanost testa i retestaPouzdanost testa i retesta

• rtt = rvreme1,vreme2

• Bazirana je na modelu paralelnih indikatora, prema kome je pouzdanost indikatora jednaka korelaciji sa njemu paralelnim indikatorom

• Isti ispitanici se testiraju istim testom nakon izvesnog vremena

• Zato se naziva i koeficijentom stabilnosti


Problem određivanja vremenskog Problem određivanja vremenskog razmakarazmaka

• Ako je prekratak, deluju efekti redosleda kao što su: memorija, vežba, ali i zamor

• Ako je predug, osobina se može promeniti• Uvek mogu postojati mortalitet i

senzitizacija• Okvirno:

• 3 do 6 meseci kod dece i starih• Do godinu dana kod odraslih• U praksi, od nekoliko dana do nekoliko

meseci


Kada i zašto je pogodanKada i zašto je pogodan

• Kod testova brzine• Kod svih merenja kada stavke nisu jasno

definisane, kao npr.:• Projektivni testovi• Ocenjivanje procenjivača, npr. u analizi

sadržaja itd.

• Posredno, određuje se stabilnost konstrukta


Pouzdanost alternativnih formiPouzdanost alternativnih formi

• Alternativne forme su verzije testa koje su napravljene da budu jednake u pogledu onoga šta mere i kako mere

• Alternativne forme su jednake ukoliko predstavljaju paralelne indikatore

• U tom slučaju:Korelacija između alternativnih formi ima

status koeficijenta pouzdanosti za obe forme


Pouzdanost alternativnih formiPouzdanost alternativnih formi

• Alternativne forme se zadaju istim ispitanicima sa kratkim razmakom (npr. do dve nedelje)

• Ova pouzdanost ima status koeficijenta ekvivalentnosti

• Pouzdanost će biti korektna ukoliko su forme minimalno kongenerične


Pouzdanost “između ocenjivača”Pouzdanost “između ocenjivača”

• Predstavlja je korelacija ocenjivača

• Istovremeno, naziva se objektivnošću ili reproducibilnošću merenja

• Problem izbora koeficijenta:• r nije dobar• dobri su intraklasni, Cohenov kappa...


Pouzdanost i mPouzdanost i model uzorkovanja iz odel uzorkovanja iz domenadomena

• Osnovna jednakost

rj. = rjk = rjT2 = rtt

2

• Najbolja procena koeficijenta pouzdanosti bilo kog testa u domenu je prosečna korelacija tog testa sa svim ostalim


Pouzdanost u Guttmanovom i Pouzdanost u Guttmanovom i faktorskom modelu merenjafaktorskom modelu merenja

• Po pravilu, kao procene varijanse greške, prave varijanse ili ukupne varijanse uzimaju se:• Svojstvene vrednosti faktora• Imaž varijanse• Antiimaž varijanse. . .

• I uvrštavaju u formule za alfu, S-B. . .


Standardna greška merenja u KTT Standardna greška merenja u KTT – SGM– SGM

σgm = σj (1 – rjT2)1/2 = σj (1 – rtt)1/2

• Raspršenje dobijenih oko pravih skorova

• Ocena pravog skora sa M=0 i σ2=rtt:

zT* = zjrtt

1/2

• Interval poverenja: T* ± zcσgm (simetričan oko pravog skora)


Standardna greška merenjaStandardna greška merenja

• Po osnovnoj KTT, SGM je jednaka za sve skorove

• U stvarnosti, nije jednaka za sve skorove• Po novijoj KTT, distribucija ekstremnih

pravih skorova je veoma asimetrična (tzv. binomni model)

• Zato je SGM najveća kod srednjih skorova, a najmanja kod ekstremnih


Indeks pouzdanostiIndeks pouzdanosti

• rjT je indeks pouzdanosti, korelacija dobijenog i pravog skora

• Iako je sličan faktorskom opterećenju, koeficijentu diskriminativnosti ili koeficijentu validnosti, ne može se izjednačiti


ttjTjkj rrrr 2.

Prihvatljive vrednosti Prihvatljive vrednosti rrtttt

• Obično:

S–B ≤ α ≤ faktorski ≤ Guttmanov

• Razlike su utoliko veće što skup ajtema više odstupa od modeliranog (paralelnog ili tau-ekvivalentnog)

• Takođe: ICC(3,.) ≥ ICC(2,.) ≥ ICC(1,.)



• Pouzdanost interne konzistencije je obično viša od alternativnih formi

• Pouzdanost alternativnih formi je često viša od testa i retesta

• Ako je razlika veća od 0,20: ili forme nisu kongenerične, ili konstrukt nije trajan, ili uslovi zadavanja testa nisu bili isti...



• Za internu konzistenciju donja granica alfe je 0,70

• To odgovara tumačenju da test ima 70% prave varijanse, da dva paralelna indikatora dele 50% varijanse, da je separacioni odnos 1,5 itd.

• Iznad 0,83 se smatra visokom, a iznad 0,90 vrlo visokom

• Ipak, sve zavisi od namene merenja, vrste testa, uzorka-populacije, tipa konstrukta itd.



• Kad god je moguće, treba uzeti u obzir informativnost, SGM i intervale poverenja

• Uvek treba imati u vidu da nemaju svi skorovi istu SGM

• U tom smislu prednost ima TAO jer egzaktno izračunava SGM za svaki skor


Nova pravila merenjaNova pravila merenja

• TAO nas uči da nemaju svi skorovi jednaku SGM

• Takođe, kraći testovi mogu biti pouzdaniji ako su upareni sa ispitanicima, tj. prilagođeni njihovom nivou osobine. . .


Korekcija za atenuacijuKorekcija za atenuaciju

• Po KTT samo pravi skorovi mogu da koreliraju

• Dakle, varijable koreliraju onoliko koliko su pouzdane

• r-koeficijenti se mogu korigovati vrednostima rtt da bi se ocenilo koliko koreliraju pravi skorovi, tj. kolika bi se korelacija dobila kada ne bi bilo grešaka merenja


VALJANOST - VALIDNOSTVALJANOST - VALIDNOST

ValjanostValjanost

• U formalnoj teoriji merenja – svojstvo merne skale da verno odražava stepen prisustva osobine koja se meri

• U psihološkoj praksi – veoma razuđeno, kompleksno i različito definisano svojstvo testa

• U TAO (Rasch) – nastoji se podvesti pod objektivnost merenja


Tri aspekta, vida ili značenja Tri aspekta, vida ili značenja validnostivalidnosti

• Sadržinska validnost• Da li test sadrži reprezentativan uzorak

ponašanja iz domena koji se meri

• Kriterijumska validnost• Da li postoji povezanost testa i neke eksterne

varijable - kriterijuma

• Konstruktivna validnost• Da li test meri onu osobinu za koju je

namenjen


Kako povezati mernoteorijsku i Kako povezati mernoteorijsku i psihološku valjanostpsihološku valjanost

• Šta se prihvata kao definicija crte: domen, kriterijum ili konstrukt

• U “Standardima...” AERA i APA definišu valjanost kao “stepen u kome podaci i teorija potkrepljuju interpretaciju testnih skorova”

• Tri tipa validnosti se mogu svesti na različite izvore podataka

• U principu, test mora biti valjan na sva tri načina• Implicitno, merena osobina je ono što može da

poveže sve načine određivanja valjanosti


Konstruktivna valjanostKonstruktivna valjanost

Konstruktivna valjanostKonstruktivna valjanost

• Odgovara na pitanje: ŠTA TEST MERI?

• U istorijskom smislu – najmlađa je

• Osim u evaluaciji testova igra važnu ulogu u proveri i stvaranju teorija psiholoških konstrukata

• Alternativni nazivi: hipotetička, simptomatska, faktorska, interna. . .

• Univerzalna je, može da se ocenjuje na svim vrstama testova, u svim primenama


Istorijat konstruktivne valjanostiIstorijat konstruktivne valjanosti

• Ona je “najmlađa” zato što je bihejviorizam odbijao mentalističke pojmove i značenja stavki - konstrukte

• I danas postoji funkcionalistički pristup psihometriji po kome je skor testa zbir ajtemskih odgovora koji treba da obavi neki posao – a ne da izmeri crtu


Šta su konstruktiŠta su konstrukti

• U bihejviorizmu: nakon S-R modela uvedene su intervenišuće (organske) varijable: S-O-R.

• Intervenišuće varijable nisu imale nikakav “višak značenja”, predstavljale su samo preciznu operacionalnu definiciju pojave

• Npr. navika je pojava da nakon višestrukih ponavljanja uslovna draž izaziva bezuslovnu reakciju


Šta su konstruktiŠta su konstrukti

• Kasniji razvoj je doveo do pojma hipotetičkog konstrukta (MacCorquodale i Meehl)

• To je osobina, svojstvo, stanje, “zaključeni entitet” – npr. znanje

• Hipotetički konstrukt “se ne vidi” i korespondira sa današnjim pojmom

latentne varijable


Ocenjivanje konstruktivne valjanostiOcenjivanje konstruktivne valjanosti

• Ne postoje jedinstveni postupci za njeno ocenjivanje

• Najpoznatija tehnika je do danas ostala faktorska analiza

• Međutim, to nije dovoljno i stvoreni su različiti postupci u cilju bolje operacionalizacije kriterijumske validacije

• Pre svega: nomološka mreža i MOMM (konvergentna i diskriminativna valjanost)


Problemi konstruktivne validacijeProblemi konstruktivne validacije

• Osnovni problem je što se paralelno sa proverom valjanosti testa vrši i provera konstrukta

• Problemi definicije konstrukta: latentna ili emergentna varijabla, osobina ili stanje, osobina ili sindrom. . .

• Problemi provere konstrukta – šta uzeti kao dokaz realnosti: homogenost, diskriminativnost, fiziološke korelate. . .


Nomološka mrežaNomološka mreža

• Invencija Cronbacha i Meehla koja je trebala da olakša kako konstruktivnu validaciju, tako i proveru konstrukta

• Nomološka mreža se “prede” oko jednog osnovnog konstrukta

• Nomološka mreža u osnovi sadrži:• konstrukte i njihove relacije, • ponašanja i njihove relacije,• operacionalne definicije

• Što mreža sadrži više ovih elemenata, smatra se da bolje dokazuje osnovni konstrukt


Nomološka mrežaNomološka mreža

• Konstrukti A i B koreliraju pozitivno• X je mera konstrukta A• Y je mera konstrukta B• X i Y koreliraju pozitivno

• Nomološka mreža povezuje konstrukte i podatke sa ciljem konstruktivne validacije


Klasične metode za utvrđivanje Klasične metode za utvrđivanje konstruktivne valjanostikonstruktivne valjanosti

• Korelacija sa drugim varijablama• Razlike između grupa• Studija interne strukture testa – ajtem

analiza• Studija promena između administracija

testa• Studija procesa• Faktorska analiza


Konvergentna i diskriminativna Konvergentna i diskriminativna valjanost i MOMMvaljanost i MOMM

• Stvorili su ih Campbell i Fiske, nastojeći da objektiviziraju i operacionalizuju konstruktivnu valjanost

• Nomološka mreža se nije pokazala dovoljno operacionalizovana


Konvergentna valjanostKonvergentna valjanost

• Teorijski slični konstrukti moraju biti visoko korelirani, bez obzira kojom tehnikom su izmereni


Diskriminativna valjanostDiskriminativna valjanost

• Teorijski različiti konstrukti ne smeju visoko korelirati, bez obzira kojom tehnikom su izmereni


Multiosobinsko-multimetodska Multiosobinsko-multimetodska matrica - MOMMmatrica - MOMM


Metod Projektivni Verbalni Projektivni Verbalni

Osobina Pouzda-nost 1

Pouzda-nost 2

Brižnost 1 Brižnost 2

Projektivni Pouzda-nost 1

0,70

Verbalni Pouzda-nost 2

0,50 0,80

Projektivni Brižnost 1 0,60 0,45 0,75

Verbalni Brižnost 2 0,55 0,65 0,40 0,85

MOMMMOMM

• Dijagonala za pouzdanost• Dijagonale za validnost• Heteroosobinski-monometodski trouglovi• Heteroosobinski-heterometodski trouglovi• Monometodski blokovi• Heterometodski blokovi


Kriterijumska valjanostKriterijumska valjanost

Kriterijumska valjanostKriterijumska valjanost

• Odgovara na pitanje: DA LI TEST MOŽE DA ZAMENI MERENJE NEKE AKTIVNOSTI—OSOBINE?

• Ta aktivnost ili osobina se naziva kriterijumom• Dakle, kriterijum se uzima kao predmet merenja

testa, a namena je testa da zameni kriterijum• Alternativni nazivi: pragmatska, praktična,

empirijska, statistička. . .


Vremenski odnos testa i kriterijumaVremenski odnos testa i kriterijuma

• U “normalnoj” psihologiji• Kriterijum je u budućnosti – prediktivna

valjanost• Kriterijum je u sadašnjosti – konkurentna ili

simultana valjanost• Kriterijum je u prošlosti – postdiktivna

valjanost


Vremenski odnos testa i kriterijumaVremenski odnos testa i kriterijuma

• U abnormalnoj psihologiji• Kriterijum je u budućnosti – prognostička

valjanost• Kriterijum je u sadašnjosti – dijagnostička

valjanost


Šta je kriterijumŠta je kriterijum

• Kriterijum je varijabla koja se mora meriti• Za to merenje važe isti principi kao i za

svako drugo psihološko merenje: pouzdanost, validnost, diskrimina-tivnost, težina. . .

• Obično se kriterijum definiše kao emergentna varijabla – uspešnost u radu, stanje zdravlja itd.


Vrste kriterijumaVrste kriterijuma

• Različite mogućnosti podele:• s obzirom na vreme – budući, sadašnji i prošli• s obzirom na oblast – uspešnost u radu i

stepen i vrsta abnormalnosti• po bliskosti i neposrednosti – ultimativni,

posredni i neposredni• po specifičnosti – opšti i specifični• teorijski i stvarni• po metrijskim karakteristikama – diskretni i

kontinualni. . .


Uspešnost u raduUspešnost u radu

• Najčešći kriterijum u psihologiji zdravih• Dve univerzalne varijable ovog kriterijuma

su:• Kvalitet• Kvantitet

• Univerzalni prediktori uspešnosti su:• Inteligencija• Podobnosti• Osobine ličnosti


Merenje uspešnostiMerenje uspešnosti

• Operacionalizacija obično zahteva• Redukciju• Prelaz sa teorijskog na stvarni• Prelaz sa neposrednog na posredni

• Cilj je da se kriterijumske varijable mogu izmeriti što pouzdanije, valjanije i jednostavnije


Stepen i vrsta abnormalnostiStepen i vrsta abnormalnosti

• Najčešći kriterijumi u abnormalnoj psihologiji

• Mere se vrlo često kliničkom procenom

• Osnovne heurističke tehnike za tu procenu:• Prevalenca – u populaciji• Incidenca – broj novih slučajeva• Komorbiditet – preklapanje sa drugim bolestima• Konkordanca – slični slučajevi u porodici

• Univerzalna kriterijumska varijabla – recidivizam


Problemi merenja kriterijumaProblemi merenja kriterijuma

• Pouzdanija mera – test, validira se manje pouzdanom merom – procenom

• Cirkularnost ili kontaminacija – testovi se koriste i za merenje kriterijuma

• Kriterijum je pogrešno operacionalizovan: nije potpun, ili nije relevantan


Osnovni nacrti kriterijumske Osnovni nacrti kriterijumske validacijevalidacije

• Longitudinalni• Primimo sve i pratimo uspešnost

• Istovremeni, konkurentni ili simultani• poredimo uspešne i neuspešne radnike

• Na osnovu uspeha u obuci• Unakrsna validacija

• sa drugim testovima, ispitanicima, aktivnostima...


Koeficijenti validnostiKoeficijenti validnosti

• Postojanje koeficijenta validnosti čini ovaj tip validnosti jedinstvenim

• Koeficijent validnosti je mera asocijacije testa i kriterijuma

• Izbor koeficijenta zavisi od broja i prirode testnih i kriterijumskih varijabli

• U multivarijatnom slučaju – redukcija dimenzionalnosti i baterije i kriterijuma


Faktori koji utiču na visinu Faktori koji utiču na visinu koeficijenta validnostikoeficijenta validnosti

• Pouzdanost testa i kriterijuma – korekcija za atenuaciju

• Restrikcija opsega

• Moderatorske i medijatorske varijable

• Dužina testa (uticaj na pouzdanost)

• Oblik distribucije i priroda veze. . .


Selekcija i klasifikacija kao Selekcija i klasifikacija kao psihometrijski problempsihometrijski problem

• Analiza radnih mesta nam daje podatke o znanjima, veštinama, sposobnostima i osobinama ličnosti – ZVSO – potrebnim za obavljanje posla

• Na osnovu toga se može vršiti profesionalna selekcija, kao i profesionalna orijentacija i klasifikacija



Selekcioni dijagramiSelekcioni dijagrami

Dijagrami selekcijeDijagrami selekcije

1. a – pogrešno odbačeni

2. b – pravilno primljeni

3. c – pravilno odbačeni

4. d – pogrešno primljeni

• Bazna stopa - težina posla - proporcija uspešnih bez selekcije = (a + b)/n

• Strogost selekcije = (b + d)/n

• Stopa promašaja = (a + d)/n


Dijagrami selekcijeDijagrami selekcije

• Selekcioni količnik = broj mesta / broj prijavljenih

• Na uspešnost selekcije utiču koeficijent validnosti, selekcioni količnik i bazna stopa

• Na njih psiholog ne može uticati• Psiholog može uticati na strogost selekcije

- Xc


Korisnost selekcijeKorisnost selekcije

• Važna je prediktivna ili finansijska korisnost koja je neposredna, ali i posredna, ona koja se tiče motivisanja primljenih...

• Korisnost u celini zavisi od validnosti, selekcionog količnika i 4 proporcije


Klasifikacija Klasifikacija

1. Kao profesionalna orijentacija ili savetovanje2. Simultano sa selekcijom• Najjednostavnija procedura je na osnovu

profila radnih mesta• Postoje razne sugestije o tome koje osobine

treba da uđu u profil• Vrlo poznat je Hollandov heksagon, koji

razvrstava ljude i poslove u: konvencionalni, realistični, istraživački, umetnički, društveni i preduzetnički tip


Pristrasnost testova i selekcijaPristrasnost testova i selekcija

• Pristrasnost ili diferencijalno funkcionisanje se definiše kao razlika u testnom skoru koja ne potiče od razlike u osobini

• Može imati različite oblike, a najčešći uzrok je u delovanju trećih varijabli

• Problem testiranja u različitim lingvističkim grupama

• Problema kvota ili ključa


Diferencijalno funkcionisanje Diferencijalno funkcionisanje ajtema – DIFajtema – DIF

• Ranije se nazivalo pristrasnost• Referentna i fokusna grupa potiču iz

različitih populacija• DIF je kada obe grupe nemaju isti

prosečan skor iako imaju isti nivo osobine• Drugim rečima: ako dve osobe imaju istu

osobinu, moraju imati isti odgovor, bez obzira u kojoj su grupi


DIFDIF

• Uzrokuju ga “treće” varijable

• Uniformni DIF• Različita težina ajtema u grupama

• Neuniformni DIF• Nejednaka diskriminativnost u grupama


Otkrivanje DIF-aOtkrivanje DIF-a

• Ugrađeno je u TAO software, ali postoje i druge tehnike• Mantel-Haenszelov statistik slaganja dve

grupe• Grafičke tehnike (poređenje KKS)

• Najlakše se otkriva uniformni DIF

• Neuniformni se manifestuje Lordovim paradoksom


Inkrementalna validnostInkrementalna validnost

• Informacija koju test dodaje već postojećim informacijama

• Sa gledišta regresije, prediktivniji će biti oni testovi koji ne koreliraju sa ostalima

• Treba uključiti onaj test koji ima najveću semiparcijalnu korelaciju sa kriterijumom (daje najveći porast R)


Sadržinska valjanostSadržinska valjanost

• Odgovara na pitanje: DA LI SU STAVKE U TESTU REPREZENTATIVAN UZORAK STAVKI IZ DOMENA CRTE KOJA SE MERI?

• Pod reprezentativnošću se ne podrazumeva slučajno biranje – pre nameran uzorak

• Alternativni nazivi su: logička, intrinsička (kolidira sa konstruktivnom) ili cirkularna, pa i relevantnost ili reprezentativnost testa

• Pojavna ili prividna valjanost su slične, ali u drugom kontekstu


Sadržinska validnostSadržinska validnost

• Univerzum se prihvata kao predmet merenja testa

• Sadržinska validnost se određuje:• Na osnovu ekspertske procene• Tokom konstrukcije testa i pre njegove

primene

• Sadržinska validnost je osnovni zahtev koji se postavlja pred testove postignuća (npr. znanja)


Konstrukcija sadržinski validnog Konstrukcija sadržinski validnog testa postignućatesta postignuća

1. Definicija domena-univerzumaNastavne celine - deskriptori

Kritična znanja

Mentalni procesi, kompetencije. . .

2. Populacija testa ajtemima


Konstrukcija sadržinski validnog Konstrukcija sadržinski validnog testa postignućatesta postignuća

• Treba težiti da svaki deskriptor bude pokriven vlastitim malim testom koji ima stavke različite težine

• Deskriptori trebaju biti pokriveni ajtemima balansirano

• Timovi koji pišu stavke moraju biti ujednačeni, obučeni i moraju imati dobra uputstva

• PVI - PKO, testleti. . .


Kvantifikacija sadržinske validnostiKvantifikacija sadržinske validnosti

• Vrlo teško – iz praktičnih i teorijskih razloga

• Praktični razlozi – nakon što prikupimo podatke, po pravilu je kasno• Mogući izlaz: pilot testiranje

• Teorijski razlozi – sadržinska validnost ne podrazumeva homogenost

• Frekvencijska analiza i procenjivanje kvaliteta ajtema


Pojavna i prividna valjanostPojavna i prividna valjanost

• Engl. face validity se tretira i prevodi na različite načine

• U smislu: pojavna, očigledna ili valjanost na izgled, predstavlja ocenu psihologa i stručnjaka da li test izgleda kao da meri ono što treba da meri

• U smislu: prividna valjanost, označava ono što nepsiholozi, posebno ispitanici misle da test meri


Ugrožavanje validnostiUgrožavanje validnosti

• Strategije odgovaranja kao osobine ličnosti – generalizabilne na druge situacije

• Odgovaračka pristrasnost – situaciono specifična, nije generalizabilna

• Odgovarački stilovi – generalizabilni

• Slučajne greške – nisu generalizabilne


Ugrožavanje validnosti od strane Ugrožavanje validnosti od strane ispitanikaispitanika

• Socijalno poželjno odgovaranje

• Izbegavanje ili preferencija ekstremnih odgovora

• Nepažljivost, zbunjenost, neodlučnost

• Pogađanje, uspavanost, brzanje

• Testovna mudrost, prepisivanje


Ugrožavanje validnosti od strane Ugrožavanje validnosti od strane instrumentainstrumenta

• Pozitivne i negativne formulacije

• Položaj stavke u testu, ajtemski kontekst

• Diferencijalno funkcionisanje


Ugrožavanje validnosti od strane Ugrožavanje validnosti od strane uslova primeneuslova primene

• Hawthorne efekat

• Efekat zamora

• Efekat transfera


Ajtemski kontekstAjtemski kontekst

• Okolni, posebno prethodni ajtemi utiču na odgovaranje

• Najčešće se dešava ako su stavke nejasne ili dvosmislene, pa ispitanik protumači njihovo značenje na osnovu okolnih ajtema

• Ajtemski kontekst narušava pretpostavku lokalne nezavisnosti


Halo efekt – efekt oreolaHalo efekt – efekt oreola

1. Tendencija da procenjivač sudi o postignuću na nezavisnim dimenzijama na osnovu opšteg utiska o kandidatu

2. Tendencija da ocena kandidata na jednoj osobini utiče na ocenu na drugoj osobini

3. Nesposobnost da se razlikuju konceptualno različiti i nezavisni aspekti ponašanja


Halo efektHalo efekt

• “Pravi halo” je kada osobine stvarno koreliraju

• “Opaženi halo” je kada procenjivač tu korelaciju naduvava


Socijalna poželjnostSocijalna poželjnost

• Najčešća odgovaračka strategija• Vrlo prisutna i vrlo teško otklonjiva• Teško je razdvojiti od crta: lažne

moralnosti, anksioznosti, krutosti, konformizma, autoritarnosti. . .

• U selekciji se može tretirati kao adaptiranost i može povećavati prediktivnu validnost


Skale validnostiSkale validnosti• Relevantne kod druge paradigme –

samoprocene• Analogne problemu pogađanja kod prve

paradigme• To su grupe ajtema koje imaju za cilj da

otkriju ugrožavanje validnosti u testovima samoprocene

• Skale laži, skale frekvencije, skale izuzetka, skale inkonzistencije. . .

• Korekcija skora na osnovu skale validnosti:• Statističke (parcijalizacija)• Oduzimanje ili dodavanje na ukupni skor• Dodatni intervju...


Neusaglašenost referentnog okviraNeusaglašenost referentnog okvira

• Neusaglašenost opšteg značenja, namene ili smisla između konstruktora i ispitanika ili između ispitanika

• Stavke mogu imati latentna, konotativna značenja

• Razlika može postojati i između ličnog i većinskog stava

• Stavke mogu biti pisane za drugačiju populaciju – po uzrastu, polu, obrazovanju...


Zavisnost testova od kultureZavisnost testova od kulture

• Kultura diktira latentna značenja stavki i referentni okvir

• Etic pristup – prevode se strane stavke

• Emic pristup – pišu se vlastite stavke

• Kultura je prisutna i u kognitivnom testiranju


SKOROVANJE TESTASKOROVANJE TESTA

OCENJIVANJE OSOBINEOCENJIVANJE OSOBINE

Skorovanje testa i merenjeSkorovanje testa i merenje

• Skorovanje je u osnovi implementacija skaliranja u psihologiji – dodeljivanje numerala...

• Zato je ono važno teorijsko pitanje psihološkog merenja

• Procedura skorovanja zavisi od teorijske postavke konstrukta koji se meri i

• Od metrijskog modela, vrste testa, namene testa, metrijske paradigme...


Skorovanje testa i ocenjivanje Skorovanje testa i ocenjivanje osobineosobine

• U osobinskom pristupu psihometriji, skor na testu treba da bude mera osobine koju test meri

• U TAO se ocenjivanje osobine – skaliranje – obavlja zajedno sa ocenjivanjem parametara ajtema

• U KTT je dominantan način formiranja skora putem sabiranja ajtemskih skorova – sumacioni ili ukupni skor


Ukupni – sumacioni skorUkupni – sumacioni skor

• Dobija se sabiranjem ajtemskih odgovora (ili prebrojavanjem, ako se ajtemi dihotomno ocenjuju)

• Može biti ponderisan, relativan. . .

• Može biti transformisan, korigovan (npr. za pogađanje), klasifikovan. . .


Ukupni – sumacioni skorUkupni – sumacioni skor

• Smislen je samo onoliko koliko je test jednodimenzionalan

• Mnoge osobine su složene, sastavljene od faceta, ali se ipak ocenjuju jednim skorom

• Ukupni skorovi pripadaju minimalno ordinalnom nivou merenja


Ocenjivanje osobine u TAOOcenjivanje osobine u TAO

• Složeni matematički postupci, iterativni, bazirani na ML, Bayesovoj teoremi...

• Iskazuje se u logitima ili z-skorovima, dakle na istoj skali kao i težina ajtema

• TAO mere mogu biti jednake ukupnom skoru (u 1P modelima), ali ne moraju (u 2P i 3P modelima)

• Izvorno su intervalne i specifično objektivne


Skorovanje nejednakih testovaSkorovanje nejednakih testova

• Jednačenje testova daje odgovor na uporedivost skorova

• Kombinovanje skorova sa različitih testova je utoliko lakše ukoliko su oni uporediviji – ukoliko su testovi jednaki

• “Jednaki” testovi su oni koji imaju isti predmet merenja i format

• Kombinovani skor sa nejednakih testova nazivamo kompozitnim skorom



• Prvi korak mora biti jednačenje testova – ujednačavanje skale

• Drugi korak je formiranje običnog ili ponderisanog kompozita

• Ako testovi imaju isti predmet merenja, samo različit format, zadatak je lakši

• Ako testovi nemaju isti predmet merenja, kompozitni skor ima smisla samo u okviru neke praktične namene



• Kombinovanje skorova sa različitih testova ima opravdanje u “funkcionalističkom” pristupu – sa ciljem da se zadovolji neka namena

• Testiranje je javna stvar, pa se često način formiranja baterije i način formiranja kompozita mora javno braniti


Ponderisani kompozitiPonderisani kompoziti

• Ponderisanje sa jednakim težinama

• Ponderisanje sa nejednakim težinama• Optimalno• Neoptimalno, obično apriorno

• Autoponderisanje – veći doprinos imaju sabirci koji imaju veću varijansu


Ponderisanje Ponderisanje

• Najpoznatije neoptimalno ponderisanje je apriorno (npr. na prijemnom ispitu)

• Optimalno ponderisanje: • Regresiono, kanoničko ili diskriminaciono

imaju za cilj optimalnu predikciju• Faktorsko ima za cilj da najbolje reprezentuje

osobinu

• Efekti nisu uvek značajni, korelacija sumacionog i ponderisanog kompozita je visoka, ali treba probati...


Kompozitni skor u TAOKompozitni skor u TAO

• Ako svi indikatori imaju isti predmet merenja, ali imaju različite formate, najlakši način formiranja kompozitnog skora je TAO

• Isto važi i za skorovanje testleta


Profili Profili

• Što su indikatori više korelirani, to ima više osnova za kompozitni skor, a manje za profil

• Individualni kontekst – profil• Grupni kontekst – tip• Profili sadrže tri osnovne informacije: nivo,

raspršenje i oblik


Profili Profili

• Analiza profila se koristi za ocenjivanje sličnosti profila• Korelacija• Intraklasni koeficijent korelacije• Euklidova distanca . . .


KRAJKRAJ

Documents

Konstrukcija_psiholoskih_testova