MTMM

MTMM.Dakle, MOMM matrica je pristup za procenu konstruktivne valjanosti skupa mera dobijenih

nekim psihološkim merenjem. Pristup su razvili 1959. g. Campbell i Fiske (1959) kao pokušaj da se pruži praktična metodologija za procenu konstruktivne valjanosti. Naime, početkom pedesetih godina XX veka shvatanje valjanosti merenja se počelo pomerati sa pragmatičkog (prediktivnog) ka teorijskom i strukturalnom. To je rezultiralo pojmom konstruktivne valjanosti (Cronbach i Meehl, 1955) i pojmom nomološke mreže koja je bila logička osnova za procenjivanje konstruktivne valjanosti. Ideja nomološke mreže je, među- tim, ostala u sferi logike i nije se pokazala od koristi istraživačima pri kvantifikaciji validnosti merenja (Trochim, 2000).

Zbog definicije kontruktivne validnosti - da je test validan ako meri ono što treba da meri - mnogi su prevideli zahtev da test ne sme da meri ništa drugo. Saglasno tome, nakon pojave koncepta konstruktivne valjanosti najviše se pažnje počelo poklanjati prvom aspek- tu, sve dok praksa nije pokazala da postoji i drugi problem. Naime, za mnoge testove se pokazalo da visoko koreliraju sa nekom crtom za koju nisu namenjeni da mere i koju, po teoriji, ne bi trebalo da mere.

Korelacija dva testa koji mere različite stvari moguća je zato što svaki test meri više stvari. Ako dva testa namenjena dvema crtama dele jedan isti irelevantai kvalitet, onda će oni korelirati zbog tog kvaliteta. Na primer, ako imamo test „voljenja sporta” i test „voljenja muzike”, možemo dobiti pozitivnu korelaciju između njih samo zato što su svi ajteiru formulisani pozitivno i odgovor ,,da” znači postojanje crte, kada se manifestuje sklonos: ljudi da odgovaraju sa da, odnosno ne. Postoje razni evidentirani efekti instrumenta i slično- sti sadržaja koji dovode do lažnih korelacija, iako same crte, ako bi se merile tačno, nisu konceptualno povezane (Scott i Wetheimer, 1962. navode neke izvore). Na jeziku teorije testova, jedan test, zajedno sa varijansom ciljne crte i slučajnom greškom, uključuje i znatan deo varijanse uzrokovan nekom ireleventnom crtom koju takođe nenamemo meri neki drugi test. Pored toga, metode prikupljanja podataka, same po sebi, mogu imati svoje ugrađer.e pristrasnosti (kao što je npr. spomenuto da-odgovaranje u upitnicima, ili kada ljudi u anke- tama govore anketarima ono što oni žele da čuju). Kada koristimo neki upitnik, recim:. možemo se pitati da li su istraživači koristili randomizaciju razmeštaja ajtema da bi elirr_- nisali efekat njihovog redosleda, ili su pak dokazali da efekat redosleda nije od uticaja. Takođe, baziranje konstrukta kao što je „zadovoljstvo poslom” na pojedinačnom ajtemu koji se bavi, recimo, druženjem sa kolegama na poslu, pogrešno usmerava konstrukt ka jednom specifičnom značenju. Zbog tih i drugih razloga, uočeno je da kad se dve ili više crta mere istom tehnikom (npr. ako su podaci prikupljeni Likertovom skalom, ili psihijatrij- skom procenom), mere će težiti da koreliraju, bez obzira na to da li veza između crta postoji ili ne.

Sve ove kontaminacije memog instrumenta će vrlo verovatno dovesti do iskrivljavanja konstruktivne valjanosti. Da bi se dobile tačnije mere, moraju se nekako iz korelacije dva testa parcijalizirati efekti instrumenta i drugi kontaminirajući faktori. Campbell i Fiske su u tom cilju uveli dva nova tipa validnosti - konvergentnu i diskriminativnu - kao potkategori- je konstruktivne validnosti i stvorili MOMM matricu kao metodologiju za njihovu procenu. Njihov lajtmotiv je bio taj da korišćenje jedne jedine metode za prikupljanje podataka, kao i jednog jedinog indikatora za merenje konstrukta (monometodski i monoosobinski pristup) vodi u pristrasnost. Ako želimo da dokažemo da naše merenje poseduje konstruktivnu valjanost, moramo se poslužiti multimetodskom i multiosobinskom metodologijom.

Na ovom mestu je dobro podsetiti se poglavlja iz glave o formalnoj teoriji merenja o dokazivanju da je neko mereno svojstvo kvantitativno (odeljak II.8). Tamo je rečeno da nema recepta za takav dokaz, ali da se kroz život naučne psihologije pokazalo da jedna efikasna metodologija podrazumeva stalno i kontinuirano povezivanje merenog kvaliteta sa drugim, širim i višim konstruktima. Ovakva metodologija je konceptualno potpuno podu- dama sa metodologijom

nomološke mreže Cronbacha i Meehla, a operacionalno potpuno odgovara stalnim proverama poput MOMM tehnike.

1Х.19. Osnovni pojmovi

1Х.Ј9.а. Konvergentna i diskriminativna valjanost

Konvergentna valjanost je princip da mere teorijski sličnih konstrukata moraju biti visoko korelirane. Konkretizujmo ovu ideju tako što ćemo zamisliti meru sastavljenu od više ajtema, na primer, četvoroajtemsku skalu projektovanu da meri dominantnost. Ako svaki ajtem stvamo reflektuje konstrukt dominatnosti, možemo očekivati da će ajtemi biti

KONSTRUKTDOMINANTNOSTI

KONSTRUKT

rD1,S1— 0)12 rD1,S2= 0|

09

•"D2,S1— 0)04^D2,S2— 0(11

Slika 22- Diskriminativna valjanost

visoko korelirani kao što je prikazano na slici. Ove visoke korelacije su dokaz konvergentne valjanosti.

Diskriminativna valjanost je princip da mere teorijski različitih konstrukata ne smeju međusobno visoko korelirati. Ovo možemo ilustrovati primerom merenja dva konstrukta: dominantnosti i socijabilnosti, svakog merenog sa dva ajtema. Očekujemo da, pošto su to mere različitih konstrukata, kros-konstruktne korelacije budu niske, upravo onako kako je prikazano na slici. Ove niske korelacije su dokaz diskriminativne validnosti.

IX. 19. b. Multiosobinska-multimetodska matrica

Campbell i Fiske su predložili MOMM matricu kao tehnologiju za procenu kako konvergentne, tako i diskriminativne validnosti. Pošto su konvergentna i diskriminativna validnost dve strane konstruktivne validnosti, da bi se moglo reći da neko merenje poseduje konstruktivnu valjanost, moramo dokazati da ono ima svojstvo konvergencije i diskriminacije.

U multiosobinskoj i multimetodskoj strategiji validacije ne samo da istraživač koristi višestruke indikatore po konstruktu, nego i prikuplja podatke za svaki indikator pomoću višestrukih metoda i/ili iz višestrukih izvora. Na primer, prilikom ocenjivanja pojma „tolerancije” istraživač može imati indikatore rasne tolerancije, religiozne tolerancije i tolerancije prema seksualnoj orijentaciji, a svi ti podaci mogu brti prikupljeni ispitivanjem samog subjekta, subjektovog bračnog druga i subjektovih rodi ;lja (u ova dva poslednja slučaja podrazumeva se da je traženo mišljenje bračnog druga i roditelja o subjektovom ponašanju, a ne o njihovom).

MOMM metod, koga su predložili Campbell i Fiske, zasniva se na tome da se ista grupa subjekata testira na dve ili više crta sa dve ili više metoda testiranja. To znači da se ista crta meri na dva ili više načina i svaki metod se koristi za merenje dve ili više crta. Interkoreliranjem svih mera za sve crte, mogu se porediti visine korelacija koje ukazuju na valjanost sa visinom neželjenih korelacija. Ukoliko su prve veće od drugih, može se tvrditi da merene crte postoje nezavisno od metoda kojim su merene. Dakle, osnovno sredstvo MOMM metodologije je MOMM matrica koja predstavlja manje više uobičajenu matricu interkorelacija svih mera dobijenih na raznim crtama pomoću raznih metoda. Da bismo demonstrirali principe i pravila zaključivanja koja su svojstvena ovoj metodi, navešćemo aekoliko primera.

1,00 0,83 0,89 0,91

0,83 1,00 0,85 0,90

0,89 0,85 1,00 0,86

0,91 0,90 0,86 1,00

Slika 21- Konvergentna valjanost

Kao standardan primer koristi se hipotetička matrica sa slike 23 koja je preuzeta oć Campbella i Fiskea.1 Međutim, različiti izvori se služe raznim crtama i metodama za kor- kretizaciju podataka. Na primer, Anastasi (Anastasi, A., 1982, Psychological testing. Mac- millan, New York, str. 148) predlaže da bi crte mogle biti: A) dominantnost, B) socijabilnost i C) motivacija postignuća, a metodi: 1) inventar sa samoprocenom, 2) projektivru tehnika i 3) ocena kolega. Trochim koristi primer sa istraživanjem učenika šestog razrech kod kojih su merene tri osobine (konstrukta): samopoštovanje (selfesteem), samosaznavanje (selfdisclosure) i lokus kontrole. Osim toga, svaka osobina se meri na tri načina: pomoću papir-olovka testa, procenom učitelja i procenom roditelja. Bilo kako bilo, posle prikupljanja i obrade podataka, rezultati su razvrstani u MOMM matricu prikazani u tabeli 25. Iako su Campbell i Fiske podrazumevali da je za zaključak o valjanosti dovoljna i matrica 2x2. danas preovladava mišljenje da matrica mora minimalno obuhvatati tri osobine i tri metoda.

Kao što je rečeno, MOMM matrica je prosto matrica korelacija aranžirana tako da olakša procenjivanje konstruktivne valjanosti. MOMM matricapodrazumeva da je svaki od nekoliko konstrukata (Campbell i Fiske ih nazivaju osobinama - traits) meren pomoću svakog od nekoliko metoda (npr. testom, direktnim posmatranjem, merenjem izvođenja, projektivnom tehnikom i sl). MOMM je izvomo zamišljena kao vrlo restriktivna metodologija u tom pogledu - zahteva da se svaki konstrukt meri svakim metodom. Bard psihološ- ke statistike, McDonald (1999) razumno kaže da sadržaj MOMM matrice mogu biti i kovarijanse. Obrada kovarijansi je na specifičan način različita od obrade korelacija, ali su one ipak logički ekvivalentne, pa ćemo u daljem tekstu govoriti samo o korelacijama.

Da bi se kontruisala MOMM matrica, korelaciona matrica se mora urediti tako da metodi budu unutar konstrukata. Slika 23 pokazuje jednu MOMM matricu za tri konstrukta (osobine A, B i C), od kojih je svaka merena sa tri različita metoda (1, 2, i 3). Treba zapaziti da je matrica organizovana po blokovima, a blokove formiraju metodi. Trochim kao speci- fičnost MOMM matrice u odnosu na običnu korelacionu matricu ističe to što ova prva u glavnoj dijagonali umesto jedinica ima koeficijente pouzdanosti svake mere.2

1 Ta i ostale slike iz ovog poglavlja su preuzete od Trochima (2000).2 Ovaj način organizacije MOMM matrice se ne poštuje uvek dosledno. Kod Scotta i Wertheimera (1962, čiji primer koristimo kasnije u ovom tekstu) su metodi ugnježdeni unutar osobina, isto kao i kod McDonalda (1999).

Metod 1 Metod 2 Metod 3

Osobine A^ B^ B^ Aj Bj Cj

Slika 23- Struktura multiosobinske-multimetodske matrice

Pre nego se MOMM matrica može interpretirati, moraju se razumeti njena struktura i delovi. To je kvadratna i simetrična matrica, tako da je dovoljno da vidimo samo jednu njenu polovinu (na slici je prikazan donji trougao). Drugo, svi njeni elementi (korelacije, koeficijenti pouzdanosti ili ev. kovarijanse) se mogu grupisati u tri tipa celina: dijagonale, trouglovi i blokovi (Trochim, 2000, Smith, 1998, McDonald, 1999). Pogledajmo koje su to konkretne celine.

DlJAGONALA ZA POUZDANOST (MONOOSOBINSKA-MONOMETODSKA).- U njoj se nalaze ocene pouzdanosti svake mere u matrici. Pouzdanost se može oceniti na bilo koji od uobičajenih načina (npr. test-retest, intema konzistencija). U dijagonali pouzdanosti postoji onoliko koeficijenata koliko ima mera - u ovom primeru postoji devet mera i devet pouzdanosti. Prvi koeficijent pouzdanosti je na mestu korelacije osobine A merene metodom 1 same sa sobom (u daljem tekstu ova veza biće označavana sa Al-Al). Pošto bi na ovom mestu, dakle, trebala biti korelacija mere sa samom sobom, ona bi trebala biti perfektna (tj. jednaka 1,0). To što nije, može se lepo psihometrijski objasniti time da je to, u skladu sa interpre- tacijom modela paralelnih testova, korelacija između altemativnih formi ili testa i retesta (v. izraz [25] i poglavlje Vll.lO.a). Ove vrednosti se istovremeno mogu nazvati monoosobin- skim-monometodskim korelacijama.

DlJAGONALE ZA VALIDNOST (MONOOSOBINSKE-HETEROMETODSKE).- U njima se nalaze korelacije između mera iste crte (osobine) merenih različitim metodama. Pošto je u našem primem MOMM matrica organizovana u metodske blokove, za svaki blok postoji jedna dijagonala validnosti. Na primer, korelacija A1-A2 na slici jednaka je 0,57. To je korelacija između dve mere iste crte (A) merene na dva različita načina (1 i 2). Pošto su to mere iste osobine ili konstrukta, možemo očekivati da će one biti visoko korelirane. Ove vrednosti se mogu tretirati kao monoosobinske-heterometodske korelacije.

HETEROOSOBINSKI-MONOMETODSKITROUGLOVI.- To su korelacije između mera koje dele isti metod merenja; na primer korelacija Al-B 1=0,51 u gomjem levom heteroosobinskom- monometodskom trouglu. Ove korelacije, dakle, dele metod, a ne osobinu ili konstmkt. Ako su ove korelacije visoke, to je zbog toga što merenje različitih stvari istim metodom rezulti- га koreliranim merama. Ili, dmkčije rečeno, zbog toga što postoji jak faktor „metoda”.

HETEROOSOBINSKI-HETEROMETODSKI TROUGLOVI - To su korelacije koje se razlikuju kako po osobini, tako i po metodu, kao što je na primer Al-B2=0,22 na slici. Generalno, pošto ove korelacije ne dele ni osobine ni metode, očekujemo da će one biti najniže u matrici.

MONOMETODSKIBLOKOVI - Oni se sastoje od svih korelacija koje dele isti metod merenja. Postoji onoliko blokova koliko ima metoda merenja. U meri u kojoj su korelacije unutar ovih blokova više od korelacija u heterometodskim blokovima, metodi predstavljaju znača- jan faktor.

HETEROMETODSKI BLOKOVI - Oni se sastoje od svih korelacija koje ne dele iste metode. Postoji [k(k-l)]/2 takvih blokova, gde je k broj metoda. U ovom primem postoje tri metoda i prema tome postoje tri takva bloka. Ako su korelacije u ovim blokovima niže od korelacija u monometodskim blokovima, zaključićemo da postoji efekat metoda. Pored toga, možemo zaključiti da oni blokovi (metodi) kod kojih su te razlike veće više utiču na rezultate merenja.

1Х.20. Principi interpretacije

Dugo vremena se interpretacija MOMM matrice zasnivala na proceni konstruktora testa i imala je narativni karakter. Nisu bile uočene mogućnosti egzaktne statističke obrade, odnosno statističkog modeliranja odnosa u MOMM matrici. Osim toga, u praksi se često dešava da neki

Istinaje da se stvari time nimalo ne menjaju, osim što promene mesta. Takođe, nije opšte usvojen zahtev da u glavnoj dijagonali budu koeficijenti pouzdanosti, premda ne vidimo nikakve smetnje da se oni izračunaju.

principi matrice budu narušeni (kompletnost osobina i metoda), a koeficijenti korelacija mogu biti protivrečni. U takvim slučajevima konstruktor biva primoran da zaključak o konstruktivnoj valjanosti donosi na osnovu slobodne procene. Zbog toga Trochim smatra da je interpretacija MOMM matrice veoma slična lekarskom tumačenju rendgenskog snimka. Izvežbano oko će videti nešto što početnici neće. Istraživači koji su iskusni mogu MOMM matricu koristiti za identifikaciju slabosti u merenju, isto kao i za ocenjivanje konstruktivne valjanosti.

Međutim, danas se za interpretaciju MOMM matrice skoro isključivo preporučuje korišćenje konfirmativne faktorske analize - KFA (engl. confirmative factor analysis). Pomoću KFA se mogu testirati različiti modeli odnosa varijabli u MOMM matrici i proveriti koji od modela, ako takav uopšte postoji, dobro fituje dobijene korelacije. U ovom poglavlju, međutim, želimo da objasnimo principe kojima se rukovodimo prilikom interpretacije (a kasnije i prilikom postavljanja modela). Za demonstracione svrhe je mnogo pogodniji izvomi narativni pristup koji se bazira na prosuđivanju istraživača.

Kada se zna šta predstavljaju različiti delovi MOMM matrice mogu se razumeti pravila za njihovu interpretaciju. Učinićemo primer iz slike 23 realističnim koristeći podatke koje je navela Anastasi. Dakle, meriće se tri konstrukta: A) dominantnost - D, B) socijabilnost - S i C) motivacija postignuća - MP. Svaka od tih osobina biće merena na tri načina:1) pomoću inventara sa samoprocenom - IS, 2) projektivnom tehnikom - PT i 3) ocenom

kolega - OK. Recimo da smo posle prikupljanja i obrade podataka dobili rezultate i razvr-stali ih MOMM matricu prikazanu u tabeli 25.

Navešćemo osnovne principe ili pravila za interpretaciju MOMM matrice (Trochim,2000, Smith, 1998, Garson, 2000, Scott i Wertheimer, 1962).

□ Koeficijenti u dijagonali za pouzdanost moraju biti konzistentno najviši u matrici. To znači da osobina mora biti više korelirana sama sa sobom nego sa bilo čime drugim. To je dosledno tačno u našem primeru.

□ Koeficijenti u dijagonalama validnosti, (koeficijenti validnosti, monoosobinske- heterometodske korelacije) moraju biti značajno različiti od nule i dovoljno visoki da opravdavaju dalji rad. Različitost od nule može se proveriti odgovarajućim statis- tičkim testom.

Ovo je suštinski dokaz konvergentne valjanosti. Sve korelacije u našem primeru

Tabela 25 - Primer MOMM matrice 1METOD

INVENTAR LIČNOSTI (IS) PROJEKTIVNA TEHNIKA (PT)

OCENA KOLEGA (OK)

OSOBINE D, S, MP, D2 S2 MP2 D3 S3 MP3

IS D,S,

MP,

0,89

0,51

0,38

0,890,37

0,76

PT D2 0.57 0,22 0,09 0,93

S2 0,22 0.57 0,10 0,68 0,94

MP2 0,11 0,11 0.46 0,59 0,58 0,84

OK D3 0.56 0,22 0,11 0.67 0,42 0,33 0,94

S3 0,23 0.58 0,12 0,43 0,66 0,34 0,67 0,92

MP3 0,11 0,11 0.45 0,34 0,32 0.58 0,58 0,60 0,85

Legenda: Dijagonalni elementi (masnim brojevima) predstavljaju relijabilnosti, a podvučeni elementi predstavljaju koeficijente (konvergentne) validnosti.

zadovoljavaju ovaj kriterijum. U nekom drugom primeru to bi bile korelacije između rasne tolerancije prema samoproceni subjekta i mišljenju njegovog bračnog druga, ili samopoštovanja učenika merenom testom i ocenom učitelja.

□ Koeficijenti validnosti moraju biti viši od vrednosti koje leže u njihovim kolonama i redovima u istom heteroosobinskom-heterometodskom trouglu.

Drugim rečima, korelacija DrD2 mora biti veća od korelacija DrS2, DrMP2, D2-S, i D2-MP[. Ovo je tačno u svim slučajevima u našem primeru.

Niske vrednosti heteroosobinsko-heterometodskih korelacija, apsolutno i u odnosu na monoosobinske-heterometodske, predstavljaju dokaz diskriminacione valjanosti.

□ Koeficijenti validnosti moraju biti viši od svih koeficijenata u heteroosobinskim- monometodskim trouglovima.

Ovo u osnovi znači da faktori osobina moraju biti jači od faktora metoda; korelacije kao što su D,-D2 moraju biti veće od korelacija kao što je D rS,. U našem primeru ovo nije uvek tačno. Na primer, korelacija MP,-MP2 je 0,46 i manja je nego D2-S2, D2-MP2 i S2-MP2 (iz susednog monometodskog bloka) - dokaz da verovatao postoji faktor metoda, u ovom slučaju kod metoda projektivne tehnike i ocene kolega.

Generalno rečeno, visoke heteroosobinske-monometodske korelacije znače da postoji visok uticaj metoda. Ako su ove korelacije značajne, a pogotovo ako su više od monoosobinskih-heterometodskih korelacija, možemo smatrati da je varijansa metoda merenja veća od varijanse osobine.

□ U svim trouglovima mora postojati isti sklop interrelacija između crta. Dve različite mere iste crte moraju imati iste korelacije sa drugim crtama. Takođe, korelacije dve crte merene sa dva različita metoda moraju biti u stabilnim odnosima prema drugim korelacijama na istim metodama. Poslužimo se jednim drugim primerom: mere poh- lepnosti zasnovane na mišljenju drugova i projektivnom testu moraju slično korelirati sa osobinama kao što su: zavist, lenjost, ponos i strast.

Naš primer 1. uglavnom zadovoljava ovaj kriterijum. Treba zapaziti da je u svim trouglovima odnos D-S približno dvostruko veći od odnosa koji uključuju MP. Kore- lacije D-S su, takođe, vrlo slične u metodima PT i OK, a nešto niže za IS.Generalno rečeno, sve korelacije koje u svom nazivu imaju „monoosobinske” moi biti više

od korelacija koje u nazivu imaju „heteroosobinske”. To ukazuje na dobru konvergentnu i diskriminativnu validnost. Ako su korelacije koje u svom nazivu imaju „mono metodske” više od onih koje sadrže izraz „heterometodske”, onda na merenje utiče faktor metoda.

Primer iz tabele 26 prikazuje hipotetičke podatke dobijene iz primene četiri različita testa na istoj grupi ispitanika. Merene su dve psihološke tendencije: pouzdanost (depen- dence) i brižnost (nurturance), svaka pomoću projektivnog testa (recimo analize sadržaja izmišljenih priča) i pomoću direktnog verbalnog testa tipa Guttmanove skale (autori Scott i Wertheimer nisu naveli dijagonalu pouzdanosti, pa je nećemo navoditi ni mi, premda se za potrebe demonstracije mogu navesti bilo koje vrednosti).

Tabela 26 - Primer MOMM matrice 2Metod Projektivni Verbalni Projektivni Verbalni

Osobina pouzdanost, pouzdanost2 brižnost, brižnost2

Projektivni pouzdanost,

Verbalni pouzdanost2 0,50

Projektivni brižnost, 0,60 0,45

Verbalni brižnost2 0,55 0,65 0,40

Koeficijenti gore levo i dole desno (0,50 i 0,40) su koeficijenti validnosti. Oni kazuju koliko su korelirane iste osobine na različitim metodama (konvergentna validnost, pravilo2) . Mogli bismo ih smatrati dovoljno visokim koeficijentima i zaključiti da su u oba slučaja merene upravo te osobine. Međutim, ostali koeficijenti govore drugačije. Naime, vidi se da obe osobine više koreliraju međusobno kada se mere istim metodom (0,60 i 0,65), nego iste osobine međusobno kada se mere raznim metodima (pravilo 4). Što je najgore, različite osobine merene različitim metodima koreliraju isto tako dobro (0,55 i 0,45) kao iste osobine različitim metodima (pravilo 3). To sve ukazuje da je zajednička varijansa metoda veća od zajedničke varijanse koja potiče od samih crta, a da je diskriminativna valjanost merenja ovih dveju osobina niska.

Tabela 27 - Primer MOMM matrice 3Metod Projektivni Verbalni Projektivni Verbalni

Osobina pouzdanost[ pouzdanostj brižnost, brižnost2

Projektivni pouzdanost!

Verbalni pouzdanost2 0,50

Projektivni brižnost, 0,35 0,10

Verbalni brižnost2 0,05 0,30 0,40

U tabeli 27 prikazana je ista situacija kao u primeru 2, ali modifikovana tako da bude prihvatljiva kao dokaz konvergentne i diskriminativne valjanosti i istovremeno praktično sasvim plauzibilna. Korelacije različitih crta na različitim metodima su dovoljno niske: 0,05 i 0,10 (što je dokaz diskriminacione valjanosti), a korelacije različitih crta na istim metodima nešto više: 0,35 i 0,30 (što je dokaz da je uticaj metoda merenja od manje važnosti). Ova situacija je vrlo česta kad se primenjuju tehnike koje su ovde prikazane.

1Х.21. Prednosti i nedostaci MOMM metode

Ideja MOMM nudi operativnu metodologiju za procenjivanje konstruktivne valjanosti. U jednoj matrici moguće je simultano procenjivati i konvergentnu i diskriminativnu validnost. Uključujući metode merenja „па ravnoj nozi” sa osobinama, Campbell i Fiske su naglasili važnost traganja za efektima onoga kako merimo zajedno sa onim šta merimo, a njihov metod je pružio okvir za rigoroznu procenu konstruktivne valjanosti.

I pored ovih prednosti, MOMM matrica se malo koristila od 1959., otkada je uvedena. Postoji nekoliko razloga za to. Prvo, u najčistijoj formi MOMM matrica zahteva da se ima puni ukršten nacrt istraživanja - svaka osobina se mora meriti pomoću svih metoda. Iako su Campbell i Fiske eksplicitno priznavali da se može imati i nekompletan nacrt, ipak su isticali važnost višestruke replikacije iste osobine preko metoda. U nekim primenjenim istraživačkim kontekstima, prosto je nemoguće meriti sve osobine svim željenim metodama (da li bismo, npr., koristili neposredno posmatranje telesne težine). U mnogim primenjenim socijalnim istraživanjima prosto nije izvodljivo da različiti metodi budu eksplicitan deo istraživačkog nacrta (npr. ispitivanje masovnih skupova i drugih pojava koje se odvijaju u realnom vremenu). Međutim, o pitanju metoda u tehnici

MOMM će u kasnijim poglavljima biti više reči.Drugo, dugo se smatralo da je u analizi MOMM matrice na raspolaganju jedino eks- pertsko

prosuđivanje, što je verovatno delovalo protiv njene široke primene (bez obzira na to što neki misle da je u tome njena snaga). Mnogi istraživači priželjkuju jedinstvenu meru za konstruktivnu valjanost u obliku, recimo, jednog koeficijenta - ekvivalentnog koeficijen- tu pouzdanosti. Pomoću ekspertske procene MOMM matrice nije moguće kvantifikovati konstruktivnu valjanost u istraživanju. Konačno, ako se oslonimo na ekspertske procene MOMM matrice, onda moramo prihvatiti da različiti istraživači mogu legitimno doći do različitih zaključaka.

Dakle, bez obzira na to što je veoma informativan u pogledu toga kako osobine i metodi moraju da koreliraju da bi se dokazala konstruktivna valjanost, MOMM metod pati od ozbiljnih tehničkih problema jer u originalnoj verziji nije imao egzaktan način za analizu strukture matrice. Prema Smithu (1998), problem je u tome što su u redovima i kolonama matrice indikatori, a ne latentne varijable, a zapravo izvor svih korelacija, a pogotovo izvor valjanosti mogu biti jedino latentne crte o kojima je reč. Modeli koji se danas koriste za objektivnu analizu MOMM matrice su npr. konfirmativna faktorska analiza i kauzalno modeliranje (SEM). Ove tehnike omogućuju da se analiziraju latentne crte, a pod hipoteza- ma koje postavlja MOMM. Međutim, pre objašnjenja primene konfirmativne faktorske analize, pogledajmo kako Trochim predlaže da se reši problem metoda u MOMM matrici. Način na koji je on rezonovao je informativan i pomaže razumevanju MOMM metodologije uopšte, a biće koristan i za reformulaciju matrice kako bi se mogla aproksimirati pomoću konfirmativne faktorske analize.

Osobine Indikatori Metodi

1Х.22. Problem metoda i modifikacija MOMM matrice odbacivanjem faktora metoda

Kao što je spomenuto, jedan od najtežih aspekata MOMM metoda sa stanovišta imple- mentacije je taj što on zahteva uključivanje svih kombinacija osobina i metoda. Međutim, Trochim zapaža da ideja konvergentne i diskrimativne valjanosti zapravo ne zahteva faktor metoda. Da bi se ovo uočilo, pogledajmo ponovo slike kojima su ranije ilustrovana konvergentna i diskriminativna valjanost.

Obe slike smo objedinili na slici 24, kako bismo simultano objasnili konvergentnu i diskriminativnu validnost. Zamislićemo da imamo spomenuta dva konstrukta - dominantnost i socijabilnost - svaki meren sa tri ajtema. Korelacije u gornjem levom i donjem desnom bloku na slici 24 su korelacije unutar konstrukata. One su odraz konvergentne validnosti i moraju biti visoke. Korelacije u suprotnoj dijagonali (gore desno i dole levo) su kros-konstruktne korelacije i reflektuju diskriminativnu validnost. One moraju biti značajno niže nego što su konvergentni koeficijenti.

D1 D2 D3 S1 S2 S3

Važna stvar koju treba uočiti u ovoj matrici je da ona ne uključuje eksplicitno faktor metoda kao prava MOMM matrica. Matrica ispituje i konvergentnu i diskriminativnu validnost (kao MOMM), ali eksplicitno tretira samo intra i inter relacije konstrukata. Možemo videti na ovom primeru da MOMM ideja u stvari ima dve glavne teme. Prva je da se simultano posmatraju sklopovi konvergencije i diskriminativnosti kako bi se procenila konstruktivna valjanost merenja. Ova ideja je slična po nameni onome što zahteva nomotoška mreža - da se analiziraju sklopovi meduodnosa koji proizlaze iz naše teorijske nomološke mreže. Druga ideja u MOMM ističe metode kao moguće „prljave” faktore i značaj procene njihovog uticaja.

Sve ono što su rekli Campbell i Fiske, što je pokazano dosadašnjom primenom MOMM metoda i što je potvrđeno kroz bogatu istraživačku praksu, potvrđuje značaj metoda merenja kao faktora „prljanja”. Međutim, čak i ako se utvrdi da je varijansa metoda značajna, isuviše je očekivati da jedna metodologija ima odgovor na oba pitanja: na

Slika 25.- Razdvajanje osobina i indikatora

KONSTRUKTKONSTRUKTDOMINANTNOSTI

D1 1,00 0,83 0,89 0,02 0,12 0,09

D2 0,83 1,00 0,85 0,05 0,11 0,03

D3 0,89 0,85 1,00 0,04 0,00 0,06

S1 0,02 0,05 0,04 1,00 0,84 0,93

S2 0,12 0,11 0,00 0,84 1,00 0,91

S3 0,09 0,03 0,06 0,93 0,91 1,00

Slika 24 - MOMM matrica bez metođa

Ојј i тц i о(гПј > 0 оц = тц = 0; ОјШј > 0 °ij “ mij " °imj ~ 0

pitanje valjanosti i na pitanje efekta metoda. Šta onda da radimo sa faktorima metoda, pita se Trochim? Verovatno je najbolji način bavljenja njima taj da se ponavljaju istraživački projekti, umesto da se pokušava uključiti testiranje metoda u isto istraživanje. Tako, ako utvrdimo neki određeni rezultat tokom merenja nekoliko osobina, možemo pokušati da vidimo da li ćemo doći do istih rezultata mereći te osobine drugim sredstvima i drugim metodima. Na taj način se evaluacija raznih metoda merenja premešta u problematiku generalizabilnosti, kako su to predložili Cronbach i saradnici (v. poglavlje VII.13), a uklanja iz domena konstruktivne validnosti.

Kao što je u jednom od prethodnih pasusa spomenuto, Smith je zapazio da postoji izvesna terminološka konfuzija, jer ono što se u MOMM matrici naziva osobinama predstavlja zapravo indikatore osobina. To se dobro vidi u predlogu Trochimove matrice bez metoda (slika 24), gde se D,, D2, S„ S2 itd. mogu tretirati kao indikatori (ajtemi, instrumenti) odgovarajućih konstrukata. Smith predlaže dijagram međuodnosa osobina, metoda i njihovih indikatora kao na slici 25, na kome su prikazani svi odnosi koje predviđa MOMM metod, ali tako da su osobine i metodi razdvojeni pojmom indikatora. Ovakav dijagram je neophodan da bi se pripremila konfirmativna faktorska analiza, jer se na osnovu njega može formirati citjna matrica strukture, odnosno matrica hipoteze, prikazana u tabeti.Tabeta 28,- Hipotetička matrica strukture (Л)

Osobine Metodi

Indikato ri A B C 1 2 3

Х1 X XX2 X XХЗ X XX4 X XX5 X XX6 X XX7 X XX8 X XX9 X X

Sa „х” su označena opterećenja u matrici koja reflektuju alokaciju osobina i metoda po indikatorima i koja direktno proističe iz zahteva MOMM metoda da sve osobine budu ukrštene sa svim metodima. Broj indikatora je ovde minimalan, jedan za svaku kombinaciju osobine i metoda, ati se lako može zamisliti i proizvoljno mnogo indikatora za svaku kombinaciju. Ono što je važno, iz ove matrice hipoteze vidimo da osobine i metodi imaju status latentnih faktora, a indikatori status manifestnih varijabli. Ovu matricu strukture mora pratiti i modet matrice interkoretacija faktora (osobina i metoda), kao što je prikazano u tabeli.Tabeta 29,- Matrica kovarijansi/korelacija (Ф) faktora iz matrice Л

A в C 1 2 3

A 1B Ol2 1

C 0,3 023 1

1 о,т. 02mi °Зт1 1

2 °1т2 02m2 °Зт2 m,2 1

3 °1т3 °2m3 °зтз т13 т23 1

U ovoj tabeli su sa о, označene osobine, a sa m; metodi. Smith navodi da je na osnovu ove dve matrice moguće testirati nekoliko modela:

1. korelirane osobine i metode:2. nezavisne osobine i metode, ali međusobno korelirane:3. puna nezavisnost:

Ako kompariramo Smithove matrice i Trochimovu matricu ,,bez metoda”, videćemo da se radi o potpuno uporedivim stvarima. Trochimova matrica ,,bez metoda” je zapravo matrica interkorelacija indikatora (u Smithovoj terminologiji), odnosno interkorelacija manifestnih varijabli. Radi se samo o blagom premeštanju tačke gledišta, sa rezultatima koji na prvi pogled izgledaju drastični. Čini se da je Smithov naglasak na indikatorima vrlo koristan jer psihometrija dobro poznaje različite načine merenja iste stvari i, kao takvi, različiti indikatori iste stvari su eksplicitno teorijski modelirani u Tryonovoj teoriji uzorkova- nja iz domena, Guttmanovoj imaž teoriji i teoriji generalizabilnosti Cronbacha i saradnika. Tu se na neki način uvek pretpostavljao „faktor metoda”, tj. „faktor instrumenta” kao izvor (faceta) neželjene varijanse, čiji iznos treba da se proceni ali prvenstveno da bi se eliminisao - tj. svrstao u varijansu greške.

Smith navodi da je treći navedeni model - pune nezavisnosti - za psihologiju slabo primenljiv, jer se za većinu osobina iz domena sposobnosti i ličnosti pretpostavlja da koreliraju. Smith, Hontangas i sar. (1997) i Xitao (1998) navode mnogo primera iz kojih se vidi da su konfirmativna faktorska analiza (KFA) i modeli strukturalnih jednačina (SEM) superiorna metodologija za obradu MOMM matrica (koriste se komercijalni softverski paketi kao što su Lisrel, Amos, EQS, Prelis itd.). Xitao u svom prikazu knjige kaže da je iskustvo pokazalo da analiza MOMM matrice pomoću KFA i SEM nije jednostavan i linearan proces. On navodi da tradicionalni model KFA za analizu MOMM matrice (kao što je gornji Smithov model) tretira i osobine i metode kao latentne faktore. Međutim, danas se smatra da je poboljšanje postignuto time što se samo osobine tretiraju kao latentni faktori, dok se uticaj metoda reprezentuje pomoću koreliranih unikviteta između indikatora.

McDonald (1999) smatra da je oblast kvantifikacije konstruktivne valjanosti putem MOMM matrice danas vrlo živa i dinamična i da je još teško dati konačne zaključke. Zanimlji- vo je da on tvrdi da MOMM matrice tipično ne sadrže indikatore konstrukta, ako konstrukte tretiramo kao apstraktne atribute koji poseduju odgovarajući domen indikatora. Taj stav potpuno odudara od iznete preporuke da se kombinacije osobina i metoda tretiraju jednostavno kao indikatori. Zbog nesumnjivog renomea autora nije moguće odbaciti taj stav, pogotovo zato što je verovatno baziran na tome da je metode teško koncipirati kao uzorak metoda iz mogućeg domena (univerzuma) metoda - a to je sasvim tačno.

Da je koncept metoda ono što pravi probleme MOMM tehnologiji konstatuje i Mc- Donald. On kaže da se u literaturi uglavnom mogu naći tri vrste „metoda”: a) različiti ocenjivači, b) ponovljena merenja i b) različiti načini skaliranja.3 Međutim, ispitivanje uticaja ponovljenih merenja nije jednako ispitivanju uticaja različitih ocenjivača, pa su i različite statističke tehnike koje treba koristiti. Ako se, opet, usredsredimo na ono što se naziva „greškom metoda", onda već postoji prilično iskustvo sa tim pojavama i te greške se mogu svrstati u nekoliko glavnih grupa: halo efekat, socijalna poželjnost, odgovaračka usmerenja, neodlučno ocenjivanje, ekspertska pristrasnost prilikom ocenjivanja i sl. Za identifikaciju takvih metodskih grešaka, kaže McDonald, matrica MOMM nije efikasna, osim ako se metodi pažljivo ne uzorkuju (npr. tako da se uključe procenjivači koji poznaju kandidate i koji ih ne poznaju, da bi se pokušalo utvrditi prisustvo halo efekta).

3 Ta njegova klasifikacija nažalost izgleda manjkavajer se student već u ovom tekstu sreće sa prime- rima različitihpsiholoških testova kao različitih metoda prikupljanja podataka, što su verovatno Camp- bell i Fiske imali u vidu kada su defmisali pojam „metoda”.

Documents

MTMM