Faktorska analiza (Factor Analysis)

Faktorskom se analizom ispituju međuzavisnosti unutar velikog broja varijabli, te ih sa nastoji objasniti pomoću malog broja zajedničkih faktora.

Faktorska analiza ubraja se u metode međuzavisnosti, a primjenjuje se:

• Za redukciju podataka

• Za otkrivanje strukture povezanosti među varijablama, odnosno za klasifikaciju varijabli

• Osnovni cilj faktorske analize je sažeti informacije sadržane u velikom broju izvornih varijabli u manji broj zajedničkih faktora uz minimalan gubitak informacija, te postići bolje razumijevanje odnosa među varijablama.

U faktorskoj analizi su izvorne varijable prikazane kao linearne kombinacije faktora

U analizi glavnih komponenata su glavne komponente predočene kao linearna kombinacija izvornih varijabli

Izvorne varijable manifestne varijable

Faktori latentne varijable

Zadaci faktorske analize:

• određivanje faktora i faktorskih bodova • objašnjavanje većeg broja varijabli na

osnovi manjeg broja faktora

• identificiranje dimenzija koje se ne mogu odmah uočiti

Eksploratorna faktorska analiza EFA

• EFA je postupak redukcije podataka

• Traže se faktori (latentni korijeni) koji se mogu upotrijebiti za opisivanje velikog broja ulaznih varijabli

• Koliko faktora treba odabrati da gubitak informacija ne bude velik?

Konfirmatorna faktorska analiza CFA

• CFA je postupak kojeg je razvio Spearman početkom 20. stoljeća da potvrdi tzv. “dvofaktorsku teoriju” inteligencije. U stvari je bio specificiran samo jedan faktor, a drugi se faktor sastojao od niza faktora specifičnih za svaku pojedinu varijablu

Pretpostavlja se da su sve varijable unutar pojedine grupe visoko korelirane, te da su slabo korelirane s varijablama iz ostalih grupa.

Tada svaka grupa varijabli reprezentira jedan faktor (latentnu varijablu), odgovoran za opažene korelacije.

Prije provođenja faktorske analize:

Definirati problemUtvrditi koje i koliko izvornih varijabli će se

analiziratiUtvrditi metrička svojstva varijabliOdabrati veličinu uzorka Ispitati prikladnost podataka za primjenu

FA.

izlučivanje faktora

interpretacija izlučenih faktora.

Rotacija izlučenih faktora

Interpretacija i validacija rotiranih faktora

Vrste faktora u faktorskoj analiziZajednički faktori Specifični faktori

Karakteristični za barem dvije varijable

Nisu međusobno korelirani, a nisu korelirani niti sa specifičnim faktorima.

Određenim postupcima zajednički faktori mogu se dovesti u korelaciju ukoliko to zahtijeva priroda pojave koju se analizira.

Odnose se na samo jednu varijablu. Nisu međusobno korelirani

Osnovni model faktorske analize

mmpmpppp

mm

mm

eFFFX

eFFFX

eFFFX

...

.

...

...

2211

2222212122

1121211111

Pretpostavka je da postoje originalne ili izvorne varijable

piX i ,,2,1, koje će se povezati u manji broj latentnih faktora

• U modelu (2.1) p odstupanja izvornih varijabli izraženo je pomoću p+m neopservabilnih slučajnih varijabli (m zajedničkih i p specifičnih faktora). Tu je razlika između faktorskog modela i modela multiple linearne regresije. U regresijskom modelu nezavisne varijable (čije je mjesto u modelu (2.1) popunjeno zajedničkim faktorima) su opservabilne.

• Polazne pretpostavke i relacija (2.2) određuju ortogonalni faktorski model s m zajedničkih faktora:

LFLFLFLFXX ))((

LLELFELFELFFEL

XXEXCov

LL

I

)()()()(

))(()(

00

Matrica varijanci i kovarijanci vektora X:

FFLFFLFFX )()(

LFEFFELFFLFE

FLFEFXEFXCov

I

0

)()()(

)()(),(

[1]

Dokaz za 2:

iiii h 2

Varijanca varijable Xi:

Kovarijanca varijabli Xi i Xj:

m

jljijil

1

Primjer

može se provjeriti pomoću matrične algebre.

1211

212

21111 )( h

21721419var.

22

)1(

spectkomunaliteXVar

• Postoje različite metode za provođenje rotacije faktora. Dvije su osnovne skupine metoda:

• metode ortogonalne (orthogonal) rotacije i

• metode kosokutne (oblique) rotacije faktora.

Korelacijske matrice u faktorskoj

• Korelacijska matrica osnova je provođenja faktorske analize, a sadrži koeficijente korelacije između izvornih varijabli.

• S obzirom na vrijednosti koje se nalaze na glavnoj dijagonali korelacijske matrice razlikuju se

potpuna i reducirana korelacijska matrica.

Kod potpune korelacijske matrice na glavnoj dijagonali nalaze se jedinice, a naziva se potpuna jer se zasniva na ukupnoj varijanci.

Kod reducirane korelacijske matrice na glavnoj dijagonali nalaze se procjene komunaliteta, a naziva se reducirana jer se zasniva na zajedničkoj varijanci.

Ovisno o polaznoj matrici postoje brojne varijacije faktorskih modela. Najčešće primjenjivane su:

• faktorska analiza glavnih komponenata (principal component factor analysis)

• polazi od potpune korelacijske matrice.

• faktorska analiza zajedničkih faktora polazi od reducirane korelacijske matrice

Faktorska analiza glavnih komponenata

→odabrati nekoliko prvih glavnih komponenata kao nerotirane faktore.

U faktorskoj analizi glavnih komponenata model ne diferencira zajedničku i specifičnu varijancu

→ komponente se zasnivaju na ukupnoj varijanci. Stoga izlučene komponente sadrže i specifičnu

varijancu. • Faktorska analiza glavnih komponenata se

provodi na potpunoj korelacijskoj matrici, → na glavnoj dijagonali se nalaze jedinice čime se uključuje ukupna varijanca.

Faktorska analiza zajedničkih faktora

Faktorska analiza zajedničkih faktora

Osnova za provođenje faktorske analize zajedničkih faktora je reducirana korelacijska matrica na čijoj se glavnoj dijagonali nalaze procjene komunaliteta. Postoje različiti načini procjene komunaliteta:

• kvadrati koeficijenata multiple korelacije između neke od promatranih varijabli i preostalih p-1 varijabli

• kvadrati najvećeg koeficijenta korelacije koji neka promatrana varijabla ima s nekom drugom varijablom.

Razlike između faktorske analize zajedničkih

faktora i faktorske analize glavnih komponenti • Osnovna razlika između faktorske analize glavnih

komponenata i faktorske analize zajedničkih faktora proizlazi iz koncepcije kompozicije ukupne varijance.

• Faktorska analiza glavnih komponenata polazi od ukupne varijance, te se izlučeni faktori zasnivaju na ukupnoj varijanci, dok faktorska analiza zajedničkih faktora diferencira zajedničku i specifičnu varijancu, te se izlučeni faktori zasnivaju na zajedničkoj varijanci.

• Faktorska analiza zajedničkih faktora primjenjuje se ako istraživač ne može sa sigurnošću pretpostaviti kolika je količina specifične varijance i želi je isključiti.

• Suprotno tome faktorska analiza glavnih komponenata primjenjuje se ako prethodne spoznaje ukazuju da specifična varijanca čini manju proporciju ukupne varijance.

PRIMJER• Primjer se zasniva na skupu fiktivnih

podataka koji opisuju studiju o zadovoljstvu životom. Anketni upitnik sastoji se od 10 pitanja na koje je odgovaralo 100 slučajno odabranih ispitanika. Pitanja (varijable) su mjerila zadovoljstvo poslom, hobijima, kod kuće i općenito zadovoljstvo u nekim drugim područjima života. Rezultati za sve anketirane osobe zabilježeni su uz pomoć računala i skalirani su tako da je prosjek za sva pitanja približno jednak 100.

• Osnovni cilj analize je naučiti više o povezanosti zadovoljstava u različitim domenama, pronaći broj faktora kojim se opisuju različita područja zadovoljstva i protumačiti njihovo značenje.

MD=missed data

Sve korelacije su pozitivne. Neke su i vrlo velike (Hobby_1 i Miscel_1 (0.90)A neke su niske (među varijablama koje mjere zadovoljstvo poslom I zadovoljstvo kod kuće)

• U skladu s Kaiserovim kriterijem (1960) ostavit će se samo faktori sa svojstvenom vrijednosti većom od 1. U tom bi slučaju broj faktora bio m=2.

• Scree test. (Cattell, 1966)

• Faktorska opterećenja

• -mogu se tumačiti kao korelacije između faktora i ulaznih varijabli, te na taj način sadrže najvažniju informaciju na kojoj se zasniva interpretacija faktora.

• Nije iznenađujuće da prvi factor ima najveća faktorska opterećenja jer je poredak faktora definiran proporcijom ukupne varijance protumačene određenim faktorom.

• Orjentacija faktora u faktorskom prostoru je proizvoljna i svaka će rotacija faktora jednako dobro reproducirati korelacije. Faktori se rotiraju da bi se postigla faktorska struktura jednostavnija za interpretaciju.

• Pojam „jednostavne strukture“ uveo je Thurstone (1947) da bi opisao uvjet kad su faktori označeni visokim opterećenjima za neke varijable i malim za ostale.

• Analiza će početi s m=3 faktora

• Na prvom su faktoru velika opterećanja za sve varijable osim za one koje su povezane sa zadovoljstvom kod kuće.

• Drugi faktor ima visoka opterećenja za sve varijable osim za one koje su povezane s poslom.

• Treći faktor ima samo veće opterećenje uz varijablu Home_1.

Na prvom su faktoru velika opterećanja za sve varijable osim za one koje su povezane sa zadovoljstvom kod kuće, najniža za varijable povezane zadovoljstvom kod kuće, a ostala su srednje veličine. Drugi factor ima visoka opterećenja za varijable povezane zadovoljstvom kod kuće, a niska za varijable koje su povezane s poslom.

Prvi se faktor može interpretirati kao zadovoljstvo posloma drugi kao zadovoljstvo kod kuće.

• Kako dobro se može reproducirati korelacijska matrica iz dvofaktorskog rješenja?

• Rezidualne se korelacije računaju kao razlika između opaženih korelacija i reproduciranih, a veličina svakog pojedinog elementa je iznos korelacije koji nije moguće protumačit s odabrana 2 faktora.