Upload
rimona
View
76
Download
0
Embed Size (px)
DESCRIPTION
Seminarska naloga. Analiza neodvisnih komponent (ICA). Fakulteta za elektrotehniko. Avtor: Alan Keber Mentor: prof. Dr. Stanislav Kovačič. Primer:. Statistična neodvisnost. Definicija za statistično neodvisnost:. - PowerPoint PPT Presentation
Citation preview
Analiza neodvisnih Analiza neodvisnih komponent (ICA)komponent (ICA)
Fakulteta za elektrotehnikoFakulteta za elektrotehniko
Avtor: Alan Keber
Mentor: prof. Dr. Stanislav Kovačič
Seminarska naloga
Primer:Primer:
tx2
tx1 ts1
ts2
tsatsatx
tsatsatx
2221212
2121111
tx1
tx2
ts1
ts2
ts1̂
ts2ˆ
Asx
Statistična neodvisnost
Definicija za statistično neodvisnost:
nn
n
yfyfyfyyyf
yyy
...),...,,(
,...,,
2121
21
Naključne spremenljivke y so medsebojno neodvisne, če je funkcija gostote verjetnosti enaka produktu gostot verjetnosti za vsako spremenljivko posebej.
Če so naključne spremenljivke medsebojno statistično neodvisne, so tudi nekorelirane, obratno pa ne velja. Potreben, vendar ne zadosten pogoj za statitistično neodvisnost je nekoreliranost. Nekoreliranost je zadosten pogoj za neodvisnost le vprimeru Gaussove porazdelitve naključnih spremenljivk.
22112211 {}{}{ ygEygEygygE
Definicija nekoreliranosti:
}{}{}{ 2121 yEyEyyE
Primer:Primer:
uniformna porazdelitevneorelirane spremenljivke
statistično neodvisne spremenljivke
Nekorelirane spremenljivkestatistično odvisne spremenljivke
Imamo dve neodvisni spremenljivki s, ki so uniformno porazdeljene, so neodvisne in nekorelirane (spodnja slika levo). Če je matrika A ortogonalna in če monžimo matriko A z vektorjem naključnih spremenljivk s po spodnji enačbi, potem dobimo vektor naključnih spremenljivk x (spodnja slika desno), za katere velja:
• naključne spremenljivke x so nekorelirane
• x so statistično odvisne
Asx
Definicija linearnega ICAIskanje statistično neodvisnih spremenljivk s iz meritev x sestoji iz določanja linearne treansformacije oz. matrike W tako ,da velja enačba:
Wxs Matriko W iščemo s pomočjo maksimizacije ali minimizacije kriteriske funkcije:
nsssF ,...,, 21
Kriterijska funkcija je merilo za statistično neodvisnost.
Asx1AW
Velja tudi spodnja enačba:
kjer je:
Določljivost ICA modela
Model ICA je možno določiti, če velja :
• statistično neodvisne spremenljivke s ne smejo biti porazdelejne po Gaussu, razen ene
• število meritev x mora biti vsaj toliko veliko, kot je število neodvisnih spremenljivk s
• matrika A mora biti polnega ranga
Asx Enačba modela ICA:
Primer:
Dve naključni spremenljivki s porazdeljeni po Gaussu. Ker je simetrična porazdelitev, bo ne glede na matriko A ostala (ortogonalna matrika), ostala enaka.
Kriterijske funkcije za ocenitev ICA modelaKurtosis:Kurtosis:
Diferenčna entropija:Diferenčna entropija:
}{3}{ 24 sEsEskurt
Je kriterij za merjenje, koliko so naključne spremenljivke s porazdeljena po Gaussu oz. koliko niso.
Če je naključna spremenljivka porazdeljena po Gaussu, potem je vrednost kurt(s)=0
Definicija entopije:
Največja vrednost entropije je, kadar so naključne spremenljivke porazdeljene po Gaussu, vse z enako varianco. Zato lahko zapišemo kriterijsko funkcijo (spodnja enačba), ki bo vedno večja ali enaka 0. 0 bo le v primeru, ko bodo naključne spremenljivke porazdeljene po Gaussu.
yHyHYJ Gauss )(
i
YpYpYH log
Aproksimacija diferenčne entropije:Aproksimacija diferenčne entropije:
Ker je računanje kriterijske funkcije po enačbi za diferenčno entropijo računsko prezahtevna naloga, se poslužujemo pribljižka po spodnji enačbi:
}{}{ GEyGEYJ je Gaussova spremenljivka, za katero velja:
4
2
1
4
1
coshlog1
2
yyG
eyG
yaa
yG
y
a
Primeri za funkcijo G:
Z aproksimacijo diferenčne entropije dosežemo kompromis med lastnostmi Kurtosis-a in lastnostmi diferenčne entropije.
IvvE
vET
}{
0}{
Predobdelava podatkov Pred samo izvedbo ICA algoritma, je koristno, če se izvede predobdelava vektorja
naključnih spremenljivk x.
Centriranje:Centriranje:
Beljenje:Beljenje:}{xExx
Vektorju naključnih spremenljivk odštejemo njegovo povprečno vrednost.
Prva predpostavka je, da je vektor x je centriran po zgornjem postopku. Če vektor x še dekoreliramo, potem smo že bližje statistični neodvisnosti (x je nekoreliran). Vektor x je nekoreliran, če je cov(x)=I. Postopku, ki doseže, da je cov(v)=I, pravimo beljenje. Postopek beljenja poteka s pomočjo PCA metode.
IEDEDEED
EDxEDEDxxEDEv
EDEx
EDV
xEDv
TT
TTT
T
T
T
2
1
2
1
2
1
2
1
2
1
2
1
2
1
2
1
cov}{cov
cov
•E je matrika lastnih vektorjev po PCA metodi
• D matika lastnih vrednosti po diagonali
Primer beljenja:Primer beljenja:
IBBBssBEv
VAB
BsVAsVxv
TTT
}{)cov(
Primer prikazuje vektor x, ki je sestavljen iz linearne transformacije dveh neodvisnih naključnih spremenljivk z uniformno porazdelitvijo (slika desno). Slika desno prikazuje pobeljen vektor naključnih spremenljivk.
Če je cov(s)=cov(v)=I => B je ortogonalen.
Preizkus FP-ICA algoritma na slikahIzbral sem FP-ICA algoritem, ki temelji na maksimizacije funkcije Kurtosisa. Pogoj za delovanje tega algoritma je da je vektor x predhodno centriran in pobeljen. Dobra lastnost tega algoritma je, da hitro konvergira proti rešitvi.
1. preizkus:1. preizkus:• dve 8 bitni bmp sivi sliki dimenzij 112 x 92
• vsako sliko predstavimo kot vektor p dimenzije 112 x 92
• naredil x=Hp, kjer je H permutacijska matrika polnega ranga
• preko FP-ICA ocenil s
• narisal s
2. preizkus:2. preizkus:• 24 bitna RGB bmp slika dimenzij 640 x 480
• sliko ločil na R,G,B, kjer vsaka komponenta predstavlja svoj vektor dimenzije 640 x 480
• preko FP-ICA ocenil s
•Združil zopet v 24 bitno RGB sliko in jo narisal
1. preizkus:1. preizkus:
Original sliki Pomešani sliki Ocenjeni sliki
2.15.0
5.05.0H
Original sliki Pomešani sliki Ocenjeni sliki
2.13.1
8.05.0H
2. preizkus:2. preizkus:
Originalna slika Ocenjena slika
Originalna slika Ocenjena slika
Uporaba ICA:
• Magnetocefalografija
• ekonomija (iskanje skritih faktorjev v finančnih podatkih)
• čiščenje šuma iz slike
• telekomunikacije
Literatura HyvHyväärinen, A., Oja, E. (1999) Independent Component rinen, A., Oja, E. (1999) Independent Component
Analysis: Algorithms and Applications. Neural Networks.Analysis: Algorithms and Applications. Neural Networks. Hurri, J. (1997) Independent component analysis of image Hurri, J. (1997) Independent component analysis of image
data. Master thesis, Dept. of Computer Science and data. Master thesis, Dept. of Computer Science and Engineering, Helsinki University of Technology. Engineering, Helsinki University of Technology.
HyvHyväärinen, A., Oja, E. (1997) A Fast Fixed-Point Algorithm rinen, A., Oja, E. (1997) A Fast Fixed-Point Algorithm for Independent Component Analysis. Neural Computation, for Independent Component Analysis. Neural Computation, 9: 1483-1492.9: 1483-1492.
HyvHyväärinen, A. (1999) Fast and Robust Fixed-Point rinen, A. (1999) Fast and Robust Fixed-Point Algorithms for Independent Component Analysis. IEEE Algorithms for Independent Component Analysis. IEEE Trans. On Neural Networks.Trans. On Neural Networks.
HyvHyväärinen, A. Survey on Independent Component rinen, A. Survey on Independent Component Analysis. URL naslov: Analysis. URL naslov: http://www.cis.hut.fi/~aapo/http://www.cis.hut.fi/~aapo/ (20.4.2003)(20.4.2003)
KONEC
Hvala za potrpežljivost.