View
37
Download
2
Category
Preview:
DESCRIPTION
skriveni markovljevi modeli, HMM,
Citation preview
SadržajSadržaj
mUvod
mMarkovljevi modeli
mSkriveni Markovljevi modeli
mAlgoritmi za skrivene Markovljeve modele
1
Temporalni podaci Temporalni podaci
mPodaci dobiveni otipkavanjem
mUz prostornu i vremenska komponentaq Uređenost vremenske komponente i usporedivost u
smislu “ranije” i “kasnije”
2
MarkovMarkovljevljev mmodelodel (1/2)(1/2)
mDefinicijaq Stanja
q Sekvenca
q Markovljevo svojstvo N-tog reda
P(qt = j | qt-1 = i, … , qt-N = x, … , qt-(N+M) = z) =P(qt = j | qt-1 = i, …, qt-N = x)
q Stacionarnost
P(qt = j | qt-1 = i)= P(qt+x = j | qt+x-1 = i)
Uz pretpostavku Markovljevog svojstva1. reda
3
MarkovMarkovljevljev mmodelodel (2/2)(2/2)
mVjerojatnost sekvenceq Uvjetna vjerojatnost – Bayesov teorem
P(A, B)= P(A | B) P(B)
q Vjerojatnost sekvence Markovljevog modela
P(q1, q2, …, qT)=
= P(q1)P(q2|q1)P(q3|q1,q2) … P(qT|q1,…, qT-1)=
= P(q1)P(q2|q1)P(q3|q2) … P(qT|qT-1)
q Vjerojatnost inicijalnog stanja
πi = P(q1 = i) 1≤ i ≤NUz pretpostavku Markovljevog svojstva1. reda
4
Primjer Primjer –– dijagram stanjadijagram stanja
q Dijagram dobiven uz sekvencijalno opažanje upravilnim intervalima (npr. 1 opažanje dnevno)
q Suma izlaznih prijelaza stanja je 1
Sunčano Oblačno
Kišovito
0.2
0.2
0.5
0.3
0.1
0.1
0.4
0.7 0.5
5
Primjer Primjer -- predikcijapredikcija
mPredikcija (prognoza): koja je vjerojatnost da ćevrijeme počevši od sutra biti “sunčano-sunčano-sunčano-oblačno-oblačno-kišovito-sunčano”?Danas je sunčano.S: Sunčano, O: Oblačno, K: Kišovito
P({S,S,S,O,O,K,S} | model)=
= P(S) P(S|S) P(S|S) P(S|S) P(O|S) P(O|O) P(K|O) P(S|K)=
=1.0∙ 0.7∙0.7∙0.7∙0.2∙0.5∙0.3∙0.1 = 1.029E-3
6
Utjecaj Markovljevog svojstva na Utjecaj Markovljevog svojstva na složenost složenost -- ilustracija (1/2)ilustracija (1/2)
mVjerojatnost stanjaq Vjerojatnost stanja u trenutku t: P(qt= i)
q Naivan algoritam
l Vjerojatnost da put u trenutku t završava u stanju iQt(i)= (q1, q2, …, qt=i)
l Suma vjerojatnosti preko svih putova koji završavaju ustanju i u trenutku t
O(Nt)
7
Utjecaj Markovljevog svojstva na Utjecaj Markovljevog svojstva na složenost složenost -- ilustracija (2/2)ilustracija (2/2)
mVjerojatnost stanjaq Efikasan algoritam
l Rekurzivan izračun vjerojatnosti: pamtimo sumuvjerojatnosti da parcijalni put završava u nekom čvoru, zasvaki čvor
mAlgoritmi preko Markovljevih modela o kojima ćebiti riječi upravo su rekurzivnog tipa
O(N2t)
8
mN (neprozirnih) urni sa obojenim kuglicama u Mrazličitih boja.
l konkretno: N= 3 and M= 4
q Svaka urna sadrži kuglice uz poznatu distribuciju
q Izvukavši kuglicu iz urne, vraćamo je nazad u istu urnu
q Proces selekcije urne je stohastički
MM MM –– Primjer (1/3)Primjer (1/3)
Urna 1 Urna 2 Urna 3
9
MM MM –– Primjer (2/3)Primjer (2/3)
mProces selekcije urne
Početna urna
10
Urna 3
Urna 1 0.5
0.2
0.1
0.1
0.80.20.4
0.1
0.6
Urna 2
MM MM –– Primjer (3/3)Primjer (3/3)
mPrimjer sekvence - vidljiva su oba procesa:q Proces odabira urne
q Proces vađenja kuglice
t=1 t=2 t=3 t=4 t=5
11
Urna 1 Urna 1 Urna 2 Urna 2Urna 3
Primjer sa urnama Primjer sa urnama –– skriveni Markovljev skriveni Markovljev model (HMM)model (HMM)
mVidljiv je samo proces vađenja kuglice iz urne(sekvenca je ista)q Opažamo rezultate vađenja kuglica u trenutku t
q Ne možemo opaziti koja urna je odabrana u trenutku t
q Dakle, odabir urne, tj. informacija o trenutačnom stanjuje skrivena.
t=1 t=2 t=3 t=4 t=5
Urna 1,2 ili 3? Urna 1,2 ili 3? Urna 1,2 ili 3?Urna 1,2 ili 3?Urna 1,2 ili 3?
12
HMMHMM
mHMM je MM sa skrivenom sekvencom stanjaq Opažamo samo sekvencu opažanja.
q Dvostruki stohastički proces:
l Skriveni stohastički proces (sekvenca stanja)l Vidljivi stohastički proces koji generira sekvencu
opažanja
q Primjene: prepoznavanje govora, identifikacijagovornika, prepoznavanje rukopisa, raspoznavanjegesti, modeliranje jezika, praćenje objekata na temeljuvideo signala...
13
HMM HMM –– definicija (1/2)definicija (1/2)
mNotacija: λ=(A, B, π)q A: Vjerojatnosna distribucija prijelaza stanja
A= {aij }, 1≤ i, j ≤ N,gdje je N broj stanja
q B: Vjerojatnosna distribucija vidljivog simbola
B= {bj(k)}, 1≤ j ≤ K,gdje je K broj simbola
q π : Vjerojatnosna distribucija početnog stanja
π= {πi}, 1≤ i ≤ N
14
HMMHMM –– definicija (2/2)definicija (2/2)
mStruktura ovisnostiq Markovljevo svojstvo 1. reda za tranziciju
q Uvjetna nezavisnost opservacijskih parametara
15
HMM HMM –– primjer sa urnamaprimjer sa urnama
q Broj stanja: N=3.
l {1, 2, 3}
q Broj opservacija: M=4.
l {žuta, plava, crvena, magenta }
q Distribucija početnog stanja.
l π=[1, 0, 0]
16
Urna 3
Urna 1 0.5
0.2
0.1
0.1
0.8
0.20.4
0.1
0.6
Urna 2
HMM HMM –– primjer sa urnamaprimjer sa urnama
q Vjerojatnosna distribucija prijelaza stanja
q Vjerojatnosna distribucija vidljivog simbola
17
Urna 3
Urna 1 0.5
0.2
0.1
0.1
0.80.20.4
0.1
0.6
Urna 2
Osnovni problemi i algoritmiOsnovni problemi i algoritmi
mOsnovni problemi1. Estimacija stanja (filtriranje)
2. Predikcija
3. Zaglađivanje (smoothing)
l FORWARD-BACKWARD
4. Najvjerojatnije objašnjenje opservacijske sekvence
l Viterbi
5. Učenje modela
l Baum-Welch
FORWARD
18
Osnovni problemi i algoritmiOsnovni problemi i algoritmi
mOsnovni problemi1. Estimacija stanja (filtriranje)
2. Predikcija
3. Zaglađivanje (smoothing)
l FORWARD-BACKWARD
4. Najvjerojatnije objašnjenje opservacijske sekvence
l Viterbi
5. Učenje modela
l Baum-Welch
FORWARD
19
NotacijaNotacija
q Skriveno stanje – stohastička varijabla:
q Skriveno stanje – ishod:
q Opaženo stanje:
q Indeksiranje – vremenski indeks
l Raspon indeksa označavamo dvotočkom, npr.
20
Estimacija stanja (1/2)Estimacija stanja (1/2)
mOdržavati trenutačnu estimaciju stanja na onlinenačin
mPoželjno (i ostvarivo) – rekurzivna estimacija
q Na temelju estimacije stanja u prošlom vremenskomkoraku i nove opservacije, generirati novu estimaciju
21
Estimacija stanja (2/2)Estimacija stanja (2/2)
Poznato iz modela Predikcija
Forma poruke
22
Estimacija stanja Estimacija stanja –– primjer sa primjer sa urnamaurnama
m Neka je opservacijski slijed
m Tražimo:
23
Urna 3
Urna 1 0.5
0.2
0.1
0.1
0.8
0.20.4
0.1
0.6
Urna 2
Predikcija stanjaPredikcija stanja
mRekurzivni izraz – slično kao kod estimacije stanja
mPrimjer sa urnama – za vježbu.
24
Zaglađivanje (1/2)Zaglađivanje (1/2)
mA posteriori distribucija preko prošlih stanja, uzopservacije do aktualnog trenutka:
m I ovaj algoritam bit će u rekurzivnoj formi
FORWARD-BACKWARD
25
mPreostaje BACKWARD dio:
Zaglađivanje (2/2)Zaglađivanje (2/2)
Poznato iz modela
•Inicijalizacija:
26
Zaglađivanje Zaglađivanje –– primjer sa urnamaprimjer sa urnama
m Neka je opservacijski slijed
m Tražimo:
m Otprije (FORWARD):
m Dalje:
27
Urna 3
Urna 1 0.5
0.2
0.1
0.1
0.8
0.20.4
0.1
0.6
Urna 2
FORWARDFORWARD--BACKWARD, složenost BACKWARD, složenost (1/2)(1/2)
mNaivno:q Jedna rekurzija FORWARD i BACKWARD (za jedan
vremenski trenutak): O(t)
q Zaglađivanje preko cijele sekvence: O(t2)
mPametno:q Najprije izračun FORWARD i spremanje rezultata (kao
u prethodnom primjeru)
28
FORWARDFORWARD--BACKWARD, složenost BACKWARD, složenost (2/2)(2/2)
29
Najvjerojatnija sekvenca stanja (1/2)Najvjerojatnija sekvenca stanja (1/2)
mProblem: pronaći najvjerojatniju sekvencu stanjakoja je generirala neku sekvencu opažanjaq Sekvencu stanja promatramo kao put kroz graf čiji su
čvorovi moguća stanja za svaki trenutak
q Markovljevo svojstvo (prvog reda) omogućavarekurzivnu relaciju najvjerojatnijeg puta do xt+1 inajvjerojatnijih putova do svakog od stanja xt
30
Najvjerojatnija sekvenca stanja (2/2)Najvjerojatnija sekvenca stanja (2/2)
mViterbi algoritam
q Rekurzija je tipa filtriranja
q Umjesto FORWARD poruke ima desni maksimizirajućičlan
mZa vježbu: primjer sa urnama
31
Recommended