Aplikace Machine Learning v Image ProcessingIrena Vov

OsnovaMotivaceAproximace signlu pomoc slovnkuMatching Pursuit, OMPPorovnn tchto metod s jinmiVytven vlastnho slovnkuMOD, K-SVDAplikace tchto algoritm

MotivaceGaborovy waveletyActive basis pursuit

Kokopes

Basic Matching PursuitMme fci f, a jej hodnoty {y1,,yl} v bodech {x1,,xl}

Slovnk mnoina fc {g1,,gM}

Chceme minimln chybuChyba = kvadrt normy, Globln minimum - NP

Greedy pstupHledme bzi gi a koeficienty 0. przdn bzen. mme g1,,gn a hledme gn+1:nech mme gn+1 , pak

chceme minimalizovat

zvolme gn+1, max. kolinernost s RnStop. Chyba klesne pod danou hodnotu

Pklad

Upgrade 1. - OMPBack-fitting, Orthogonal MPStejn postup hledn gn+1Zafixujeme gi a minimalizujeme pes - linern regrese

Upgrade 2.Pre-fitting, lze spotat pes projekce

Basic, fix. ve krom gn+1Back-fitting, fix. g1,,gn+1 hledmePre-fitting, fix pouze g1,,gn

Pouit matching pursuitPvodn pochz ze signal processing, wavelets skupinSignl = souet funkcNov uplatnn: Machine learningRegresn kivka = souet funkcNutnost zavst obecnj ztrtovou funkci

Rozen pstupuMme obecnou ztrtovou fci L(yi,fn(xi))Pedefinujeme reziduum RnSmr nejvtho spdu v prostoru fc

Back-fitting mon, ale asov nron

RegreseChceme vyjdit klasifikan fci regrese MP s obecnj ztrtovou fc

Kernel MPMme danou kernel fci KSlovnk je kernel v kadm trnovacm bod

Aproximace jsou indexy support points

Vhody KMPdn omezen na kernelyVce ne jeden tvar, mtko kernelu pro vechny, pro jednu tduVloit do slovnku libovoln fceKonstantn,

Porovnn s SVM, mapovn do novch dimenzMinimalizujemeJin funkce, jin chybaKontrola dkosti

Tool pklady100 iteracBasicKMPStejn kernel - Gausin7 iteracPre-fittingKMP7 iteracback-fittingKMP = OMPSupportVectorMachine

Houba8124 hub, 22 vlastnost2 tdy ,

Chyba podobnPoet support vektor je velmi rozdln

Active basis pursuit

Vlastn slovnkZvolen slovnky waveletsUniverzln vhody, nevhodyNauit se slovnk pro n problmMOD, K-svd

OznaenMme data yiHledme slovnk di, kter nejlpe popisuje nae data

Chyba vektoru yChyba vstupnch vektor y1,,yN

PkladYD

Obecn framework1. Inicializujeme slovnk2. Najdeme koeficienty X ke slovnkuMatching Persuit nebo jin metodaOmezen na X, chceme dk3. Pomoc X opravme slovnk DMOD, K-SVD

Nen ten framework povdom?K-mean, omezen na X

Method of optimal directionsChyba vektoru yChyba vstupnch vektor y1,,yNpo odvozenoprava slovnku1 krok 1 slovnk

K-SVDV 1 kroku optimalizujeme 1 slovo=

SVDA = U S VT

Ak = u1 s1 v1T + ... + uk sk vkT

SVD PkladAk = u1 s1 v1T + ... + uk sk vkT Aiui si viT

Porovnn metodMOD, K-SVD

Nhodn slovnk50 slov 20DData 1500 yiKombinace 3 slovPidn umZ dat spotn slovnk a porovnny-osa # Stejn

Porovnn slovnkK-SVD, Haar, DCT slovnky 64x441Trnovac data 11000 blok 8x8Z face-image databzeHledn koeficient OMP20-90% pixel bylo vymaznoNa zbytku OMP pomoc slovnkChybjc pixely se dodefinovali

Pklad K-SVDYDK-SVD Haar DCT

Vsledky K-SVD

Pouit v odumovn1. Init slovku D2. J krt opakujVyjdi patche pomoc DOMPOprav slovnk DK-SVD3. Prmrovn patch na pozicch vyjdench slovnkem Dpatchezaumn obrzek Y

Vsledky odumovnZaumn Slovnk po 10 iteracch

ReferenceElad, M. Aharon, M., Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries, IEEE Transactions on Image Processing, 2006P. Vincent, Y. Bengio, Kernel matching pursuit, Machine Learning Journal 48, 2002Aharon, M., Elad, M. and Bruckstein, A.M., The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation. IEEE Transactions on Signal Processing, 2005 Ying Nian Wu, Deformable Template as Active Basis, ICCV07, http://www.stat.ucla.edu/~ywu/ActiveBasis.html

Michal nejake clankyCil pednky n pln pochopen, nevyden Hledn kokopsaObrzek = aproximace, suma Gaborovch waveletNau se vzor koky a pak ji hledaj na obrzku