Eigenfaces, część 2

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Eigenfaces, część 2


Plan wykładuPCA – krótkie przypomnienieEkstrakcja cechProjekcja wstecznaPorównywanie kluczyUdoskonalenia metodyFunkcja błędu i jej minimalizacjaLokalne PCA


Krótkie przypomnienie

Eigenfaces – metoda ekstrakcji cechEliminacja nadmiarowych informacji (zbędnych wymiarów)Dwa etapy: trening rzutowanieMożliwa projekcja wsteczna


Trening

Obrazy znormalizowane

C00

Cn0

C0n

Cnn

...

...... ......

Macierz kowariancji Twarze własne(eigenfaces)


RzutowanieDane wejściowe: zbiór wektorów własnych znormalizowany obrazRzutowanie: - macierz złożona z wektorów

własnych x – wektor wejściowy po odjęciu

wektora średniego x’ – wektor po rzutowaniu

xx T '


Przykład...

Przestrzeń dwuwymiarowa: wektory własne:

Rzutowanie wektorów: [3; 1], [-2; -2], [10, 9]Projekcja i jej błąd

]22;

22[ ]

22;

22[


Ekstrakcja cechObcięcie macierzy i wektora x’

Element klucza - iloczyn skalarny obrazu i wektora:

Wyniki iloczynów = wektor cech

xvw Tii

’ ’’

xW T '


Ekstrakcja cech

...

Mnożenie wektora obrazu przez wektory własne

...

K1

K2

K3

Wektor cech


Trening – optymalizacja

Duży rozmiar macierzy kowariancji (NxN)Trick:

Av’ – szukane wektory własne

vvAA T ''' vvAAT

)'(')'( vAvAAA T ' 'Avv


Projekcja wsteczna

Wektor cech -> obraz twarzy

Różnica między obrazem wejściowym a odtworzonym (błąd projekcji)

'

1

N

iiiP vwx

|||| Pxx

WxP '


Błąd 2D


Błąd 2D


Błąd 2D


Błąd 2D


Projekcja obrazu

Wektor cech – opis twarzy eliminacja części informacjiWynik projekcji – obraz twarzy brak informacji wyeliminowanychBłąd – przykład 2DWniosek: błąd zależy od podobieństwa do próbki treningowej


Zastosowanie do detekcji

Projekcja wsteczna obrazów: twarz -> zmodyfikowany obraz

twarzy kwiatek -> obraz jakiejś twarzyBłąd nieporównywalnie większy dla obrazów nie-twarzyMetoda czasochłonna


Charakterystyka metody

Eigenfaces – popularna metoda rozpoznawania twarzyTrening i ekstrakcja cechMetoda holistycznaWysoka szybkośćPrzeciętna skuteczność


Porównywanie kluczyPodobieństwo kluczy (metryka): odległość Euklidesowa (norma L2)

odległość Mahalanobisa kąt między wektorami SVM korelacja i kowariancja

'

1

22121 )(),(

N

iii wwwwS


Odległość Mahalanobisa

Normalizacja wariancji we wszystkich kierunkach (wybielanie)

- wartość własna

'

1

221

21)(),(

N

i i

ii wwwwS


Słabe wybielanieOsłabienie wpływu wartości własnej:

Filtr wyrównujący:

'

1

221

21)(),(

N

i i

ii wwwwS

'

12

'

22121 )(

)(),(N

i Ni

iii wwwwS


Kąt między wektorami

Liczony na podstawie iloczynu skalarnego

Odrzucenie informacji o długości wektora cech w przestrzeni twarzy

||||),(

21

2121 ww

wwwwS


Porównywanie SVM

Co klasyfikować? dwa wektory na wejściu różnica wektorówZbiór uczący: różnice wewnątrzklasowe różnice międzyklasoweKonieczne losowanie próbek

K11

K12

K1n

...

K21

K22

K2n

...

SVM

Ta sama klasa

Różne klasy

SVM

Ta sama klasa

Różne klasy

K11 - K21

...

K12 - K22

K1n - K2n


Wybór metryki

Para kluczy: wiele metryk metryka jako odrębna metodaŁączenie metryk Mahalanobis + norma L2 ze słabym

wybielaniemTesty, testy, testy...


Topografia twarzy

Cechy intra- i ekstra-personalne oczy i nos usta i policzkiCharakter cech, a ich lokalizacjaMaska – modyfikacja ekstrakcji cech

N

jjjiji Mxuw

1xuw ii


Maska „T”

Sztuczna maska na nos i oczyWartości 0 i 1Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF


Maska różnicowaZbiory par obrazów: intra-personalne extra-personalneUśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalnaMaska – różnica średniej różnicy ekstra-personalnej i intra-personalnej


Maska dynamicznaTworzona osobno dla każdego obrazuWykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie proporcjonalna

do błędu projekcjiZmniejszenie wpływu obszarów zasłoniętychMożna stosować dla grup pikseli


Przykłady...


Wagi wektorów własnych

Nie zawsze związana z lokalizacją np. oświetlenie„Rzut oka” na twarze własne niosą różne rodzaje informacji

(kierunki)Wektor własny, element wektora cech, funkcja porównującaModyfikacja:

N

jjjijii MxuWw

1


Problem rozpoznawania

Definicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorówPunkt wyjścia – porównanie dwóch wektorów cechKlasa własna i obca


Błąd rozpoznania 1Błąd pojedynczego porównania:

uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2)

),(),(

),(1

11

kij

iijkij uuS

uuSuuP


Błąd rozpoznania 2

Błąd rozpoznania pojedynczego wektora:

Błąd dla całej próbki:

C

i

N

j

C

ikk

ij

i

kuuPD1 2 1

),( 1

C

ikk

ijij kuuPD1

),( 1


Funkcja błędu

Błąd jest funkcją maski i wag funkcja wymiernaMinimalizacja funkcji znalezienie optymalnej maski i wag


Problem dostosowaniaSilne dostosowanie do próbki znaczne polepszenie

dla zbioru treningowego pogorszenie dla reszty Rozwiązanie: optymalizacja częściowaDostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji


Lokalne PCADetekcja cech charakterystycznych oczy, usta, nosRozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes,

eigennoses, itp.)Przestrzenie posiadają mniej wymiarów


Lokalne PCA

K1K2K3

K4


Podsumowanie

Porównywanie kluczy – wiele sposobówEigenfaces – wadom można zaradzić maski wagi wektorów własnych dostosowanie do zadanego zbioru

twarzy cel: uwzględnienie topologii twarzy


Dziękuję za uwagę!

Za tydzień: Pochodne Eigenfaces

Documents

Eigenfaces, część 2