Ulepszenia metody Eigenfaces

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Ulepszenia metody Eigenfaces


Plan wykładu

Eigenfaces – główne wadyWykorzystanie topografii twarzyLinear Discriminant Analysis Fisherfaces

Bayesian Matching


Główne wady Eigenfaces

Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi „Większość różnic pomiędzy obrazami

twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y.Moses, 1994)

różnice mimiki

Twarz traktowana jako wektor utrata informacji 2D

Podejście holistyczne twarz jako niepodzielna całość


Topografia twarzy

Cechy intra- i ekstra-personalne oczy i nos usta i policzki

Charakter cech, a ich lokalizacjaMaska – modyfikacja ekstrakcji cech

N

jjjiji Mxuw

1xuw ii


Maska „T”

Sztuczna maska na nos i oczyWartości 0 i 1Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF


Maska różnicowa

Zbiory par obrazów: intra-personalne extra-personalne

Uśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalna

Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej


Maska dynamicznaTworzona osobno dla każdego obrazuWykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie

proporcjonalna do błędu projekcji

Zmniejszenie wpływu obszarów zasłoniętychMożna stosować dla grup pikseli


Przykłady...


Wagi wektorów własnych

Nie zawsze związana z lokalizacją np. oświetlenie

„Rzut oka” na twarze własne niosą różne rodzaje informacji

(kierunki)

Wektor własny, element wektora cech, funkcja porównującaModyfikacja:

N

jjjijii MxuWw

1


Problem rozpoznawania

Definicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorów

Punkt wyjścia – porównanie dwóch wektorów cechKlasa własna i obca


Błąd rozpoznania 1

Błąd pojedynczego porównania:

uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2)

),(

),(),(

1

11

kij

iijkij uuS

uuSuuP


Błąd rozpoznania 2

Błąd rozpoznania pojedynczego wektora:

Błąd dla całej próbki:

C

i

N

j

C

ikk

ij

i

kuuPD1 2 1

),( 1

C

ikk

ijij kuuPD1

),( 1


Funkcja błędu

Błąd jest funkcją maski i wag funkcja wymierna

Minimalizacja funkcji znalezienie optymalnej maski i wag


Problem dostosowania

Silne dostosowanie do próbki znaczne polepszenie

dla zbioru treningowego pogorszenie dla reszty

Rozwiązanie: optymalizacja częściowa

Dostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji


Lokalne PCA

Detekcja cech charakterystycznych oczy, usta, nos

Rozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes,

eigennoses, itp.)

Przestrzenie posiadają mniej wymiarów


Lokalne PCA

K1

K2

K3

K4


Tworzenie przestrzeni

PCA wyznacza główne kierunki różnicBrak wykorzystania informacji o przynależności do klasyRozwiązanie problemu: Linear Discriminant Analysis (LDA) Fisherfaces


PCA – przykład działania


PCA – przykład działania


Przykład nie działania


Tak by było lepiej...


Jak działa LDA?

PCA: próbka treningowa macierz

kowariancji

LDA: sklasyfikowana próbka treningowa

dwie macierze kowariancji wewnątrz-klasowa między-klasowa

Znalezienie bazy ortogonalnej


Macierze kowariancji

Międzyklasowa

CB – międzyklasowa macierz kowariancji c – liczba klas Ni – liczba elementów i-tej klasy – obraz średni i – obraz średni i-tej klasy

c

iiiiB N

1)(( C


Macierze kowariancji

Wewnątrzklasowa

CW – wewnątrzklasowa macierz kowariancji c – liczba klas Xi – zbiór obrazów i-tej klasy xk – k-ty obraz należący do i-tej klasy i – obraz średni i-tej klasy

c

i XxikikW

ik

xx1

)(( C


Jak to policzyć?

PCA:

- macierz złożona z wektorów własnych

LDA:

vv C

||maxarg TCψψψψ

||

||maxarg

ψCψ

ψCψψ

ψW

TB

T

vv WB CC


Fisherfaces

LDA – skomplikowane obliczenia na dużych macierzachFisherfaces: PCA do redukcji wymiarów LDA do znalezienia optymalnej bazy

|''|

|''|maxarg

ψψCψψ

ψψCψψψ

ψPCAW

TPCA

TPCAB

TPCA

T


Ekstrakcja cech Fisherfaces

Policzyć wektor cech za pomocą PCA na wejściu znormalizowany obraz redukcja liczby wymiarów

Policzyć wektor cech za pomocą LDA na wejściu wektor cech PCA rotacja wektora cech zachowanie liczby wymiarów wektora cech


Bayesian Matching

Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy

I – zbiór par intrapersonalnych E – zbiór par ekstrapersonalnych

)|()(),( 21 II PPIIS

21 II


Prawdopodobieństwo

)()|()()|(

)()|()|(

EEII

III PPPP

PPP

P(|) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic jest funkcją błędu projekcji PCA – ()

2)(~)|( eP I


Projekcja wsteczna (przypomnienie)

Wektor cech -> obraz twarzy

Różnica między obrazem wejściowym a odtworzonym (błąd projekcji)

'

1

N

iiiP vwx

|||| Pxx

WxP '


Przestrzenie różnic

Dwie klasy par obrazów intra- i ekstra-personalne

Obrazy będące różnicami między obrazami dwie klasy różnic

Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA


Kwintesencja BM

Rozpoznawana różnica dwóch obrazów Dual Eigenfaces

Odległość różnicy od dwóch przestrzeniMetoda dość wolna różnica obrazów dla każdego porównania można zastosować inną metodę

do wstępnej selekcji (wybrania n najlepszych)


Inne metody

Local Feature Analysis2D PCA, 2D LDAIndependent Component Analysis


Podsumowanie

Istnieje wiele metod bazujących na EigenfacesUlepszanie: topologia twarzy koncentrowanie się na szczegółach klasyfikacja różnic


Dziękuję za uwagę!

Za tydzień – metoda EBGM

Documents

Ulepszenia metody Eigenfaces