Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wykorzystanie koloru przy rozpoznawaniu

twarzy

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Plan wykładu

Przestrzenie kolorów model YCbCr

Detekcja twarzy i cech mapa oczu mapa ust

Wykorzystanie do ekstrakcji cech

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przestrzenie kolorów

Sposób reprezentacji piksela kanały głębokość bitowa

Konwersje stratne bezstratne (odtwarzalne)

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Skala szarości

ang. grayscale (gs)Format wykorzystywany w rozpoznawaniu twarzyJeden kanał8 bitów -> 256 poziomów szarościKonwersja z RGB: B0.114 G 0.587 R0.299 Y

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przestrzenie kolorówLudzkie oko trójwymiarowa przestrzeń kolorów

Stosowane modele uproszczenie rzeczywistości 3, 4 wymiary nie pokrywają całego zakresu

światła widzialnego

Diagram kolorów CIE (International Commision on

Illumination)

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Diagram kolorów CIE

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Najpopularniejsze modele

RGB czerwony, zielony, niebieski

CMYK morski, karmazynowy, żółty, czarny

HLS, HSV kolor, oświetlenie, nasycenie

YCbCr

intensywność (GS), niebieski, czerwony

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

RGB

Model addytywny punkt wyjścia – kolor czarny

Szeroko rozpowszechnionyCzęsto niewygodny: konieczna identyczna

rozdzielczość kanałów modyfikacja obrazu wymaga

modyfikacji każdego kanału ciężki w interpretacji

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

CMYK

Model subtraktywny punkt wyjścia – kolor biały

Stosowany do drukowaniaOdjęcie C, M i Y w praktyce nie zawsze daje czarny dodanie składowej K dodatkowy czarny pojemnik z

tuszem

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

RGB i CMYK

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

HSV

Kolor jako kątModel zbliżony do interpretacji barw przez człowieka

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

YCbCr

128 B0.08131 -G 0.41869 - R0.5 C

128 B0.5 G 0.33126 - R0.116874- C

B0.114 G 0.5587 R0.299 Y

r

b

Wykorzystywany w technikach cyfrowego zapisu video (JPEG, MPEG)Konwersja z RGB (jeden z wariantów):

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wybór modelu

Zdefiniowanie wymagańOgraniczenia sprzętowe np. CMYK

Udogodnienia algorytmiczne np. HLS

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Detekcja twarzy

Oparta o model YCbCr

Wcielenie zasad heurystycznychGłówne etapy: kompensacja jasności maska twarzy stworzenie mapy oczu i ust wyznaczenie położenia cech

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Kompensacja jasności

Definicja koloru białego 5% najjaśniejszych pikseli (kanał Y)

Rozciągnięcie histogramu w przestrzeni RGB piksele „białe” -> (255, 255, 255) reszta przeskalowana liniowo

Przejście na YCbCr

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Maska twarzy

Cel: znalezienie pikseli należących do twarzyZdefiniowanie koloru twarzy skóra posiada charakterystyczne własności

Trening na bazie dużej próbki podprzestrzeń CbCr – błąd nadmiaru podprzestrzeń Cb/Y – Cr/Y – błąd niedomiaru

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Twarz w YCbCr

Przykłady 1 – 5

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Mapa oczuMapa C (barwna):

Mapa L (jasności):

Mapa końcowa – iloczyn mapy C i LDodatkowe progowanie

)(3

1 22

r

brb C

CCCEyeMapC

1)},({

)},({

yxYEr

yxYDilEyeMapL

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Dylatacja i erozja

Element strukturalny „kotwica”

Dylatacja – rozbudowa obiektów na obrazieErozja – zniszczenie elementówna obraziePrzykład 6 i 7

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Mapa ust

ProgowanieDylatacjaErozja

)(

)(95.0

)(

2

222

b

r

r

b

rrr

CC

avg

Cavg

C

CCCMouthMap

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Położenie cech

oko (P): (15, 24)oko (L): (49, 24)usta: (32, 58)

Środek masy dla każdej mapyMapa oczu – środek dla każdej połówki

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Ekstrakcja cech

Lokalizacja cech – informacja topograficzna (położenie punktów) metody analizy lokalnej (EBGM,

Lokalne PCA) maski dla Eigenfaces

Mapa – informacja o dystrybucji cech na obrazie maski dla Eigenfaces

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Tworzenie maski

Ogólne zasady: wzmocnienie okolic oczu i nosa osłabienie okolic ust

Dwa podejścia: obraz -> mapy -> punkty -> maska obraz -> mapy -> maska

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Punkty -> maska

Wyznaczenie pozycji nosa średnia ważona pozycji oczu i ust

Maski oczu, nosa i ust sumowane z różnymi wagami

oko (P): (15, 24)

oko (L): (49, 24)

usta: (32, 58)

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Punkty -> maska

Oddziaływanie pojedynczego punktu

R – promień, Wmax – maksymalna waga

Maska – suma oddziaływań punktów oczy, nos – wagi dodatnie usta – waga ujemna

20

20

),(max

)()(),(

),(

yydxxdyxD

eWyxW

yx

yxDR

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Mapy -> maska

Wykorzystanie mapy bezpośrednio do wygenerowania maski

Połączenie dwóch technik

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykłady obrazów

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wpływ na wyniki

Maski poprawiają skuteczność rozpoznawania jak na razie nie bardziej

niż maska różnicowa

Kolor niesie istotne informacje dotyczące charakteru obszaru

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Podsumowanie

Modele barwMapy twarzy, oczu i ustDetekcjaMaska do rozpoznawania

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Dziękuję za uwagę!

Za tydzień: Śledzenie obiektów