PRACA MAGISTERSKA - Laboratorium Robotykirab.ict.pwr.wroc.pl/~mw/Stud/Dypl/icek/praca_magisterska.pdf · PRACA MAGISTERSKA Wykorzystanie obrazów barwnych do lokalizacji klasyﬁkacji

PRACA MAGISTERSKA

Wykorzystanie obrazów barwnych do lokalizacji klasyfikacji obiektów

Politechnika Wrocławska

Wrocław 2002

authorWojciech Pietkiewicz

[email protected]

promotordr Marek Wnuk

[email protected]

Spis tresci

Spis tablic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Spis rysunków . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Rozdział 1. Wstep . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.1. Zawartosc pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .101.2. Konwencje przyjete w pracy . . . . . . . . . . . . . . . . . . . . . . . . . . .101.3. Podziekowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

Rozdział 2. Reprezentacja kolorów . . . . . . . . . . . . . . . . . . . . . . . . . . .13

2.1. Rodzaje przetwarzania danych obrazowych . . . . . . . . . . . . . . . . . . .132.2. Barwa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

2.2.1. Mechanizm widzenia . . . . . . . . . . . . . . . . . . . . . . . . . . .142.2.2. Cechy barwy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .152.2.3. Kolorymetria trójchromatyczna . . . . . . . . . . . . . . . . . . . . .16

2.3. UkładCIE bodzców podstawowych . . . . . . . . . . . . . . . . . . . . . . .172.3.1. UkładRGB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .172.3.2. UkładHSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

Rozdział 3. Implementacja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

3.1. Sprzet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .233.2. Pobieranie obrazu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

3.2.1. Protokół . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .243.2.1.1. Pakiet parametrów . . . . . . . . . . . . . . . . . . . . . . .253.2.1.2. Pakiet danych . . . . . . . . . . . . . . . . . . . . . . . . .253.2.1.3. Pakiet potwierdzenia . . . . . . . . . . . . . . . . . . . . .263.2.1.4. Pakiet błedu . . . . . . . . . . . . . . . . . . . . . . . . . .27

3.2.2. Parametry obrazu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .273.3. Przetwarzanie i analiza obrazu . . . . . . . . . . . . . . . . . . . . . . . . . .28

3.3.1. Kalibracja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .283.3.1.1. Podejscie teoretyczne . . . . . . . . . . . . . . . . . . . . .293.3.1.2. Podejscie praktyczne . . . . . . . . . . . . . . . . . . . . .293.3.1.3. Realizacja metody . . . . . . . . . . . . . . . . . . . . . . .293.3.1.4. Wstepne przetwarzanie . . . . . . . . . . . . . . . . . . . .303.3.1.5. Współczynnik przesuniecia charakterystyki kamery . . . . .303.3.1.6. Współczynnik nachylenia charakterystyki kamery . . . . . .31

3.3.2. Konwersja zRGBdoHSI . . . . . . . . . . . . . . . . . . . . . . . . 323.3.2.1. Budowa transformacji . . . . . . . . . . . . . . . . . . . . .323.3.2.2. Odcien . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33

4 Spis tresci

3.3.2.3. Nasycenie . . . . . . . . . . . . . . . . . . . . . . . . . . .353.3.2.4. Intensywnosc . . . . . . . . . . . . . . . . . . . . . . . . .35

3.3.3. Progowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .363.3.4. Parametryzacja obiektów . . . . . . . . . . . . . . . . . . . . . . . . .36

3.3.4.1. Lokalizacja . . . . . . . . . . . . . . . . . . . . . . . . . .373.3.4.2. Klasyfikacja . . . . . . . . . . . . . . . . . . . . . . . . . .38

Rozdział 4. Eksperymenty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

4.1. Załozenia eksperymentu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .394.2. Przebieg eksperymentu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40

4.2.1. Segmentacja obrazu czarno–białego . . . . . . . . . . . . . . . . . . .404.2.2. Segmentacja obrazu kolorowego . . . . . . . . . . . . . . . . . . . . .414.2.3. Parametryzacja obiektów . . . . . . . . . . . . . . . . . . . . . . . . .424.2.4. Klasyfikacja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

Rozdział 5. Podsumowanie. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

Dodatek A. Instrukcja obsługi programów . . . . . . . . . . . . . . . . . . . . . . . 47

A.1. Pobieranie obrazu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47A.1.1. sywizd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47A.1.2. pobraz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48A.1.3. grabber . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48A.1.4. webcam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48

A.2. Przetwarzanie obrazu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48A.2.1. rgb2hsi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48A.2.2. histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49A.2.3. progowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49A.2.4. omanip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

A.3. Parametryzacja obiektów . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49A.3.1. momenty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .57

Spis tablic

3.1. Opis pakietu parametrów. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .253.2. Opis pakietu danych. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .263.3. Opis pakietu potwierdzenia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .263.4. Opis pakietu błedu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

4.1. Wartosci progów dla podwójnego progowania. . . . . . . . . . . . . . . . . . . .424.2. Wynik lokalizacji przeprowadzonej na obrazie testowym. . . . . . . . . . . . . . .444.3. Wartosci funkcji momentów niezmienniczych ze wzgledu na skale. . . . . . . . .44

A.1. Opcje do programusywizd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51A.2. Opcje do programupobraz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52A.3. Opcje do programugrabber . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53A.4. Opcje do programurgb2hsi . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54A.5. Opcje do programuhistogram . . . . . . . . . . . . . . . . . . . . . . . . . . . .55A.6. Opcje do programuprogowanie . . . . . . . . . . . . . . . . . . . . . . . . . . .55A.7. Opcje do programumomenty. . . . . . . . . . . . . . . . . . . . . . . . . . . . .56

Spis rysunków

2.1. Rodzaje przetwarzania danych obrazowych. . . . . . . . . . . . . . . . . . . . . .132.2. Ilustracja trójskładnikowej teorii postrzegania promieniowaniae–m. . . . . . . . . 142.3. Podział cech bodzcaswietlnego. . . . . . . . . . . . . . . . . . . . . . . . . . . .152.4. Schemat budowy kolorymetru. . . . . . . . . . . . . . . . . . . . . . . . . . . . .162.5. Bodziec barwowy(K) w postaci wektora w przestrzeniCZN. . . . . . . . . . . . 172.6. Pole barw w układzie płaskim. . . . . . . . . . . . . . . . . . . . . . . . . . . . .192.7. Róznice miedzy obrazem czarno–białym a obrazem w układzieHSI. . . . . . . . . 21

3.1. Pobieranie obrazu wykorzystujac architekture klient-serwer. . . . . . . . . . . . .243.2. Ilustracja wybierania miedzyliniowego. . . . . . . . . . . . . . . . . . . . . . . .283.3. Pomiar dla składowej czerwonej. . . . . . . . . . . . . . . . . . . . . . . . . . . .303.4. Dopasowanie współczynników nachylenia dwóch prostych. . . . . . . . . . . . .313.5. Szescian układuRGB. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .323.6. Interpretacja graficzna układuHSI. . . . . . . . . . . . . . . . . . . . . . . . . . 333.7. Sposób obliczenia wartosci odcienia w układzieRGB. . . . . . . . . . . . . . . . 343.8. Jednowymiarowa ilustracja progowania obrazu. . . . . . . . . . . . . . . . . . . .36

4.1. Obrazy testowe do eksperymentu lokalizacji i klasyfikacji obiektów. . . . . . . . .394.2. Usuwanie cieni z obrazu czarno–białego. . . . . . . . . . . . . . . . . . . . . . .404.3. Wyodrebnienie obrysów klocków znajdujacych sie na obrazie od tła oraz cieni. . .414.4. Obraz testowy po konwersji do odcienia. . . . . . . . . . . . . . . . . . . . . . .424.5. Obraz po dokonanej segmentacji. . . . . . . . . . . . . . . . . . . . . . . . . . .434.6. Indeksowanie obiektów. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .434.7. Lokalizacja obiektów. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .44

Rozdział 1

Wstep

W zaleznosci od potrzeb oraz warunków obrazy mozemy przedstawiac w róznysposób. Najprostsza z metod jest reprezentacja dwukolorowa, niosaca jednakze małoinformacji o obrazie. Reprezentacja wielokolorowa zawiera duzo wiecej szczegółów,a co za tym idzie jest bardziej skomplikowana. Wybór sposobu zalezy od efektu jakichcemy uzyskac.

Okazuje sie, ze człowiek łatwiej zauwaza róznice obszarów, jezeli sa one poko-lorowane (czasem zdarza sie, ze jest to wymogiem, np. przy reprezentacji obrazów zkamery termicznej). Ta własnosc jest czesto wykorzystywana w medycynie, zwłaszczaw wizualizacji obrazów z tomografu komputerowego badz rezonansu magnetycznego.

Wykorzystanie informacji o kolorze ma nie tylko znaczenie w przypadku procesówwizualizacji, lecz takze przy analizie obrazów. Kolor niesie dodatkowe informacje ta-kie jak odcien, nasycenie oraz jasnosc. Kazda z tych składowych z osobna moznatraktowac jako obraz czarno–biały1 (skalarny), co pozwala stosowac znane metodyprzetwarzania (badz analizy) obrazów. Przykładowo informacje o kolorze mozna za-stosowac w procesie segmentacji. Wyobrazmy sobie dwa obiekty o róznych barwach,lecz o takich samych jasnosciach. W obrazie reprezentowanym w sposób czarno–biały(przez składowa jasnosci) byłyby one nierozróznialne, natomiast analizujac informacjeo kolorze da sie rozdzielic obszary znajdujace sie w obrazie.

Czestym problemem w analizie obrazów czarno–białych sa znajdujace sie na nichcienie. Bez stosowania specjalnych zabiegów, jak np. odpowiednie aranzowanie scenylub wykorzystanie wiedzy o przedmiotach znajdujacych sie na niej, nie jest mozliwewyodrebnienie cieni od obiektów. Jezeli zostanie wykorzystana informacja o kolo-rze to problem sie upraszcza, poniewaz przedmiot zacieniony nadal posiada te samabarwe, a inne oswietlenie powoduje tylko zmiane jasnosci.

Nie mozna rzecz jasna zapominac o tym, ze istnieja sytuacje, w których stosowaniewiedzy o kolorze jest zbedne, a nawet niepotrzebnie komplikuje cały proces analizy.Dobrym przykładem jest problem rozpoznawania konturów przedmiotów znajduja-cych sie na przezroczystym podłozu podswietlonych jasnymswiatłem od spodu. Przytakich warunkach w zupełnosci wystarczy obraz binarny, lecz warunki takie naleza doidealnych i jako takie nie zawsze sa mozliwe do uzyskania.

Kolor moze posłuzyc jako znacznik przy rozpoznawaniu przedmiotów. Co prawda

1 Rozumienie słowa czarno–biały jest przedstawione w rozdziale 1.2.

10 Rozdział 1. Wstep

w obrazach czarno–białych tez stosuje sie takie znaczniki, np. poprzez zastosowaniejasnych punktów na przedmiocie, jednakze metoda ta ma istotna wade. Mozna ja sto-sowac tylko w idealnychsrodowiskach, poniewaz wystarczy, iz na analizowanej sceniepojawia sie odblaski z innych zródełswiatła lub innych obiektów i wówczas moga wy-stapic niejednoznacznosci, mogace wprowadzic system rozpoznawania w bład. Przykolorowych wskaznikach mozliwe jest zdecydowane uproszczenie obliczen poprzezprzeniesienie całej analizy do badania odcienia znaczników, co sprowadza sie do prze-twarzania obrazów czarno–białych, jednakze bez wad, o których była mowa wyzej.

1.1. Zawartosc pracy

W rozdziale 2 niniejszej pracy przedstawiono: ogólne informacje dotyczace kolo-rów, sposób widzenia barwy ich cechy. Dodatkowo przedstawione zostały dwa układybodzców podstawowychRGB(ang.Red, Green, Blue – Czerwony, Zielony, Niebieski)orazHSI (ang.Hue, Saturation, Intensity – Odcien, Nasycenie, Intensywnosc).

Dalsza czesc pracy (rozdział 3) została poswiecona implementacji procesów pobie-rania, przetwarzania obrazu na komputerze klasyPCz systemem operacyjnymDebianGNU/Linux, kalibracji kamery i konwersji z układuRGBdo układuHSI, która pozwalauproscic proces segmentacji obrazu. Sposób przeprowadzenia prostej segmentacji opi-sany został w rozdziale poswieconym progowaniu (rozdział 3.3.3), natomiast rozdział3.3.4 poswiecony jest metodom parametryzacji obiektów znajdujacych sie na obrazie.

Rozdział 4 opisuje przebieg eksperymentu, którego celem było zilustrowanie po-prawnosci tezy, iz kolor – jako dodatkowa informacja w obrazie – powoduje znaczneuproszczenie przetwarzania oraz analizy obrazu (eliminowanie cieni, parametryzowa-nie obiektów) w stosunku do metod wykorzystujacych obrazy czarno–białe. Wynikitego eksperymentu potwierdzaja powyzsza teze.

1.2. Konwencje przyjete w pracy

W celu unikniecia nieporozumien przy interpretacji terminów pojawiajacych sie wniniejszej pracy, ponizej przedstawione zostana przyjete konwencje.

Mówiac o układzieRGBnalezy wyjasnic, w jakim kontekscie on wystepuje. Ina-czej rozumiany jest układRGBw telewizji kolorowej, a inaczej w technikach kompu-terowych. Z formalnego punktu widzenia sa to rózne układy wywodzace sie z układubedacego modyfikacja faktycznego układuRGB2. Jezeli nie jest zaznaczone inaczej,to w pracy tej poprzez układRGBrozumie sie dyskretny układXYZoperujacy w dzie-dzinie liczb całkowitych od 0 do 255.

Kolejnym terminem, który moze byc mylnie rozumiany jest termin obrazczar-no–biały. Jezeli nie bedzie to zaznaczone inaczej, przez taki obraz rozumie sie obrazw odcieniach szarosci (ang.grayscale).

2 Wiecej na ten temat mozna znalezc w rozdziale 2.3.

1.3. Podziekowania 11

1.3. Podziekowania

Pragnałbym goraco podziekowac mojej narzeczonej Mai Łuczynskiej, która wy-kazała sie ogromna wyrozumiałoscia podczas powstawania tej pracy oraz pomogła wprzeprowadzeniu jej korekty.

Rozdział 2

Reprezentacja kolorów

Analiza obrazów kolorowych jest trudniejsza niz analiza obrazów czarno–białych,jednakze przez zastosowanie odpowiednich technik mozliwe jest znaczne ułatwienietego procesu bez rezygnacji z wykorzystania informacji o kolorze.

Kazdy punkt w obrazie barwnym moze byc reprezentowany w trójwymiarowejprzestrzeni kolorów (przykładowo układRGB), co komplikuje analize takich obra-zów. Narzedziem upraszczajacym zagadnienie przetwarzania obrazów barwnych jestkonwersja układu barw z układuRGBdo HSI (rozdział 3.3.2). Konwersja taka jest wpełni odwracalna. Zaleta układuHSI jest to, ze najwazniejsza informacja o kolorzemiesci sie w jego pierwszej składowej (pozostałe sa traktowane jako pomocnicze).Dzieki temu mozemy stosowac znane juz z obrazów czarno–białych metody analizytej składowej, co sprowadza problem do jednego wymiaru.

2.1. Rodzaje przetwarzania danych obrazowych

Mozna rozróznic trzy rodzaje przetwarzania danych obrazowych. Ilustruje to rysu-nek 2.1. Posiadanie dokładnego opisu obiektu pozwala na stworzenie jego odzwiercie-

Rysunek 2.1:Rodzaje przetwarzania danych obrazowych.

dlenia np. w formie cyfrowej w komputerze. Proces taki nazwany jest bardzo ogólnie

14 Rozdział 2. Reprezentacja kolorów

grafika komputerowa. Majac dany obraz w postaci cyfrowej1 mozna go poddac proce-som przetwarzania (np. filtracji, segmentacji). Nastepujaca po przetwarzaniu analizaobrazu polega na znajdowaniu opisu obrazu, czyli rozpoznawaniu w nim pewnychobiektów, wyodrebnianiu róznych detali i opisywaniu ich parametrami umozliwiaja-cymi klasyfikacje i lokalizacje.

2.2. Barwa

Wrazenia barwne widziane przez człowieka obejmujaswiatło o zakresie długoscifal od 380 do 780nm. Cecha charakterystyczna widzenia barwowego jest nierozróz-nianie składu spektralnego promieniowaniaswietlnego (to samo wrazenie barwy mozebyc wywołane przez promieniowanie o róznych widmach).

2.2.1. Mechanizm widzenia

Według teorii trójskładnikowego odbioru bodzcówswietlnych Younga–Helmhol-tza, w czopkach oka ludzkiego wystepuja trzy substancjeswiatłoczułe. Kazda z tychsubstancji posiada zdolnosc absorpcji pokrywajaca cały zakres promieniowania wi-dzialnego, jednakze o róznie umieszczonych maksimach absorpcji. Przyjmuje sie, izmaksima te skupiaja sie wokół niebieskiej, zielonej i pomaranczowoczerwonej czesciwidma.

Rysunek 2.2: Ilustracja trójskładnikowej teorii postrzegania promieniowaniae–mprzez człowieka ipowstawania wrazenia barwy.β, γ, ρ przedstawiaja impulsy pochodzace od substancjiswiatłoczułychw oku.

Ilustracja tej teorii jest rysunek 2.2. Przezβ, γ orazρ oznaczono sygnały pocho-dzace kolejno od niebieskiej, zielonej i pomaranczowoczerwonej substancjiswiatło-czułej. Wrazenie barwy jest zalezne od stosunku tych sygnałów:

β : γ : ρ,

natomiast odczucie jasnosci (luminancji) zalezne jest od sumy tych składników. Imwieksza jest ta suma, tym wieksze jest wrazenie jasnosci. Przy pobudzeniu, w którymstosunek składowych równy jest jednosci, czyli:β : γ : ρ = 1 mamy wrazenie bieli lubszarosci, w zaleznosci od sumy pobudzen (dla duzych wartosci – biel, dla małych –szarosc).

1 W przypadku systemów wizyjnych (rozwazanym w pracy) obraz cyfrowy pochodzi z układuakwizycji (np. kamera,frame–grabber).

2.2. Barwa 15

Sygnały pochodzace od trzech substancjiswiatłoczułych da sie wyrazic w postacitrzech całek:

β∼Z 780

380β(λ)E(λ)dλ (2.1a)

γ∼Z 780

380γ(λ)E(λ)dλ (2.1b)

ρ∼Z 780

380ρ(λ)E(λ)dλ (2.1c)

gdzieE(λ) jest rozkładem energiiswiatła docierajacego do oka, aβ(λ), γ(λ), ρ(λ) sarozkładami czułosci poszczególnych substancjiswiatłoczułych. Dwa bodzceswietlnewywołuja to samo wrazenie barwne, jezeli do mózgu docieraja sygnały o identycznymstosunkuβ : γ : ρ, czyli wtedy, kiedy stosunki wartosci całkek z zaleznosci (2.1) sasobie równe.

2.2.2. Cechy barwy

Barwe mozna okreslic dwoma cechami: ilosciowa i jakosciowa. Pierwsza opisujeilosc bodzcaswietlnego składajacego sie na barwe. Jest ona nazywana jasnoscia (lumi-nancja). Jakosc bodzcaswietlnego, czyli to, co odrózniaswiatło białe od czerwonego,niebieskie od zielonego, itp. nazywamy chromatycznoscia.Swiatło o tej samej lumi-nancji moze miec rózne chromatycznosci i odwrotnie. Dokładny podział cech bodzcaswietlnego przedstawia rysunek 2.3.

Rysunek 2.3:Podział cech bodzcaswietlnego.

Chromatycznosc bodzcaswietlnego dzieli sie na odcien oraz nasycenie. Odcienopisuje wrazenia barwne jak kolor czerwony, kolor niebieski, natomiast nasycenie po-zwala odróznic barwe rózowa od czerwonej, błekitna od niebieskiej.


2.2.3. Kolorymetria trójchromatyczna

Zadaniem kolorymetrii trójchromatycznej jest okreslenie chromatycznosci bodz-ców barwowych wysyłanych przez zródłaswiatła, jak i powstałych w wyniku absorpcjiprzez ciała materialne oswietloneswiatłem białym. Nauka ta okresla chromatycznoscw oderwaniu od struktury powierzchni ciała oswietlonego (w przeciwienstwie np. doatlasów barw).

Rysunek 2.4:Schemat budowy kolorymetru słuzacego do zrównowazenia dowolnego bodzca barwo-wego(K) trzema liniowo niezaleznymi barwami podstawowymi(C), (Z), (N).

Do okreslania chromatycznosci stosuje sie kolorymetr (rysunek 2.4). Na jednastrone ekranu podawany jest bodziec barwowy(K), na druga zas trzy liniowo nieza-lezne bodzce porównawcze, np. czerwony(C), zielony(Z) oraz niebieski(N). Zadaniepolega na zrównowazeniu wrazenia barwnego w ograniczonym polu widzenia. Przybraku zrównowazenia widoczna jest wyrazna krawedz dzielaca bodzce porównawczeod bodzca barwowego, natomiast przy zrównowazeniu krawedz zanika.

W urzadzeniu tym wykorzystywane jest zjawisko addytywnosci kolorów, czylimieszania pewnej ilosci barw w celu otrzymania innej barwy. Fakt zrównania wraze-nia barwowego bodzca(K) z mieszaninaswiateł podstawowych(C), (Z), (N) moznawyrazic równaniem, zwanym równaniem barwy:

k(K) = c(C)+z(Z)+n(N) (2.2)

gdzie duze litery symbolizuja jakosc mieszanychswiateł i sa utozsamiane z jednost-kowa iloscia bodzca, natomiast małe litery wyrazaja ilosc bodzców.

Równanie(2.2)mozna zapisac w nastepujacy sposób2:

(c+z+n)(K) = c(C)+z(Z)+n(N) (2.3)

Jest to równanie wektorowe, którego interpretacje geometryczna w przestrzeniCZNprzedstawia rysunek 2.5.

2 Zgodnie z drugim prawem Grassmanna [2, 3, 4]

2.3. UkładCIE bodzców podstawowych 17

Rysunek 2.5:Bodziec barwowy(K) w postaci wektora w przestrzeniCZN.

W kolorymterii czesto stosuje sie inny zapis równania(2.3), sprowadzajac sumewspółczynników bodzca(K) do jednosci, czyli:

(K) = p(C)+ r(Z)+s(N) (2.4)

p =c

c+z+n, r =

zc+z+n

, s=n

c+z+n(2.5)

p+ r +s= 1 (2.6)

Współczynnikip, r, s, których suma równa sie jednosci, nazywane sa współrzednymitrójchromatycznymi w układzie bodzców porównawczych. Natomiast współczynnikic, z, n sa nazywane składowymi trójchromatycznymi.

2.3. Układ CIE bodzców podstawowych

CIE (Commision Internationale d’Eclairage) jest Miedzynarodowa Komisja Os-wietleniowa z siedziba w Paryzu. Organizacja ta zajmuje sie głównie miedzynarodowawymiana informacji dotyczacychswiatła w wymiarze zarówno naukowym jak i arty-stycznym. Jest to organizacjanon–profit, która stworzyła m.in. opis układuRGBorazXYZ.

2.3.1. UkładRGB

Układ ten składa sie z trzechswiateł monochromatycznych, dobranych tak, abymiały swój odpowiednik w rzeczywistosci.

(R) — λR = 700nm(G) — λG = 546,1 nm(B) — λB = 435,8 nm


Równanie dowolnego bodzca(K) jest bardzo podobne do równania(2.4):

(K) = r(R)+g(G)+b(B) (2.7)

Stosujac kolorymetr jak na rysunku 2.4 i wykorzystujac jako bodzce podstawoweswiatła (R), (G), (B), wyznaczono równania wszystkichswiateł monochromatycz-nych wystepujacych w widmieswiatła ekwienergetycznego3. Okazało sie jednak, iznie mozna odtworzyc swiateł monochromatycznych o długosci fali ponizej bodzca(G), tworzac mieszanine dwóch lub trzechswiateł podstawowych. Aby ominac tenproblem dlaswiateł monochromatycznych z tego zakresu doswiatła badanego dodanoswiatło podstawowe(R):

(λi)+ r(R) = g(G)+b(B) (2.8)

co daje(λi) =−r(R)+g(G)+b(B) (2.9)

Poniewaz układ bodzców podstawowychRGBwymaga posługiwania sie warto-sciami ujemnymi (równanie(2.9)), Miedzynarodowa Komisja Oswietlenia (CIE) stwo-rzyła nowy układXYZ. Jest to odpowiednik układuRGB, operujacy jednak w zakresieliczb dodatnich. Transpozycja z układuRGBdo układuXYZpolega na przesunieciu iprzeskalowaniu układu współrzednych4.

Wykorzystujac obliczenia współczynników równania(2.9)dla wszystkich widzial-nych promieniowan monochromatycznych i dokonujac transpozycji do układuXYZoraz rzutowania wzdłuz osiZ na płaszczyzneXY mozna przedstawic pole chroma-tycznosci barw (rysunek 2.65).

2.3.2. UkładHSI

Jest to układ opisujacy kolory w sposób bardziej intuicyjny niz układRGB. Zostałon stworzony z mysla o łatwiejszej analizie obrazów barwnych. Podczas gdy układRGBjest czesto wykorzystywany do wizualizacji obrazów, do analizy wygodniej jeststosowac układ HSI. Podobnie układRGB, układ HSI posiada takze trzy składoweopisujace obraz, tj.:• H – odcien (ang.hue) – własnosc opisujaca dominujaca czestotliwosc fali swietlnej

danego koloru;• S– nasycenie (ang.saturation) – własnosc opisujaca czystosc koloru (ile białego

swiatła jest zmieszane zeswiatłem kolorowym);• I – intensywnosc (ang.intensity) – opisujaca ilosc energiiswiatła.

Łatwosc korzystania z takiego układu wynika z jego intuicyjnosci oraz z mozliwo-sci traktowania go jako układ jednowymiarowy. Poszczególne składowe tego układu

3 Rozkład energiiswiatła ekwienergetycznego jest stały wzdłuz całego widma widzialnego.4 Zainteresowanych odsyłam do [1]5 Rysunek został zaczerpniety z [1].


Rysunek 2.6:Pole barw w układzie płaskim (zostało dokonane rzutowanie na płaszczyzneXY).

moga byc analizowane osobno, z wykorzystaniem w pewnych przypadkach informacjizawartej w innych składowych.

Intensywnosc jest odpowiednikiem obrazu czarno–białego i dlatego mozliwe jeststosowanie wszystkich metod przetwarzania obrazów czarno–białych. Intensywnosczawiera w sobie wazna informacjescisle powiazana z innymi składowymi układu.Jezeli jest ona mała (bliska zeru) analiza składowych odcienia i nasycenia jest bez-celowa, poniewaz istnieje mozliwosc wystapienia zbyt duzych błedów. Wynikaja onez niedokładnosci urzadzenia pobierajacego obraz. Przy słabym oswietleniu prawie wkazdej kamerze (chyba ze została specjalnie zaprojektowana) moga sie pojawic duzezniekształcenia kolorów.

Nasycenie przekazuje informacje o mozliwosci wykorzystania wiedzy na tematodcienia. Podobnie jak w przypadku intensywnosci, jezeli nasycenie jest małe, mó-wienie o odcieniu jest bezcelowe gdyz istnieje wtedy niebezpieczenstwo popełnieniaduzego błedu przy obliczaniu odcienia. Oczywiscie bład taki nie wystepuje w rozwa-


zaniach teoretycznych, jednakze w praktyce zawsze pojawiaja sie pewne przyblizeniai przekłamania (wynikajace np. z dyskretyzacji i kwantyzacji) i w tym wypadku takiemałe odchylenia wartosci dla niewielkiego nasycenia moga generowac bardzo duzebłedy przy obliczaniu odcienia.

Dzieki reprezentacji obrazu w postaci odcienia, problem cieni rzucanych przezprzedmioty przestaje istniec. Dzieje sie tak dlatego, ze cien, który pada na jakas po-wierzchnie, nie zmienia jej własnosci fizycznych, a jedynie zmniejsza intensywnoscobszaru oraz jego nasycenie6. Odcien jest tez mniej wrazliwy na zakłócenia oswietle-nia oraz na zmieniajace sie w niewielkim stopniu kolory. Ilustruje to rysunek 2.7 nanastepnej stronie.

6 Stwierdzenie to jest prawdziwe, jezeliswiatło oswietlajace przedmiot jestswiatłem białym.


(a) ObrazRGB (b) Intensywnosc

(c) Nasycenie (d) Odcien

Rysunek 2.7:Róznice miedzy obrazem czarno–białym a obrazem w układzieHSI. Rysunek 2.7(a)przedstawia obraz w układzieRGB. Mozliwe jest wyodrebnienie wszystkich szczegółów znajdujacychsie w obrazie. Na rysunku 2.7(b) przedstawiono intensywnosc obrazu 2.7(a) czyli jego reprezentacjeczarno–biała. Jak widac wszystkie szczegóły zlały sie z tłem. Rysunek 2.7(c) przedstawia nasyceniepierwszego rysunku. Tu równiez wszystkie szczegóły zamazały sie. Dopiero odcien przedstawiony narysunku 2.7(d) nie zamazuje zadnych szczegółów.

Rozdział 3

Implementacja

W celu dokonania eksperymentów nalezało stworzyc odpowiednie stanowisko pra-cy, na które składa sie sprzet (np. komputer, kamera) oraz oprogramowanie słuzace dojego obsługi i analizy wyników. W rozdziale tym znajduja sie: informacje opisujacesposób przesyłania pobranego obrazu z kamery (protokół transmisji), format obrazu,opis procesu kalibracji kamery oraz sposób przetwarzania pobranego obrazu (konwer-sja zRGBdoHSI, progowanie, parametryzacja).

Opis oprogramowania, które realizuje wszystkie opisywane zadania, mozna zna-lezc w dodatku A.

3.1. Sprzet

Do pobierania kolorowych obrazów wykorzystujemy:

• Komputer klasyPC z systemem operacyjnymDebian GNU/Linixw wersji 2.2 onazwie kodowejPotatoz jadrem systemu w wersji 2.4.7.

• Kolorowa kamereTP-6001DS Topica.Kamera telewizji przemysłowejCCTVprzekazujaca obraz w systemiePAL.

• Karte telewizyjnaProline.Karta posiadajaca układBt878, który umozliwia pobieranie obrazu z zewnetrznegozródła. Poniewaz układ ten posiadalook-up-table1 istnieje mozliwosc sprzetowejkonwersji ze współrzednychRGBdoHSI.

3.2. Pobieranie obrazu

Pobieranie obrazu z kamery odbywa sie na zasadzieklient-serwer. Serwernasłu-chuje2 w trybie ciagłym, czy pojawiło sie zadanie pobrania obrazu o okreslonych pa-rametrach. Nastepnie, w przypadku pojawienia sie takiego zlecenia oraz jego popraw-

1 Jest to tablica zrealizowana w postaci pamieci, w której mozna umiescic wartosci funkcji dlaargumentów bedacych indeksami tablicy, co pozwala uzywac jej na biezaco do nieliniowej transformacjisygnału wejsciowego (z kamery) przez podawanie go na wejscie adresowe (indeks) i odczytywanie zwyjscia pamieci. Dzieki temu mozliwe jest przyspieszenie obliczen (np. wartosci funkcji sinus).

2 Na specjalnie wyodrebnionym do tego porcie.

24 Rozdział 3. Implementacja

nosci, serwer tworzy swoja kopie, która przesle obraz doklienta, natomiast orygi-nał powróci do trybu nasłuchiwania. Ilustruje to rysunek 3.1. Komunikacja pomiedzy

Rysunek 3.1:Diagram przedstawiajacy pobieranie obrazu wykorzystujac schemat klient-serwer.

klientemaserweremodbywa sie za pomoca specjalnego protokołu.

3.2.1. Protokół

Podstawowym zadaniem protokołu jest umozliwienie komunikacji miedzyklien-tema serwerem(w celu ustalenia parametrów obrazu oraz przesłania go), wykorzy-stywane sa do tego pakiety: parametrów i danych. Dodatkowo protokół pozwala nasprawdzenie poprawnosci przesyłanych danych (parametrów lub obrazu), słuza dotego pakiety: potwierdzenia oraz błedu. Poszczególne pakiety odpowiedzialne sa za:

• pakietparametrów słuzacy do przekazania informacji o obrazie, jaki chcemy, abyserwernam przesłał,

• pakietdanychsłuzacy do przesyłania obrazu,

3.2. Pobieranie obrazu 25

• pakietpotwierdzeniasłuzacy do potwierdzania otrzymania pakietu,• pakietbłedu słuzacy do zasygnalizowania wystapienia błedu, wraz z jego krótkim

opisem.

Protokół ten powstał na podstawie protokołuTFTP, opisanego szczegółowo w[12].

Pakiety składaja sie z róznej ilosci pól, w których miesci sie miedzy innymi iden-tyfikator pakietu. Wszelkie wartosci liczbowe w tych polach (pewien wyjatek stanowipakiet danych) nalezy przedstawiac w reprezentacji szesnastkowej.

3.2.1.1. Pakiet parametrów

Pakiet ten słuzy do okreslenia numeru kamery, szerokosci, wysokosci oraz formatuobrazu (PPMlub JPEG). Sam pakiet wyglada nastepujaco:

kod operacji typ parametru tre s c parametru znak o kodzie ASCII = 0

4 znaki 4 znaki ciag n-znaków 1 znak

Ponizsza tablica przedstawia wszelkie mozliwe wartosci, jakie moze zawierac pakiet.

kod operacji0001 kod pakietu parametrówtyp parametru0001 numer kamery0002 szerokosc obrazu0003 wysokosc obrazu0004 format obrazu (PPM= 1, JPEG= 2)0005 koniec przesyłania parametrówtre s c parametrujest to heksadecymalna wartosc parametru zapisana w kodzieASCIIprzykładpakiet przesyłajacy informacje o szerokosci obrazu równej 640 powinien wy-gladac nastepujaco:0001 0002 280 znak o kodzie ASCII = 0

Tablica 3.1: Opis pakietu parametrów.

3.2.1.2. Pakiet danych

Pakiet ten słuzy do przesłania obrazu.

kod operacji nr bloku dane w formacie binarnym

4 znaki 4 znaki od 1 do 512 znaków



kod operacji0002 kod pakietu danychnr bloku

0000dane beda zawierały liczbe bloków (po 512 bajtów), na którazostał podzielony obraz (wartosc heksadecymalna, zapisana wkodzieASCII )

inna wartosc numer przesyłanego blokudanew zaleznosci od numeru bloku jest to liczba wszystkich bloków (wartosc hek-sadecymalna, zapisana w kodzieASCII ) lub fragment obrazu (wartosci bi-narne)przykładprzesyłamy blok nr 0, obraz zajmuje100·512bajtów: 0002 0000 64przesyłamy blok nr 20 zawierajacy fragment obrazu:

0002 0014 fragment obrazu w postaci binarnej

Tablica 3.2: Opis pakietu danych.

3.2.1.3. Pakiet potwierdzenia

Pakiet słuzy do potwierdzania odbioru innych pakietów.

kod operacji typ potw. tre s c potw. znak o kodzie ASCII = 0



kod operacji0003 kod pakietu potwierdzeniatyp potwierdzenia0001 potwierdzenie odbioru pakietu parametrów0002 potwierdzenie otrzymania pakietu danychtre s c potwierdzeniaw zaleznosci od tego, czy potwierdzamy odbiór pakietu parametrów, czy da-nych, jako tresc potwierdzenia podajemy typ parametru lub numer blokuprzykładpakiet potwierdzajacy otrzymanie pakietu parametrów dotyczacego formatuobrazu: 0003 0001 4 znak o kodzie ASCII = 0pakiet potwierdzajacy otrzymanie pakietu danych, blok nr 273:

0003 0002 111 znak o kodzie ASCII = 0

Tablica 3.3: Opis pakietu potwierdzenia.

3.2. Pobieranie obrazu 27

3.2.1.4. Pakiet błedu

Pakiet słuzy do wysyłania komunikatów o błedach.

kod operacji kod błedu tre s c komunikatu znak o kodzie ASCII = 0



kod operacji0004 kod pakietu błedukod błedu0001 bład inny (czyli nierozpoznany)0002 bład w pakiecie parametrów0003 bład w pakiecie potwierdzenia0004 błedny kod operacji (identyfikator pakietu)tre s c komunikatunie jest wymagana, powinna opisywac wystepujacy bładprzykładwysłanie komunikatu o błedzie w pakiecie parametrów:

0004 0002 “nierozpoznany parametr” znak o kodzie ASCII = 0

Tablica 3.4: Opis pakietu błedu.

3.2.2. Parametry obrazu

Przed pobraniem obrazu zserweramozliwe jest wybranie jednego z dwóch for-matów obrazowych (patrz tablica 3.1). Pierwszy z nich, formatPPM, jest prostym nie-skompresowanym obrazem, natomiast drugiJPEG jest obrazem skompresowanym.

Dla kazdego obrazu istnieje mozliwosc okreslenia jego rozmiaru z pewnymi ogra-niczeniami. Minimalny dopuszczalny rozmiar obrazu wynosi 80x603, zas maksymalny640x480. Zalecanym rozmiarem jest rozmiar 384x288. Wynika to z mechanizmu po-bierania obrazu z kamery przezframe-grabber.

Obraz przesyłany przez kamere składa sie z 582 linii, z czego 576 linii to czescuzytkowa4, w której znajduja sie dwa półobrazy po 288 linii kazdy. Zostało to po-gladowo przedstawione na rysunku 3.2. Jezeli doframe-grabberanapłynie zadaniepobrania obrazu o rozmiarze róznym od 288 linii, wtedyframe-gabbermusi doko-nac interpolacji. Moze to spowodowac przekłamania w obrazie (np. poziome pasy ozabarwieniu czerwonym). Dokładniejszy opis tego procesu mozna znalezc w [6].

3 Rozmiar podawany jest w pikselach w formacieszerokoscxwysokosc.4 Pamietac nalezy, ze dotyczy to kamery zastosowanej w badaniach – w przypadku innych modeli

kamer ilosc linii przesyłanych lub uzytkowych moga sie róznic.


Rysunek 3.2:Ilustracja wybierania miedzyliniowego.

3.3. Przetwarzanie i analiza obrazu

Pod pojeciem przetwarzania obrazu rozumiane sa wszelkie operacje dokonywanena obrazie, majace na celu otrzymanie innego obrazu, natomiast tworzeniem jegoopisu zajmuje sie analiza obrazu. Konwersja oraz progowanie daje w wyniku obrazprzetworzony. Parametryzacja obiektów słuzy do opisu znajdujacych sie na badanymobrazie obiektów. Kalibracja łaczy dwie cechy – w wyniku jej działania podawanesa parametry kalibracji oraz dokonywana jest kalibracja w układzie akwizycji (badzbezposrednio na pobranym obrazie).

3.3.1. Kalibracja

Uproszczenia przyjete w kalibracji (wynikajace z ograniczen sprzetowych) nie po-zwoliły uzyskac widocznych rezultatów kalibracji. Jednakze w celach poznawczychproces kalibracji został zamieszczony w niniejszej pracy.

Załózmy, ze charakterystyka kamery jest liniowa i okreslona równaniem:

KR = aRR+cR

KG = aGG+cG

KB = aBB+cB

(3.1)

gdzie:KR,KG,KB – składowe kolorów na wyjsciu z kamery,R,G, B – kolory docierajace do kamery,aR,aG,aB – współczynnik nachylenia charakterystyki przetwarzania kamery,cR,cG,cB – współczynnik przesuniecia charakterystyki przetwarzania kamery.

Nalezy tak dobrac współczynnikiaR,aG,aB oraz cR,cG,cB, aby obraz na wyjsciu zkamery był jak najbardziej zblizony do wejsciowego.

3.3. Przetwarzanie i analiza obrazu 29

3.3.1.1. Podejscie teoretyczne

Zakładajac znajomosc parametrówR, G, B oraz mozliwosc pomiaruKR, KG, KB

mozna obliczyc brakujace współczynniki z równania 3.1, wykonujac co najmniej dwarózne pomiary.

Niech:RGB – oznacza wektor o składowychR, G, B,RGBi – oznacza pomiari-ty wektoraRGB,K – oznacza wektor o składowychKR, KG, KB,Ki – oznacza pomiari-ty wektoraK,a – oznacza wektor współczynników nachylenia charakterystykiaR, aG, aB,c – oznacza wektor współczynników przesuniecia charakterystykicR, cG, cB

Rozpatrujac dwa pomiary (i = 1,2), mozna zapisac nastepujace równanie:{

K j1 = a jRGBj1 +c j

K j2 = a jRGBj2 +c j(3.2)

gdzie j ∈ {R,G,B}, stad:{

c j = K j1−a jRGBj1

a j = (K j2−c j)/RGBj2(3.3)

zatem rozwiazaniem tego równania jest:

c j = K j1RGBj2−K j2RGBj1

RGBj2−RGBj1

a j = K j2−K j1

RGBj2−RGBj1

(3.4)

3.3.1.2. Podejscie praktyczne

Okazało sie, ze nie jest mozliwe podanie obrazu na wejsciu kamery, co do któregoistniałaby pewnosc, jakie składowe koloru posiada. Z tego powodu nie mozna zasto-sowac metody podanej w rozdziale 3.3.1.1. Zastosowana została wiec metoda mniejdokładna, ale za to mozliwa do zrealizowania dostepnymisrodkami.

Metoda ta opiera sie na trzech pomiarach. Do tworzenia obrazów kontrolnychwykorzystany został rzutnik o regulowanej przesłonie pozwalajacej zmienic jasnoscwyswietlanego obrazu czterokrotnie. Obrazem kontrolnym jest białe koło5, zajmujaceokoło 10% powierzchni obrazu. Pomiary dokonywane sa w ciemnym pomieszczeniu,dzieki czemu białe koło słuzace do kalibrowania kamery jest łatwo wyodrebnialne.Szczegóły metody zostały umieszczone w nastepnym rozdziale.

3.3.1.3. Realizacja metody

Poniewaz obrazem kontrolnym jest tylko koło, nalezy je najpierw dokładnie wy-odrebnic od tła, a dopiero potem dokonywac analizy obrazu.

5 W rzeczywistosci nie jest toswiatło białe, tylkoswiatło zarówki.


3.3.1.4. Wstepne przetwarzanie

W celu wyodrebnienia znajdujacego sie na obrazie kontrolnym koła zastosowanezostało półprogowanie. Jest to bardzo prosta metoda segmentacji obrazów, a dziekitemu, ze próbki obrazowe powstaja w ciemnosciach, mozliwe jest łatwe znalezienieodpowiedniego progu, który rozdzieli tło od obiektu.

3.3.1.5. Współczynnik przesuniecia charakterystyki kamery

Aby obliczyc współczynnik przesuniecia charakterystyki kamery nalezy dokonacdwóch pomiarów, przy czym jasnosc obrazu dla drugiego pomiarumusi byc cztero-krotnie wieksza6.

Niech charakterystyka przetwarzania kamery bedzie okreslona jak w równaniu 3.1.Rozwazmy tylko składowa czerwona (rysunek 3.3). Dokonujemy dwóch pomiarów,

Rysunek 3.3:Pomiar dla składowej czerwonej.

przy czym jasnosc pomiaru drugiego jest czterokrotnie wieksza. PrzezKR1 orazR1

oznaczono pierwszy pomiar, a przezKR2, R2 drugi. Mozliwe jest zmierzenie wartosciKR1 i KR2, wiadome jest takze, izR2 = 4R1, dzieki czemu daje sie zapisac równanie:

{KR1 = aRR1 +cR

KR2 = 4aRR1 +cR(3.5)

Przekształcajac odpowiednio powyzsze równanie powstaje równanie na współczynnikprzesuniecia charakterystyki kamery:

cR =43(KR1−KR2) (3.6)

6 Bedzie to wyjasnione pózniej.


W analogiczny sposób mozna obliczyc współczynniki przesuniecia charaktery-styki dla pozostałych składowych:

cR = 43(KR1−KR2)

cG = 43(KG1−KG2)

cB = 43(KB1−KB2)

(3.7)

gdzie indeksy1 oraz2 oznaczaja kolejno pierwszy i drugi pomiar.

3.3.1.6. Współczynnik nachylenia charakterystyki kamery

Po przeprowadzeniu korekty współczynnika przesuniecia charakterystyki, nalezyprzyjac jedna składowa współczynnika nachylenia charakterystyki za własciwa (np.składowacR) i dopasowac do niej pozostałe współczynniki.

Rozwazmy dwie proste o róznych współczynnikach nachylenia (rysunek 3.4). Za-

Rysunek 3.4:Dopasowanie współczynników nachylenia dwóch prostych.

łózmy, iz chcemy dopasowac nachylenie prostejy = a2x do prostejy = a1x, czyli takzmodyfikowac współczynnika2, aby był równya1, Otrzymujemy:

a1 = ka2 (3.8)

stad:k =

a1

a2(3.9)

poniewaza1 = y1x1

, a2 = y2x1

, wiec:

k =y1

x1

x1

y2=

y1

y2(3.10)


Dokonujac jednego pomiaru mozemy obliczyc współczynniki nachylenia charak-terystyki kamery. NiechKR, KG, KB beda wynikiem pomiaru, wtedy współczynnikinachylenia kamery beda wynosic (współczynniki równe1 sa przyjete jako własciwe):• dlaaR = 1 otrzymujemy:aG = KR

KG, aB = KR

KB

• dlaaG = 1 otrzymujemy:aR = KGKR

, aB = KGKB

• dlaaB = 1 otrzymujemy:aR = KBKR

, aG = KBKG

Posiadajac współczynniki przesuniecia oraz nachylenia charakterystyki kamerymozliwe jest dokonanie kalibracji. W ramach testowania tej metody kalibracji po-wstało odpowiednie oprogramowanie, słuzace do obliczania wszystkich potrzebnychparametrów oraz do kalibrowania pobieranych obrazów. Poniewaz po przeprowadze-niu szeregu eksperymentów, okazało sie, iz rezultaty kalibracji nie spełniły oczekiwan,dlatego opis jak i wykorzystanie tego oprogramowania, nie został umieszczony w ni-niejszej pracy.

3.3.2. Konwersja zRGB do HSI

Rozdział ten opisuje sposób konwersji z układuRGBdoHSI. Opis poszczególnychskładowych układu oraz ich zastosowanie znalezc mozna w rozdziale 2.3.2.

3.3.2.1. Budowa transformacji

Rozwazmy układRGB, który da sie przedstawic w przestrzeni trójwymiarowejjako szescian (zakładamy równoczesnie, ze wszystkie składniki koloru zostały znormi-fikowane do jednosci, np. dla 8 bitowej reprezentacji kolorów, kazdy składnik koloruzostał podzielony przez 255). Zostało to przedstawione na rysunku 3.5.

Rysunek 3.5:Szescian układuRGB.

Ustawmy teraz szescian tak, aby czarny wierzchołek znajdował sie na dole, wtedylinia poprowadzona od koloru czarnego do białego opisywac bedzie intensywnosc.


Kolor mozna opisac w układzie cylindrycznym wzdłuz osi intensywnosci. Odcien jestkatem mierzonym od promienia wodzacego wskazujacego na kolor czerwony do pro-mienia wodzacego danego koloru, natomiast nasycenie jest odległoscia odsrodka cy-lindra do konwertowanego koloru (przedstawia to rysunek 3.6).

Rysunek 3.6:Interpretacja graficzna układuHSI.

3.3.2.2. Odcien

Odcien danego punktu jest to kat mierzony od osi koloru czerwonego do promieniawodzacego tego punktu, w układzieRGB. Rysunek 3.7 przedstawia sposób obliczaniawartosci odcienia.

Wektor O = (r,g,b) wskazuje na punkt, który bedzie transformowany do układuHSI. WektorW = (I , I , I) wskazuje punkt bieli. Punkt ten zgodnie z załozeniami kolo-rymetrii trójchromatycznej powinien znajdowac sie dokładnie wsrodku trójkata barw,rozpietego na wektorach:(r +g+b,0,0), (0, r +g+b,0), (0,0, r +g+b). Powyzszypostulat jest spełniony, gdy:

I =r +g+b

3(3.11)

Aby wyznaczyc wartosc odcienia nalezy stworzyc dwa dodatkowe wektory: wek-tor X, poprowadzony od punktu bieli do wierzchołka trójkata barw opartego na osiRukładuRGBoraz wektorV, poprowadzony od punktu bieli do punktu, który bedzietransformowany wHSI.

Współrzedne wektoraX mozemy wyliczyc nastepujaco:

X = (3I ,0,0)−W = (3I ,0,0)− (I , I , I) = (2I ,−I ,−I) (3.12)

analogicznie obliczamy wektorV:

V = O−W = (r,g,b)− (I , I , I) = (r− I ,g− I ,b− I) (3.13)


Rysunek 3.7:Sposób obliczenia wartosci odcienia w układzieRGB.

Kat miedzy wektoramiX orazV jest wartoscia odcienia punktu wskazywanegoprzez wektorO. Zgodnie z definicja iloczynu skalarnego dwóch wektorów otrzymu-jemy:

V ·X =√‖V‖2‖X‖2cos(H) (3.14)

stad:

cos(H) =V ·X√‖V‖2‖X‖2

(3.15)

gdzie‖V‖ jest norma wektora o składowychV = (V1,V2, . . . ,Vp):

‖V‖=

√p

∑i=1

V2i (3.16)


Licznik prawej strony równania(3.15)jest równy:

V ·X = (r− I ,g− I ,b− I) · (2I ,−I ,−I) == 2I(r− I)− I(g− I)− I(b− I) =

= 2Ir −2I2− Ir + I2− Ib+ I2 == I [(r−g)+(r−b)]

(3.17)

kwadrat mianownika prawej strony równania(3.15)wynosi:

‖V‖2‖X‖2 = [(r− I)2 +(g− I)2 +(b− I)2](4I2 + I2 + I2) =

= [r2 +g2 +b2−2I(r +g+b)+3I2]6I2 =

= [r2 +g2 +b2− 23(r +g+b)2 +

13(r +g+b)2]6I2 =

= 4[(r2 +g2 +b2)− (rg+ rb+gb)]I2 =

= 4[(r−g)2 +(r−b)(g−b)]

(3.18)

wstawiajac równania(3.17), (3.18)do równania(3.15)otrzymujemy:

cos(H) =(r−g)+(r−b)

2√

(r−g)2 +(r−b)(g−b)(3.19)

co daje w rezultacie wzór na wartosc odcienia:

H = arccos

((r−g)+(r−b)

2√

(r−g)2 +(r−b)(g−b)

)(3.20)

Jezeli nasycenie lub intensywnosc sa równe zeru, obliczanie wartosci nasycenia jestalbo niemozliwe, albo nie ma jakiegokolwiek sensu.

3.3.2.3. Nasycenie

Sposób liczenia nasycenia został zaczerpniety z [5]:

S= 1−min(r,g,b)I

(3.21)

Jak widac, dla niezerowych intensywnosci nasycenie zawiera sie w przedziale[0,1].Wartosc 0 osiaga dlar = g = b, czyli dla odcieni szarosci. Natomiast nasycenie mawartosc maksymalna, gdy którakolwiek ze składowychr, g lub b zeruje sie. Przypadektaki ma miejsce, jezeli wektorO lezy na krawedzi trójkata barw (rysunek 3.7).

3.3.2.4. Intensywnosc

Jak zostało wczesniej powiedziane (równanie(3.11) w rozdziale 3.3.2.2), inten-sywnosc wynosi:

I =r +g+b

3(3.22)

Odpowiada ona odległosci płaszczyzny, na której lezy trójkat barw, od poczatku ukła-du współrzednychRGB(rysunek 3.7).


3.3.3. Progowanie

Jest to jedna z najprostszych metod segmentacji obrazu. Polega ona na porównywa-niu wartosci punktów obrazu z wartoscia progowa. W zaleznosci od wyniku porówna-nia w miejsce punktu porównywanego wpisywana jest wartosc binarna (symbolizujacanp. obiekt i tło) lub punkt ten pozostawiany jest bez zmian. W pracy tej zastosowanazostała bardziej skomplikowana metoda progowania, mianowicie progowanie dwu-stronne z podwójnym progiem.

Zasade działania takiego progowania najlepiej wtłumaczyc na przykładzie. Wy-nikiem progowania bedzie binarny obraz przedstawiajacy obiekt oraz tło. Rozwazmycztery progi, dwa radykalne (górny i dolny) oraz dwa warunkowe (górny i dolny).Jezeli wartosc badanego punkt zawiera sie w przedziale ograniczonym przez progiradykalne, wtedy nalezy on do obiektu. Jezeli wartosc punktu miesci sie poza prze-działem ograniczonym przez progi warunkowe, nalezy on do tła. Jezeli natomiast war-tosc badanego punktu miesci sie w przedziale ograniczonym przez progi warunkowe,ale nie miesci sie w przedziale ograniczonym przez progi radykalne, punkt taki jestobiektem wtedy i tylko wtedy, gdy w jego otoczeniu znajdziemy przynajmniej jedenpunkt mieszczacy sie w przedziale ograniczonym przez progi radykalne. W przeciw-nym wypadku punkt ten nalezy traktowac jako tło. Ilustruje to rysunek 3.8.

Rysunek 3.8:Jednowymiarowa ilustracja progowania obrazu. Punkty czarne naleza do obiektu, punktybiałe naleza do tła.

Mimo ze sama metoda jest bardzo prosta, trudniejsze jest znalezienie własciwychprogów. Od dobrze dobranych progów zalezy, czy segmentacja obrazu przeprowa-dzona w ten sposób bedzie celowa. Jedna z propozycji doboru progów jest szukanieprogów w otoczeniu maksimów lokalnych histogramu progowanego obrazu. Jednakzemoga zdarzyc sie przypadki, kiedy nie bedzie to w ogóle mozliwe, np. jezeli histogrambedzie miał równomierny przebieg lub kiedy bedzie posiadał duza amplitude czestychzmian.

3.3.4. Parametryzacja obiektów

Parametryzacji mozna łatwo dokonac (z punktu widzenia złozonosci obliczenio-wej) wykorzystujac metode momentów [7, 8, 9]. Prostota tej metody wynika z tego, zewymaga ona tylko jednokrotnego przetworzenia analizowanego obrazu. Dodatkowo,obliczen mozna dokonac juz w trakcie pobierania obrazu.


Momenty geometryczne dzielimy na dwie klasy, zwykłe oraz centralne. Momentycentralne sa odpowiednikami momentów zwykłych, jednakze odniesionych dosrodkasylwetki, dzieki czemu sa one niezalezne od połozenia.

Moment geometryczny zwykły rzedup+ q, opisujacy sylwetkeU definiuje sienastepujaco:

mp,q =M−1

∑x=0

N−1

∑y=0

χU(x,y)xpyq (3.23)

gdzie:M, N – jest rozmiarem obrazu, szerokoscia oraz wysokoscia,x, y – sa to współrzedne punktu na obrazie,χU – jest funkcja charakterystyczna sylwetkiU .

Podobna definicje ma moment geometryczny centralny, równiez opisujacy syl-wetkeU :

µp,q =M−1

∑x=0

N−1

∑y=0

χU(x,y)(x−xs)p(y−ys)q (3.24)

gdzie:M, N – jest rozmiarem obrazu, szerokoscia oraz wysokoscia,x, y – sa to współrzedne punktu na obrazie,xs, ys – sa współrzednymisrodka sylwetki,χU – jest funkcja charakterystyczna sylwetkiU .

W przypadku momentów centralnych definiuje sie takze momenty centralne znor-malizowane, czyli niezalezne od połozenia oraz skali (wielkosci) sylwetki:

ηp,q =µp,q

µλ+10,0

, gdzie :λ =p+q

2(3.25)

Momenty te przekazuja informacje o kształcie sylwetki, jednakze sa one zalezne odjej orientacji.

Aby umozliwic odwoływanie sie do sylwetek nalezy dokonac indeksacji obiektówopisanych przez te sylwetki. Indeksacja polega na numerowaniu kolejno napotkanychsylwetek. Indeksy oznaczane sa poprzez jasnosci. Tło traktowane jest jako obiekt oindeksie 0 (jasnosc 0) i jako takie w dalszym procesie analizy obrazu nie jest rozpa-trywane. Kolejne obiekty oznaczane sa indeksami o numer wiekszymi od poprzednich(jasnosc o jeden wieksza). Oprogramowanie pozwalajace dokonac takiej operacji zo-stało wczesniej stworzone w ramach pracy magisterskiej [11].

3.3.4.1. Lokalizacja

Do obliczenia połozenia i orientacji sylwetki obiektu wykorzystane zostały mo-menty geometryczne zwykłe (równanie(3.23)) oraz cenralne (równanie(3.24)). Po-łozeniesrodka sylwetki jest łatwe do znalezienia, gdy znane sa momenty zwykłe do


rzedu pierwszego:m0,0, m0,1 orazm1,0. Współrzednesrodka daja sie wyrazic nastepu-jacymi zaleznosciami:

xs =m1,0

m0,0(3.26)

ys =m0,1

m0,0(3.27)

Aby wyliczyc orientacje osi głównej sylwetki potrzebna jest znajomosc momen-tów centralnych rzedu drugiego. Kat nachylenia sylwetki opisuje zaleznosc:

α =12

arctan(2µ1,1

µ2,0−µ0,2) (3.28)

3.3.4.2. Klasyfikacja

Majac obliczone momenty sylwetek znajdujacych sie na obrazie mozna na ich pod-stawie obliczyc funkcje momentów (dokładny opis mozna znalezc w [7, 8]), któreopisuja cechy kształtu sylwetek. Równanie(3.29)przedstawia czesc tych funkcji.

ϕ1 = ξ2,0 +ξ0,2 (3.29a)

ϕ2 = (ξ2,0−ξ0,2)2 +4ξ21,1 (3.29b)

ϕ3 = (ξ3,0−3ξ1,2)2 +(3ξ2,1−ξ0,3)2 (3.29c)

ϕ4 = (ξ3,0 +ξ1,2)2 +(ξ2,1 +ξ0,3)2 (3.29d)

ϕ5 = (ξ3,0−3ξ1,2)(ξ3,0 +ξ1,2)((ξ3,0 +ξ1,2)2−3(ξ2,1 +ξ0,3)2)+

+(3ξ2,1−ξ0,3)(ξ2,1 +ξ0,3)(3(ξ3,0 +ξ1,2)2− (ξ2,1 +ξ0,3)2) (3.29e)

ϕ6 = (ξ2,0−ξ0,2)((ξ3,0 +ξ1,2)2− (ξ2,1 +ξ0,3)2)++4ξ1,1(ξ3,0 +ξ2,1)(ξ2,1 +ξ0,3) (3.29f)

Zaξ, w zaleznosci od tego, czy chcemy policzyc funkcje momentów zalezne od skali,nalezy wstawic momenty centralneµ lub momenty centralnie znormalizowaneη.

Rozdział 4

Eksperymenty

Celem niniejszego rozdziału jest przedstawienie zalet zastosowania obrazu koloro-wego nad obrazem czarno–białym w lokalizacji i klasyfikacji obiektów. Rozdział tenopisuje dokładnie poszczególne kroki przeprowadzonego eksperymentu wraz z otrzy-manymi wynikami.

4.1. Załozenia eksperymentu

Eksperyment polega na lokalizacji i klasyfikacji obiektów poprzez osobna analizeobrazu czarno–białego i kolorowego. Na obrazie testowym znajduja sie trzy rózno-kolorowe figury trójwymiarowe przedstawione na jednolitym tle, oswietlone w takisposób, aby powstała stosunkowo duza ilosc cieni. Dwie wersje obrazu testowego(czarno–biała i kolorowa) znajduja sie na rysunku 4.1.

(a) wersja czarno–biała (b) wersja kolorowa

Rysunek 4.1:Obrazy testowe do eksperymentu lokalizacji i klasyfikacji obiektów. Na obrazie znajdujasie trzy róznokolorowe klocki na jednolitym tle.

40 Rozdział 4. Eksperymenty

4.2. Przebieg eksperymentu

Lokalizacja i klasyfikacja obiektów znajdujacych sie na rysunku 4.1 przebiegała wtrzech etapach. Pierwszy etap to segmentacja. Jej zadaniem było wydzielenie z bada-nego obrazu spójnych obszarów (obiekt – tło). Informacja, gdzie znajduja sie obiekty,pozwala przejsc do etapu drugiego, czyli do ich parametryzacji. Rozrózniane sa dwarodzaje parametryzacji, zalezne oraz niezalezne od połozenia. Pierwszy opisuje poło-zenie i orientacje obiektu (np. stosujac metode momentów [7, 8, 9]) – dane te brane sapod uwage w procesie lokalizacji obiektów. Drugi rodzaj opisuje własnosci obiektówtakie jak pole powierzchni, mimosród itp. (sa one przydatne w ostatnim etapie). Ostatnietap wykorzystuje wiedze zdobyta w etapie drugim – na podstawie wektorów cechopisujacych badane obiekty przeprowadzana jest ich klasyfikacja z wykorzystaniemznanych metod (np. najblizszego sasiada).

4.2.1. Segmentacja obrazu czarno–białego

Wykorzystanie czarno–białego obrazu do segmentacji pokazało, iz nie jest moz-liwe dokonanie jej w prosty sposób (np. stosujac podwójne progowanie). Udało siejedynie usunac bardzo wyrazne cienie znajdujace sie na obrazie (pozostawiajac nie-stety cienie mniej intensywne). Przedstawia to rysunek 4.2. Widoczne jest wyraznie,ze progowanie nie wyodrebniło trzech klocków od tła oraz pozostałych cieni, co wie-cej klocki znajdujace sie na obrazie zlewaja sie z tłem, stwarzajac kolejna przeszkodew segmentacji. Po usunieciu (zabarwieniu na biało – rysunek 4.2(b)) cieni, nie było

(a) obraz binarny po progowaniu (b) obraz czarno–bialy po progowaniu

Rysunek 4.2:Usuwanie cieni z obrazu czarno–białego. Na obrazie 4.2(a) przedstawiono obraz binarnypo progowaniu podwójnym (o progach dolnym 45 i górnym 109). Kolorem białym zaznaczony zostałobszar znajdujacy sie poza progiem, natomiast kolorem czarnym obszar mieszczacy sie w progu. Naobrazie 4.2(b) przedstawiona jest wersja czarno–biała obrazu po progowaniu. Kolorem białym zostałzaznaczony obszar znajdujacy sie w przedziale progowania.

mozliwe dobranie progu tak, aby obiekty nadal nie zlewały sie badz z tłem, badz z

4.2. Przebieg eksperymentu 41

pozostałymi na obrazie cieniami1. Przedstawia to rysunek 4.3. Z powyzszych powo-

(a) próg 110 – 150 (b) próg 130 – 170

Rysunek 4.3:Próba wyodrebnienia obrysów klocków znajdujacych sie na obrazie od tła oraz cieni. Jakwidac klocki zlewaja sie tłem obrazu oraz z cieniami rzucanymi przez klocki.

dów dalsza czesc analizy obrazu czarno–białego wymagała stosowania metod bardzoskomplikowanych lub o duzych nakładach obliczeniowych (do usuniecia cieni orazzlewania sie z tłem), dlatego tez została zaniechana na rzecz analizy obrazu koloro-wego.

4.2.2. Segmentacja obrazu kolorowego

W celu ułatwienia analizy obrazu kolorowego zastosowana została konwersja ob-razu badanego do odcienia (patrz rozdział 3.3.2 na stronie 32). Po konwersji obrazu4.1(b) otrzymany obraz mozna przedstawic jako obraz czarno–biały2. Ilustruje to ry-sunek 4.4(a). Tak przetworzony obraz posiada jednak drobne zakłócenia, które moznałatwo usunac, stosujac filtr medianowy. Wynik zastosowania takiego filtru przedstawiarysunek 4.4(b).

Dla tak przygotowanego obrazu zostało dokonane podwójne progowanie. Okazałosie, ze znalezienie progów pozwalajacych na dokonanie prawie bezbłednej segmenta-cji jest mozliwe. Wynik takiej segmentacji przedstawia rysunek 4.5(a), natomiast progijakich uzyto do segmentacji sa przedstawione w tablicy 4.1. Oddzielenie obiektów odtła nie jest jeszcze idealne. Widoczne sa nadal niewielkie zakłócenia, które pozostałypo filtracji medianowej. Poniewaz w porównaniu do obiektów znajdujacych sie na ob-razie widoczne zakłócenia maja niewielka powierzchnie, mozliwe jest bezpieczne ich

1 Mozliwa jest zawsze zmiana tła, jednakze byłaby to wtedy odpowiednia aranzacja sceny, któranie jest zamysłem tego eksperymentu.

2 Nalezy pamietac, ze obraz taki nie posiada wad normalnego obrazu czarno–białego. Poszcze-gólne wartosci jasnosci na tym obrazie sa interpretowane jako odrebne odcienie. Warto takze dodac,ze aby dokonac poprawnej wizualizacji w 8-bitowej skali szarosci nalezy znormalizowac zakres zmianodcienia od 0 do 360, do przedziału od 0 do 255.


(a) odcien (b) odcien po filtracji medianowej

Rysunek 4.4:Obraz 4.1(b) po konwersji do odcienia.

próg dolny górnyradykalny 167 255

warunkowy 162 255

rozmiar okna progowania 3x3

Tablica 4.1: Wartosci progów dla podwójnego progowania, które daja prawie bezbłedna segmentacje.

usuniecie, stosujac morfologiczna operacje otwierania sylwetek (ang.opening[10])3.Rysunek 4.5(b) przedstawia obraz po dokonanej pełnej segmentacji, gotowy do ostat-niego etapu, czyli parametryzacji.

Operacja otwierania sylwetek została dokonana z wykorzystaniem gotowego opro-gramowania powstałego w ramach pracy magisterskiej [11].

4.2.3. Parametryzacja obiektów

Wstepem do parametryzacji obiektów jest ich odpowiednie ponumerowanie (patrzrozdział 3.3.4), co pozwoli na odwoływanie sie do sylwetek poprzez ich numer. Procesten został przeprowadzony dla obrazu z rysunku 4.5(b), a wynikiem takiej indeksacjijest obraz przedstawiony na rysunku 4.6. Poniewaz róznica jasnosci o jeden punkt jestniezauwazalna dla oka ludzkiego, w celu poprawienia wizualizacji dokonano normali-zacji obrazu indeksowanego do skali szarosci od 0 do 255. Dodatkowo dla zwiekszeniaczytelnosci na kazdym obiekcie podany został jego indeks.

W tablicy 4.2 przedstawione zostały parametry opisujace połozenie sylwetki (katnachylenia osi głównej,srodek sylwetki), obliczone dla obrazu testowego. Natomiastrysunkek 4.7 przedstawia te same wyniki, jednakze naniesione na obraz.

3 Operacja otwierania sylwetek polega na zastosowaniu kolejno erozji (zwezania) i dylatacji (roz-szerzania).

4.2. Przebieg eksperymentu 43

(a) segmentacja z widocznymi zakłó-ceniami

(b) segmentacja bez zakłócen

Rysunek 4.5:Obraz po dokonanej segmentacji.

Rysunek 4.6:Indeksowanie obiektów. W celu zwiekszenia czytelnosci obrazu została dodana numera-cja obiektów, która równoczesnie przedstawia rzeczywisty indeks ponumerowanych obiektów.

4.2.4. Klasyfikacja

Prawidłowa klasyfikacja jest mozliwa w przypadku, gdy wektor cech opisujacyobiekt klasyfikowany jest odpowiednio duzy. Dobór odpowiedniego wektora nie jestzadaniem łatwym, jezeli wektor taki bedzie zbyt mały klasyfikacja moze okazac siebłedna, jezeli natomiast bedzie on zbyt duzy proces klasyfikacji moze byc zbyt skom-plikowany – zarówno obliczeniowo jak i pojeciowo (ze wzgledu na trudnosc podaniakryterium klasyfikacji przy zbyt duzym wektorze cech).

Do stworzenia własciwego wektora cech mozna posłuzyc sie funkcjami momen-tów (opisanymi w rozdziale 3.3.4). Funkcje te, w zaleznosci od tego, czy do ich ob-liczenia zostana uzyte momenty centralne, czy tez centralne znormalizowane, bedazalezec od skali lub nie. Nie jest istotna interpretacja fizyczna tych funkcji, wystarczybowiem, iz wiadomo jak róznia sie one w przypadku róznych sylwetek. Przed decyzja,które z tych funkcji powinno sie rozpatrywac, nalezy zastanowic sie, czy istotna jestdla nas wielkosc obiektów. W przypadku klasyfikacji obiektów o tych samych (badz


Parametr Obiekt 1 Obiekt 2 Obiekt 3

srodek sylwetki – współrzedna x[piksel] 127 35 83srodek sylwetki – współrzedna y[piksel] 38 53 102

kat nachylenia osi głównej[◦] −13.2650 −33.4833 −3.2298

Tablica 4.2: Wynik lokalizacji przeprowadzonej na obrazie testowym.

(a) Obraz bitowy (b) Obraz kolorowy

Rysunek 4.7:Lokalizacja obiektów. Krzyzykiem zaznaczone sasrodki obiektów, natomiast linia prostaich orientacja.

podobnych) sylwetkach, jednakze o róznych wielkosciach, nalezy rozpatrywac funkcjemomentów centralnych (równanie(3.29)).

Przykładowo, gdy jako zadanie klasyfikacji postawione zostanie wyselekcjonowa-nie monet o róznych nominałach sposród przedmiotów o kształtach okragłych i pro-stokatnych, nalezy zastosowac funkcje momentów niewrazliwych na rozmiar, skorocelem sa wszystkie monety. Jezeli jednak zadaniem jest rozpoznanie nominałów mo-net, warto zastosowac funkcje momentów zaleznych od wielkosci.

W tablicy 4.3 zostały przedstawione wyniki funkcji momentów niezmienniczychze wzgledu na skale. Funkcje te zostały obliczone dla obrazu z rysunku 4.6.

Funkcja Obiekt 1 Obiekt 2 Obiekt 3

ϕ1 1.6583e-01 1.6717e-01 2.0549e-01ϕ2 4.8656e-04 1.3562e-03 1.4569e-02ϕ3 5.5400e-06 6.2568e-06 8.7274e-06ϕ4 2.9817e-07 4.4491e-07 5.7800e-07ϕ5 -3.1901e-13 4.9134e-13 -1.0709e-12ϕ6 4.4933e-09 2.4679e-09 -6.9762e-08

Tablica 4.3: Wartosci funkcji momentów niezmienniczych ze wzgledu na skale.

Z tablicy tej widac, iz najlepszym parametrem rozrózniajacym obiekty jest para-metrϕ2. Opisuje on wydłuzenie sylwetki (ang.excentricity).

Rozdział 5

Podsumowanie

Zgodnie z wczesniejszymi przypuszczeniami, wykorzystanie informacji o kolorzew analizie obrazu przyniosło spodziewane efekty. Było to mozliwe dzieki sprowadze-niu problemu z przestrzeni trójwymiarowej (opis obrazu za pomoca trzech składowych– RGB) do przestrzeni jednowymiarowej (jak w przypadku obrazów czarno-białych)opisywanej wartoscia odcienia (ang.hue).

Badanie obrazu reprezentowanego jako odcien zmniejszyło liczbe kroków jakienalezy przejsc, aby dokonac lokalizacji i klasyfikacji obiektów znajdujacych sie na ob-razie (rozdział 4). Odcien jako parametr opisujacy kolor jest niewrazliwy na powstawa-nie cieni na obiektach, co jest czestym problemem w analizie obrazów czarno-białych(reprezentujacych intensywnosc – czyli poziom jasnosci). Dodatkowym atutem takiejreprezentacji obrazów jest to, iz mozliwe jest bezposrednie zastosowanie istniejacychmetod analizy obrazów czarno-białych (które sa w chwili obecnej bardzo rozwiniete).

W ramach niniejszej pracy powstało oprogramowanie pozwalajace na pobieranieobrazu z kamery podłaczonej do komputera poprzez karte telewizyjna i wysłanie go doinnego komputera, wykorzystujac do tego celu internet (serwer –sywizd oraz klient –pobraz ). Dodatkowo powstały takze aplikacje przetwarzajace pobrany obraz:• program konwertujacy obraz opisany w układzieRGBw obraz opisany w układzie

HSI – rgb2hsi ,• program słuzacy do segmentacji obrazów poprzez podwójne progowanie –

progowanie ,• program do wyliczania histogramu –histogram ,• program parametryzujacy obiekty –momenty.

W celu ułatwienia oraz demonstracji obsługi wyzej wymienionych programów po-wstała aplikacja wsrodowisku graficznym, słuzaca za wygodny interfejs –omanip .Druga aplikacja graficzna jest kamera internetowa, pobierajaca obraz na biezaco1

(on–line) – webcam.Czesto w tego rodzaju pracach – w czasie ich powstawania – pojawiaja sie koncep-

cje, które warto zrealizowac, jednakze z róznych powodów (np. z powodów technicz-nych) nie sa one rozwijane. Równiez tutaj nie udało sie uniknac takich problemów.Nie powiodło sie, niestety, przeprowadzenie poprawnej kalibracji kamery. Zapropo-nowany sposób kalibracji (rozdział 3.3.1) okazał sie niedokładny. Jednakze z drugiej

1 Z opóznieniem jednosekundowym.

46 Rozdział 5. Podsumowanie

strony, przeprowadzony eksperyment (rozdział 4) pozwala przypuszczac, iz brak za-stosowania kalibracji nie wpływa ujemnie na otrzymane wyniki. Drugim pomysłem,który nie doczekał sie realizacji, jest system stereowizji kolorowej, gdzie dzieki zasto-sowaniu koloru proces dopasowywania wzajemnego obrazów z poszczególnych kamerbył znacznie prostszy. Było to spowodowane niedostepnoscia karty telewizyjnej (lubinnego tego typu urzadzenia) z wiecej niz jednym wejsciem umozliwiajacym podła-czenie zewnetrznej kamery.

Podsumowujac, kolor jako informacja obrazowa jest bardzo pomocny. Wykorzy-stanie odcienia ułatwia proces zarówno przetwarzania obrazu (poprzez np. wyelimi-nowanie problemu cieni) jak i lokalizacji oraz klasyfikacji obiektów. Kolor nadaje sieidealnie do znaczenia obiektów, co moze miec zastosowanie w praktyce. Przykładowo,w chwili obecnej wszystkie bezpieczniki samochodowe o róznych wartosciach ozna-czane sa kolorami, wskutek czego w bardzo łatwo mozemy je rozróznic (stosujac od-cien). Innym pomysłem zastosowania kolorów moze byc oddzielenie popsutych (zgni-łych) owoców od zdrowych. Nie sa to jedyne przykłady bezposredniego zastosowaniainformacji o kolorze, przykładów takich mozna by mnozyc wiele.

Dodatek A

Instrukcja obsługi programów

Dodatek ten ma na celu opisanie sposobu korzystania z programów powstałychpodczas realizacji niniejszego tematu. Wiekszosc programów została tak skonstru-owana, aby mozna było potokowo łaczyc ich działanie ze soba (stosujac przekierowa-nie strumienia – wejsciowego/wyjsciowego). Przykładowym połaczeniem moze bycpobranie obrazu z serwera (programpobraz ), dokonanie konwersji do odcienia (pro-gram rgb2hsi ), a nastepnie przeprowadzenie progowania na tym obrazie (programprogowanie )1.

A.1. Pobieranie obrazu

Bezposrednio pobieraniem obrazu zajmuje sie serwer (sywizd ), który nalezy uru-chomic na komputerze z zainstalowana karta telewizyjna i podłaczona do niej kamera.Serwer umozliwia wysłanie obrazu poprzez internet (dokładniejszy opis zasady dzia-łania oraz obsługi serwera znajduje sie w rozdziale 3.2 na stronie 23 oraz w rozdzialeA.1.1). Wygodne odbieranie tego obrazu jest zapewnione poprzez program kliencki(pobraz ) pozwalajacy na dokładne okreslenie parametrów pobieranego obrazu. Zostałtakze stworzony program umozliwajacy pobranie i zapisanie obrazu bez korzystania zserwera, jednakze wymaga on bezposredniej pracy na komputerze, do którego podła-czona jest kamera.

Przy okazji tworzenia oprogramowania słuzacego do pobierania obrazów, powstałprogramwebcam słuzacy do wyswietlania obrazów pobieranych z kamery (za pomocaprogramupobraz w okreslonych interwałach czasu), posiadajacy interfejs graficzny.Jest to program w wersji roboczej i ma on jedynie na celu pokazanie, w jaki sposóbmozna zastosowac oprogramowanie powstałe w niniejszej pracy.

A.1.1. sywizd

Jest to serwer, który na zadanie klienta (np.pobraz – patrz rozdział A.1.2) pobieraobraz z kamery i wysyła go za pomoca specjalnego protokołu (opis protokołu znajdujesie w rozdziale 3.2.1 na stronie 24) do klienta poprzez internet. Opcje do programuprzedstawia tablica A.1 na stronie 51.

1 $: pobraz... | rgb2hsi... | progowanie... > plik

48 Dodatek A. Instrukcja obsługi programów

Pobieranie obrazu z wykorzystaniem karty telewizyjnej realizowane jest dzieki za-stosowaniu bibliotekilibng znajdujacej sie w pakieciexawtvw wersji 3.53.

A.1.2. pobraz

pobraz pobiera obraz z kamery (łaczac sie serweremsywizd ) i zapisuje go nastandardowe wyjscie. Opcje do programupobraz przedstawia tablica A.2, zamiesz-czona na stronie 52.

A.1.3. grabber

grabber pobiera obraz z kamery (bezposrednio z komputera, w którym zainsta-lowana jest karta telewizyjna – oznacza to takze, iz nie jest wykorzystywany do tegoserwersywizd ) i zapisuje go na standardowe wyjscie. Opcje tego programu przedsta-wia tablica A.3, zamieszczona na stronie 53.

A.1.4. webcam

webcam jest programem wyswietlajacym obrazy pobierane z kamery w krótkichodstepach czasu. Z powodów wczesniej wymienionych (rozdział A.1), nie została za-implementowana mozliwosc zmiany czestotliwosci odswiezania obrazów. Program tennie posiada zadnych opcji. Do poprawnego działania wymagane jest, aby w katalogu,w którym uruchamiany jest program znajdował sie równiez programpobraz . Dodat-kowym wymogiem sa prawa zapisu do pliku/tmp/webcam.jpg .

A.2. Przetwarzanie obrazu

Podstawowym programem do przetwarzania obrazu jest program konwertujacy ob-raz kolorowy do odcienia, nasycenia lub intensywnosci (rgb2hsi ). Innym pomocnymprogramem moze sie okazac program do tworzenia histogramu (histogram ), zapi-sujacy wynik w postaci tekstowej, w kolumnach, dzieki czemu mozemy go pózniejanalizowac uzywajac programów takich jakgnuplot lub gnumeric . Wiedze zdo-byta dzieki histogramowi mozna wykorzystac do segmentacji za pomoca progowania(progowanie ).

Programem zbiorczym przetwarzania obrazów jest aplikacjaomanip . Jest ona gra-ficznym interfejsem uzytkownika do wszystkich programów zamieszczonych w ni-niejszej pracy. Podobnie jak programwebcam aplikacja ta równiez nie jest skonczonai moze posiadac błedy, ale jednoczesnie doskonale pokazuje mozliwosci, jakie stwa-rzaja wszystkie powyzsze programy.

A.2.1. rgb2hsi

Zadaniem tego programu jest czytanie obrazów (w formaciePPMlub PGM) ze stan-dardowego wejscia i zapisywanie ich jako obrazy przedstawiajace odcien, nasyce-

A.3. Parametryzacja obiektów 49

nie lub intensywnosc obrazu wejsciowego. Tablica A.4 (zamieszczona na stronie 54)przedstawia dostepne opcje programu.

A.2.2. histogram

histogram wypisuje histogram w postaci tekstowej (czytanej np. przezgnuplot ).W pierwszej kolumnie histogramu znajduje sie poziom jasnosci, w nastepnej liczbapunktów o luminancji równej danemu poziomowi jasnosci, natomiast w kolejnychliczba punktów poszczególnych składowych koloru (jezeli obraz wejsciowy był w for-maciePGM, wtedy wartosci w ostatnich czterech kolumnach sa sobie równe i odpowia-daja jasnosci). Bez podania odpowiednich opcji obrazy czytane sa z wejscia standar-dowego i zapisywane na wyjscie standardowe. Mozliwe opcje programu znajduja siew tabeli A.5, zamieszczonej na stronie 55.

A.2.3. progowanie

Program ten słuzy do podwójnego progowania obrazów (zasade takiego progo-wania przedstawia rozdział 3.3.3 znajdujacy sie na stronie 36). Obrazy czytane sa zestandardowego wejscia w dwóch formatach (PPMorazPGM). Wynik progowania zapi-sywany jest na standardowe wyjscie w formaciePBM. Jezeli obraz wejsciowy był wformaciePPMnalezy zaznaczyc, która ze składowych koloru ma byc poddana progo-waniu (domyslnie składowa niebieska). Pełny opis dostepnych parametrów programumozna znalezc w tabeli A.6 na stronie 55.

A.2.4. omanip

Aplikacja ta nie posiada zadnych opcji, a do prawidłowego działania wymagawszystkich powyzszych programów (opróczgrabber , webcamorazmomenty). Lokali-zacje tych programów mozna podac albo w pliku konfiguracyjnym.omanip znajduja-cym sie w katalogu domowym uzytkownika, albo konfigurujac odpowiednio programz menu konfiguracyjnego.

A.3. Parametryzacja obiektów

Rozdział 4.2.3 opisuje w jaki sposób mozna dokonac parametryzacji obiektów naobrazie. Programmomenty wylicza wszystkie wartosci momentów oraz ich funkcje,opisane w tym rozdziale.

A.3.1. momenty

Program ten słuzy do wyliczania momentów geometrycznych obiektów znajduja-cych sie na wczesniej poindeksowanym obrazie. Jezeli nie zostanie podane inaczej,obraz zawierajacy obiekty do parametryzacji jest czytany z wejscia standardowego –wymagany jest formatPGM. W przypadku gdy chcemy, abysrodki sylwetek oraz osie


główne były zaznaczone na obrazie, musimy podac obraz-maske, dzieki któremu zo-stanie stworzony obraz z zaznaczonymisrodkami i osiami. Wartosci momentów orazich funkcje wysyłane sa na wyjscie diagnostyczne. Dokładne parametry wywołaniafunkcji opisane sa w tabeli A.7 na stronie 56.

Program ten powstał poprzez modyfikacje2 podobnego programufbparam , stwo-rzonego w ramach pracy magisterskiej [11].

2 Polegała ona na zaimplementowaniu czytania obrazów w formaciePGMzamiast formatuFBM.Poszerzona została takze gama obliczanych momentów oraz dodno mozliwosc obliczenia funkcji mo-mentów.


sywizdOpcje Opis opcji-q , --quit Zakoncz prace serwera (wysłanie sygnałuSIGTERM)-d , --debug=WARTOSC Komunikaty diagnostyczne wysyłane naSTDERR

oraz poprzezsyslogd , jezeli jest to mozliwe. Opcjata moze przyjmowac nastepujace wartosci (wartoscdomyslna wynosi 3):0 – brak jakichkolwiek komunikatów1 – tylko zwykłe komunikaty2 – zwykłe komunikaty oraz niektóre błedy3 – wszystkie mozliwe komunikaty

-w , --wersja Wyswietl numer wersji i zakoncz działanie-h , --help Wyslij ten opis i zakoncz

Tablica A.1: Opcje do programusywizd .


pobrazOpcje Opis opcji-s , --serwer=SERWER Pobierz obraz z serweraSERWER. Domyslnym ser-

werem jestmobil.ict.pwr.wroc.pl-k ,--numer-kamery=NUMER

Pobierz obraz z kamery o numerzeNUMER. Do-myslna wartosc to 0 (obecnie dostepna jest tylkojedna kamera)

-r ,--rozmiar=SZERxWYS

Pobierz obraz o rozmiarzeSZERxWYS. Minimalnyrozmiar to 80x60 , maksymalny 640x480 . Do-myslna wartosc wynosi348x288

-f , --format=FORMAT Format w jakim ma byc przesłany obraz. Dostepneformaty to:ppm– 24 bit TrueColorjpg – JPEG(JFIF )Domyslnym formatem jestPPM

-q , --quiet Brak jakichkolwiek komunikatów. Opcja równo-wazna opcji-d 0

-d , --debug=WARTOSC Komunikaty diagnostyczne, wysyłane naSTDERR.Opcja ta moze przyjmowac wartosci:0 – brak jakichkolwiek komunikatów1 – tylko zwykłe komunikaty2 – zwykłe komunikaty oraz niektóre błedy3 – wszystkie mozliwe komunikaty


Tablica A.2: Opcje do programupobraz .


grabberOpcje Opis opcji-k ,--numer-kamery=NUMER

Pobierz obraz z kamery o numerzeNUMER. Do-myslna wartosc to 0 (obecnie dostepna jest tylkojedna kamera)

-r ,--rozmiar=SZERxWYS

Pobierz obraz o rozmiarzeSZERxWYS. Minimalnyrozmiar to 80x60 , maksymalny 640x480 . Do-myslna wartosc wynosi348x288

-f , --format=FORMAT Format w jakim ma byc przesłany obraz. Dostepneformaty to:ppm– 24 bit TrueColorjpg – JPEG(JFIF )Domyslnym formatem jestPPM

-q , --quiet Brak jakichkolwiek komunikatów. Opcja równo-wazna opcji-d 0

-d , --debug=WARTOSC Komunikaty diagnostyczne, wysyłane naSTDERR.Opcja ta moze przyjmowac wartosci:0 – brak jakichkolwiek komunikatów1 – tylko zwykłe komunikaty2 – zwykłe komunikaty oraz niektóre błedy3 – wszystkie mozliwe komunikaty


Tablica A.3: Opcje do programugrabber .


rgb2hsiOpcje Opis opcji-o , --odcien Zapisz obraz wejsciowy jako odcien. Opcja ta jest

w konflikcie z opcjami-n oraz-i-n , --nasycenie Zapisz obraz wejsciowy jako nasycenie. Opcja ta

jest w konflikcie z opcjami-o oraz-i-i , --intensywnosc Zapisz obraz wejsciowy jako intensywnosc. Opcja

ta jest w konflikcie z opcjami-o oraz-n--e-nasycenie=WARTOSC

Ustaw próg, ponizej którego wartosc odcienia be-dzie nieustalona – oznaczona kolorem czerwonym(w trybie zapisu obrazu w formaciePPM) lub kolo-rem czarnym (w trybie zapisu obrazu w formaciePGM– opcja-g ). Domyslna wartosc progu wynosi30

--e-intensywnosc=WARTOSC

Ustaw próg, ponizej którego wartosc odcienia be-dzie nieustalona – oznaczona kolorem czerwonym(w trybie zapisu obrazu w formaciePPM) lub ko-lorem czarnym (w trybie zapisu obrazu w forma-cie PGM– opcja-g ). Ponizej tego progu takze na-sycenie zostanie oznaczone kolorem czarnym (badzczerwonym). Domyslna wartosc progu wynosi 30

-g Zapis obrazów w odcieniach szarosci (formatPGM)--plik-wej=NAZWA Podanie pliku wejsciowego zamiast czytania ze

standardowego wejscia--plik-wyj=NAZWA Podanie pliku wyjsciowego zamiast pisania na stan-

dardowe wyjscie-q , --quiet Nie wypisuj zadnych komunikatów-h , --help Wyslij ten opis i zakoncz

Tablica A.4: Opcje do programurgb2hsi .


histogramOpcje Opis opcji--poczatek=WARTO SC Wartosc, od której ma byc wypisywany histogram.

Domyslnie 0--koniec=WARTO SC Wartosc, do której ma byc wypisywany histogram.

Domyslnie 255--plik-wej=NAZWA Podanie pliku wejsciowego zamiast czytania ze

standardowego wejscia--plik-wyj=NAZWA Podanie pliku wyjsciowego zamiast pisania na stan-

dardowe wyjscie-q , --quiet Nie wypisuj zadnych komunikatów-h , --help Wyslij ten opis i zakoncz

Tablica A.5: Opcje do programuhistogram .

progowanieOpcje Opis opcji--rad-dolny=WARTO SC Dolny próg radykalny. Domyslnie 90--rad-gorny=WARTO SC Górny próg radykalny. Domyslnie 150--war-dolny=WARTO SC Dolny próg warunkowy. Domyslnie 60--war-gorny=WARTO SC Górny próg warunkowy. Domyslnie 160--szer=WARTO SC Szerokosc okna dla progów warunkowych. Do-

myslnie 3--wys=WARTOSC Wysokosc okna dla progów warunkowych. Do-

myslnie 3-s , --skladowa=LITERA Wybór skladowej, która ma byc analizowana pod-

czas progowania – w przypadku gdy obraz wej-sciowy jest formatuPPM. Mozliwe litery:r , R – składowa koloru czerwonegog, G– składowa koloru zielonegob, B – składowa koloru niebieskiegoDomyslna litera jest literaB

--plik-wej=NAZWA Podanie pliku wejsciowego zamiast czytania zestandardowego wejscia

--plik-wyj=NAZWA Podanie pliku wyjsciowego zamiast pisania na stan-dardowe wyjscie

-q , --quiet Nie wypisuj zadnych komunikatów-h , --help Wyslij ten opis i zakoncz

Tablica A.6: Opcje do programuprogowanie .


momentyOpcje Opis opcji-l , --liczba Wypisanie liczby obiektów w obrazie wejsciowym,

a nastepnie zakonczenie programu-o , --obiekty=NUMER Obliczanie parametrów tylko dla obiektu NUMER-z , --zwykle Wyswietlenie momentów geometrycznych zwy-

kłych-c , --centralne Wyswietlenie momentów geometrycznych central-

nych-C Wyswietlenie momentów geometrycznych central-

nych niezmienniczych ze wzgledu na skale-f , --funkcje Funkcje momentów niezmiennicze ze wzgledu na

połozenie i orientacje-F , --funkcje-skala Funkcje momentów niezmiennicze ze wzgledu na

połozenie, orientacje oraz skale-p , --parametry Wyswietlenie parametrów sylwetki: pole po-

wierzchni, srodek sylwetki, kat nachylenia osigłównej

-m, --maska=NAZWA Nazwa pliku z obrazem-maska, na podstawie tegoobrazu zostanie stworzony obraz wyjsciowy

-j , --jasnosc=WATRO SC Jasnosc (od 0 do 255), jaka beda zaznaczonesrodkisylwetek oraz osie główne. Wartosc domyslna wy-nosi 255

-b , --bez Nie bedzie tworzony obraz wyjsciowy – niepo-trzebny jest wtedy obraz z maska

--plik-wej=NAZWA Podanie pliku wejsciowego zamiast czytania zestandardowego wejscia

--plik-wyj=NAZWA Podanie pliku wyjsciowego zamiast pisania na stan-dardowe wyjscie

-q , --quiet Nie wypisuj zadnych komunikatów-h , --help Wyslij ten opis i zakoncz

Tablica A.7: Opcje do programumomenty.

Bibliografia

[1] Jabłonka S.,Informacja obrazowa. Rozdział 6. „Barwa i metody wyrazania bodzcówbarwowych”.Warszawa, WNT 1992.

[2] Felhorski W., Stanioch W.,Kolorymetria trójchromatyczna.Warszawa, WNT 1973.[3] Judd D.B., Wyszecki G.,Colour in business, science and industry.N. York, Wiley 1971.[4] Zusznica A.,Nauka o barwie.Warszawa, PWN 1959.[5] Gonzalez R. C., Woods R. E.,Digital Image Processing., Addision Wesley, 1992.[6] Masewicz T.,Telewizja dla praktyków.Warszawa, WKŁ 1982.[7] Dudani S. A., Breeding K. J., McGhee R.,Aircraft Identification by Moment Invariants,

IEEE Transactions on Computers, Vol. C-26, No. 1, January 1977.[8] Gupta L., Srinath M. D.,Contour sequence moments for the classification of closed pla-

nar shapes, Pattern Recognition, Vol. 20, No. 3, pp. 267-272, 1987.[9] Tadeusiewicz R.,Systemy wizyjne robotów przemysłowych, Warszawa, WNT 1992.

[10] Serra J.,Image Analysis and Mathematical Morphology, Academic Press, London, 1982.[11] Cmikiewicz M. Procedury przetwarzania obrazu – zastosowanie do parametryzacji

obiektów, ICT, Wrocław 1993.[12] Stevens R. W.,Programowanie zastosowan sieciowych w systemie UNIX, WNT 1997.

Documents

PRACA MAGISTERSKA - Laboratorium Robotykirab.ict.pwr.wroc.pl/~mw/Stud/Dypl/icek/praca_magisterska.pdf · PRACA MAGISTERSKA Wykorzystanie obrazów barwnych do lokalizacji klasyﬁkacji