Stereovizijski sustavi

Filip Šuligoj

2

Teme pokrivene u radu i prezentaciji:

• Stereovizijski sustavi

• Komponente stereovizijskog sustava

• Digitalna slika

• Epipolarna geometrija

• Osnovna matrica F

• Algoritmi podudaranja

• Triangulacija

3

Stereovizijski sustavi

• Stereovizijski sustav sastoji se od dva uređaja, odnosno dvije kamere koje prikupljaju informacije iz okoline

• Iz dviju slika istog prizora moguće je odrediti informaciju dubine određene točke, koristeći znanje o lokacijama kamera

• Za riješavanje problema određivanja iste točke na obje slike se služimo epipolarnim ograničenjima te korelacijskim i feature-based algoritmima

4

Komponente stereovizijskog sustava

• kamera • digitalizator slike (eng. Frame grabber) • poseban software za analizu slike i njezinih značajki• procesor (osobnog računala ili poseban procesor koji

se koristi samo za tu svrhu)• vodiči informacija koji predstavljaju komunikacijsku

mrežu između ostalih komponenata uređaja (kablovi)

5

Komponente stereovizijskog sustava

6

Digitalna slika

• Primljeno zračenje senzori pretvaraju u električni signal koji se zatim koristi za stvaranje digitalne slike u obliku matrice digitalnih brojeva

• Slika može biti može biti prikazana kao matrica od N redaka i M stupaca

• . Brojevi N i M, također određuju i dimenzije slike, po horizontalnoj i vertikalnoj osi, jer su ta polja popunjena pikselima

• Vrijednost piksela E(i,j) je cijeli broj u rasponu od 0 do 255, koji kod monokromatskih slika određuje stupanj sivosti. Vrijednost 0 je crna, a 255 bijela boja.

7

Glavni problemi stereovizijskih sustava

• Određivanje iste točke na obje kamere

• Metoda izračunavanja udaljenosti odabrane točke

8

Epipolarna geometrija

• Epipolarna geometrija je unutarnja projektivna geometrija između dva pogleda, a ne ovisi o strukturi (izgledu) prizora, već samo o unutarnjim parametrima kamera i njihovoj relativnoj poziciji

• Elementi epipolarne geometrije nastaju iz potrage za podudarajućom točkom na slikama

9

Elementi epipolarne geometrije

• Točka X odabrana iz 3-D prostora ima dvije projekcije, x na prvoj slici i x' na drugoj

• točke na ravninama slika x i x' zajedno sa točkom iz prostora X i središnjim točkama kamera c i c' definiraju epipolarnu ravninu π

• Geometrijski element u kojem epipolarna ravnina sijeće ravninu druge slike, je linija duljine l', koju zovemo epipolarna linija

• Točke e i e' zovemo epipole, a to su točke u kojima središnja linija presjeca ravnine slika

10

Epipolarna geometrija

11

Epipolarna geometrija

12

Osnovna matrica F

• Osnovna matrica je algebarska prezentacija epipolarne geometrije

• Točka x' mora ležati na epipolarnoj liniji l' koja je stvorena iz sjecišta ravnine druge slike i epipolarne ravnine. Na taj način stvorena je poveznica između točke x i linije l'. Osnovna matrica je prezentacija projektivnog preslikavanja točaka na linije

13

Osnovna matrica F

14

Uvijet osnovne matrice

• Osnovna matrica F mora zadovoljiti osnovni uvijet za svaki par točaka x i x':

x'T F x = 0⋅ ⋅

• Ovo mora biti istinito jer ako si točke x i x' odgovaraju, x' leži na epipolarnoj liniji l' = Fx, pa je:

0= x'T l' = x'T F x⋅ ⋅ ⋅

15

Dobivanje osnovne matrice F

• Sada kada je izražen glavni uvjet osnovne matrice, mora se prikazati i način na koji se ona izračunava

• Epipolarna geometrija ima 7 stupnjeva slobode gibanja

• Epipole e i e' daju 4 stupnjeva slobode gibanja jer svaka ima po dvije koordinate na slici, a preostala 3 stupnja slobode nastaju preslikavanjem bilo koje tri epipolarne linije sa jedne slike na drugu

• Izračunavanje osnovne matrice je onda moguće koristeći 7 parova podudarajućih točaka u nelinearnom algoritmu, ili koristeći 8 parova točaka u linearnom

16

Dobivanje osnovne matrice F

• Svaki par točaka x = (x,y,1)T i x' = (x',y',1)T daje po jednu linearnu jednadžbu

• Jednadžbu uvjeta osnovne matrice može se raspisati na slijedeći način:

• Posljednji oblik zapisa jednadžbe upisuje se u matricu A za svaki par podudarajućih točaka

T T Tx' F x = [x' x x ] f = 0

11 12 13 21 22 23 31 32 33x'xf ' ' ' ' ' 0x yf x f y xf y yf y f xf yf f

( ' , ' , ', ' , ', , ,1) 0x x x y x y x y x y f

17

Dobivanje osnovne matrice F

• Ako je n broj podudarajućih točaka koje su dobivene:

• Za točno rješenje linearnom metodom matrica A mora imati 8 redova

18

Algoritmi podudaranja

• Algoritmi podudaranja se dijele na korelacijske i feature-based

• Dok se korelacijski algoritmi koncentriraju na same točke iz prizora, feature-based algoritmi traže podudaranje između skupina prepoznatljivih značajki na slikama

19

Triangulacija

• Kada je lokacija iste točke potvrđena na obje slike možemo izračunati njezinu udaljenost pomoću nejednakosti, odnosno horizontalne razlike između koordinata tražene točke na slikama

• Realna točka X iz prostora je uslikana pomoću kamera te njezina projekcija pada u točke u=[u,v] i u'=[u',v']

20

Triangulacija

Lijeva slika Desna slika

Preklapanje lijeve i desne slike

u(u,v) u'(u',v')

u(u,v)u'(u',v')

d

21

Triangulacija

22

Triangulacija

• Prema metodi sukladnosti trokuta omjeri horizontalnih i vertikalnih stranica malog i velikog trokuta moraju biti jednake

u h x

f z

'u h x

f z

2

' '

h f b f b fz

u u u u d

23

Zahvaljujem na pozornosti

Kraj

Pitanja?

24

Pitanja

1. Što su stereovizijski sustavi i čemu služe?

2. Koji su elementi epipolarne geometrije i kako nastaju?

3. Što predstavlja glavni uvijet osnovne matrice?

4. Navedi 2 vrste algoritama podudaranja i opiši po čemu se razlikuju.