Pretra živanje velikih baza slika (CBIR) Branimir Reljin IPTM grupa Elektrotehnički fakultet

Content-based Image RetrievalContent-based Image Retrieval Banja Luka, 10. novembar, 2008Banja Luka, 10. novembar, 2008 Slide Slide 11/30/30

Faculty of Electrical EngineeringFaculty of Electrical EngineeringUniversity of Belgrade, Serbia University of Belgrade, Serbia

Group for Digital Image Processing, Group for Digital Image Processing, Telemedicine and MultimediaTelemedicine and Multimedia

COST Action 292COST Action 292Semantic Multimodal Analysis of Digital MediaSemantic Multimodal Analysis of Digital Media

PretraPretraživanje velikih baza živanje velikih baza slikaslika (CBIR) (CBIR)

Branimir ReljinIPTM grupa

Elektrotehnički fakultetUniverziteta u Beogradu, Srbija





Ogromna količina snimaka, video i Ogromna količina snimaka, video i multimedijalnog materijalamultimedijalnog materijala

• Pojednostavljenje proizvodnje multimedijalnih sadržaja – jeftine kvalitetne kamere

• Dostupnost ogromne količine informacija iz različitih oblasti stvaralaštva (Internet)

• Prema podacima iz 2000. godine u svetu se snimi više od 80 milijardi fotografija

• Moderne tehnologije omogućavaju on-line dostupnost materijala koji bi u prošlosti ostali nedostupni

• Kako iz mora informacija izdvojiti željenu?

Velika količina informacija – mala korist !Velika količina informacija – mala korist !





Pretraživanje video materijalaPretraživanje video materijala se može vršiti na osnovu semantičkihoznaka (‘kadar 15, 8-mi put’, ili ‘zima’, ‘kuća na plaži’), na osnovuvremenskog redosleda, dimanike scene, zvučnih zapisa, ilisličnih ključnih snimaka (key frame), dakle, na osnovu sličnosti slika.

tt1 t1+12

Grupa X

Video

Scena

Grupa

Kadar

Ključni snimci





Veoma efikasni i najšire korišćeni tekst-orijentisani pretraživači (npr., Google) imaju mnogobrojne i ozbiljne nedostatke:

Tekstualne anotacijeTekstualne anotacije se u najvećem broju slučajeva generišu manualno – proces anotiranja je spor i komplikovan

TeTekskst–orit–orijjentisani pretraživačientisani pretraživači generišu mnogo šuma oko korisne informacije

Rezultati pretraživanjaRezultati pretraživanja umnogome zavise od sposobnosti korisnika da pravilno definiše upit

Javlja se jeziJavlja se jezička barijeračka barijera





Flickr: tekstualna anotacija. http://www.flickr.com/search/?q=boat

Veliki broj subjektivno različitih slika.





Kojim rečima opisati ovu sliku?





Kojim rečima opisati teksturu?

Kora drveta može biti hrapava ili glatka.

Šljunak može biti sitan ili krupan, ujednačeneili različite veličine.

Trava može biti retka ili gusta, različite boje.

Kod tekstualne anotacije je dodatni problemjezička barijera.





Umesto subjektivnog označavanja (context-based approach)

vrši se objektivni opisobjektivni opis slike pronalaženjemkarakterističnih obeležja na osnovu sadržaja slike

(content-based approach)• Obeležja niskog nivoaObeležja niskog nivoa (boja, tekstura, oblik, itd.) se

automatski izdvajaju iz slike• Obeležja se mogu uzeti globalnoglobalno, za celu sliku, ili po po

regionimaregionima





Globalno opisivanje slike

Regionalno opisivanje slike

Pravilni regioni

‘Tematski’ regioni





• Na osnovu izdvojenih obeležja kreira se vektor obeležjavektor obeležja (FFeature VVector) čije komponente su brojevi koji označavaju ‘intenzitet’ posmatranog obeležja

• Dva globalna trenda: (1) kreiranje jednog zajedničkog vektora obeležja ili (2) korišćenje više manjih vektora obeležja

• Pretraživanje, tj. ispitivanje sličnosti slika, se vrši na osnovu rastojanja vektora obeležja posmatranih slika, primenom neke od mera rastojanja (Euklidsko, Mahalanobis, i dr.).

• Slike koje imaju najkraće rastojanje jesu objektivno najsličnije!

• PROBLEMI: Veza sadržaja i značenja slike.• Kako obeležjima niskog nivoa opisati subjektivni sadržaj?





BojaBojaRazličiti prostori boja: RGB, CIE Lab, Luv, HSV, Suprotan prostorboja (opponent color space), YUV, YCbCr, YIQ, Munsell-ov prostor...

Safe mod(216 boja)

Pun kolor(16.7 mil. boja)





HSV prostor

CIE Lab

Korigovan CIE Luv

Munsell-ov sistem





Opisivači (deskriptori) bojaMomenti: prvi moment (srednja vrednost), drugi (varijansa), treći(iskošenost, skewness), ...

N

jiji f

N 1

12/1

1

2)(1

N

jiiji f

N

3/1

1

3)(1

N

jiiji f

Ns

Histogram (broj pikselaodređene boje)

Original image LENA













Obeležja dominantne bojeObeležja dominantne boje su najpodesnija za predstavljanje lokalnih karakteristika slike, objekta ili regiona kada je mali broj boja dovoljan da pruži informaciju o boji u regionu od interesa

U cilju izdvajanja malog broja reprezentativnih boja u svakom regionu/objektu/slici, primenjuje se kvantizacija.

Histogrami boje u HSV i YCbCr prostorima Histogrami boje u HSV i YCbCr prostorima se koriste zbog veoma dobre predstave obeležja boje i sličnosti sa ljudskim opažajnim sistemom.

Odlikuje ih i ‚‚razumno” vreme obrade. Pokazali su dobre karakteristike kod pretraživanja na osnovu zadate slike





Vektor povezanosti boja (CCV = color coherence vector)Unošenje informacije o prostornoj povezanosti u kolor histogram može se ostvariti pomoću vektora povezanosti boja (CCV).

Korelogram bojaKorelogram boja je alternativni deskriptor za karakterisanje prostorne korelisanosti parova boja. Korelogram boja se daje u vidu tabele koja sadrži parove boja, a kao treća kordinata je njihova prostorna udaljenost





TeksturaTeksturaTekstura je drugo značajno obeležje slike. Ono je veoma subjektivno:Možemo jednostavno da razlikujemo teksturu šljunka odteksture peska, ili trave, ali se teško matematički opisuje.

Obeležja Obeležja teksture teksture iz Gabor transformacijeiz Gabor transformacijeRadovima David Hubel-a i Torsten Nils Wiesel-akrajem 70-tih godina prošlog vekapokazano je da je struktura vizuelnog korteksa kod sisara takva da sedetektuju ivice objekata određenih diskretnih pravaca (dobili su Nobelovu nagradu 1981. godine)





Proste ćelije u vizuelnom korteksu mogu se modelovatiGabor-ovim funkcijama koje omogućavaju vremensko-frekvencijsku analizu 1D signala, odnosno, prostorno-frekvencijsku analizu 2D signala

)(2

)(

2

)(

002

20

2

20

21),( yxj

yyxx

yxeeyxg yx

(x0,y0) centar receptivnog polja u prostornom domenu (x,y),(0,0) optimalne prostorne frekvencije po x i y pravcu,x i y standardne devijacije eliptične Gausove anvelope po x i y pravcu





Ansambl Gabor wavelet-a u prostornom domenu, sa korakom rotacije od /8 sa 1.5 dB oktavnim propusnim opsegom





Obeležja iz ko-okurentne matriceObeležja iz ko-okurentne matriceJedan od najstarijih načina opisivanja teksture (Haralick, 1973).To je neka vrsta združenog histograma: sadrži elemente koji predstavljaju broj parova piksela sa specifičnim nivoom intenziteta (u skali sivog) koji su na određenom rastojanju i pod određenim uglom (nagibom u odnosu na x-osu).Ko-okurentna matrica je simetrična, dimenzije jednake broju nivoa sivog slike koja se razmatra (obično 64, ili svega 16 nivoa).Posmatra se samo najbliža okolina piksela (d=1) kada se koriste 4 različita pravca: 0, p/4, p/2 i 3p/4.





Primeri iz Brodatz baze (1968) i odgovarajuće ko-okurentne matrice





Obeležja dominantne teksture Obeležja dominantne teksture su veoma podesna za prepoznavanje regiona na slici koji imaju pretežno homogenu strukturu.

Najbolje rezultate postiže u kombinaciji sa deskriptorom histograma ivica – ljudski vizuelni sistem najbolje opaža ivice i regione.

Gray-level co-occurence matrica (texture browsing descriptor) Gray-level co-occurence matrica (texture browsing descriptor) je naročito podesan za pretraživanje baze slika na osnovu upitne slike.

Ovaj deskriptor je veoma malih dimenzija što je bitno sa stanovišta brzine pretrage.





Deskriptor histograma ivicaDeskriptor histograma ivica predstavlja prostornu raspodelu pet tipova ivica.

Koristi se za pretragu na osnovu zadate slike, naročito kod prirodnih slika sa neuniformnim rasporedom ivica (daje dobre rezultate čak i kada se koristi samostalno).

Rezultati se mogu znatno popraviti ukoliko se koristi zajedno sa npr. deskriptorima histograma boje.

Pri izboru obeležja u posmatranom CBIR sistemu vodilo se računa o dva protivrečna zahteva: (1) kvalitetno opisivanje i

(2) brzina pretrage





Opisivanje oblikaOpisivanje oblikaKorisno jer daje veoma tačan opistačan opis sadržaja slike, aliZahteva se prethodna segmentacija slikesegmentacija slike (dugotrajan proces).

Furijeovi deskriptoriFraktalni pokazatelji (fraktalni indeks)Faktori oblika: velika i mala osa, ekscentricitet, odnos obima i

površine, ... – naročito pogodno za mašinsku klasifikaciju





• Pretraživanje u CBIR sistemu može biti delimično ili potpuno automatizovano

• U cilju prevazilaženja semantičkog jazasemantičkog jaza (semantic gap) u CBIR sistem se uvodi intervencija korisnika (relevance feedback)

• Pozitivni i negativni primeri koriguju FV upitne slike pomerajući ga KA centru klastera relevantnih i OD centra klastera nerelevantnih slika

• Povratna sprega sa korisnikom se realizuje uz pomoć neuralnih mreža i/ili fuzzy sistema.





Grupa za Digitalnu obradu slike, telemedicinu i multimediju (IPTM)sa ETF-a u Beograduje od početka (okt. 2004) uključena u evropski projekat COST 292.Grupa IPTM je objavila veliki broj radova na konferencijama(16 na međunarodnim konferencijama i 14 na domaćim) iu časopisima (2 rada u časopisima sa SCI liste):G. Zajić, N. Kojić, V. Radosavljević, M. Rudinac, S. Rudinac, N..Reljin, I. Reljin, B. Reljin,“Accelerating of image retrieval in CBIR system with relevance feedback”,EURASIP Journal of Signal Processing, Volume 2007 (2007), Article ID 62678, 13 pages.I. Reljin, A. Samčović, B. Reljin, “H.264/AVC compressed video traces: Multifractal and fractal analysis”,EURASIP Journal of Applied Signal Processing, Vol. 2006, Article ID 75217, pages 1-13, 2006G. Zajić, N. Kojić, Nikola Reljin, B. Reljin, „Experiment with reduced feature vector in CBIR systemwith relevance feedback”, in Proc. 5th IET Visual Information Engineering 2008 Conference (VIE'08),Xi’an, China, 29 July – 01 Aug, 2008S. Rudinac, G. Zajić, M. Ušćumlić, M. Rudinac, B. Reljin, “Comparison of CBIR systems with differentnumber of feature vector components”, 2nd International Workshop on Semantic Media Adaptation andPersonalization, SMAP-07, December 17-18, 2007, London, United KingdomG. Zajić, N. Kojić, V. Radosavljević, S. Čabarkapa, B. Reljin, “Feature vector reduction in CBIR systemwith relevance feedback”, in Proc. 13 Int. Conf. on Systems, Signals and Image Processing, IWSSIP-06,pp. 479 482, Budapest, Hungary, 21-23 September, 2006





CBIR sistemCBIR sistem razvijen od strane IPTM grupe sa ETF-a u Beogradu:

• CBIR sistem ‚‚klasične” strukture

• Za svaku sliku iz baze se najpre izračunava vektor obeležja

• Vektor obeležja u posmatranom sistemu je inspirisan deskriptorima uvedenim u MPEG 7, i inicijalno ima J = 556 koordinata, a sastoji se od 7 grupa koje opisuju boju, linije i teksturu

• Izbor obeležja je izvršen tako da se omogući kvalitetno pretraživanje relativno velikih baza slika





Korisnik

GUI Formiranje upita

Formiranje i/ili korigovanje

vektora obeležja

Baza slika

Formiranje matrice obeležja

Poređenje sličnosti

Rezultat poređenja

Povratna sprega korisnika

Blok šema CBIRsistema sa povratnomspregom korisnikarazvijenog od straneGrupe IPTMsa ETF-a u Beogradu





U posmatranom CBIRCBIR sistemu koristi se 7 različitih grupa obeležja:

1. Dominantne boje u HSV sistemu (32 koordinate)

2. Dominantne boje u YCbCr sistemu (32 koordinate)

3. Histogram boje u HSV sistemu (164 koordinate)

4. Histogram boje u YCbCr sistemu (177 koordinata)

5. Histogram ivica (73 koordinate)

6. Obeležja dominantne teksture (Gabor transformacija) (62 koor.)

7. Gray-level co-occurence matrica (16 koordinata)

Vektor obeležja u posmatranom sistemu ima 556 koordinata





556-componenata FV na osnovu MPEG 7 deskriptora:Boja (405 komponenata: 32+32 za dominantne boje u HSV i YCbCr prostoru, 164+177za kolor histogram HSV i YCbCr); Tekstura/oblik (151 komponenta):Pravci linija (73 komp., Tekstura: Gabor wavelet koeficienti (62), co-occurrence (16)

Typičan oblik FV-aZa slike izCorel 60K baze

Plaža

Voz





Princip pretraživanja CBIR sistemom:Princip pretraživanja CBIR sistemom:

• Zadaje se upitna slika

• Prvi korak je objektivna mera sličnosti (rastojanja) FV upitne slike i slika iz baze koje su prethodno pripremljene

• Na osnovu objektivne mere sličnosti korisniku se nudi set (20) slika najsličnijih upitnoj

Korisnik, na osnovu subjektivnog mišljenja, definiše i anotira koje su slike iz ponuđenog seta relevantne, a koje nisu





• Na osnovu pozitivnih i negativnih primera kreira se novi, modifikovani vektor obeležja upita

• Modifikovani vektor obeležja ažurira parametre RBF neuralne mreže (sa radijalnom osnovom): poziciju centra (ka relevantnim, a od nerelevantnih) i strminu (osetljivost)

• Slike se porede sa korigovanim FV

• Korisniku se nudi novi set slika na ocenjivanje

• Procedura se ponavlja do postizanja željenog rezultata





ProblemiPočetno pretraživanje je vremenski zahtevno, posebno ako se

radi sa velikim bazama slika.Primena velikih FV nije uvek i bolje rešenje – postoji

‘prokletstvo dimenzije’: puno nedominantnih komponenata u FV može da izazove maskirajući efekat i pogrešno pretraživanje.

U našim radovima smo sugerisali nekoliko načina za ubrzanje pretraživanja, bez znatnije degradacije tačnosti pretraživanja

Ovde ćemo, ukratko, opisati dva osnovna načina:1. Formiranje klastera sličnih slika i2. Redukcija vektora obeležja





Korišćenje klastera sličnih slikaSlike sličnog sadržaja se grupišu u klastere. Svaki klaster se opiše reprezentativnm elementom, i upitna slika se poredi sa reprezentativnim elementima klastera, a ne sa svim slikama iz baze. Ujedno, klasteri se adaptivno formiraju prema datom upitu, a na osnovu subjektivne reakcije korisnikaV. Radosavljević, N. Kojić, S. Čabarkapa, G. Zajić, I. Reljin, B. Reljin, “An image retrieval system with user’s relevance feedback”, in Proc. WIAMIS-2006, pp. 9-12, Incheon, Korea, April 19-21, 2006M. Jankovic, G. Zajic, V. Radosavljevic, N. Kojic, N. Reljin, M. Rudinac, S. Rudinac, B. Reljin, "Minor component analysis (MCA) applied to image classification in CBIR system", in Proc. 8th Conf. NEUREL 2006, pp. 11-16, Belgrade, Serbia, Sept. 25-27, 2006





Redukcija vektora obeležja

Dva pristupa

U prvom slučaju startuje se od kompletnog FV sa 556 komponenata, pa se posmatraju amplitude komponenata za dati upit i odbacuju se nedominantne komponente. Pokazano je da se sa svega oko 10% komponenata (oko 55-57, od 556) dobija veoma dobro pretraživanje. Ujedno, pretraživanje može biti i tačnije, jer se ostvaruje bolji balans između komponenata koje opisuju boju i teksturuG. Zajić, N. Kojić, V. Radosavljević, M. Rudinac, S. Rudinac, N. Reljin, I. Reljin, B. Reljin, “Accelerating of image retrieval in CBIR system with relevance feedback”, EURASIP Journal of Advances in Signal Processing, Vol. 2007, 1-13, 2007





Redukcija vektora obeležja

U drugom pristupu, koristili smo unapred definisanih 25 FV komponenata koje opisuju boju i teksturu (prva tri momenta za H, S i V komponente boja i svih 16 koeficijenata iz ko-okurentne matrice)S. Rudinac, G. Zajić, M. Ušćumlić, M. Rudinac, B. Reljin, „Comparison of CBIR systems with different number of feature vector components“, in Proc. Workshop SMAP 2007, London, UK, Dec. 17-18, 2007

U radu objavljenom nedavno na konferenciji VIE-2008 (Xi’an, Kina), koristili smo 24 FV komponenata koje opisuju boju i teksturu na bazi globalne statistike inicijalnih deskriptora iz FV-a sa 310 komponenata (ne koriste se YCbCr opisivači):162 kolor (COL) komponenata iz HSV prostora (kolor histogram kodovan sa 18x3x3) i148 komponenata koje opisuju orijentaciju linija i teksturu:histogram orijentacija linija (LIN) (72 components),Gabor (GAB) wavelet koeficijenti (60 komponenata: 6 pravaca sa 5 skala, od kojih je svaka opisana pomoću srednje vrednosti i standardne devijacije) ikoeficijenti iz ko-okurentne (COO) matrice (16 komponenata: 4 ugla, svaki sa 4 komponente: energija, entropija, kontrast i inverzni momenti).





CBIR sistem sa redukcijom FVRedukovane kolor (COL) komponente (6 komp.)Od 162 komponenata iz HSV kolor histograma, prve tri dominantne, DC1, DC2 i DC3, se direktno koriste u redukovanom FV.Naredne tri komponente opisuju sudelovanje (značaj) komponenata DC1, DC2 i DC3 unutar prvih 8 dominantnih komponenata:

Redukovane orijentacije linija (LIN) (6 komp.)Slično kao COL: iz 72 komponente orijentacija linija, prve tri dominantne, DL1, DL2 i DL3, se direktno koriste, a preostale tri (RL1, RL2, RL3) opisuju sudelovanje komponenata DL1, DL2 i DL3 unutar prvih 8 dominantnih komponenata.

22 )81(...)21(18

11 DCDCDCDCRC

22 )82(...)32(28

12 DCDCDCDCRC

22 )83(...)43(38

13 DCDCDCDCRC





Redukovane Gabor (GAB) komponente (4 komp.)Od 30 srednjih vrednosti i 30 standardnih devijacija GAB wavelet koeficijenata, računaju se njihove srednje vrednosti i st.dev.:Srednja vrednost od sred. vrednosti (GMM), standardna devijacija od sred.v. (GSM), Srednja vrednost od st. dev. (GMS), i st. dev. od standardnih devijacija (GSS).

Redukovane co-okur. (COO) komponente (8 komp)Od inicijalnih 16 članova, mean and standard deviation za svaku od 4 komponenata:Energija (MENG, SENG), entropija (MENT, SENT), kontrast (MCON, SCON), i inverzni momenti (MINM, SINM),za razmatrana 4 pravca: 0, 45, 90 i 135 stepeni..





Dodatno ubrzanje postupkaPre pretraživanja korisnik bira grupu(e) obeležja (COL, LIN, GAB, i/ili COO) koja(e) će se koristiti u pretraživanju,i definiše njihove tolerancije J.Prvi korak pretraživanja je čisto objektivan, baziran na sličnosti (rastojanju) između FV upita (FVQ) i slika iz baze (FVD). Koristili smo Euklidsko rastojanje. FV komponente izabranih grupa: COL, LIN, GAB, i/ili COO, se porede nezavisno, i posle svakog poređenja se korisniku ponudi set od B objektivno najsličnijih slika na subjektivnu ocenu.Slike označene kao relevantne (R) se koriste u RF postupku.Pritom se ne pretražuju sve slike iz baze već se posmatraju samo one čiji se FV nalazi unutar postavljene tolerancije.





Vrši se prethodna selekcija slikaPosmatra se greška (odstupanje) j-te komponente FV u odnosu na upit:

jijji FVDFVQ ,, j-ta komponentaFV-a upita

j-ta komponentaFV-a i-te slike baze

Inicijalna tolerancija:0.005 za kolor, 0.001 za ostale

Kriterijum (*) se odvojeno primenjuje na COL, LIN, GAB, COO,obeležje.

(*)

<=0

Preskače se,0, jji Uzima se





Za COL (i LIN) pri inicijalnom pretraživanju se koriste samoprve tri dominantne komponente.Prvi prolaz, sve tri dominantne komponente DC1, DC2, DC3, trebada zadovolje uslov (*). Ako među T (T=50 kod nas) nema slikakoje ispunjavaju uslov (*), ponavlja se test za prve dvekomponente DC1, DC2. Ako ni tada nije zadovoljen uslov (*),posmatra se samo prva komponenta, DC1.Ako i dalje nema slika unutar prvih T slika, tolerancija se povećava i postupak se ponavlja. Za GAB i COO svih 4 + 8 komponenata se koristi pro testiranjuuslova (*), na sličan način (za prvih T slika).Dakle, za inicijalno (objektivno) pretraživanje najviše 18 FV komponenata se koristi: 3 COL, 3 LIN, 4 GAB, i/ili 8 COO.





Reakcija korisnikaZa svaku grupu obeležja (COL, LIN, GAB i/ili COO) korisnikoznačava relevantne slike (subjektivno slične upitnoj slici)

Označene slike se koriste u RF modulu kao i ranije.U RF procesu se koristi svih 24 komponenata:Dodaje se po 3 COL i 3 LIN komponenata koje se nisu koristileu inicijalnom (objektivnom) pretraživanju.





Query image

Prescribed tolerances

Retrieved imagesordered by objective similarity to a query

COL feature

LIN feature





GAB feature

COO feature





Upit

Relevantne slikeza svih 4 grupa

COL, LIN, GAB, COOposle inicijalnog prolaza

Preciznost P20=65%(13 od 20)





Posle prvog RF koraka.Upit 103 iz Corel 1K.Preciznost P20=100% (20 od 20)P30=86.6% (26 od 30 slika).





Sistem sa potpunim FV (556), prvi korak (objektivan) P20=20% Posle prvog RF P20=45%. U novom sistemu je bolji balans između komponenata boje i teksture.





Corel 1K class Full-FV (556 comp.) FVR1 ( 55) FVR2 (25) New FVR (24)

0 – 99 (Africa) 71.5 / 82.5 70.2 / 82.7 65.0 / 85.5 63.2 / 82.5

100 – 199 (Beaches) 34.0 / 56.0 46.2 / 61.8 56.5 / 64.5 45.3 / 62.2

200 – 299 (Monuments) 40.0 / 63.5 39.5 / 63.7 35.0 / 59.0 41.2 / 68.5

300 – 399 (Busses) 67.5 / 88.0 69.2 / 91.2 69.5 / 92.5 69.8 / 91.3

400 – 499 (Dinosaurs) 100 / 100 99.3 / 100 96.5 / 100 98.2 / 100

500 – 599 (Elephants) 54.0 / 77.5 53.5 / 76.7 49.0 / 75.0 53.4 / 80.3

600 – 699 (Flowers) 67.0 / 99.5 62.0 / 87.1 60.5 / 82.0 61.7 / 77.4

700 – 799 (Horses) 78.5 / 86.0 77.6 / 89.2 78.5 / 94.0 77.8 / 88.3

800 – 899 (Mountains) 30.0 / 54.0 34.4 / 59.8 37.0 / 65.5 38.2 / 67.4

900 – 999 (Cookies) 56.0 / 74.5 52.3 / 81.7 48.5 / 73.0 49.3 / 75.8

Total 59.9 / 78.2 60.4 / 79.4 59.6 / 79.1 59,8 / 79.4

Poređenje ovog sistema sa FV redukcijom (New FVR) sa našim ranijim CBIR sistemima.Preciznost P20 = R/20 (u %) se posmatra kao mera kvaliteta.Prvi broj: objektivna mera; drugi broj: posle prvog RF prolaza.





Rezultati simulacija:Rezultati simulacija:Simulacije su izvršene na tri baze slika:

• TrecVid baza slika – sastoji se od 79484 slike koje predstavljaju RKF (reference key frames) video materijala vesti na engleskom, kineskom i arapskom jeziku.

• Corel dataset – ‘mala’ baza od 1000 slika svrstanih po sličnosti u 10 klasa

• MIT baza slika





Slika 1: Rezultati simulacije CBIR sistema na TrecVid bazi od oko 80.000 slikaSlika 1: Rezultati simulacije CBIR sistema na TrecVid bazi od oko 80.000 slika





Slika 2: Rezultati simulacije CBIR sistema na Corel bazi od 1000 slikaSlika 2: Rezultati simulacije CBIR sistema na Corel bazi od 1000 slika





















Zaključak:Zaključak:

• CBIR sistem kao i sve njegove modifikacije koje je predložila IPTM grupa sa Elektrotehničkog fakulteta u Beogradu, pokazuje dobre karakteristike na Corel i TrecVid bazama podataka.

• Već nakon 2-3 iteracije najveći broj slika iz baze, sličnih upitnoj, biva pronađen.

• Vreme pretrage je, u poređenju sa sličnim sistemima, znatno manje.

• Očekuje se da će realizacija u C++ dati još manje vreme odziva.





• Korisniku se mora dati mogućnost da definiše scenario pretraživanja tj. da li želi da pretražuje bazu po, npr.: regionima, objektima, pozadinama ili po nekom drugom kriterijumu.

• Dalji rad na CBIR sistemu će ići u pravcu kvalitetnijeg prepoznavanja regiona i objekata u slici (segmentacija).

• Težiće se ka pronalaženju optimalnog broja i dimenzija obeležja u cilju brze ali efikasne pretrage.

• Već imamo varijante sa redukcijom vektora obeležja, sa klasterizacijom slika, klasterizacijom vektora obeležja, …





IPTM grupaIPTM grupa

Elektrotehnički fakultet - Beograd

Documents

Pretra živanje velikih baza slika (CBIR) Branimir Reljin IPTM grupa Elektrotehnički fakultet