Učenie v Image Učenie v Image RetrievalRetrieval

Miroslav PichMiroslav Pich

Ako pracuje IR system s Ako pracuje IR system s učenímučením??

1. 1. Aplikácia poskytne Aplikácia poskytne počiatočný výsledok na dotaz počiatočný výsledok na dotaz pomocoupomocou Kľúčového slováKľúčového slová NáčrtuNáčrtu VzoruVzoru

2. Užívateľ ohodnotí výsledok2. Užívateľ ohodnotí výsledok 3. Aplikácia sa poučí a vráti 3. Aplikácia sa poučí a vráti

lepší výsledoklepší výsledok

Dotaz pomocou vzoruDotaz pomocou vzoru

Vyberie sa vzor, ktorý sa poskytne Vyberie sa vzor, ktorý sa poskytne systému pre získanie podobných systému pre získanie podobných obrazovobrazov

Dotaz

CBIRCBIR

“Nájde podobne obrazy”

Výsledok

Relevance FeedbackRelevance Feedback

Užívateľ ohodnotí obrázky z Užívateľ ohodnotí obrázky z posledného dotazuposledného dotazu

Systém si upraví svoje parametre Systém si upraví svoje parametre tak, aby pri ďalšom dotaze vrátil tak, aby pri ďalšom dotaze vrátil lepšie výsledkylepšie výsledky

Počiatočný vzor

1. Výsledok

Dotaz

2. Výsledok

Feedback Feedback

Extrahovanie vlastnostíExtrahovanie vlastností

FarbaFarba TextúraTextúra ŠtruktúraŠtruktúra TvaryTvary ......

Vizuálna podobnosťVizuálna podobnosť

Ako vyjadriť Ako vyjadriť ““podobnosťpodobnosť”” pomocou pomocou týchto vlastnostítýchto vlastností??

Podobnosť je subjektívna a závisí na Podobnosť je subjektívna a závisí na kontexte vyhľadávaniakontexte vyhľadávania

Extrahované vlastností sú nízko Extrahované vlastností sú nízko úrovňové.úrovňové. Nedokážu popísať, čo obraz zobrazujeNedokážu popísať, čo obraz zobrazuje Medzera medzi sémantickým významom Medzera medzi sémantickým významom

a extrahovanými vlastnosťamia extrahovanými vlastnosťami

Ktoré vlastností sú Ktoré vlastností sú dôležitédôležité??

Ak budeme vyhľadávať auta, tak pre Ak budeme vyhľadávať auta, tak pre nás bude dôležitejší tvar ako farbanás bude dôležitejší tvar ako farba

Naopak, ak budeme vyhľadávať Naopak, ak budeme vyhľadávať západ slnka, tak pre nás bude západ slnka, tak pre nás bude dôležitejšia farba ako tvardôležitejšia farba ako tvar

Váha jednotlivých vlastností sa bude Váha jednotlivých vlastností sa bude meniťmeniť

Ako meniť váhu Ako meniť váhu vlastnostívlastností??

ManuálneManuálne Užívateľ zadá špecifické hodnoty pre Užívateľ zadá špecifické hodnoty pre

jednotlivé vlastnostíjednotlivé vlastností 3030% % farba, 50farba, 50%% tvar ... tvar ...

Veľmi ťažko sa určuje presná hodnotaVeľmi ťažko sa určuje presná hodnota AutomatickýAutomatický

Program si Program si ““všimnevšimne”” na ktoré vlastnosti na ktoré vlastnosti kladie užívateľ dôraz.kladie užívateľ dôraz.

Váhová maticaVáhová matica

Z Z dotazu systém určí váhovú maticu dotazu systém určí váhovú maticu W, pomocou ktorej sa počíta W, pomocou ktorej sa počíta podobnosťpodobnosť..

výsledokdotaz

CBIRCBIR

spočítanie W

distance(x ,

y ) (

x

y )T W (

x

y )

Ako spočítať WAko spočítať W??

Žiadne negatívne vzory Žiadne negatívne vzory (1-class)(1-class) Pozitívne a negatívne vzory Pozitívne a negatívne vzory (2-class)(2-class) Jedna pozitívna a veľa negatívnych Jedna pozitívna a veľa negatívnych

tried tried (1+x)-class(1+x)-class Veľa pozitívnych a veľa negatívnych Veľa pozitívnych a veľa negatívnych

tried tried (x+y)-class(x+y)-class

Dostupne iba relevantne Dostupne iba relevantne obrazyobrazy

Chceme pridať väčšiu váhu Chceme pridať väčšiu váhu vlastnostiam v ktorých jednotlivé vlastnostiam v ktorých jednotlivé vzory čo najmenej líšia. vzory čo najmenej líšia.

Použijeme rozptylPoužijeme rozptyl Vlastnosti s malým rozptylomVlastnosti s malým rozptylom

Základne vlastnostiZákladne vlastnosti Zvýšime im váhuZvýšime im váhu

One class Relevance One class Relevance FeedbackFeedback

Spočíta sa rozptyl pre relevantné Spočíta sa rozptyl pre relevantné vzoryvzory

Inverzná hodnota rozptylu sa použije Inverzná hodnota rozptylu sa použije ako váha ako váha

Týmto spôsobom sa zvýši váha pre Týmto spôsobom sa zvýši váha pre dôležité vlastnosti dôležité vlastnosti

W

1/12 0

1/ 22

1/ 32

0 1/ k

2

W je k x k diagonálna matica

Problém dvoch triedProblém dvoch tried

Fisher’s Discriminant Analysis (FDA)Fisher’s Discriminant Analysis (FDA)

Nájde W ktoré...Nájde W ktoré... Minimalizuje Minimalizuje

rozptyl pre každú rozptyl pre každú triedutriedu

Maximalizuje Maximalizuje rozptyl medzi rozptyl medzi klastramiklastrami

Problém dvoch triedProblém dvoch tried

Cieľová funkciaCieľová funkcia:: W je úplná W je úplná

maticamatica

W argmaxW

W T SBW

W T SWW

SB Between Scatter Matrix

SW Within Scatter Matrix

SW jgroup # i(x j mi)(x j mi)T

i1

2SB (m1 m2)(m1 m2)T

m1,m2mean of each class

Problém dvoch triedProblém dvoch tried

Problém je redukovaný na nájdenie Problém je redukovaný na nájdenie vlastných číselvlastných čísel

SB wi iSW wi

W 1/ 2

diagonal matrix of eigenvalues

eigenvectors

RozšírenieRozšírenie

Pozitívne vzory sú väčšinou z jednej Pozitívne vzory sú väčšinou z jednej triedy ako napríklad kvetytriedy ako napríklad kvety

Negatívne vzory môžu byť z Negatívne vzory môžu byť z mnohých tried, ako napríklad auta, mnohých tried, ako napríklad auta, pomaranče, žirafy ....pomaranče, žirafy ....

Nieje vhodné predpokladať, že Nieje vhodné predpokladať, že negatívne vzory sú z jednej triedynegatívne vzory sú z jednej triedy

(1+x)-Class (1+x)-Class problémproblém

Biased Discriminant AnalysisBiased Discriminant Analysis Negatívnym vzorom môže byť Negatívnym vzorom môže byť

akýkoľvek obrazakýkoľvek obraz Každý negatívny obraz ma vlastnú Každý negatívny obraz ma vlastnú

skupinuskupinupozitívnepozitívne

negatívnenegatívne

SW (x m)(x m)T

xpositive

SB (x m)(x m)T

xnegative

mmean of positive class

(x+y)-Class (x+y)-Class problémproblém

Group BDA algoritmusGroup BDA algoritmus Viacnásobné kladné triedyViacnásobné kladné triedy Izolované negatívne triedyIzolované negatívne triedy

pozitívnepozitívne

negatívnenegatívne

SW i xi(x mi)(x mi)T

SB (y mi)(y mi)T

ynegative

i

mimean of positive class i

PicSOMPicSOM

Je to systém založený na neurónových sieťach.Je to systém založený na neurónových sieťach. Využíva SamoVyužíva Samo--Organizujúce mapy.Organizujúce mapy. Obrazy sú organizované do dvojrozmernej Obrazy sú organizované do dvojrozmernej

mriežky tak, že podobné obrazy sú blízko seba. mriežky tak, že podobné obrazy sú blízko seba. PicSOM využíva SOM so stromovou štruktúrou PicSOM využíva SOM so stromovou štruktúrou

(TS-SOM)(TS-SOM) TSTS-SOM -SOM je vytvorený pre každý príznakový je vytvorený pre každý príznakový

vektor.vektor. Tieto mapy sú paralelne použité pri Tieto mapy sú paralelne použité pri

vyhodnocovaní výsledkuvyhodnocovaní výsledku

PicSOMPicSOM

V prvom kroku sú vybrané obrazy z V prvom kroku sú vybrané obrazy z najvrchnejšej vrstvynajvrchnejšej vrstvy

Postupne sú vyberané z nižších Postupne sú vyberané z nižších vrstiev, tým sa dotaz spresňuje vrstiev, tým sa dotaz spresňuje

Nakoniec by sa mal užívateľ dostať k Nakoniec by sa mal užívateľ dostať k tomu, čo hľadá.tomu, čo hľadá.

Učenie v PicSOMUčenie v PicSOM

PicSOM reaguje na odozvu od PicSOM reaguje na odozvu od užívateľa užívateľa

Všíma si, či sú vybrané obrazy v Všíma si, či sú vybrané obrazy v samoorganizujucej mape blízko. samoorganizujucej mape blízko. Ak áno, zvýši váhu príznaku, ktorý táto Ak áno, zvýši váhu príznaku, ktorý táto

mapa reprezentujemapa reprezentuje

COSIMIRCOSIMIR

COSIMIR COSIMIR = Cognitive SIMilarity = Cognitive SIMilarity Learning in Information RetrievalLearning in Information Retrieval

Neurónová sieť so spätným šírenímNeurónová sieť so spätným šírením Dokáže sa naučiť komplexné vzťahy Dokáže sa naučiť komplexné vzťahy

medzi jednotlivými obrazmimedzi jednotlivými obrazmi Vyžaduje veľa trénovacích vzorovVyžaduje veľa trénovacích vzorov Dosiahli sa dobre výsledky s Dosiahli sa dobre výsledky s

krátkymi vektormikrátkymi vektormi

COSIMIRCOSIMIR

Aké vzory poskytovať Aké vzory poskytovať užívateľoviužívateľovi??

Stále tie najlepšie, tj. najbližšie k Stále tie najlepšie, tj. najbližšie k dotazudotazu

VýhodyVýhody:: užívateľ môže kedykoľvek ukončiť užívateľ môže kedykoľvek ukončiť

vyhľadávanie a dostane najlepší vyhľadávanie a dostane najlepší výsledokvýsledok

NevýhodyNevýhody:: Pomalé učenie sa IR systémuPomalé učenie sa IR systému Veľa kladných vzorov a malo zápornýchVeľa kladných vzorov a malo záporných

Aké vzory poskytovať Aké vzory poskytovať užívateľoviužívateľovi??

Také z ktorých získa učiaci Také z ktorých získa učiaci algoritmus najviac informáciialgoritmus najviac informácii

VýhodyVýhody:: Rýchlejšia cesta k cieľuRýchlejšia cesta k cieľu Vhodné pre systémy, kde je užívateľ Vhodné pre systémy, kde je užívateľ

ochotný spolupracovaťochotný spolupracovať NevýhodyNevýhody::

Nieje priebežne poznať ako kvalitne Nieje priebežne poznať ako kvalitne výsledky je systém schopný poskytnúťvýsledky je systém schopný poskytnúť

show-me-the-result

ask-me-questions

Aké vzory poskytovať Aké vzory poskytovať užívateľoviužívateľovi??

najviac informačné obrazy sa vo sa vo všeobecnosti nezhodujú s všeobecnosti nezhodujú s najviac pozitívnymi

najviac pozitívne obrazy často už často už boli ohodnotené a zvyknú kolerovať s boli ohodnotené a zvyknú kolerovať s obrazmi ktoré už boli ohodnotenéobrazmi ktoré už boli ohodnotené

SVM active learning SVM active learning algorithmalgorithm

SVM SVM (Support vector machine)(Support vector machine) Jeden z typov učiaceho sa strojaJeden z typov učiaceho sa stroja Pomocou trenovacích vzorov vytvára Pomocou trenovacích vzorov vytvára

rozhodovacie pravidlarozhodovacie pravidla Tieto pravidla potom môžu byť použite Tieto pravidla potom môžu byť použite

na klasifikáciu neoznačených obrazovna klasifikáciu neoznačených obrazov

SVMSVM

SVM active learning SVM active learning algorithmalgorithm

Cieľom je vybrať také vzory, aby sa čo Cieľom je vybrať také vzory, aby sa čo najviac minimalizoval priestor, kde sa najviac minimalizoval priestor, kde sa môžu nachádzať hľadané obrazymôžu nachádzať hľadané obrazy

Snahou je tento priestor Snahou je tento priestor pozitívnych obrazovobrazov pri každej iterácii zmenšiť na pri každej iterácii zmenšiť na polovicupolovicu

Body na hranici klastrov vytvorených Body na hranici klastrov vytvorených pomocou SVM dokážu výrazne pomocou SVM dokážu výrazne redukovať tento priestorredukovať tento priestor

SVM active learning SVM active learning algorithmalgorithm

SVM active learning SVM active learning algorithmalgorithm

SVM active learning SVM active learning algorithmalgorithm

Aké vzory poskytovať Aké vzory poskytovať užívateľoviužívateľovi??

Veľmi vhodné je preto kombinovať Veľmi vhodné je preto kombinovať ako výsledok vyhľadávania ako výsledok vyhľadávania pozitívne s informatívnymi obrázkami.. Užívateľ tým získa pocit, že aplikácia Užívateľ tým získa pocit, že aplikácia

hľadá to čo má.hľadá to čo má. ...a zároveň sa urýchli proces učenia...a zároveň sa urýchli proces učenia

Ďakujem za pozornosťĎakujem za pozornosť

Dotazy