Ανάκτηση 3Δ Μοντέλων βάσει Περιεχομένου: Μια Υβριδική...

Ανάκτηση 3Δ Μοντέλων βάσει Περιεχομένου:Μια Υβριδική Προσέγγιση

Παπαδάκης Παναγιώτης

Δομή Παρουσίασης

Εισαγωγή Περιγραφή της Υβριδικής προσέγγισης

Κανονικοποίηση θέσης Υπολογισμός 2Δ χαρακτηριστικών Υπολογισμός 3Δ χαρακτηριστικών Συμπίεση χαρακτηριστικών Σύγκριση χαρακτηριστικών

Αξιολόγηση - Αποτελέσματα Επίδειξη μεθόδου

Εισαγωγή Εξελιγμένα εργαλεία λογισμικού Εξάπλωση του διαδικτύου Πρόοδος τεχνολογίας 3Δ σάρωσης

Αριθμός3Δ μοντέλων

Αναζήτηση με χρήση λέξεων

κλειδιών => ανεπαρκής. «Μια εικόνα είναι 1000 λέξεις»

Ένα 3Δ σχήμα;

Ανάγκη ανάπτυξης μεθόδων ανάκτησης 3Δ μοντέλων βάσει περιεχομένου

Εισαγωγή

Μέθοδοι ανάκτησης 3Δ μοντέλων βάσει περιεχομένου

Βήματα:

Υποβολή παραδείγματος – query 3Δ μοντέλου από το χρήστη. Εξαγωγή χαρακτηριστικών που περιγράφουν το σχήμα του query και

ενσωμάτωση της πληροφορίας σε ένα περιγραφέα 3Δ σχήματος. Μέτρηση ομοιότητας των μοντέλων χρησιμοποιώντας τους

αντίστοιχους περιγραφείς σχήματος. Προβολή αποτελεσμάτων αναζήτησης.

Περιγραφή της Υβριδικής ΠροσέγγισηςΚανονικοποίηση θέσης (1)

Κατά τη σύγκριση 3Δ μοντέλων, θεωρούμε ότι το μέτρο ομοιότητας είναι ανεξάρτητο από το μέγεθος, τη μετατόπιση και τον προσανατολισμό του μοντέλου.

Κάθε μοντέλο κανονικοποιείται ως προς τη θέση του πριν την εξαγωγή των χαρακτηριστικών.

Περιγραφή της Υβριδικής ΠροσέγγισηςΚανονικοποίηση θέσης (2)

Κανονικοποίηση ως προς τον προσανατολισμό: Βήμα (b)-(c).Δεν υπάρχει βέλτιση μέθοδος για κάθε πιθανή κατηγορία 3Δ μοντέλων.

Η πιο διαδεδομένη μέθοδος είναι ο Continuous Principal Component Analysis (CPCA) => υπολογίζει τις πρωτεύουσες διευθύνσεις της επιφάνειας του μοντέλου και τις ευθυγραμμίζει με τους άξονες συντεταγμένων (D.V. Vranic).

N

1iiiiiiii

N

1iT

T

M

T

]3/)(9)()()([EE12

1

ds))((E

1ds))((

E

1i

CBAfCfBfAfC

mvmvmvmvCvv

T))(()(f , mvmvv

Περιγραφή της Υβριδικής ΠροσέγγισηςΚανονικοποίηση θέσης (3)

Ανάπτυξη νέας μεθόδου - Normals PCA (NPCA): Χρησιμοποιεί τον PCA αλγόριθμο πάνω στα κανονικά διανύσματα (normals) των τριγώνων του πολυγωνικού μοντέλου.

N

1i

TNliNlii

TNliNlii )()(E)()(E

E2

1mnmnmnmnC

N

1i

N

1i

Tiii

Tiii

Tiii E

E

1))()(EE(

E2

1nnnnnnC

N

1iiiiNl ))(EE(

E2

10nnm

Περιγραφή της Υβριδικής ΠροσέγγισηςΚανονικοποίηση θέσης (4)

NPCA - CPCA CPCA - NPCA

Χρήση NPCA και CPCAκαι εξαγωγή χαρακτηριστικών 2 φορές.

Υπολογισμός 2Δ Χαρακτηριστικών (1)

Γενικό σχήμα

Υπολογισμός 2Δ Χαρακτηριστικών (2)

Προβολή του μοντέλουστις πλευρές του κύβου

Υπολογισμός 6 depth buffers

Frontbuffer

Backbuffer

Υπολογισμός 2Δ Χαρακτηριστικών (3)

Έστω Dfi ο μπροστινός και Db

i o πίσω depth buffer,για τον i άξονα, i=x,y,z.

Αντί να χρησιμοποιήσουμε απευθείας τους καταχωρητές βάθους για κάθεάξονα, υπολογίζουμε το Ddif

i = Dfi - Db

i και το Dsumi = Df

i + Dbi.

Το Ddifi αντιπροσωπεύει το πάχος του μοντέλου στον i άξονα, ενώ

το Dsumi δεν έχει φυσική σημασία, αλλά το χρησιμοποιούμε για να μην

έχουμε απώλεια πληροφορίας.

Υπολογισμός 2Δ Χαρακτηριστικών (4)

Για κάθε Ddifi και Dsum

i, υπολογίζουμε το 2Δ μετασχηματισμό Fourier:

FFT of a depth buffer

1S

0x

1S

0yd S

nymxπ2jexp)y,x(D

S

1)n,m(F

)1nS,1mS(F)n,1mS(F

)1nS,m(F)n,m(F)n,m(F

dd

dd

Επιπλέον, αρθρίζουμε τις απόλυτες τιμές των συνιστωσών Fourier από τις 4ις άκρες, έτσι ώστε να έχουμε reflection invariance.

m

n

Υπολογισμός 2Δ Χαρακτηριστικών (5)

Κανονικοποίηση των συνιστωστώνFourier στην μοναδιαία L1 νόρμα.

Στάθμιση – weighting των συνιστωσώνπου αντιστοιχούν σε κάθε ζέυγος depth-buffers ανάλογα με τα principal directions που κωδικοποιούν, όπως αυτές υπολογίζονται απότην κανονικοποίηση του προσανατολισμού.

1st

2nd

3rd

2nd

3rd

1st

Υπολογισμός 3Δ Χαρακτηριστικών (1)

Υπολογισμός 3Δ Χαρακτηριστικών (2)

Δημιουργία ομόκεντρων κελυφών

Υπολογισμός τομών της επιφάνειαςτου μοντέλουμε τα κελύφη

Nf

1Nf

1f

.

.

.

Υπολογισμός 3Δ Χαρακτηριστικών (3)

1.wrl

Για κάθε σημείο τομής της επιφάνειας, συμπεριλαμβάνουμε όλες τα σημεία των κελύφων που εχουν ακτίνα μικρότερη από την απόσταση της τομής από το κέντρο.

1f

.

.

.

Nf

1Nf

2.wrl

Nf

1Nf

1f

.

.

.

Υπολογισμός 3Δ Χαρακτηριστικών (4)

Εφαρμογή του μετασχηματισμούσφαιρικών αρμονικών σε κάθε κέλυφος.

σύνολο από σφαιρικέςαρμονικές συνιστώσες για κάθε κέλυφος

1f

.

.

.

Nf

1Nf

Υπολογισμός 3Δ Χαρακτηριστικών (5)

0l

l

lm

ml )φ,θ(Y)m,l(f̂)φ,θ(f φimm

lm,lml e)θ(cosPk)φ,θ(Y

π

0

ml

π2

0

φimm,l

ml θdθsin)θ(cosPφde)φ,θ(fk)φ,θ(Y),φ,θ(f)m,l(f̂

1B2

0j

1B2

0kj

ml

φimkj

)B(j )θ(cosPe)φ,θ(fa

B2

π2)m,l(f̂ k

Σφαιρική συνάρτηση f(θ,φ) Σφαιρική αρμονική συνάρτηση βαθμού l και τάξης m

Συνιστώσα σφαιρικής αρμονικής (συνεχές πεδίο)

Συνιστώσα σφαιρικής αρμονικής (διακριτό πεδίο)

Υπολογισμός 3Δ Χαρακτηριστικών (5)

Κανονικοποίηση στην L1 νόρμα.

Στάθμιση σφαιρικών αρμονικών συνιστωσώναντιστρόφως ανάλογα προς το βαθμό l.

Βαθμωτή κβάντιση (scalar quantization) Κβάντιση του διαστήματος [0,1] σε 216 ίσα διαστήματα.

Χρήση μόνο των 210 πρώτων διαστημάτων όπου κβαντίζεται στατιστικά το 99,9% των χαρακτηριστικών.

Συμπίεση Χαρακτηριστικών (1)

Κωδικοποίηση Ηuffman των επιλεγμένων συμβόλων.

Τελικό ποσοστό συμπίεσης 92.6% (11.8 Kbyte ανά περιγραφέα σχήματος), χωρίς απώλεια διακριτικής ικανότητας της μεθόδου.

Συμπίεση Χαρακτηριστικών (2)

Περιγραφέας σχήματος μοντέλου i:

Σύγκριση μεταξύ των περιγραφέων σχήματοςδύο μοντέλων 1, 2:

Σύγκριση Χαρακτηριστικών

)Df3,Df3,Df2,Df2( NPCAi

CPCAi

NPCAi

CPCAii s

Df3Df221 distdist),(Dist ss

)Df2,Df2(Lmindist j2

j11

jDf2 )Df3,Df3(Lmindist j

2j

11j

Df3

NPCA ,CPCAj

Αξιολόγηση της απόδοσης της προτεινόμενης μεθόδου (Hybrid) στις παρακάτω βάσεις 3Δ μοντέλων:

MPEG-7 dataset (1300 models). Princeton Shape Benchmark (PSB) test dataset (907 models). National Taiwan’s University (NTU) classified dataset (549 models). D.V. Vranic’s (CCCC) classified dataset (472 models,

University of Konstanz). Engineering Shape Benchmark (ESB) dataset (866 models, Purdue

University). Shape Retrieval Contest 2006 (SHREC 2006).

Αξιολόγηση – Αποτελέσματα (1)

Gen

eric

Σύγκριση με τις state-of-the-art μεθόδους:

Light Field (LF) (Chen, National Taiwan University). Spherical harmonic representation of the Gaussian

Euclidean Distance Transform (SH-GEDT, Kazhdan, University of Princeton).

DSR472 (Hybrid method, Vranic, University of Konstanz).

Αξιολόγηση – Αποτελέσματα (2)

Χρήση διαγραμμάτων ακρίβειας – ανάκτησης.

Ακρίβεια – Precision: Το ποσοστό των σχετικών-relevant μοντέλων που ανακτώνται ως προς τον αριθμό των ανακτώμενων μοντέλων (σχετικών και μή σχετικών).

Ανάκτηση – Recall:Το ποσοστό των σχετικών-relevant μοντέλων που ανακτώνται ως προς τον συνολικό αριθμό των σχετικών μοντέλων.

Αξιολόγηση – Αποτελέσματα (3)

Αξιολόγηση – Αποτελέσματα (4)

Αξιολόγηση – Αποτελέσματα (5)

Αξιολόγηση – Αποτελέσματα (6) SHREC 2006:

Χρησιμοποιήθηκε το PSB test dataset. Αξιολόγηση χρησιμοποιώντας 30 query μοντέλα εκτός της βάσης, αλλά

σχετικών με τις κατηγορίες μοντέλων της βάσης.

Αξιολόγηση – Αποτελέσματα (7)Παραδείγματα ανάκτησης στο SHREC 2006, χρησιμοποιώντας την προτεινόμενη

μέθοδο Hybrid:

Επίδειξη Hybrid μεθόδου