Sidang Skripsi

GiaMuhammad | Jakarta, 8th October 2012Department of Computer Science, Faculty of Science and Technology - State Islamic University (UIN) Syarif Hidayatullah Jakarta

The good researcher is not “one who knows the right answers”But

“one who is struggling to find out what the right questions might be”(Phillips and Pugh, 2005)

“research is what i'm doing when i don't know what i'm doing” (wernher von braun)

SIDANG HASIL PENELITIAN


Tracking QR Code Augmented Reality dengan Penggabungan Marker Tradisional berbasis Backpropagation Neural NetworkQR CODE AUGMENTED REALITY TRACKING WITH MERGING ON TRADITIONAL MARKER BASED BACKPROPAGATION NEURAL NETWORK

OLEHGIA MUHAMAD AGUSTA109091000144

LatarBelakangObjek Penelitian

Mengapa QR Code Augmented Reality?QR Code Augmented Reality (QRAR) adalah Augmented Reality (AR) yang menerapkan QR Code sebagai marker-based untuk melakukan tracking.Dengan QR Code...o tidak memerlukan proses pre-registrationo memiliki jumlah kombinasi ID-encoded sebesar

107089 o dapat digunakan pada aplikasi AR yang publik(Kan, Teng, & Chou, 2009)


LatarBelakangObjek Penelitian

Mengapa Tracking?o Sebuah marker memerlukan ukuran yang tidak

kecil agar mudah melakukan tracking;o marker-based tracking memiliki komputasi

yang rendah dan;(Siltanen, 2012)

o memerlukan 6 Degree of Freedom (6DOF) pose tracking secara real-time dan akurat (Wagner & Schmalstieg, 2007)


LatarBelakangKelebihan dan Kelemahan Pada Metode yang ada

Deteksi QRFP dengan mekanisme perhitungan yang sederhana (Kan, Teng, & Chou, 2009)

o memiliki kecepatan tracking yang cukup rendaho memiliki keterbatasan 6DOF Pose tracking;o border pada QRFP yang sangat tipis untuk

mendeteksi ketiga QRFP secara bersamaan pada kondisi perspektif dan;

o Titik temu antara dua garis persamaan yang keluar dari QRFP juga memiliki ketidak-stabilan dikarenakan terlalu kecilnya QRFP dibandingkan ukuran marker pada biasanya



Contour Filtering (Wang, Shyi, Hou, & Fong, 2010)

o Deteksi dengan memiliki langkah yang sederhana

o Memiliki keterbatasan 6DOF o Menghabiskan waktu komputasi yang cukup

lama.



Binary Histogram dengan Optical Flow (Park, Lee, & Woo, 2011)

o Pendeteksian QRFP dengan binary histogram memiliki kecepatan tracking yang rendah

o kestabilan trackingo Tetapi harus melakukan assist terhadap planar

target, atau disebut hybrid tracking method (markerless dan marker-based).


LatarBelakangMasalah pada metode yang ada

Dengan Penggabungan Marker Tradisional dengan QR Code dapat menerapkan kelebihan/keunggulan tracking seperti pada ARToolKitKarena pendeteksian marker ARToolKit dapat terus melakukan tracking selama marker masih terdeteksi.Namun pada kondisi perspective distortion QRFP akan mengalami noise atau kerusakan citra, sehingga diperlukan ekstraksi fitur


LatarBelakangSolusi perbaikan metode

Backpropagation Neural Network (BPNN) atau disebut Jaringan Syaraf Tiruan (JST) Propagasi balik merupakan JST Multilayer Perceptron yang dapat menyelesaikanfungsi yang kompleks atau nonlinier, mudah digunakan dengan pembelajaran terawasi, sifatnya fault tolerance dan dapat mengenali pola


RumusanMasalaho Seberapa tinggi akurasi 6DOF Pose Tracking

setelah menggabungkan marker tradisional dengan memakai BPNN untuk deteksi QRFP pada QR Code?

o Apakah dengan penggabungan QR Code dengan marker tradisional, titik temu antara dua garis persamaan pada QR Code mendekati kestabilan marker tradisional?

o Bagaimana tingkat kecepatan deteksi frame per second atau tracking setelah menerapkan BPNN?


BatasanMasalaho Windows Platform.o Pengukuran

o 6 DOF Pose Tracking – Pitching, Yawing & Surgingo Kestabilan Markero Frame Per Second (fps) – Waktu Komputasi

o Fokus pada pendeteksian QRFP, tidak melakukan Decode QR

o Tidak melakukan modelling 3D dan Kalibrasi Kamera


TujuanPenelitianMenerapkan metode BPNN pada QR Code yang digabungkan dengan marker tradisional sehingga tracking QRAR dapat meningkat dan memenuhi karakteristik marker-based tracking.


MetodologiPenelitianMetode Pengumpulan Data

o Menemukan Ide dan masalah secara umum (Tracking QRAR) dan mencari informasi ilmu yang berkaitan (CV, IP, AR, ML dll)

o Melakukan percobaan pada penelitian “Applying QR Code in Augmented Reality Application”

Metode Kuantitatif1. Pengumpulan Data

a. Penggabungan Markerb. Digitalisasi & Deteksi Markerc. Proyeksi Perspektifd. Ektraksi Fitur

2. Analisis Data dengan BPNN3. Pengukuran (6DOF, Kestabilan, fps)4. Hasil


AlurPemikiranPenelitianMetode Kuantitatif

Pengukuran Data

Metode Pengumpulan Data

Pengambilan Data Training Set dan Test Set Analisis Data dengan BPNN

Penggabungan Marker

Digitalisasi

Deteksi Marker

Proyeksi Perspektif

Training

Testing

Ekstraksi Fitur

6 DOF

FPS

Morfologi

Grayscaling

Segmentasi

Studi Kepustakaan

Studi Literatur

Kestabilan

HASIL

Start End


PengumpulanData• Desain Pengumpulan Data – Non

Probabilityo Tidak dapat memprediksikan Populasi

Datao Peluang besar data anggota populasi

sebagai sampel tidak diketahui• Teknik Pengambilan Data

o Judgment untuk Training SetoConvienence untuk Test Set

Quantitative Method


PengumpulanData• Instrumen (Metode)

o Penggabungan Marker TradisionaloDigitalisasi & Marker Detectiono Perspective Projectiono Feature Extraction

• Instrumen (Fisik)o Logitech C270h HD720p

Quantitative Method


PenggabunganMarker• Standar ukuran

Pengumpulan Data - Quantitative Method


PenggabunganMarker• Algoritma/langkah penggabungan marker


1 2 3

4

567

Encode QR Kontur dengan 4 vertex Kontur Kotak

dengan derajat ±90o

Filter vertex

pada kontur

Mencari vertex terdekat dengan titik

0

Pemotongan QR Code

Penggabungan Marker


Digitalisasi• Resolusi 640x480



MarkerDetectionKecepatan rata-rata 0,64318ms



PerspectiveProjection• Proyeksi dan Resize ke 200x200 px


Pitching 37.69° & Yawing 15.97o

Pitching 75.30o & Yawing 52.2o

noise


FeatureExtraction• Morfologi

o Dilasio Erosi

• Grayscaling• Segmentation

o Thresholdingo ROIo Contouring



FeatureExtraction• Pemilihan Fitur

1. Persentase Warna Putih2. Persentase Warna Hitam3. Jumlah Kontur4. Graylevel dari daerah kontur5. Koordinat x letak Graylevel6. Koordinat y letak Graylevel



HasilPengumpulanPengumpulan Data - Quantitative Method


100 Sampe

l

100Sampel

QR Code

Non QR Code (Microsoft Tag)

5 Kondisi perspektif x 4 orientasi x 5 data sampel

6 variabel prediktor x 4 orientasi (perkalian digunakan untuk mentolelir klasifikasi) = 24

inputVariabel target 1 & 0 untuk QR Code

Variabel target 0 & 1 untuk non QR Code

HasilPengumpulanPengumpulan Data - Quantitative Method

1 9 17 25 33 41 49 57 65 73 81 89 970

20406080

100120

QR 1 QR 2 QR 3 QR 4

Non QR 1 Non QR 2 Non QR 3 Non QR 4

1 2 3 4 5

1 8 15 22 29 36 43 50 57 64 71 78 85 92 990

20406080

100120

QR 1 QR 2 QR 3 QR 4


1 2 3 4 5

1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 970

0.5

1

1.5

2

2.5

3

3.5 QR 1 QR 2 QR 3QR 4 Non QR 1 Non QR 2Non QR 3 Non QR 4

1 2 3 4 5

1 9 17 25 33 41 49 57 65 73 81 89 970

50100150200250300

QR 1 QR 2 QR 3 QR 4


1 2 3 4 5

1 9 17 25 33 41 49 57 65 73 81 89 970

50

100

150

200

QR 1 QR 2 QR 3 QR 4


1 2 3 4 5

1 8 15 22 29 36 43 50 57 64 71 78 85 92 990

50

100

150

200

QR 1 QR 2 QR 3 QR 4


1 2 3 4 5

1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 970

50

100

150

200

250

300

QR Code dengan Penggabungan Marker Tradisional

X1 X2 X3 X4 X5 X6X7 X8 X9 X10 X11 X12X13 X14 X15 X16 X17 X18X19 X20 X21 X22 X23 X24

Data SampelNila

i Eks

trak

si Fi

tur/

Targ

et In

put B

PNN

1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 970

50

100

150

200

250

300

Microsoft Tag sebagai Target non QR

X1 X2 X3 X4 X5 X6X7 X8 X9 X10 X11 X12X13 X14 X15 X16 X17 X18X19 X20 X21 X22 X23 X24

Data Sampel

Nila

i Eks

trak

si Fi

tur/

Targ

et In

put B

PNN


BackPropagation• Arsitektur

o 3 Layer (Input, Hidden dan Output)o 24 Neuron Inputo 105 Neuron Hiddeno 2 Neuron Outputo Sigmoid Activationo Nguyen Widrow Weight

Initialitation• Parameter

o MSE Target 5x10-5

o 5000 Epocho Learning Rate (α) = 0.06

Analisis Data - Quantitative Method


TrainingBPNNAnalisis Data - Quantitative Method


Percobaan Waktu (ms) MSE Konvergen? Stop Epoch

Mencapai Target

Error?

1 21978.12 0.000126 Ya 5000 Tidak

2 22878.43 0.000218 Ya 5000 Tidak

3 22983.43 0.000168 Ya 5000 Tidak

4 23272.54 0.000405 Ya 5000 Tidak

5 22142.00 0.000073 Ya 5000 Tidak

6 23352.80 0.000083 Ya 5000 Tidak

7 21619.62 0.000173 Ya 5000 Tidak

8 22583.91 0.000083 Ya 5000 Tidak

9 7691.683 0.000050 Ya 1802 Ya

10 21639.55 0.000181 Ya 5000 Tidak

TrainingBPNN• MSE Pada percobaan 9

Analisis Data - Quantitative Method


2 70 138 206 274 342 410 478 546 614 682 750 818 886 954 1022 1090 1158 1226 1294 1362 1430 1498 1566 1634 1702 17700

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

Epoch

MSE

TestingBPNNAnalisis Data - Quantitative Method


Marker Banyak Data pada test set MSE

QR Encode Length 78 105 0.003715




Microsoft Tag 85 0.155362

Tradisional Marker 85 0.000149

ARToolKitPlus Marker 60 0.000069

ARTag Marker 60 0.000050

6DOFPengukuran - Quantitative Method


(Castro & Figueroa, 2007)

Pitching

Yawing

Surging

𝑓 (𝑦 1 , 𝑦 2)={ 𝑦1 ,0.9≤ 𝑦1≤1.1𝑦2 ,0.1≥ 𝑦 2∧≥−0.1

6DOFPengukuran - Quantitative Method


Maksimum

Penelitian Sebelumnya (Kan,

Teng, & Chou, 2009)

Dengan Penggabungan

Marker Tradisional

pitching ±43° ±10.65°

yawing ±58° ±15.03°

surging ±374 ±408.07

KestabilanMarkerPengukuran - Quantitative Method


𝑃𝑇 𝑁=( 𝐽𝑚𝑙 h𝑃𝑒𝑟𝑢𝑏𝑎 𝑎𝑛𝑇𝑖𝑡𝑖𝑘 𝑋 𝑁−1 )+ ( 𝐽𝑚𝑙 h𝑃𝑒𝑟𝑢𝑏𝑎 𝑎𝑛𝑇𝑖𝑡𝑖𝑘𝑌 𝑁−1 )

( 𝐽𝑚𝑙 𝐹𝑟𝑎𝑚𝑒∗2)

𝑃𝐾=∑𝑁=1

4

𝑃𝑇 𝑁

4

Penelitian

Sebelumnya (Kan, Teng, & Chou, 2009)

Dengan Penggabungan

Marker Tradisional

Perubahan Kesuluruhan 0.08357 0.02375Persentase 91.625% 97.625%

𝑃=100 %−(𝑃𝐾 ∗100 %)

KecepatanTrackingPengukuran - Quantitative Method


14710131619222528313437404346495255586164677073767982858891949710010310610911211511812112412713013313613914214514815115415716016316616917217517818118418719019319619920220520821121421722022322622923223523824124424725025325625926226526827127427728028328628929229529830130430731031331631932232532833133433734034334634935235535836136436737037337637938238538839139439740040340640941241541842142442743043343643944244544845145445746046346646947247547848148448749049349649950250550851151451752052352652953253553854154454755055355655956256556857157457758058358658959259559860160460761061361661962262562863163463764064364664965265565866166466767067367667968268568869169469770070370670971271571872172472773073373673974274574875175475776076376676977277577878178478779079379679980280580881181481782082382682983283583884184484785085385685986286586887187487788088388688989289589890190490791091391691992292592893193493794094394694995295595896196496797097397697998298598899199499710000

10

20

30

40

50

60

Penelitian Sebelumnya (Kan, Teng & Chou, 2009)Dengan Penggabungan Marker Tradisional

Jumlah Frame

Wak

tu P

rose

s (m

s)

KecepatanTrackingPengukuran - Quantitative Method


Penelitian

Sebelumnya (Kan, Teng, & Chou, 2009)

Dengan Penggabungan

Marker Tradisional

Kecepatan Rata-Rata (ms) 10.10 28.41FPS 99.01 35.41

𝐹𝑃𝑆=1000𝑚𝑠

𝑋

KesimpulanPenelitianHasil - Quantitative Method


• Akurasi 6DOF mengalami kenaikan dibandingkan dengan penelitian sebelumnya

• Tracking dapat lebih mudah dikelompokan tanpa harus melalui mekanisme yang rumit pada penelitian sebelumnya dan menjadi lebih stabil

• Kecepatan menurun• Panjang encode 16 sering terjadi lost tracking• Keluaran output JST terkadang tidak sesuai dengan target

SaranPenelitian


• Integrasi Kalman Filter pada bagian decode QR Code• Menggunakan PCA• Pemilihan fitur yang lebih akurat dan menggunakan SVM

atau metode machine learning lainnya.

TERIMAKASIH



This reseach has been submitted in:o Seminar Nasional Ilmu Komputer 2012 (SNIK 2012)

Faculty of Science and Mathematic, Diponegoro Universityo Seminar Nasional ASTECHNOVA 2012

Phsyic Engineering, Faculty of Engineering, Gadjah Mada Universityo International Conference on Computer Science (ICCSE 2012)

Faculty of Mathematic and Natural Science, Gadjah Mada Universityo International Conference on Advance Computer Science and Information System (ICACSIS 2012)

Faculty of Computer Science, University of Indonesiao Research Funding Support LG Innotek

PT. LG Innotek

And accepted in:o Seminar Nasional Ilmu Komputer 2012 (SNIK 2012)

Faculty of Science and Mathematic, Diponegoro Universityo Seminar Nasional ASTECHNOVA 2012

Phsyic Engineering, Faculty of Engineering, Gadjah Mada University

AugmentedReality


• Reality & Virtuality (Realitas Tertambah)• Marker-Based & Markerless• Marer-Based -> Template & 2D Barcode• ARToolKit (Kato & Billinghurst, 1999)

Template• ARTag & Webtag (Fiala, 2004)

4x1012 id-based markers• ARToolKitPlus (Wagner & Schmalstieg, 2007)

4096 id-based markers + Mobile Applied

PenelitianSebelumnya(Kan, Teng, & Chou, 2009)

Deteksi QRFP dengan mekanisme perhitungan yang sederhanao memiliki kecepatan tracking yang cukup rendaho memiliki keterbatasan 6DOF Pose tracking;o border pada QRFP yang sangat tipis untuk mendeteksi ketiga

QRFP secara bersamaan pada kondisi perspektif dan;o Titik temu antara dua garis persamaan yang keluar dari QRFP

juga memiliki ketidak-stabilan dikarenakan terlalu kecilnya QRFP dibandingkan ukuran marker pada biasanya
