Upload
phungque
View
227
Download
0
Embed Size (px)
Citation preview
Oleh:Hosyi’ah Rusdiana2209.100.107
Penyusunan Database Ekspresi WajahPerempuan Indonesia -JawaBerbasis Penanda 3D untuk Pengenalan Emosi
Dosen Pembimbing:Dr. Surya Sumpeno, ST., M.Sc.Muhtadin, ST., MT.
Latar Belakang
2
Bidang interaksi antara manusia dan komputer
• Bidang inter-man-kom merupakan topik yang sering diteliti akhir-akhir ini.
• Bidang inter-man-kom bertujuan untukmembuat antarmuka yang lebih bersahabat bagimanusia.
• Pembuatan avatar yang mirip seperti manusia.
3
Ekspresi Wajah
• Ekspresi wajah berperan sebanyak55% di dalam tersampaikannyasuatu pesan di dalam prosesinteraksi, sedangkan komponenverbal dan vokal berpengaruhsebesar 7% dan 38%. 1
1 Mehrabian, Albert. 1968. Communication without Words. Psychology Today, nomorP-89, halaman 53-56.
Latar Belakang
4
Oleh karena itu,
sebagai pengembangan penelitian mengenai ekspresi wajah,
pada tugas akhir ini dibuatlah
database ekspresi wajah
perempuan Indonesia-Jawa berbasis 3Datau yang disebut
Javanese-Indonesian Female Facial Expression 3D Database
(JIFFE-3D Database)
Latar Belakang
5
Penggunaan orang Indonesia sebagai model penelitian
Dibutuhkan sebuah sistem yang bisa dijadikan bukti bahwa suatudatabase telah memiliki kualitasyang baik.
1. 2.
“Ras atau suku yang berbeda memilikikebudayaan atau kebiasaan tersendiri di
dalam mengekspresikan dan menafsirkanekspresi wajah ke dalam bentuk emosi.” 2,3
2 Burns, Judith. 2013. Facial Expression 'Not Global'. http://news.bbc.co.uk/2/hi/8199951.stm.3 Dailey, Mathew N.; Joyce, Carrie; dkk. 2010. Evidence and a Computational Explanation of Cultural
Differences in Facial Expression Recognition. Emotion, volume 10(6), halaman 874-893.
Permasalahan
6
Penelitian ini bertujuan untuk menghasilkan database ekspresi wajah perempuan Indonesia berbasis 3D yang
dapat bermanfaat untuk mendukung penelitian padabidang lain yang membutuhkan ekspresi wajah sebagai
sumber data, seperti bidang keamanan, hiburan, danpsikologi.
Tujuan & Manfaat
Penelitian ini bertujuan untuk terbentuknya suatu sistempengklasifikasian emosi yang dapat bermanfaat untuk
mengukur kualitas suatu database eksrpesi wajah.
7
Model yang digunakan adalah perempuan Indonesia.1.
Emosi yang diambil adalah netral dan emosi dasar manusia.2.Emosi dasar yang digunakan berdasarkan pembagian emosidasar berasal dari penelitian Ekman, Freisen, dan Tomkins 1, yaitu marah, jijik, takut, terkejut, sedih, dan senang.
1 Paul Ekman, Wallace V. Friesen, Silvan S. Tomkins. 1971. Facial Affect Scoring Technique: A First Validity Study. Semiotica III.
Data berbentuk data 3D yang berbasis pada penanda.3.
Batasan Masalah
Perancangan Sistem
8
JIFFE-3D Database merupakan kumpulan ekspresi wajahperempuan Indonesia dalam bentuk data 3D marker based yang menampilkan emosi-emosi dasar manusia.
Terdapat tujuh emosi yang ditampilkan, yaitu:
• Marah• Sedih• Senang• Terkejut
• Jijik• Takut• Netral
Biodata model yang digunakan:
Data berbentuk pose data (1 frame) .
Biodata Model KeteranganJenis kelamin PerempuanUmur 18 – 25 tahunKebangsaan IndonesiaSuku JawaKesibukan Pelajar dan mahasiswa
9
TahapPersiapan
TahapPenangkapan Ekspresi
TahapPenyusunan Database
TahapPerbaikan Data
Alur Kerja Sistem
11
Spesifikasi pengambilan data:• Model yang digunakan sebanyak 10 orang. • Masing-masing orang 7 ekspresi. • Masing-masing ekspresi 4 kali pengambilan.• Tiap kali pengambilan selama 10 detik (1000 frame).
Contoh prosespenangkapan ekspresi:
Tahap Penangkapan Ekspresi
12
SMOOTHING
Ripple
Smoothing
FILL GAP
Gap atau hole
Fill gap
Tahap Perbaikan DataSWITCH MARKER
Marker tertukar
Switch marker
13
A. Pemilihan Ekspresi• Pemilihan ekspresi dilakukan untuk mendapatkan
ekspresi wajah terbaik selama proses pengambilan data.
EKSPRESI TERBAIK
• Pemilihan ekspresi dilakukan melalui survei.
• Data yang digunakan = 840 pose(masing-masing data diwakili 3 pose)
Tahap Penyusunan Database
17
Siang Hari Malam Hari
RuangTerbuka
RuangTertutup
Pengujian Faktor Eksternal
• Parameter Pengujian:
18
• Hasil Pengujian:
Berdasarkan hasil pengujian, proses pengambilan data tidak dapatdilakukan di ruang terbuka pada saat siang hari.
Hasil Pengujian
Proses pengambilan data
Proseswanding
Penentuanground plane
Pemben-tukan face template
Penangka-pan ekspresi
Rua
ngTe
rbuk
a Siang Bisa Bisa Tidak bisa Tidak bisa
Malam Bisa Bisa Bisa Bisa
Rua
ngTe
rtut
up Siang Bisa Bisa Bisa Bisa
Malam Bisa Bisa Bisa Bisa
Pengujian Faktor Eksternal
19
• Tujuan pengujian:Untuk mengetahui mengetahui faktor-faktor yang berpengaruhterhadap kualitas data IFFE-3D Database.
• Variabel pengujian:
Pengujian Akurasi Pengklasifikasian Emosi
KNN
SVM
Naïve Bayes
Pusat koordinat data Data training Metode klasifikasi
20
Pengujian Pusat Koordinat Data• Parameter Pengujian: • Hasil Pengujian:
AkurasiPengenalan Emosi
Pusat Koordinat Data
Koordinatdunia
Penandanose tip
Sum
ber
Dat
a Data .bvh 34.23% 83.21%
Data .trc 13.21% 50%
Berdasarkan hasil pengujian, pusat koordinat data terbaik adalah pada penanda nose tip.
Pusatkoordinat dunia
Pusatkoordinat dari
penanda nose tip
21
Pengujian Data Training• Hasil Pengujian:
Akurasi PengenalanEmosi
Data training
Semua penanda Tanpa penandakepala
Tanpa penandakepala & telinga
Met
ode
Kla
sifik
asi Naive Bayes 39.64 % 38.21 % 40 %
SVM 81.07 % 81.42 % 83.21 %
KNN (K=1) 88.93 % 90.71 % 90.71 %
Berdasarkan hasil pengujian, data training terbaik adalahdata training tanpa penanda kepala dan telinga.
22
Pengujian Metode Klasifikasi
• Hasil Pengujian:
Berdasarkan hasil pengujian, metode klasifikasi terbaik adalahmetode kNN (k=1).
Akurasi PengenalanEmosi
Metode Klasifikasi
Naive Bayes SVM kNN (k=1)
Sum
ber
Dat
a
Data .bvh 40 % 83.21 % 90.71 %
Data .trc 47.85 % 50.00 % 86.07 %
23
Kelas Emosi Specificity Sensitivity Precision Accuracy
Marah 95% 80% 71% 93%
Jijik 98% 70% 82% 94%
Takut 98% 65% 84% 93%
Senang 98% 95% 88% 98%
Netral 94% 98% 74% 95%
Sedih 99% 83% 94% 97%
Terkejut 99% 93% 95% 98%
NilaiTertinggi
NilaiTerendah
Pengujian Specif icity, Sensit ivity, Precision, dan Accuracy pada Kelas Emosi
Catatan:
• Hasil Pengujian:
24
1. Proses pengambilan data JIFFE-3D Database terbaik adalah pada ruangantertutup pada waktu kapan pun, kecuali pada ruangan terbuka di siang hari.
2. Parameter data JIFFE-3D Database untuk menghasilkan nilai akurasipengklasifikasian emosi yang terbaik, yaitu:a) Setiap data harus memiliki kesamaan acuan. b) Penggunaan data training tanpa atribut penanda kepala dan telinga. c) Penggunaan metode klasifikasi KNN (K=1).
3. Kinerja pengklasifikasian emosi pada JIFFE-3D Database.a) Nilai specificity tertinggi: sedih dan terkejut
Nilai specificity terendah: netralb) Nilai sensitivity tertinggi: senang
Nilai sensitivity terendah: takutc) Nilai precision tertinggi: terkejut
Nilai precision terendah: marahd) Nilai accuracy tertinggi: senang dan terkejut
Nilai accuracy terendah: marah dan takut
Kesimpulan