โครงรางโครงงานทางวศวกรรม

(Senior Project Proposal)

ภาควชาวศวกรรมคอมพวเตอร

คณะวศวกรรมศาสตร จฬาลงกรณมหาวทยาลย

1 กนยายน 2553

ชอโครงการ

(ภาษาไทย) หองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต

(ภาษาองกฤษ) Virtual Fitting Room Using Augmented Reality

โดย

นายณชนนท วงษวไล รหสประจำาตว 5031023021(...........................................)นายดนยนนท เกาเงน รหสประจำาตว 5030161721(...........................................)

อาจารยทปรกษาโครงงาน อาจารยทปรกษารวม

ผศ.ดร.อรรถวทย สดแสง อ.ดร.นทท นภานนท

(.....................................................) (.....................................................)

1.ชอโครงการ(ไทย) หองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต(องกฤษ) Virtual Fitting Room Using Augmented

Reality

2.ทมาและความสำาคญของปญหาในปจจบนนน เทคโนโลย Augmented Reality กำาลงได

รบความนยมอยางแพรหลาย โดยทจะมวธคอมการกำาหนด มารคเกอรไวในแตละโปรแกรมทใชงาน เมอกลองอานเจอภาพมารคเกอรนนๆ กจะแสดงขอมลออกมาตามแตละทโปรแกรมจะกำาหนดไว เทคโนโลยอกอยางหนงทไดรบความนยมไมแพกนคอ Object Tracking ซงเปนเทคโนโลยทใชในการตดตามวตถจากภาพในกลอง ดงจะเหนไดชด เชน ฟงกชนภาพศรษะคนในกลองถายรปดจตอลยหอตางๆ [1]

ทางผพฒนาโครงการจงไดมความคดทจะนำาเทคโนโลยทงสองอยางนมาประยกตใชรวมกน โดยทจะเปลยนรปแบบของมารคเกอรซงแตเดมจะเปนรปแบบตายตวในแตละโปรแกรม มาเปนวตถทเคลอนไหวไดแทน โดยทโปรแกรมทจะพฒนาขนมาจะเปนโปรแกรมททำาการจบวตถในภาพทเปนรางกายของคนแลวนำาเสอผาชนดทตอการมาสวมลงบนรางกาย โดยทไมจำาเปนตองเสยเวลาในการเปลยนเสอผาเพอทจะลองเสอผาทตองการ

สาเหตททางผพฒนาโครงการเลอกทจะพฒนาโปรแกรมตวอยางเปนหองลองเสอจำาลอง เนองจากธรกจการซอขายเสอผานนเปนธรกจทสรางรายไดอยางมหาศาลไมวาจะเปนผคารายใหญเชนสนคาแบรนดเนมตาง หรอแมแตผคารายยอย ซงผประกอบการธรกจประเภทนนนมจำานวนมาก และมการแขงขนกนสง จะเหนไดจากขอมลจากศนยวจยกสกรไทยทระบวาในป 2553 ธรกจเสอผาสำาเรจรปจะเตบโตสงขนรอยละ 10 หรอมมลคา 3,025 ลานดอลลารสหรฐ [2]

แตในปจจบน แทบจะไมมเทคโนโลยทชวยในการสงเสรมการขายและมการปองกนอนตรายจากลกคาเทาทควร อกทงยงเกดปญหาตางๆมากมาย เชนสนคาไมเพยงพอตอความตองการของลกคา สนคาไมตรงตามความตองการของลกคา และในกรณทรานบางรานมหองลองเสอใหลกคาไดลองสนคาตวอยาง กอาจจะเกดปญหาทางดานความปลอดภย โดยอาจจะโดนแอบถายภาพไวในขณะทกำาลงลองเสอผาได

ดงนน จงเกดโครงงาน หองลองเสอเสมอนโดยใชออคเมนต“เตดเรยลลต เพอใหการลองเสอผาของลกคาในหองลองเสอนนม”ความปลอดภยมากขน ลกคาสามารถทดลองใสเสอผาทตองการไดโดยไมจำาเปนทจะตองถอดเสอผาทใสอยออกเพอความสะดวกรวดเรวในการลองเสอผา อกทงในกรณทไมมสนคาชนดทตองการ (สนคาหมด stock) กยงสามารถทจะทดลองไดกอนวาสนคาชนดนนเปนทตองการหรอไม

โดยในปจจบนนมเทคโนโลยมากมายทจะชวยในการพฒนาสวนตาง ๆ ของระบบ เชน การประมาณคาตำาแหนงทาทางของคน (Human pose estimation) ทใหคาทใกลเคยงกบความจรง

มาก โดยมวธการทหลากหลาย ตวอยางของเทคโนโลยดงกลาวเชน การสราง human model แลวปรบใหเขากบภาพ silhouette [3], การใช parsing a tree structure [4] เปนตน ซงผเสนอโครงการจะตองนำาเทคโนโลยทเหมาะสมมาประยกตใช เพอใหโปรแกรมมประสทธภาพในการทำางาน และตองศกษาเพอหาอลกอรธมทเหมาะสมสำาหรบการใชเวบแคมและการนำาไปใชตอในโปรแกรมดวย

3.วตถประสงคของโครงงาน3.1 เพอศกษาเทคนค Extraction ในการ detect วตถในภาพท

มเฉดสตามทกำาหนด3.2 เพอศกษาเทคนค Object Tracking ทเหมาะสมในการ

track อวยวะตางๆของคน3.3 เพอศกษาเทคนค Human Pose Estimation ทเหมาะ

สมในการประมาณตำาแหนง ทาทางของคน3.4 เพอศกษาเทคนคในการ Merging เสอผาทตองการมาสวมใส

ลงบนตวของผลองเสอ3.5 เพอพฒนาโปรแกรมทสามารถแสดงเสอผาทตองการลงบนตว

ของผลองไดทนทโดยไมตองลองจากสนคาจรง

4.ทฤษฎทเกยวของ4.1 Image segmentation and extraction

เปนการดงสวนสำาคญ(สวนทตองการ) ออกจากภาพทปรากฎตาม feature ตางๆทสนใจ เชน สนใจเฉพาะสวนทเปนรปสเหลยม หรอ สนใจสวนทเปนสทตองการ กใชเทคนคนทำาการตรวจจบลกษณะตางๆภายในภาพวามสวนทตองการอยในภาพนนหรอไม

โดยในโครงงานนจะสนใจใน feature ของสทจะนำามาใชในการ detect สผวของคนได ซงจะอยในเฉดสสม โดยมตวอยางในการ detect ลกปงปอง(เฉดสสมทใกลเคยงกบสผว)ดงรป

4.2 Object Trackingการตรวจจบวตถ (Object tracking) เปนเทคนคทใชในการ

ตรวจจบตำาแหนงและการเคลอนไหวของวถต ซงเปนเทคนคทมความสำาคญมากในการทำา Augmented Reality โดยอาศยศาสตรดาน Image processing ภาพหนงภาพมขอมลอยมากมาย การทจะดงขอมลทตองการออกมา (Image segmentation and extraction) โดยแยกจากขอมลดานอนๆ รวมไปถงสงรบกวนตางๆ (Noises) ทไมตองการ ตองอาศย algorithm และขนตอนทเหมาะสม ในกรณนเปนการนำาเอาหลกการดาน image processing

โดยในการพฒนาโครงงานนจะอาศยเทคนค Object Tracking ในการ track อวยวะของคนดวยการ detect สผวของคน เพอนำาขอมลตำาแหนงทไดไปใชในการ Human Pose Estimation ตอไป

4.3 Human pose estimationในการทำา Human pose estimation นจะใชขอมลจาก

ภาพทง Silhouette, Contours, Edge, Motions และ Color ในการประมาณตำาแหนงของคนในทาทางตางๆ เพอสราง model

จำาลองของคน รวมไปถงการประมาณตำาแหนงของภาพคนทเกด occlusion ขนดวย

ซงในการพฒนานจะสนใจเฉพาะ upper body โดยใชขอมลจากการ upper body tracking ไดแก มอ, แขน และ หว เปนขอมลในการประมาณตำาแหนงทาทางของคน

4.4 Merging virtual objectเปนการใช Augmented reality โดยมตำาแหนงของคนเปน

marker เทคนคนจะใชคาตำาแหนงจากการประมาณทได นำามาปรบตำาแหนงของ virtual object ใหอยในตำาแหนงตรงกบภาพ ซงจะใชภาพทเกด occlusion กบภาพทไมเกด occlusion มา merge กบภาพ original เพอใหภาพทไดมความถกตองในเรองลำาดบความลกและการซอนทบของวตถ

5.งานวจยทเกยวของ5.1 HUMAN POSE ESTIMATION FROM MONOCULAR

IMAGE CAPTURES [3]เสนอโดย Huei-Yung Lin, Ting-Wen Chen, Chih-

Chang Chen, Chia-Hao Hsieh และ Wen-Nung Lie เปนงานวจยเกยวกบการ Human Pose Estimation โดยใชกลองเพยงตวเดยว โดยใชหลกการปรบขนาดและขยบตำาแหนงของโมเดล 3 มตใหเขากบภาพ silhouettes โดยรองรบปญหาการซอนทบกนของภาพดวย

5.2 Automatic Registration of Virtual Objects onto Human Image Sequences [5]

เสนอโดย Hoshino, J., Saito, H. และ Yamamoto, M. ไดกลาวถงการ Merging ภาพ CG ลงบนภาพวดโอคน เสมอนกบวามวตถนนอยจรง โดยอาศยการ 3D Human Pose Estimation เพอนำาขอมลมาใชในการปรบภาพ CG ใหอยในตำาแหนงทถกตองแลวจง Merge เขากบภาพตนฉบบ โดยใชทงภาพทเกดการ occlusion และไมเกด มา merge กนใหเกดความสมจรงในกรณเกดการซอนทบกน

5.3 A novel fitting algorithm using the ICP and the particle filters for robust 3d human body motion tracking [6]

เสนอโดย Daehwan Kim และ Daijin Kim ไดกลาวถงการใชวธการ ICP(Iterative Closet Point) ในการจบตำาแหนงของวตถ(ในทนคอรางกายคน) ซงมขอดคอ วธการนจะสามารถ

ตดตามการเคลอนไหวของรางกายไดอยางรวดเรวกวาวธอนๆ ซงมการแสดงผลลพธโดยการสราง model รางกาย นำามาวางทบลงบนภาพ

5.4 Vision-based two hand detection and tracking [7]

เสนอโดย Jiajun Wen และ Yinwei Zhan ไดกลาวถงวธการตดตามมอทปรากฎอยในภาพ โดยการ ทำาภาพใหเปน binary image กำาหนดใหสเนอของรางกายเปนสขาว นอกจากนนใหเปนสดำา โดยใช YCrCb color space หลงจากได binary image แลวกทำาการจบตำาแหนงของปลายนวมอแตละนววาอยทตำาแหนงใด กจะสามารถรไดวามอนนปรากฎอยทตำาแหนงใดภายในภาพ

5.5 Robust real-time upper body limb detection and tracking [8]

เสนอโดย Matheen Siddiqui และ Gerard Medioni ไดกลาวถงวธการตดตามแขนทปรากฎอยในภาพ โดยมวธการคอ ในขนแรกจะทำาการตรวจจบวาใบหนาอยสวนใดของภาพ เมอไดตำาแหนงของใบหนากจะรถงสรางกายของผใชงาน จากนนจะทำาการประมาณตำาแหนงของสวนแขนตอนบน(สวนหวไหลไลลงมาถงขอศอก) จากนนกจะไดวาสของรางกายทจบมาไดตรงทอยใกลกบสวนแขนตอนบนทประมาณตำาแหนงขนมานนกคอสวนของแขนทตองการ

6.ขอบเขตของงาน6.1 โปรแกรมนจะถกพฒนาและสามารถทำางานไดบนระบบปฏบต

การ Windows XP/Vista6.2 โปรแกรมทพฒนาจะตองใชในหองปดทมการกำาหนดฉากหลง,

การควบคมแสง, ตำาแหนงของกลอง และตำาแหนงของผใชงาน6.3 โปรแกรมทพฒนาจะลองรบแคการลองเสอเทานน

7.แนวทางการวจยเทคโนโลย Augmented Reality ในปจจบนนนกำาลงไดรบ

ความนยมอยางแพรหลาย โดยในโครงการน ผเสนอโครงการได

ทำาการเปลยน marker ปกตทใชในการจบตำาแหนงซงมกจะเปนสญลกษณตางๆทตายตว ไมมการเคลอนไหว เปน marker ทมการเคลอนไหวและมรปแบบเปลยนแปลงไปไดหลายลกษณะซกคอรางกายของคน ทำาใหตองมการศกษาถงเทคนค Extraction, Object Tracking, Human Pose Estimation ซงใชในการตรวจจบรางกาย และประมาณการเคลอนไหวในลกษณะตางๆโดยวธการเหลานไดมงานวจยมากมายทนำาเสนอถงวธการ, Algorithm ตางๆทใชโดยมความยากงายของวธการแตกตางกนไป

ผเสนอโครงการไดเรมทำาการศกษางานวจยตางๆ และนำามาทดลองใชใน OpenCV ซงพบวาในแตละวธการในงานวจยตางๆนนใหผลทแตกตางกนไป ผเสนอโครงการจงตองพยายามศกษาวธทดทสดในการทำา Extraction, Object Tracking, Human Pose Estimation เพอใหโครงการประสบผลสำาเรจตามทตองการ

8.ขนตอนการดำาเนนงานในการพฒนาโปรแกรม หองลองเสอเสมอนโดยใชออคเมนต

เตดเรยลลต นนจะอาศยเทคนคในการประมวลผลภาพทไดรบจากกลองหลายเทคนคเพอใหไดขอมลทจำาเปนในการแสดงผลใหเสมอนจรงมากทสดโดยโปรแกรมจะมหลกในการทำางานเปน loop วนการทำางานไปในทกๆภาพท capture ไดจากกลองแลวแสดงผลออกเปนแบบ real time ซงแสดงใหเหนดงรป

โดยขนตอนในการดำาเนนงานนนจะอางองไปตามการทำางานของโปรแกรมขางตน โดยจะศกษาไลจากขนตอนแรกแลวไปขนถดไปเรอยๆ เพอใหสามารถนำาผลทไดจากขนตอนกอนหนามาใชในขนถดไปได โดยสามารถแบงขนตอนการทำางานไดเปน 10 ขนตอนดงน

1) ศกษาและรวบรวมขอมล ความตองการของระบบในชวงนจะทำาการรวมรวมขอมลทเกยวกบธรกจเสอผา และ

ความตองการของลกคาในปจจบนเพอนำาขอมลมาใชในการออกแบบและพฒนาระบบ ใหสามารถแกไขปญหาและตอบสนองความตองการของลกคาไดตรงตามเปาหมาย

2) ศกษาปจจยภายทมผลในการทำางานของโปรแกรมในขนตอนนจะศกษาปจจยตางๆทมผลตอการทำางานของระบบ

เชน ชนดของกลอง, ความสวางและชนดของแสง, รปแบบของฉากหลง, ตำาแหนงของกลองและผใชงาน และลกษณะภายนอกของผใชงาน เปนตน เพอใหสามารถควบคมปจจยตางๆได และทำาใหสามารถพฒนาโปรแกรมไดงายขน

3) ศกษาและพฒนาโปรแกรมในสวนการรบภาพจากกลองOpenCV และ C++ จะถกนำามาใชในการพฒนา โดยเรมจาก

การรบภาพจากกลองมาแสดงผลออกทางหนาจอใหไดอยางถกตองและไมมดเลย

4) ศกษาเทคนคตางๆ ของ Image processingในสวนนจะใชความรในดาน Image processing เชน

extraction, segmentation และ color detecting เปนตน เพอใชในการปรบภาพในแบบตางๆใหไดภาพทตรงตามความตองการ สามารถนำาไปใชในการวเคราะหภาพในขนถดไปได

5) ศกษาและพฒนาในสวน Object Trackingจะเปนขนตอนในการศกษาเทคนคและวธการในการตรวจสอบ

ภาพเพอ track อวยวะตางๆของคน เชน มอ, แขน, ลำาตว และใบหนา เปนตน เพอนำาขอมลตำาแหนงตางๆของอวยวะไปใชในการประมาณตำาแหนงทาทางของคนในขนถดไป

6) ศกษาและพฒนาในสวน Human Pose Estimationศกษาหาเทคนคทเหมาะสมในการประมาณตำาแหนงทาทางของ

คน โดยสามารถศกษาไดหลากหลายแนวทางทงแบบ 2 มต และ 3 มต และยงมความทาทายในเรองการซอนทบกนของวตถทยากตอ

การพฒนาดวย โดยในการพฒนาจะคำานงถงความถกตองของขอมลเปนหลกเพอใหไดภาพทออกมามความสมจรงมากขน

7) ศกษาและพฒนาในสวน Merging Virtual Objectในขนตอนนจะศกษาการ Merging Virtual Object ลงบน

sequence ของภาพคนแบบ real time ซงกคอการทำา Augmented reality โดยใชรางกายคนเปน marker โดยวตถทจะแสดงบนรางกายคนกจะปรบเปรยบรปรางและตำาแหนงไปตามการเคลอนไหวของคน ซงจะมการศกษาในเรองการซอนทบของภาพในกรณทตำาแหนงคนมการซอนทบกนดวย

8)ออกแบบและพฒนาสวนตอประสานผใชออกแบบสวนตอประสานทสามารถใชงานไดงาย ซงในการใช

งานโปรแกรมนผใชจะยนอยหางจากหนาจอและคอมพวเตอรทำาใหการใชงานนนจำาเปนทจะตองคำานงถงเรองน จงตองออกแบบสวนตอประสานเปน Virtual Touch Screen ทผใชงานสามารถใชงานไดโดยไมจำาเปนตองเคลอนออกจากตำาแหนงเดม

9)พฒนาโปรแกรมหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลตเมอเสรจสนในขนตอนกอนหนาแลวกจะนำาผลการพฒนา

ทงหมดมารวมกนแลวปรบแกใหสามารถใชงานรวมกนได10) ทดสอบและแกไขการทำางานของโปรแกรม

ในขนตอนนจะตรวจสอบความถกตองของโปรแกรมทงในเรองของประสทธภาพและการทำางานของโปรแกรม เมอพบปญหากจดการแกไขใหมการทำางานทถกตอง

9.ระยะเวลาการดำาเนนงาน

กจกรรม ระยะเวลา(เดอน)

ส.ค. 53

ก.ย.53

ต.ค. 53

พ.ย. 53

ธ.ค. 53

ม.ค. 53

1. ศกษาและรวบรวมขอมล ความตองการของระบบ2.ศกษาปจจยภายทมผลในการทำางานของโปรแกรม3.ศกษาและพฒนาโปรแกรมในสวนการรบภาพจากกลอง4. ศกษาเทคนคตางๆ ของ Image processing5. ศกษาและพฒนาในสวน Object Tracking6. ศกษาและพฒนาในสวน Human Pose Estimation7. ศกษาและพฒนาในสวน Merging Virtual Object8.ออกแบบและพฒนาสวนตอประสานผใช9.พฒนาโปรแกรมหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต10.ทดสอบและแกไขการทำางานของโปรแกรม

10. ประโยชนทคาดวาจะไดรบ10.1 นสตไดทำางานวจยจากความรทไดศกษาในสาขาวศวกรรม

คอมพวเตอร10.2 นสตไดฝกการทำางานรวมกนเปนกลม และฝกทกษะการสอสาร

ทงภายในกลม ระหวางนสตกบอาจารยทปรกษา10.3 ไดผลตภณฑใหม คอ หองลองเสอเสมอนโดยใชออคเมนตเตด

เรยลลต ซงเปนขอมลทเปนประโยชนตอการวจยและพฒนาธรกจเสอผาในรปแบบใหมททนสมยและเขาถงลกคาไดดกวา

10.4 นสตไดรบความรจากการศกษาเกยวกบการ Extraction, Object Tracking, Human Pose Estimation และ Merging Virtual Object

11. อางอง[1] Exteen blog, “OpenCV::Object and Corlor Tracking ”, http://javawork.exteen.com/20090116/opencv-object-and-corlor-tracking [2] Gotomanager, “เงาสะทอนธรกจเสอผาสำาเรจรปไทย”, http://www.gotomanager.com/news/details.aspx?id=86756[3] Huei-Yung Lin, Ting-Wen Chen, Chih-Chang Chen, Chia-Hao Hsieh and Wen-Nung Lie, “Human pose estimation from monocular image captures”, Multimedia and Expo, IEEE International Conference on, 2009.[4] Xiaoqin Zhang , Changcheng Li, Xiaofeng Tong , Weiming Hu, Maybank, S. and Yimin Zhang, “Efficient human pose estimation via parsing a tree structure based human model”, Computer Vision, IEEE 12th International Conference on, 2007.[5] Hoshino, J., Saito, H. and Yamamoto, M., “Automatic Registration of Virtual Objects onto Human Image Sequences”, Pattern Recognition, Proceedings 15th International Conference on, 2000.[6] Daehwan Kim and Daijin Kim, “A novel fitting algorithm using the ICP and the particle filters for robust 3d human body motion tracking”, Vision networks for behavior analysis, Proceeding of the 1st ACM workshop on, 2008.[7] Jiajun Wen and Yinwei Zhan, “Vision-based two hand detection and tracking”, Interaction Sciences: Information Technology, Culture and Human,

Proceedings of the 2nd International Conference on, 2009.[8] Matheen Siddiqui and Gerard Medioni, “Robust real-time upper body limb detection and tracking”, Video surveillance and sensor networks, Proceedings of the 4th ACM international workshop on, 2006.