ISSN 2383-630X(Print) / ISSN 2383-6296(Online)

Journal of KIISE, Vol. 46, No. 5, pp. 405-412, 2019. 5

https://doi.org/10.5626/JOK.2019.46.5.405

․이 논문은 2019년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의

지원을 받아 수행된 연구임(NRF-2019R1A2C1006706). 본 논문은 ㈜코아

시아홀딩스의 지원을 받아 수행된 연구임

논문 수 : 2018년 9월 11일

(Received 11 September 2018)

논문수정 : 2018년 12월 29일

(Revised 29 December 2018)†

††

학생회원

종신회원

:

:

인하 학교 정보통신공학과

leejw2807@gmail.com

인하 학교 정보통신공학과 교수(Inha Univ.)

pik@inha.ac.kr

(Corresponding author임)

심사완료 : 2019년 1월 23일

(Accepted 23 January 2019)

CopyrightⒸ2019 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작물

의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다. 이 때,

사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처를 반드시

명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든 유형의 사용행

를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야 합니다.

정보과학회논문지 제46권 제5호(2019. 5)

3차원 얼굴 모델링을 한 검색기반 헤어 모델 증강

(Retrieval-Based Hair Model Augmentation for

3D Face Modeling)

이 정 우† 박 인 규

††

(Jungwoo Lee) (In Kyu Park)

요 약 주어진 상으로부터의 3차원 얼굴 모델링은 얼굴 분석, 애니메이션, 생체 인식 등의 많은 컴

퓨터비 그래픽스 응용분야에서 요한 역할을 하고 있다. 그 에서도 헤어 역은 얼굴에 비해 모

양의 다양성과 모델의 복잡도가 히 높다. 기존의 연구는 주로 얼굴 역에 한정한 3차원 얼굴 모델링

을 심으로 이루어졌지만 헤어 모델링은 요하게 다루지 않고 있는 경우가 많다. 본 논문에서는 심층인

공신경망의 일종인 FCN (fully connected network)을 이용하여 인물 상에서 헤어 부분을 역화하고,

역화 결과와 가장 유사한 3D 헤어 모델을 데이터베이스에서 검색하여 3차원 얼굴 모델에 증강함으로써

완 한 얼굴 모델링을 수행하는 방법을 제안한다. 이는 FCN을 이용하여 다양한 인물 상에 하여 네트

워크 학습을 수행하는 과정과 3D 헤어 데이터베이스의 구축 과정을 포함한다. 실험 결과 한 수 의

헤어 모델이 3차원 얼굴 모델링 결과물에 증강됨을 확인하 다.

키워드: FCN, 역화, 헤어 모델링, 헤어 데이터베이스, 검색기반

Abstract Building a 3D head model from images is a good strategy that can be used in various

fields such as facial analysis, face animation, and biometric recognition. In particular, the part of the

head with hair has a variety of shapes and increased complexity compared to face. However, previous

studies mainly focused on 3D face modeling for only facial region, leaving out hair modeling. In this

paper, a method to retrieve the most similar 3D hair model from the database is proposed. Projected

3D hair models are compared with the segmented hair region which is extracted using FCN (fully

connected network). The retrieved 3D hair model is augmented on 3D face model so that a complete

head is modeled with face and hair. The proposed method includes network training and 3D hair

database building. Experimental result shows that proper hair models are augmented successfully on

the 3D face modeling result.

Keywords: FCN, segmentation, hair modeling, hair database, retrieval-based

406 정보과학회논문지 제46권 제5호(2019. 5)

그림 1 제안하는 기법의 이 라인. (a) FCN을 사용한 헤어 부분 역화 단계, (b) HoG 종횡비 계산 단계,

(c) HoG 종횡비가 가장 유사한 상 모델 검색 추천 단계

Fig. 1 Pipeline of the proposed method. (a) Hair segmentation step using FCN, (b) HoG and aspect ratio calculation

step, (c) Retrieval and recommendation step of the top ranked model with the most similar HoG and aspect ratio

1. 서 론

인체 3D 모델링은 3D 린터, 증강 실과 가상 실

등의 많은 컴퓨터비 그래픽스 응용분야에서 요

한 역할을 하고 있다. Blanz와 Vetter의 연구[1]에서 매

개변수 기반의 3D morphable model (3DMM)을 제안

한 이후로 한 장 는 여러 장의 얼굴 상으로부터 3

차원 얼굴 형상 복원은 많은 연구가 이루어졌다. 반면에

3차원 헤어 모델은 그 다양성과 복잡함 때문에 3DMM

과 같은 매개 변수 모델로 모델링하기가 매우 어렵다.

기존의 연구에서는 제어된 조명을 갖춘 환경에서 취득

한 수많은 상을 사용한 헤어 모델 복원 방식을 제안

하 다[2-6]. 그러나 의 방식들은 복잡한 무 설치

등이 필요하여 화 제작과 같은 특수한 분야에 이용되

며 일반 인 사용자가 이용하기에는 무리가 있다. 한편

[7-9]에서는 한 장의 상을 통해 정교한 3차원 헤어

모델을 복원한다. 그러나 헤어 역화를 해 사용자의

입력을 요구하는 단 이 존재한다. 최근의 연구[10]에서

는 심층신경망을 이용한 최 의 자동 3차원 헤어 모델

복원 방식이 소개되었다. 다만 이 방식은 입력된 상과

다른 헤어 모델이 생성될 경우에 사용자가 다른 모델을

선택할 기회가 주어지지 않는다. 고수 의 품질을 요구

하는 화 특수 효과 분야에서는 수백만 가닥의 머

리카락을 직 모델링 하고 물리 충돌 모델에 의해

매우 정교한 움직임을 표 한다. 그러나, 본 논문에서는

모바일 증강 실 혹은 컴퓨터 게임에 비용으로 응용

될 수 있는 상기반 자동 헤어 모델링 기법으로 연구

범 를 한정한다.

본 논문에서는 이러한 문제를 해 검색 기반의 자동

3차원 헤어 모델링1)기법을 제안한다. 우선 입력된 인물

상에 해 상 역화에 특화된 네트워크인 FCN

(fully connected network)[11]을 사용하여 헤어 부분의

자동 역화를 수행한다. 한 역화 된 헤어 부분

상과 가장 일치하는 3D 헤어 모델 검색을 해 인터넷

상에서 공유되고 있는 헤어 모델들을 수집하여 데이터

베이스를 구축한다. 입력 상에서의 헤어 역과 수집된

각각의 헤어 모델들의 비교를 해 3차원 헤어 모델의

정면도를 구하고, 정면도의 헤어 부분의 종횡비(aspect

ratio)와 HoG (histogram of oriented gradients)를 구

하여 각 3차원 헤어 모델의 메타 데이터를 생성한다. 입

력된 상에서 역화 된 헤어 상에서도 동일하게 종

횡비와 HoG를 구하고, 입력된 상의 종횡비와 일정

수 이내로 가까운 데이터베이스 내의 3차원 헤어 모

델들 HoG값이 가장 가까운 모델들을 검색 결과로서

사용자에게 제안하게 된다. 그림 1에 본 논문이 제안하

는 기법의 블록 다이어그램을 도시하 다. 기존의 연구

에서 복잡한 상처리를 통해 3차원 헤어 형상을 복원

하거나 사용자의 입력이 개입되어야 하는 단 을 극복

하여, 본 연구에서는 과정이 사용자 개입 없이 자동

으로 수행되어 헤어 모델을 생성하게 된다. 본 논문이 가

지는 기존의 연구와의 차별 을 요약하면 다음과 같다.

∙모델 검색을 통한 3차원 헤어 생성 얼굴 모델링에

1) 본 논문에서 머리(head)는 얼굴 역과 헤어 역 체를 의미한다. 따

라서 머리 모델링이라는 국문 용어 신 ‘헤어 모델링’이라는 용어를 사

용하 다.

3차원 얼굴 모델링을 한 검색기반 헤어 모델 증강 407

그림 2 헤어 역화를 한 FCN 네트워크 구조

Fig. 2 FCN network structure for hair segmentation

의 증강을 통한 비용의 3차원 머리 모델링 시스템

∙FCN을 이용한 심층인공신경망 기반의 정교한 자동

헤어 역화 기법 제시

∙헤어 역화를 한 1,466개의 학습 데이터셋 187

개의 3차원 헤어 모델 데이터베이스를 구축. 추후 데이터

베이스 확장을 통해 보다 다양한 헤어 모델 생성 가능

2. 제안하는 기법

본 에서는 상 역화에 주로 쓰이는 FCN 기반

학습을 이용하여 입력된 인물 상에서 헤어 부분을

역화 하는 단계와 입력 헤어 역과 가장 일치하는 헤

어 모델을 3차원 헤어 모델 데이터셋에서 검색하여 생

성하는 단계를 세부 으로 설명한다.

2.1 헤어 역화를 한 FCN 학습

본 논문에서는 입력된 인물 상에서 헤어 부분을

역화하기 해 FCN을 사용한다. FCN은 일반 인 CNN

(convolutional neural network)의 업샘 링부에서 완

연결층(fully connected layer) 부분을 1×1 컨볼루션

으로 바꾸어 치 정보를 장할 수 있게 한 네트워크

이다. 이로 인해 기존의 CNN보다 빠르고 정확하게 상

의 역화를 수행할 수 있다. 본 논문에서는 그 에서

도 인물의 역화에 집 한 VGG16을 기반으로 만들어진

FCN[12]을 사용하 으며 그림 2에 그 구조를 도시하 다.

학습 데이터는 [12]에서 제공하는 1,466개의 인물 사

진을 Grab-Cut 역화 기법[13]을 사용한 반자동 수작

업으로 헤어 역을 분리하고 데이터 증강을 하여 좌

우 반 후 이진화 하여 생성한 총 3천여개의 상으로

구성하 다. 그림 3에 생성한 학습 데이터셋의 일부를

도시하 다.

2.2 3차원 헤어 모델 데이터 베이스 생성 검색

최근 얼굴 모델링 연구에서는 부분 3DMM 기법을

통해 3차원 얼굴 복원을 수행한다. 그러나 헤어는 그 복

잡성과 다양성 때문에 3DMM 기법과 같이 차원을 인

벡터 공간에서는 부분의 헤어스타일을 표할 수 없

다. 본 논문에서는 여러 3차원 헤어 모델을 수집하여 데

이터 베이스를 구축하고 입력된 인물 상의 구분된 헤어

역과 가장 유사한 헤어 모델을 검색하는 방법을 제안

한다.

데이터 수집은 다음과 같이 진행된다. 온라인 게임커

뮤니티에서[14]에서 게임 유 들에게 공유되고 있는 서

로 다른 187개의 헤어 모델을 수집하고 이를 표 3차

원 메쉬 포맷인 OBJ 형식으로 변환한다. 한 역화

된 헤어와 비교하기 해 각각의 헤어 모델의 정면도를

구한다. 정면도는 3D 헤어 모델의 뒷부분 반을 삭제

한 후 정면으로 투 한 상을 이진화하여 구하며, 그

후 각각의 정면도에 해서 HoG와 종횡비를 구한다.

즉, HoG는 투 된 헤어 모델의 경과 배경 경계의 그

래디언트 방향을 히스토그램으로 장한 것이다. 종횡비

는 상에서 실제 머리가 존재하는 부분의 세로 화소

수를 가로 화소 수로 나 수치이다. 그림 4는 수집한

헤어 모델들의 시와 그들의 정면도를 보이고 있다.

본 논문에서 제안하는 검색 기법은 다음과 같다. 입력

얼굴 상에서 FCN을 통해 분리된 헤어 역에 해

HoG와 종횡비를 구한다. 이후 3차원 헤어 모델 정면도

의 헤어 역이 갖는 종횡비의 ±20% 이내의 종횡비를

갖는 데이터베이스 내의 정면도들을 후보로서 우선 검

출한다. 마지막으로 후보 정면도 HoG 벡터가 입력

헤어 상의 HoG 벡터와 L2거리가 가장 일치하는 순으

로 사용자에게 제안한다.

3. 실험 결과

본 논문의 실험은 Intel i7-7700 3.6GHz CPU와

NVIDIA GeForce GTX 1080 Ti를 장착한 컴퓨터에서

수행하 다. FCN 네트워크에서는 stochastic gradient

descent (SGD) solver와 softmax 손실 함수를 사용하

으며 학습율은 10-4

이 합함을 경험 으로 찾아냈다.

600×800 RGB 상에 해서 역화는 0.5 , 헤어 모

델 검색에는 1 의 실행시간이 소요되었다.

408 정보과학회논문지 제46권 제5호(2019. 5)

그림 3 헤어 역화를 해 생성한 학습 데이터셋. (a) 인물 상, (b) Grab-Cut을 통해 구한 헤어 역

Fig. 3 Training dataset for hair segmentation. (a) Portrait images, (b) Hair region segmented using Grab-Cut method

그림 4 수집된 헤어 모델. 메쉬 모델과 정면도

Fig. 4 Collected hair models shown in mesh model and front view

그림 5는 FCN을 사용하여 입력된 인물 상에서 헤

어 부분을 역화 한 결과를 보이고 있다. 성별, 안경

착용 여부, 선 라스 착용 여부가 서로 다른 다양한

상에 해서 모두 정확한 역화 결과가 생성되었음을

확인할 수 있다. 정량 인 성능 평가를 하여 Figaro

dataset[15]에의 50개의 헤어 역이 포함된 정면 상

에 해 역화를 수행하고, 주어진 참값을 이용하여

precision, recall, accuracy 세 값을 측정하 다. Preci-

sion은 찾아낸 헤어 역 실제 헤어 역의 비율을,

recall은 실제 헤어 역 찾아낸 헤어 역의 비율을,

그리고 accuracy는 체 픽 올바르게 구분한 역의

비율을 의미한다. 표 1에 제시한 성능 평가 결과와 같

이, 기존의 기법[16]에 비해 유의미한 성능 향상이 있음

을 알 수 있다.

3차원 얼굴 모델링을 한 검색기반 헤어 모델 증강 409

그림 5 헤어 역화 결과. (a) 입력된 인물 상, (b) 헤어 역화 결과. 입력 상은 [8]의 데이터를 사용함

Fig. 5 Result of hair segmentation. (a) Input image, (b) Hair segmentation result, The input images are from the

dataset used in [8]

그림 6 헤어 모델 검색 실험결과. (a) 입력 상, (b) 헤어 역화 결과, (c) 검색된 상 3개의 3차원 헤어 모델의 정면도

Fig. 6 Hair model retrieval result. (a) Input images, (b) Hair segmentation result, (c) Frontal view of the top three

3D hair models retrieved

그림 6에 3차원 헤어 모델 검색 결과를 제시하 다.

입력 상과 종횡비와 HoG 값이 가까운 상 3개의 모

델을 도시하 다. 상 으로 헤어스타일의 다양성이

은 남성의 정확도가 여성의 정확도보다 높음을 알 수

있다. 그림 6(d)～(f)에서 알 수 있듯이, 여자 모델은 두

번째 결과와 같이 앞부분은 어느정도 비슷하나 뒤쪽의

410 정보과학회논문지 제46권 제5호(2019. 5)

그림 7 복원된 헤어 모델이 증강된 얼굴 모델링 결과. (a) 입력 상, (b) 헤어 역화 결과, (c) 최상 유사도를 갖는

헤어 모델 검색 결과, (d) 얼굴 모델링 결과, (e)(f)복원된 3차원 헤어 모델이 증강된 머리(얼굴 헤어) 모델

Fig. 7 Face modeling results augmented by reconstructed hair model. (a) Input image, (b) Hair segmentation

result, (c) Hair model retrieval result with highest similarity, (d) Face modeling results, (e)(f) Head models

augmented by reconstructed 3D hair model

3차원 얼굴 모델링을 한 검색기반 헤어 모델 증강 411

표 1 Figero dataset[15]를 이용한 헤어 역화의 정량

성능 평가

Table 1 Qantitative evaluation using figero dataset[15]

Precision (%) Recall (%) Accuracy (%)

[16] 89.0 81.1 91.5

제안하는 기법 92.0 84.2 93.9

묶음 머리가 다르거나 세번째 결과와 같이 정면 상에

서 가려진 헤어 부분 때문에 머리 길이가 짧게 표 되

는 문제가 있다. 이것은 데이터베이스내의 여성 헤어스

타일이 다양하지 않기 때문에 발생하는 문제이며, 이는

헤어 데이터베이스의 규모를 늘림으로써 해결할 수 있다.

그림 7은 검색된 헤어 모델을 3차원 얼굴 모델링 결

과에 증강하여 체 인 머리 모델링을 수행한 결과이

다. 실험에 사용된 상은 다양한 각도와 조명에서 취득

한 20 남녀 100명의 정면 상이며, 3차원 얼굴 모델

링은 [17]의 기법을 사용하 다. 증강 실 는 컴퓨터

게임에 비용으로 사용할 수 있는 3차원 머리 모델을

생성하는 에서 보았을 때, 생성된 결과가 히 이

용될 수 있을 것으로 기 할 수 있다. 모든 헤어 모델은

사 에 기본 3차원 얼굴 모델과 치 정렬이 되어있고,

입력 상에 해 기본 얼굴 모델이 변형되어 생성된 3

차원 얼굴 모델의 치의 좌표 차이에 따라 미리 설

정한 비율에 의해 헤어 모델의 치가 조정된다.

4. 결 론

본 논문에서는 FCN 기반의 학습을 이용한 인물 상

에서 헤어 부분 역화 기법과 검색 기반 3차원 헤어

모델링 기법을 제안하 다. 제안한 방법은 1466 의 입

력 상과 그의 헤어 역 상으로 학습된 FCN을 통

해 헤어 부분 역화를 수행한다. 역화 결과를 바탕으

로 187개의 3차원 헤어 모델로 구성된 데이터베이스에

서 가장 유사한 헤어 모델을 검색하여 3차원 얼굴 모델

링의 결과에 증강한다. 실험 결과 다양한 인물의 입력

상에 해서 유사한 헤어 모델이 생성되어 3차원 얼

굴 모델링의 실성을 높임을 확인하 다. 향후 더 큰

규모의 헤어 데이터베이스의 구축을 통해 실용 인 3차

원 인물 모델링 시스템으로 확장할 수 있다.

References

[ 1 ] V. Blanz and T. Vetter, "A morphable model for

the synthesis of 3D faces," Proc. of ACM SIG-

GRAPH, pp. 187-194, Aug. 1999.

[ 2 ] S. Paris, W. Chang, O. I. Kozhushnyan, W. Jarosz,

W. Matusik, M. Zwicker, and F. Durand, "Hair

photobooth: Geometric and photometric acquisition

of real hairstyles," ACM Trans. on Graphics, Vol.

27, No. 3, p. 30, Aug. 2008.

[ 3 ] W. Jakob, J. T. Moon, and S. Marschner, "Capturing

hair assemblies fiber by fiber," ACM Trans. on

Graphics, Vol. 28, No. 5, p. 164, Dec. 2009.

[ 4 ] T. L. Herrera, A. Zinke, and A. Weber, "Lighting

hair from the inside: A thermal approach to hair

reconstruction," ACM Trans. on Graphics, Vol. 31,

No. 6, p. 146, Jul. 2012.

[ 5 ] L. Luo, H. Li, and S. Rusinkiewicz, "Structure-aware

hair capture," ACM Trans. on Graphics, Vol. 32,

No. 4, p. 76, Jul. 2013.

[ 6 ] J. I. Echevarria, D. Bradley, D. Gutierrez, and T.

Beeler, "Capturing and stylizing hair for 3D fabri-

cation," ACM Trans. on Graphics, Vol. 33, No. 4, p.

125, Jul. 2014.

[ 7 ] M. Chai, L. Wang, Y. Weng, Y. Yu, B. Guo, and K.

Zhou, "Single-view hair modeling for portrait mani-

pulation," ACM Trans. on Graphics, Vol. 31, No. 4,

p. 116, Jul. 2012.

[ 8 ] M. Chai, L. Wang, Y. Weng, Y. Jin, and K. Zhou,

"Dynamic hair manipulation in images and videos,"

ACM Trans. on Graphics, Vol. 32, No. 4, p. 75, Jul.

2013.

[ 9 ] L. Hu, C. Ma, L. Luo, and H. Le, "Single-view hair

modeling using a hairstyle database," ACM Trans.

on Graphics, Vol. 34, No. 4, p. 125, Aug. 2015.

[10] M. Chai, T. Shao, H. Wu, Y. Weng, and K. Zhou,

"AutoHair: Fully automatic hair modeling from a

single image," ACM Trans. on Graphics, Vol. 35,

No. 4, p. 116, Jul. 2016.

[11] J. Long, E. Shelhamer, and T. Darrell, "Fully con-

volutional networks for semantic segmentation,"

Proc. of IEEE Conference on Computer Vision and

Pattern Recognition, pp. 3431-3440, Jun. 2015.

[12] X. Shen, A. Hertzmann, J. Jia, S. Paris, B. Price, E.

Shechtman, and I. Sachs, "Automatic portrait seg-

mentation for image stylization," Computer Graphics

Forum, Vol. 35, No. 2, pp. 93-102, May 2016.

[13] C. Rother, V. Kolmogorov, and A. Blake, "GrabCut:

interactive foreground extraction using iterated

graph cuts," ACM Trans. on Graphics, Vol. 23, No.

3, pp. 309-314, Jul. 2004.

[14] Maysims [Online]. Available: https://www.maysims.com/

[15] M. Svanera, U. R. Muhammad, and S. Benini, "Figaro,

hair detection and segmentation in the wild," Proc.

of IEEE International Conference on Image Proc-

essing, pp. 933-937, Sep. 2016.

[16] U. R. Muhammad, M. Svanera, R. Leonardi, and S.

Benini, "Hair detection, segmentation, and hairstyle

classification in the wild," Image and Vision Com-

puting, Vol. 71, pp. 25-37, Mar. 2018.

[17] X. Yuan, M. R. Cho, and I. K. Park, "3D head

modeling from uncalibrated three images," Proc. of

Workshop on Image Processing and Image Under-

standing, Feb. 2018. (in Korean)

412 정보과학회논문지 제46권 제5호(2019. 5)

이 정 우

2018년 8월 인하 학교 정보통신공학과

학사. 2018년 9월～ 재 인하 학교 정보

통신공학과 석사과정. 심분야는 컴퓨터

그래픽스 비 ( 상기반 3차원 얼굴

모델링), deep learning

박 인 규

1995년 2월 서울 학교 제어계측공학과 학사

1997년 2월 서울 학교 제어계측공학과 석사

2001년 8월 서울 학교 기컴퓨터공학부

박사. 2001년 9월～2004년 2월 삼성종합

기술원 멀티미디어랩 문연구원. 2007년

1월～2008년 2월 Mitsubishi Electric

Research Laboratories (MERL) 방문연구원. 2014년 9월～

2015년 8월 MIT Media Lab 방문부교수. 2018년 6월～2019년

2월 University of California, San Diego 방문학자. 2004년

3월～ 재 인하 학교 정보통신공학과 교수. 심분야는 컴퓨

터 그래픽스 비 ( 상기반 3차원 형상 복원, 증강 실,

computational photography), GPGPU