Embed Size (px)
Citation preview
96 정보과학회논문지 : 시스템 이론 제 40 권 제 2 호(2013.4)
․본 연구는 정보통신산업진흥원의 IT/SW 창의연구과정의 연구결과로 지식경제부와
(주)NHN에 의해 지원된 과제로 수행되었음(NIPA-2012-(H0505-12-1003))
․이 논문은 제39회 추계학술발표회에서 ‘ 화질 3차원 카메라를 이용한 내용기반
3차원 모델 검색 기법’의 제목으로 발표된 논문을 확장한 것임
논문 수
심사완료
:
:
2012년 12월 6일
2013년 1월 14일
CopyrightⒸ2013 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작
물의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다.
이 때, 사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처
를 반드시 명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든
유형의 사용행 를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야
합니다.
정보과학회논문지: 시스템 이론 제40권 제2호(2013.4)
†
††
비 회 원
종신회원
:
:
인하 학교 정보통신공학과
인하 학교 정보통신공학과 교수
(Corresponding author임)
깊이 상을 이용한 내용기반
3차원 모델 검색 기법(Content-Based 3D Model Retrieval Using Depth Image)
배 민 수† 박 인 규
††
(Min Soo Bae) (In Kyu Park)
요 약 본 논문에서는 한 장의 깊이 상을 이용한 효율 인 내용기반 3차원 모델 검색 기법을 제안
한다. 완성된 3차원 모델 데이터를 질의로 사용하는 기존의 알고리즘은 실세계에서 입력 데이터를 취득하
기가 매우 어려우며, 사용자의 스 치나 이진 상을 사용하는 경우는 3차원 형상 정보의 부재로 인해 정
확한 검색이 어렵다. 반면 제안하는 알고리즘은 3차원 카메라로부터 실제 물체의 깊이 상을 쉽게 취득
하고, 3차원 모델의 기하학 특징을 최 한 이용하여 정확한 검색을 수행 할 수 있다. 본 논문에서 제안
하는 기법은 처리 과정과 기술자 정합에 의한 유사도 비교의 두 단계로 구성된다. 처리 과정에서는
입력 질의 깊이 상의 잡음을 제거하고, 3차원 모델의 크기와 치를 유사도 측정에 사용할 수 있도록
정규화한다. 한 기술자 생성에 따른 유사도 비교 과정에서는 데이터베이스 모델에 해 균일하게 샘 링
된 시 에서 취득된 깊이 상의 회 불변 기술자를 생성하고, 이를 질의 깊이 상의 기술자와 비교함으
로써 시 기반의 모델 검색을 수행한다. 실험결과 제안하는 기법은 3차원 모델 체를 질의로 시용한 다
른 알고리즘의 검색 성능에 근 한 검색 정확도를 보여 다.
키워드: 3차원 모델 검색, 컴퓨터 그래픽스, 3차원 카메라, 내용기반 검색, 유사도, 기술자 생성
Abstract In this paper, we propose an efficient method for 3D model retrieval using a single depth
image. Existing algorithms that use complete 3D model as a query has a disadvantage that it is hard
to obtain input data in real environment. Also accurate retrieval is uneasy when the query is
represented by user’s sketch or a binary image since they rack 3D information. On the other hand,
the proposed algorithm can obtain the input query easily and retrieve 3D models accurately by using
3D geometric characteristics. The proposed method consists of two steps: preprocessing and similarity
comparison by descriptor matching. In preprocessing, we remove the noise of the input depth image
and normalize 3D models’ size and orientation. In similarity comparison, we generate rotation-invariant
descriptors of database models’ depth images of which viewpoints are sampled uniformly and perform
view-based retrieval by comparing them with the descriptor of the input depth image. Experimental
results demonstrate that the proposed algorithm shows equivalent result in accuracy compared with
the existing method which uses the complete 3D model as an input query.
Keywords: contents-based, 3D model retrieval, depth image, similarity, descriptor, view-based
깊이 상을 이용한 내용기반 3차원 모델 검색 기법 97
1. 서 론
최근 애니메이션, 화, 게임, 웹 서비스 등의 발 으
로 3차원 모델 데이터의 수요가 격히 증가하고 있다.
뿐만 아니라 가형 3차원 스캐 를 이용하여 존재하는 물
체의 3차원 형상을 직 취득하거나, Google SketchUp[1]
과 같은 사용자 친화 모델링 도구를 이용하여 3차원
객체의 생성이 용이해졌다. 따라서 멀티미디어 엔터
테인먼트 시장을 비롯한 각종 어 리 이션에서 3차원
모델의 필요성이 차 증 되고 있다.
재 2차원 상 검색을 한 다양한 형태의 질의
(query) 입력 기반 서비스는 이미 각종 포털 사이트를
통해 제공되고 있다. 반면 보편화된 3차원 모델 검색
(3D model retrieval) 시스템은 온라인상에 거의 존재하
지 않는다. Google 3D Warehouse[2]와 같은 텍스트
기반의 3차원 모델 검색 엔진은 다수 존재하나, 텍스트
만으로는 사용자가 원하는 모델의 이름이나 분류에 따
른 검색만 할 수 있을 뿐, 시각 형태 특징에 따른
검색이 불가능하다. 한 재 이러한 서비스는 특정 포
맷(.skt)의 데이터만 제공하는 제한된 환경의 시스템이
다. 따라서 사용자와 상호 화형의(user-interactive) 3
차원 모델 검색을 하여, 텍스트 외에도 상의 입력을
통한 내용 기반(content-based) 3차원 모델 검색 시스
템의 알고리즘 개발이 필요하다. 그러나 2차원 상과
달리 3차원 모델 데이터의 경우 주로 디스 이
더링(rendering)만의 목 으로 만들어졌기 때문에 모델
의 기하학 인 특징만을 악할 수 있는 경우가 부분
이다. 그러므로 상 형태의 입력 데이터에 한 내용기
반 검색이 가능하도록 데이터베이스 내의 3차원 모델의
효율 인 가공을 통한 기하학 특징을 악하는 근
방식이 필요하다.
한편 Microsoft Kinect[3]와 같은 가의 3차원 카메
라가 속히 보 되고 있다. 이는 가격 비 양질의 깊
이 상 취득환경 구축을 가능하게 하 으며, 이러한 시
스템을 이용하여 검색에 필요한 입력 데이터를 실시간
컬러 상 깊이 상으로 확장하는 것이 용이해졌다.
그러나 재로서는 이러한 3차원 카메라를 3차원 모델
검색에 사용하고 있는 사례가 존재하지 않는다. 재
Kinect를 비롯한 각종 RGB-D 카메라들이 범 하게
보 되고 있으므로 이를 통해 간편히 취득된 깊이 상
을 이용한 3차원 모델 검색은 향후 매우 요한 기술이
될 것으로 상된다.
따라서 본 논문에서는 한 장의 깊이 상을 이용한
내용기반 3차원 모델 검색 기법을 제안한다. 제안하는
알고리즘은 입력 질의 깊이 상의 잡음과 원근 성분을
제거하고, 3차원 모델을 다 깊이 상 기반으로 표
하기 하여 3차원 모델에 하는 구면체상에 균일한
카메라 시 을 샘 링하고, 각각의 시 에서 모델을
더링하여 깊이 상을 취득한다. 한 입력 질의 깊이
상과 3차원 모델의 깊이 상에 해 회 불변 기술
자(rotation-invariant descriptor)를 생성하여 비교함으
로써, 최종 으로 입력 질의와 유사한 모델들을 데이터
베이스 내에서 검색한다. 이러한 시 기반(view-based)
방식의 검색은 3차원 형상의 다 깊이 상 기반 표
(multiple depth image-based representation)에 바탕
을 둔 검색 기법으로서, 이를 통해 부분 시 (partial-view)
에서의 한 장의 깊이 상을 이용한 3차원 모델 검색을
효율 으로 수행할 수 있다.
2. 기존의 연구
2.1 내용기반 3차원 모델 검색 기법의 분류와 특징
3차원 모델 검색은 입력된 질의(query) 모델에 해
그와 유사하거나 같은 분류에 속하는 3차원 모델을 데
이터베이스에서 검색하는 것을 의미한다. 특히 내용기반
검색은 텍스트 키워드 신 2차원 상 는 3차원 모
델 자체를 질의 입력으로 하여 유사한 형상의 모델을
검색하는 것을 말한다. 검색 결과의 정확성(precision-
recall), 검색 소요 시간, 입력 질의의 편의성, 데이터베
이스 내 3차원 모델에 한 분류의 정확도, 모델의 완성
도에 구애 받지 않는 강건함 등으로 검색 알고리즘의
성능을 평가할 수 있다.
내용기반 3차원 모델 검색에 한 체 인 분석은
[4]에 제시되었으며, 일반 으로 모델의 기하학 형태
의 특징을 추출하고 비교하여 검색을 수행함으로써 이
루어진다. 이는 시 (view) 기반, 히스토그램 기반, trans-
form 기반, 그래 (graph) 기반의 네 가지 방식으로 분
류할 수 있다.
히스토그램 기반 방식은 곡률 는 법선 벡터와 같은
3차원 모델의 기하학 특징의 분포를 확률 분포로 모델
링 하여 사용하는 통계 방식의 검색법이다. 최종 으
로 각 분포 간 차이를 계산하여 모델 간의 유사도를 측
정한다. 작은 왜곡에 강건하고 모델의 변형에 불변
(invariant) 하다는 장 이 있으나 역 방법이기 때문에
유사한 모델의 세부 인 구분이 어려우며 유사도를 악
하기 한 히스토그램의 분석과 계산이 복잡하다[5,6].
Transform 기반 방식은 3차원 모델의 부피나 표면을
구면조화함수(spherical harmonic function) 등의 회
불변함수(rotation-invariant function)로 변환 분해
하여 기술자를 생성한다. 이는 비교 높은 검색 성능을
갖고 있지만, 상계수의 손실로 인해 물체의 기하학 정
보를 잃어버릴 수 있다는 단 이 있다[7-9].
그래 기반의 방식은 다른 검색 방식과 달리 3차원
98 정보과학회논문지 : 시스템 이론 제 40 권 제 2 호(2013.4)
그림 1 제안하는 알고리즘의 개요
모델 데이터 자체를 검색에 용이하게 가공하거나 새로
운 데이터로 생성하여 사용한다는 에서 앞서 설명한
벡터 기반 기술자 방식(vector-based descriptor methods)
들과 구분된다. 그래 기반 방식은 모델의 골격 구조를
악하여 리 (Reeb) 그래 를 구성하며 노드와 노드
사이의 계를 비교하여 유사도를 계산하거나[10] 모델
의 상정합을 통해 기하학 인 변형에 강건한 검색을
할 수 있다[11]. 이는 비강체(non-rigid)의 검색이 가능
하고 비교 뛰어난 검색성능을 기 할 수 있다는 장
이 있지만, 연산이 어렵고 다양한 3차원 모델 표 방법
에 용하기 어려운 큰 문제를 가지고 있다.
2.2 시 기반 3차원 모델 검색 기법
시 기반의 검색 방식이란 3차원 모델은 수 개의 2.5
차원 깊이 상으로 표 될 수 있다는 깊이 상 기반
표 (depth image-based representation)기법을 바탕으
로 하며, 3차원 모델에 한 특정 시 을 샘 링(sampl-
ing)하여 양상- 계 그래 (aspect-relation graph)로
표 하고 입력 상과의 정합으로 유사도를 측정하는 기
법이다. 실루엣 상을 생성하여 기술자로 사용하거나
[12,13], 균일하게 분포된 시 에서 깊이 상을 생성하
여 회 불변한 기술자를 생성하는 방법[14,15], 깊이
상을 통해 실루엣 윤곽선을 생성한 뒤 윤곽선을 기울기
에 따라 5종류의 문자로 표 하여 Hamming distance
를 통해 유사도를 측정하는 방법[16], SIFT(Scale Inva-
riant Feature Transform) 알고리즘을 2차원 깊이 상
에 용하여 local feature를 비교하는 방법[17] 등이 존
재한다. 한 깊이 상과 함께 모델의 부피를 유사도
비교에 함께 고려하며, 최 화 기법을 통해 깊이 상간
에러율을 최소화하여 유사도를 측정하는 기법도 존재한
다[18]. 3차원 모델을 투 시킨 2차원 상을 이용하므
로 3차원 모델의 미세한 polygon 락, hole 등에 의한
향을 크게 일 수 있어 모델의 완성도에 구애 받지
않는 강건한 검색을 할 수 있다. 하지만 은 수의 상
샘 을 사용할 경우 자기폐색(self-occlusion)으로 인한
3차원 정보의 유실을 막기 힘들다는 단 이 있으므로,
한 장의 깊이 상을 입력 질의로 사용하기 해서는
입력 상의 정규화가 필요하며 데이터베이스 모델을
조 하게 더링하여 깊이 상을 취득해야 한다.
2.3 제안하는 알고리즘의 개요
본 논문에서 제안하는 알고리즘은 크게 상취득
유사도 측정을 수행하는 온라인(online)알고리즘과 데이
터베이스 내 3차원 모델에 한 기술자 생성을 수행하
는 오 라인(offline) 알고리즘으로 구성된다. 그림 1에
제안하는 알고리즘의 개요를 도시하 으며, 각 알고리즘
의 역할은 다음과 같다.
오 라인 알고리즘은 데이터베이스 내 3차원 모델을
검색에 사용할 수 있도록 크기 이동에 하여 정규
화 시킨다. 정규화된 모델에 해 균일하게 샘 링 된
시 에서의 더링을 수행하고, 각각의 시 에 서 깊이
상을 취득한다. 그리고 이에 해당하는 회 불변 기술
자를 생성하여 이진화된 데이터를 장한다.
온라인 알고리즘에서는 3차원 카메라로부터 깊이
상을 취득한다. Bilateral-filetering[19]을 통해 잡음을
제거하고, 사용자의 입력에 의해 GrabCut[20]을 통한
객체의 분할이 이루어진다. 분할된 객체에 해당하는 깊
이 상의 역은 크기 이동에 한 정규화 과정을
거치며, 이 깊이 상에 한 회 불변 기술자가 생성된
다. 최종 으로 온라인 알고리즘을 통해 생성한 3차원
깊이 상을 이용한 내용기반 3차원 모델 검색 기법 99
그림 2 입력 질의 깊이 상의 원근 성분 제거
모델에 한 기술자와의 비교를 통해 유사한 모델들을
검색한다.
3. 처리 과정
3.1 입력 질의 깊이 상 취득
본 논문에서는 Kinect를 사용하여 컬러 상과 깊이
상을 동시에 취득하 다. 가장 먼 , 검색에 필요한
실제 객체의 정확한 분할(segmentation)을 해 카메라
인자를 이용하여 컬러 상에 하여 깊이 상을 등록
(registration)한다.
과정을 통해 컬러 상과 등록된 깊이 상이 함
께 취득되면, 사용자 선택에 의해 3차원 모델 검색에 사
용될 객체의 분할이 이루어진다. 본 논문에서는 Grabcut
[20]기법을 이용하여 컬러 상에서 객체의 분할을 수행
하 다. 컬러 상에서 객체의 분할에 의해 생성된 마스
크(mask)는 깊이 상에서 해당 객체의 역 선택에 사
용된다. 이 게 생성된 깊이 상에서 객체에 해당하는
역이 입력 질의 깊이 상으로 사용된다.
3.2 3차원 카메라의 잡음 제거
본 논문에서 제안하는 3차원 모델 검색 알고리즘은
질의 데이터로 잡음을 포함한 한 장의 깊이 상만을
사용하므로 정제된 깊이 상이 반드시 필요하다. 따라
서 본 논문에서는 외곽선이 보존되는 평활화 필터인
Bilateral-filtering[19] 기법을 통해 3차원 카메라의 잡
음을 제거하 다. 즉, 화소의 치 p에서의 필터링 결과
Ibilateral(p)는 마스크 S에 포함되는 주변 화소 q에
해 화소간의 공간 거리(||p - q||)와 화소의 밝기
(intensity) 차이(|Ip - Iq|)에 따라 변화하는 가우시안 가
치(Gaussian weight) 와 를 화소 q의 Iq 에
곱하고, S내부 화소의 수 |S|에 의해 정규화 함으로서
얻을 수 있다. 이를 수식으로 표 하면 다음과 같다.
∑∈
−−=Sq
qqpbilateral IIIGqpGS
pIrs
|)(|||)(||||1)( σσ
(1)
이 게 화소간의 공간 거리와 화소의 밝기 차이를
함께 고려하여 상을 필터링 함으로써 깊이 상의 잡
음을 효과 으로 제거함과 동시에 객체의 윤곽을 유지
할 수 있다.
3.3 입력 질의 깊이 상의 원근 성분 제거 데이터
베이스 모델 정규화
시 기반의 모델검색을 해서는 모든 깊이 상에서
동일한 투 이 이루어져야한다. 따라서 데이터베이스 모
델의 깊이 상이 직교 투 되도록 하고, 3차원 카메라
로부터의 질의 깊이 상은 원근 성분을 제거하여 두
상에서 동일하게 직교투 이 이루어지도록 하 다. 그
림 2를 통해 비스듬히 세워진 직사각형 물체의 원근 성
분이 제거된 것을 확인할 수 있다. 한편 데이터베이스의
3차원 모델들은 지역 좌표계에서의 크기, 원 , 방향이
모두 다르다. 따라서 3차원 모델의 다 깊이 상 표
에 앞서 모든 데이터베이스 모델에 해 정규화 과정이
필요하다. 이동 정규화는 3차원 모델의 심이 좌표의
심에 오도록 모델을 이동시킴으로써 이루어진다. 한
본 논문에서 제안하는 회 불변 기술자는 회 의 변화
에는 강인하지만 크기 변화에 민감하다. 따라서 단 구
면체에 내 하도록 모델의 크기 정규화를 수행한다.
4. 회 불변 기술자 생성 유사도 비교
4.1 카메라 시 의 균일한 샘 링
시 기반 방식 유사도 측정을 한 회 불변 기술자
생성에 앞서, 데이터베이스 내의 3차원 모델을 특정 카
메라 시 에서 더링하고 깊이 상을 취득해야 한다.
본 논문에서는 단 반지름 크기의 구에 내 하는 20면체
(icosahedron)에 해 메쉬 분할 기법(mesh subdivision)
을 용하여 카메라 시 을 샘 링 하 다. 20면체의 모
든 정 에 해 메쉬 분할 기법을 용하면 그림 3과
같이 표면에 균일한 정 을 가진 단 구면체를 만들어
낼 수 있으며 각 정 은 구의 심을 바라보는 카메라
의 시 을 의미한다. 이 게 샘 링 된 각 시 에서 3차
원 모델을 더링하여 각각의 시 에 응하는 깊이
상들을 취득한다. 본 논문에서는 메쉬 분할을 각각 2, 3,
4번 반복하여 모델 당 162, 642, 2562개가 되는 충분한
수의 깊이 상을 생성해 검색에 사용함으로써, 시 기반
100 정보과학회논문지 : 시스템 이론 제 40 권 제 2 호(2013.4)
그림 3 20면체의 메쉬 분할을 통해 균일한 분포의 시 을
생성하는 과정
방식 검색의 단 인 자기폐색에 의한 정보의 유실을 최
소화하 다.
4.2 회 불변 기술자 생성
3차원 카메라로부터 입력 받은 질의 깊이 상과 4.1
에서 취득된 다 깊이 상으로 표 된 상은 카메
라의 회 에 한 정보를 포함하지 않는다. 따라서 더
링된 모든 깊이 상에 해 회 불변 기술자를 생성하
여 유사도 측정이 이루어져야 한다. 이를 해 본 논문
에서는 Zernike 모멘트[21]를 사용하 다. Zernike 모멘
트는 단 원 안에서 직교하는 복소 다항식(complex
polynomials)들의 집합이므로 회 불변 특성을 갖고
있으며, 식 (2)에 제시한 바와 같이 상 f (x, y)를 직교
기 함수로 투 함으로써 얻을 수 있다. N은 상의
해상도를 나타내며 k와 m은 Zernike 모멘트의 차수를
나타낸다. 차수 k는 k∈N + 을 만족하는 자연수이며,
m은 0 <m < | k |이고, k - |m |가 짝수임을 만족시키
는 모든 자연수이다. 본 논문에서는 차수 k를 13까지
계산하여 상 당 56개의 Zernike 모멘트를 생성하 다.
∑∑−
=
−−
=−+
=1
0
1
02 ),()()1()1(2 N
y
jmxykm
N
xkm yxferR
NkZ xyθ
π (2)
여기서 차수 k와 m에 따른 방사 다항식(radial
polynomial) Rkm 은 식 (3)과 같이 정의된다.
(3)
이는 차수 k에 해 O(k3)의 복잡도를 가지므로 모
든 깊이 상의 기술자를 생성하는 데에 있어, 매번 연
산하는 것은 매우 비효율 이다. 한편 동일한 해상도의
상에서의 다항식 Rkm 은 모두 동일한 크기를 가지므
로 단 한번의 연산 후 스펙트럼을 장해 두고 이를 다
른 상의 기술자 생성에 재활용하여 연산을 최소화 하
다.
4.3 유사도 비교
유사도 비교 과정에서는 질의 데이터의 기술자와 데
이터베이스 내의 모든 모델에 한 기술자가 각각 비교
된다. 식 (4)에 나타낸 바와 같이 각 모델의 차이(dissi-
milarity) D는 n개의 시 에 해 질의 데이터와의
Zernike 모멘트 차이를 최소화 하는 시 과의 차이 값
이 되며, D가 작을수록 해당 모델의 유사도가 높다.
(4)
최종 으로 D가 작은 순서 로 3차원 모델 검색결과
를 출력함으로써 3차원 모델 검색 알고리즘이 종료된다.
5. 실험 결과
본 에서는 제안한 알고리즘을 통한 3차원 모델의
검색 결과 성능 분석을 제시한다. 2.5GHz Intel
Core2 Quad CPU, NVIDIA GeForce GTX570 GPU,
2GB 메모리의 Windows 7 환경에서 Visual Studio
C언어를 사용하여 3차원 모델 검색 알고리즘을 구 하
다. 실험 모델로는 PSB(Princeton Shape Bench-
mark) 검색 엔진 테스트용 모델 데이터베이스[22]를 이
용하 다. PSB는 907개의 모델과 131개의 클래스(class)
로 구성되어 있다. 한 OpenGL 환경에서 64×64, 128×
128, 256×256의 3가지 해상도로 데이터베이스 모델을
더링하여 다 시 깊이 상을 취득하 다.
5.1 실제 물체를 입력 질의로 한 검색 결과
그림 4는 Kinect를 통해 취득한 실제 물체의 깊이
상을 입력 질의로 사용한 검색결과를 나타낸 것이다. 이
를 통해 본 논문에서 제안한 기법으로 3차원 카메라로
부터 간단히 취득한 단일 깊이 상을 사용하여, 실제
객체와 유사한 3차원 모델들이 검색된 것을 확인할 수
있다. 일부 검색된 모델 같은 클래스에 속하지 않는
결과들은 데이터베이스 모델 입력 질의와 다른
클래스에 속함에도 특정 시 에서 취득된 깊이 상이
입력 질의 깊이 상과 유사한 경우이며, 이는 시 기
반 검색이 가지고 있는 문제 이라 할 수 있다.
5.2 성능 분석
제안하는 기법의 성능 분석을 하여 정 도-재 률
(precision-recall) 측정을 수행하 다. 정 도-재 률 측
정법은 검색 성능 비교에서 가장 일반 인 척도로 사용
되는 방법이며, 재 률(recall)이란 검색 모델에 응하
는 클래스에 속한 체 모델 실제 검색에 사용된 모
델의 비율로서 클래스의 체 모델 검색을 통해 찾
고자 하는 모델의 개수의 비율에 해당하는 수치이다.
한 정 도(precision)는 검색된 모델들이 질의에 사용된
모델에 응하는 클래스에 속하는 비율을 나타내며, 다
시 말하여 모델을 검색한 결과가 사용자의 원하는 클래
스에 속한 비율이 된다. 즉 정 도-재 률 그래 는 일
반 으로 재 률 수치가 증가할수록 수치가 감소하게
되는데, 곡선이 쪽에 치하며 재 률 증가에 따른 정
깊이 상을 이용한 내용기반 3차원 모델 검색 기법 101
그림 4 제안하는 알고리즘을 통한 3차원 모델 검색 결과
그림 5 정 도-재 률 수치 측정을 해 사용된 깊이 상의
그림 6 깊이 상 해상도 변화에 따른 성능 비교(모델 당 162개의 깊이 상 더링)
도 수치의 감소량이 을수록 우수한 성능의 검색 알
고리즘이라고 할 수 있다. 한편 데이터베이스의 모든 모
델과 응하는 실제 객체의 상을 취득하는 것은 불가
능하므로, 그림 5와 같이 PSB 검색 엔진 테스트용 모
델 데이터베이스의 3차원 모델을 사용자 임의로 선택된
시 에서 더링하고, 각각의 시 에서 깊이 상을 취
득하여 이를 입력 질의 깊이 상으로 사용하 다.
그림 6에 깊이 상의 해상도에 따른 검색 성능을 도
시하 으며, 그림 7은 각 모델의 비교에서 더링된 깊
이 상 수에 따른 미세한 검색 성능 차이를 나타내고
있다. 한 그림 8에 다른 3차원 모델 검색 알고리즘과의
성능 비교를 도시하 다. 성능 비교는 시 기반[13,16],
102 정보과학회논문지 : 시스템 이론 제 40 권 제 2 호(2013.4)
그림 7 깊이 상 수에 따른 성능 비교 (64×64 해상도)
그림 8 다른 검색 시스템과의 성능 비교
지역 (local) 특징 기반[17], transform 기반[9], 히스토
그램 기반[5]과 같은 다양한 방식의 검색 알고리즘과의
정 도-재 률 평가로 이루어 졌다. 이를 통해 부분 깊
이 상만을 사용함에도 불구하고 질의 데이터로 3차원
모델을 사용하는 다른 알고리즘에 근 한 성능을 보이
고 있음을 확인할 수 있다. 특히 낮은 재 율에서의 정
확도 수치가 다른 알고리즘과 동등한 수 임을 알 수
있는데, 이는 유사도 비교에 있어 최상 에 속하는 모델
들의 출력이 주요 기능이라 할 수 있는 각종 어 리
이션으로의 용에 본 논문에서 제안하는 알고리즘이
충분한 경쟁력을 갖고 있음을 뒷받침한다. 결과 으로
제안하는 알고리즘은 3차원 카메라를 통해 매우 간편한
질의 데이터를 취득할 수 있을 뿐만 아니라, 한 장의 깊
이 상을 입력 질의로 사용함에도 불구하고 3차원 모
델을 질의로 하는 알고리즘에 근 하는 검색 성능을 가
지고 있음을 증명한다. 하지만 균일하게 많은 시 을 샘
링하여 데이터베이스 모델의 깊이 상을 취득하고
있으므로 이 에는 비교에 불필요한 상이 다량 존재
할 수 있다. 이것은 다른 깊이 기반 검색 알고리즘 역시
동일하게 가지고 있는 문제 으로서 효율 인 카메라
시 샘 링을 통해 해결한다면 더욱 뛰어난 모델 검색
알고리즘으로 개선시킬 수 있을 것이다.
깊이 상을 이용한 내용기반 3차원 모델 검색 기법 103
6. 결론 향후 연구
본 논문에서는 3차원 카메라로부터의 깊이 상을 이
용한 3차원 모델 검색 기법을 제안하 다. 처리 과정
으로 Bilateral-filtering을 통해 입력된 깊이 상의 잡
음을 제거하 으며 3차원 모델 질의 상에 해 정
규화를 수행하 다. 한 기술자 생성 유사도 비교 과
정으로 균일하게 샘 링된 시 의 깊이 상에 해 회
불변 기술자를 용 비교함으로써 부분 깊이 상
만으로 정확한 유사 모델 검색 성능을 얻을 수 있었다.
본 논문에서 제안한 내용기반 3차원 모델 검색 기법
은 단일 깊이 상만을 질의 입력으로 사용하므로 3차
원 카메라뿐만 아니라 스테 오 상 기기, 모바일 기기
등 다양한 환경으로 확장 용이 가능하다. 향후 확
장 연구를 통해, 카메라의 움직임을 유추하여 3차원 형
상을 복원하는 structure from motion이나, 스테 오
상으로부터의 정합으로 3차원 형상을 복원하는 multi-
view stereo 기법 등을 용함으로써 질의 입력이 더욱
편리하고, 높은 검색 성능을 가진 알고리즘으로 발 시
킨다면, 본 논문에서 제안한 내용기반 3차원 모델 검색
기법의 효용성은 더욱 증가할 것이다.
참 고 문 헌
[ 1 ] Google SketchUp, http://sketchup.google.com
[ 2 ] Google 3D Warehouse, http://sketchup.google.com/
3dwarehouse
[ 3 ] Microsoft Kinect, http://www.microsoft.com/en-us/
kinectforwindows
[ 4 ] J. W. H. Tangelder and R. C. Veltkamp, "A
survey of content based 3D shape retrieval
methods," Multimedia Tools and Applications, vol.
39, no.3, pp.441-471, Sep. 2008.
[ 5 ] R. Osada, T. Funkhouser, B. Chazelle, and D.
Dobkin, "Shape distributions," ACM Trans. on
Graphics, vol.21, no.4, pp.807-832, Oct. 2002.
[ 6 ] R. Ohbuchi, T. Minamitani, and T. Takei, "Shape-
similarity search of 3D models by using enhanced
shape functions," International Journal of Computer
Applications in Technology, vol.23, no.2, pp.70-85,
Mar. 2005.
[ 7 ] D. Vranic and D. Saupe, "Description of 3d-shape
using a complex function on the sphere," Proc. of
the IEEE International Conference on Multimedia
and Expo, vol.1, pp.177-180, Aug. 2002.
[ 8 ] M. Novotni and R. Klein, "3D Zernike descriptors
for content based shape retrieval," Proc. of Solid
Modeling and Applications, pp.216-225, Jun. 2003.
[ 9 ] M. Kazhdan, T. Funkhouser, and S. Rusinkiewicz,
"Rotation invariant spherical harmonic represen-
tation," Proc. of ACM SIGGRAPH Symposium on
Geometry Processing, pp.156-164, Jun. 2003.
[10] T. Tung and F. Schmitt, "Augmented Reeb
graphs for content-based retrieval of 3D mesh
models," Proc. of International Conference on Shape
Modeling and Applications, pp.157-166, Jun. 2004.
[11] A. Mademlis, P. Daras, A. Axenopoulos, D.
Tzovaras, and M. G. Strintzis, "Combining topo-
logical and geometrical features for global and
partial 3D shape retrieval," IEEE Trans. on
Multimedia, vol.10, no.5, pp.819–831, Aug. 2008.
[12] M. Heczko, D. Keim, D. Saupe, and D. Vranic,
"Method for similarity search on 3D databases,"
Datenbank-Spektrum, vol.2, no.2, pp.54-63, Oct.
2002.
[13] M. Eitz, R. Richter, T. Boubekeur, and K Hil-
debrand, "Sketch-based shape retrieval," ACM
Trans. on Graphics, vol.31, no.4, pp.1-10, Jul. 2012.
[14] J. Shih, C. Hsing, and J. Wang, "A new 3D
model retrieval approach based on the elevation
descriptor," Pattern Recognition, vol.40, no.1, pp.283-
295, Jan. 2007.
[15] P. Daras and A. Axenopoulos, "A 3D shape
retrieval framework supporting multimodal queries,"
International Journal of Computer Vision, vol.89,
no.2, pp.229-247, Sep. 2010.
[16] A. Chaouch and A. Verroust, "A new descriptor
for 2D depth image indexing and 3D model
retrieval," Proc. of IEEE International Conference
on Image Processing, vol.6, pp.373-376, Sep. 2007.
[17] R. Ohbuchi, K. Osada, T. Furuya, and T. Banno,
"Salient local visual features for shape-based 3D
model retrieval," Proc. of International Conference
on Shape Modeling and Applications, pp.93-102,
Jun. 2008.
[18] N. Vajramushti, I. A. Kakadiaris, T. Theoharis,
and G. Papaioannou, "Efficient 3D object retrieval
using depth images," Proc. of ACM SIGMM
International Workshop on Multimedia Information
Retrieval, pp.189-196, Oct. 2004.
[19] C. Tomasi and R. Manduchi, "Bilateral filtering
for gray and color images," In Proc. of IEEE
International Conference on Computer Vision, pp.839-
846, Jan. 1998.
[20] C. Rother, V. Kolmogorov, and A. Blake, "GrabCut:
Interactive foreground extraction using iterated
graph cuts," ACM Trans. on Graphics, vol.23, no.3,
pp. 309-314, Aug. 2004.
[21] A. Khotanzad, "Invariant image recognition by
Zernike moments," IEEE Trans. on Pattern Ana-
lysis and Machine Intelligence, vol.12, no.5, pp.
489-497, May 1990.
[22] P. Shilane, "The Princeton shape benchmark,"
Proc. of International Conference on Shape Mode-
ling and Applications, pp.167-178, Jun. 2004.
104 정보과학회논문지 : 시스템 이론 제 40 권 제 2 호(2013.4)
배 민 수
2010년 2월 인하 학교 정보통신공학과
학사. 2010년 1월～2011년 2월 LG 자
HE(Home Entertainment) 사업본부 연
구원. 2013년 2월 인하 학교 정보통신
공학과 석사. 2013년 2월～ 재 LIG넥스
원 연구원. 심분야는 컴퓨터 그래픽스
비젼(내용기반 3차원 모델 검색 기법, 3D 입체 상,
상 련 사용자 인터페이스)
박 인 규
1995년 2월 서울 학교 제어계측공학과
학사. 1997년 2월 서울 학교 제어계측
공학과 석사. 2001년 8월 서울 학교
기컴퓨터공학부 박사. 2001년 9월～2004
년 3월 삼성종합기술원 멀티미디어랩
문연구원. 2007년 1월～2008년 2월 미국
Mitsubishi Electric Research Laboratories (MERL) 방문
연구원. 2004년 3월～ 재 인하 학교 정보통신공학부 부교
수. 심분야는 컴퓨터 그래픽스 비젼( 상기반 3차원
형상 복원, 3차원 카메라, Mobile computational photography),
GPGPU
