Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
(19) 민 특허청(KR)
(12) 등 특허공보(B1)
(45) 공고 2009 12월10
(11) 등 10-0930994(24) 등 2009 12월02
(51) Int. Cl.
G06T 17/20 (2006.01) G06T 17/00 (2006.01)(21) 원 10-2007-0133530
(22) 원 2007 12월18
심사청 2007 12월28
(65) 공개 10-2009-0065965
(43) 공개 2009 06월23
(56) 술 사문헌
JP2006107145 A
KR1020050022306 A
KR1020030096965 A
(73) 특허
주식 사 티
경 남시 당 동 206
포 공과 산 단
경상 도 포 시 남 동 산31 포 공과내
(72)
울 우 동 통신연 개 본
철
경 포 시 남 동 포 공과
(뒷 에 계 )
(74) 리
특허 우
체 청 수 : 21 심사 : 문남
(54) 3차원 상 생 치, 상 식 치 그리고 상 들 수 는그램 매체
(57) 약
본 3차원 상 복원에 사 는 3차원 상 생 3차원 상 상 식
개시 다. 본 3차원 상 생 3차원 스캔 상 각각에 3차원 상 특징 들 택
고 2차원 공간에 시키는 단계; 상 2차원 상들 에 나 상 상 결 고,
상 상 나 지 2차원 상들 상 상 상에 도 변 시키는 단계; 상 변
상 각각에 2차원 상 특징 들 고, 상 2차원 상 특징 들 여 3차원
상들 복원 는 단계; 상 복원 3차원 상들 여 3차원 상 생 는 단계 포 다.
본 에 , 3차원 상 생 는 는 싱 도 상시킬 수 고, 상
식 고 는 2차원 상 3차원 상 복원 지 않고도 포 에 강 상 식 가능
다.
도 - 도1
- 1 -
등록특허 10-0930994
(72)
경 포 시 남 동 포 공과 LG연 동301
주
울 우 동 통신연 개 본
삼
경 포 시 남 동 포 공과 LG연 동302
상훈
경 포 시 남 동 포 공과 LG연 동302
- 2 -
등록특허 10-0930994
특허청
청 1
a) 3차원 스캔 상 각각에 3차원 상 특징 들 택 는 단계;
b) 상 3차원 스캔 상 각각 2차원 공간에 시키는 단계;
c) 상 2차원 상들 에 나 상 상 결 고, 상 상 나 지
2차원 상들 상 상 상에 도 변 시키는 단계;
d) 상 변 상 각각에 2차원 상 특징 들 고, 상 2차원 상 특징 들
여 3차원 상들 복원 는 단계;
e) 상 복원 3차원 상들 여 3차원 상 생 는 단계 포 는 것 특징 는 3차
원 상 생 .
청 2
1 에 어 , 상 c)단계는,
c1) 상 2차원 상들 에 나 상 상 결 는 단계;
c2) 상 나 지 상들 특징 치 상 상 특징 들 치가 도
어 변 수 는 단계 포 는 것 특징 는 3차원 상 생 .
청 3
2 에 어 , 상 c)단계는,
상 c1)단계에 결 상 특징 들 에 곽에 치 특징 들에 마스크 역 결 는
단계 포 고, 상 c2) 단계 어 변 상 마스크 역 내에 수 는 것 특징 는
3차원 상 생 .
청 4
3 에 어 , 상 d)단계는
d1) 상 마스크 역 내에 포 각각 에 들 2차원 상 특징 들 는 단계;
d2) 상 2차원 상 특징 들에 삼각 쉬들 생 는 단계;
d3) 상 d2)단계에 생 삼각 쉬들에 역어 변 수 여 2차원 실린 공간상에
상들 생 는 단계;
d4) 상 d3)단계에 생 2차원 실린 공간상에 상 각각에 역 수 여 3차원 상들
복원 는 단계 포 는 것 특징 는 3차원 상 생 .
청 5
1 에 어 , 상 b) 단계는
b1) 상 택 특징 들에 삼각 쉬들 생 는 단계;
b2) 상 삼각 쉬들 생 3차원 스캔 상 각각 2차원 실린 공간에 시키는 단계 포 는 것
특징 는 3차원 상 생 .
청 6
1 에 어 ,
상 e) 단계에 3차원 상 상 복원 3차원 상들에 주 (PCA) 여 생 는
것 특징 는 3차원 상 생 .
- 3 -
등록특허 10-0930994
청 7
1 에 어 ,
상 3차원 상 3차원 상 과 3차원 스쳐 포 고,
상 3차원 상 상 복원 3차원 상 각각에 3차원 특징 보에 주
통 생 는 3차원 평균 산 에 고,
상 3차원 스쳐 상 복원 3차원 상 각각에 3차원 특징 색 보에 주
통 생 는 3차원 색 보 평균 산 에 것 특징 는 3차원 상 생
.
청 8
1 에 어 , 상 e)단계는
e1) 상 복원 3차원 상 각각에 특징 들 3차원 보 색 보 득 는 단계;
e2) 상 득 치 보 색 보 여 3차원 상 3차원 상 생
는 단계 포 는 것 특징 는 3차원 상 생 .
청 9
1 내지 8 어느 3차원 상 생 컴퓨 상에 수 그램
컴퓨 에 독 가능 매체.
청 10
3차원 스캔 상 각각에 3차원 상 특징 들 택 는 3차원 상 특징 택 ;
상 3차원 스캔 상 각각 2차원 공간에 시키는 2차원 공간 ;
상 2차원 상들 에 나 상 상 결 고, 상 상 나 지 2차
원 상들 상 상 상에 도 변 시키는 상 변 ;
상 변 상 각각에 2차원 상 특징 들 고, 상 2차원 상 특징 들 여
3차원 상들 복원 는 3차원 상 복원 ;
상 복원 3차원 상들 여 3차원 상 생 는 생 포 는 것 특징 는
3차원 상 생 치.
청 11
10 에 어 , 상 상 변 는,
상 2차원 상들 에 나 상 상 결 는 상 결 ;
상 상 특징 들 에 곽에 치 특징 들에 마스크 역 결 는 마스크 역
결 ;
상 상 나 지 상들 특징 치 상 상 특징 들 치가 도
어 변 수 는 어 변 포 는 것 특징 는 3차원 상 생 치.
청 12
10 에 어 ,
상 3차원 상 특징 택 는 상 택 특징 들에 삼각 쉬들 생 는 쉬 생 포
고,
상 2차원 공간 는 상 삼각 쉬들 생 3차원 스캔 상 각각 2차원 실린 공간에 시키
는 포 는 것 특징 는 3차원 상 생 치.
- 4 -
등록특허 10-0930994
청 13
a) 3차원 스캔 상 각각에 3차원 상 특징 들 택 고, 상 3차원 스캔 상 각각 2차원 공간에
시키는 단계;
b) 상 2차원 상들 에 나 상 상 결 고, 상 상 나 지
2차원 상들 상 상 상에 도 변 시키는 단계;
c) 상 변 상 각각에 2차원 상 특징 들 고, 상 2차원 상 특징 들
여 3차원 상 각각 복원 는 단계;
d) 상 복원 3차원 상들 여 3차원 상 생 는 단계;
e) 2차원 트 닝 상들 고, 상 3차원 상 여 상 트 닝 상 측
는 3차원 상 각각 생 는 단계;
f) 상 생 3차원 상들 각각 트 닝 상에 특징 는 단계;
g) 식 고 는 상에 2차원 상 고, 2차원 상 특징
후 상 상에 특징 상 트 닝 상에 특징 들 간 사 여
상에 식 결과 산 는 단계 포 는 것 특징 는 상 식 .
청 14
13 에 어 ,
상 a)단계에 2차원 상들 여, 상 루는 주 에 식별 보 득 는 단계
포 고,
상 f)단계는
f1) 상 e)단계에 생 3차원 상들 포 또는 여 각각 2차원 공간에 시키고,
상 주 에 식별 보 여 상 2차원 공간에 상들 상 주
브 상들 는 단계;
f2) 상 브 상들 규 고, 상 규 브 상들 특징 들 는 단계
포 는 것 특징 는 상 식 .
청 15
14 에 어 , 상 식별 보 득 는 것 ,
상 2차원 상 각각 주 에 라 고, 상 주 에 포 특징 들 곽
에 치 특징 들 루어진 경계 역 내에 는 들 는 특징 순 값 주 에 식
별 보 득 는 것 특징 는 상 식 .
청 16
14 에 어 ,
상 특징 는 상 규 브 상들 티 과 에지 포 는 것 특징 는
상 식 .
청 17
14 에 어 ,
상 e)단계에 생 3차원 상들에 여 동과 치 동 , 변 3
차원 상들 생 는 단계 포 고,
상 f1)단계는 상 변 3차원 상들 각각 2차원 공간에 시키고, 상 주 에 식별 보
여 상 2차원 공간에 상들 상 주 브 상들 는 단계
- 5 -
등록특허 10-0930994
포 ,
상 f2)단계에 특징 는 신경망 습 습 고,
상 g)단계에 상 상에 특징 상 트 닝 상에 특징 들 간 사
여 상에 식 결과 산 는 것 상 신경망 습 습 상 상에
특징 들 간 사 는 것 특징 는 상 식 .
청 18
13 에 어 , 상 e)단계는
e1) 2차원 트 닝 상들 는 단계;
e2) 상 트 닝 상 각각에 여 상 3차원 상 는 단계;
e3) 상 트 닝 상과 매치 는 3차원 상 변수 각각 결 는 단계;
e4) 상 결 변수에 라 측 는 3차원 상 각각 생 는 단계 포 는 것 특징 는
상 식 .
청 19
13 내지 18 어느 상 식 컴퓨 상에 수 그램 컴
퓨 에 독 가능 매체.
청 20
3차원 스캔 상 각각에 3차원 상 특징 들 택 는 3차원 상 특징 택 ;
상 3차원 스캔 상 각각 2차원 공간에 시키는 2차원 공간 ;
상 2차원 상들 에 나 상 상 결 고, 상 상 나 지 2차
원 상들 상 상 상에 도 변 시키는 상 변 ;
상 변 상 각각에 2차원 상 특징 들 고, 상 2차원 상 특징 들 여
3차원 상 각각 복원 는 3차원 상 복원 ;
상 복원 3차원 상들 여 3차원 상 생 는 생 ;
2차원 트 닝 상들 고, 상 3차원 상 여 상 트 닝 상 측 는 3
차원 상 각각 생 는 3차원 상 생 ;
상 생 3차원 상들 각각 트 닝 상에 특징 는 특징 ;
식 고 는 상에 2차원 상 는 상 ;
상 상에 특징 후 상 상에 특징 상 트 닝 상에
특징 들 간 사 여 상에 식 결과 산 는 상 단 포 는 것
특징 는 상 식 치.
청 21
20 에 어 ,
상 2차원 상들 여, 상 루는 주 에 식별 보 득 는 식별 보 득
욱 비 고,
상 특징 는 트 닝 상 각각에 여 다양 포 는 상 ;
상 3차원 상 2차원 실린 공간에 는 ;
상 상 상 식 특징 생 는 생 포 는 것 특징 는
상 식 치.
- 6 -
등록특허 10-0930994
상
술 야
본 3차원 상 복원에 사 는 3차원 상 생 3차원 상 상 식 <1>
에 것 , 특 얼 상 복원 고, 개 신원 식 고 검 는 생체 식 시스 에
사 는 3차원 상 생 얼 식 치에 것 다.
경 술
3차원 얼 특 2차원 상에 3차원 얼 태 복원 고, 얼 포 (pose) 등에 강<2>
게 얼 식 가능 게 주는 어 , 근 10 사 에 매우 연 고 다. 3차원 얼
2차원 상에 얼 식 타 상 처리 들 체 고 는 다.
3차원 얼 생 는 다수 3차원 얼 스캔 는 얼 특징<3>
집 는 (dense correspondence) 문 결 야 다.
결 들 크게 가지가 다. 나는 미리 복 3차원 얼 태<4>
특징 들 3차원 스캔 에 시 각 특징 들 색 보 알아내는 고, 다 나는 3차원 스
캔 특징 들 여 3차원 얼 상 보 색 보 만들어 내는
다. 여 에 특징 들 든 스캔 에 는 공동 특징 어야 는 ,
특징 들 개수는 1만~2만 지 문에 얼 특징 는 것 다.
다수 특징 들 는, (Optical Flow) 사 여 3차원 얼 스캔 <5>
들 간에 1만~2만 개 얼 특징 동 는 다. 그러나
크 상 블 매칭 는 문에 얼 상과 색 각각 다 3차원 스캔
경우에는 매칭 도가 매우 어지 , 매칭 시 는 치에 민감 고, 블 크 가 클 경
우 매칭 연산량 많 문 가 다.
또 , 얼 식 에 , 복원 3차원 얼 3차원 얼 특징 과 색 보 여 식<6>
습 는 , 얼 식 는 2차원 상에 여 3차원 얼 복원 는 과 통 특징 과 색
보 얻어 내야 는 , 경우 3차원 얼 복원 과 연산량 많아 얼 식 도가 매우 느 지는 단
다.
특허 문헌 , 민 등 특허 360487 는 2차원 얼 상에 3차원 얼 스처 매 는<7>
개시 고 는 , 경우 미리 어 들 여 2차원 얼 에 근 3차원 얼
상 생 문에 식 상에 계가 다.
내
결 고 는 과
상술 래 술 계 고 여, 본 3차원 스캔 택 수 3차원 상 특징 들<8>
시키는 2차원 상에 상에 변 수 3차원 상 생 과 연산량
고, 얼 식 상시킬 수 는 3차원 상 생 치 공 는 것
다.
또 , 본 3차원 상 여 2차원 트 닝 상 3차원 상 생 고 포 <9>
변경시 얻어지는 2차원 상들 상 식 , 식 고 는 2차원
상 3차원 상 복원 지 않고도 포 에 강 특 갖는 상 식 치
공 는 것 다.
과 결수단
상 술 과 달 본 에 3차원 상 생 3차원 스캔 상 각각에 <10>
- 7 -
등록특허 10-0930994
3차원 상 특징 들 택 는 단계; 상 3차원 스캔 상 각각 2차원 공간에 시키는 단계; 상
2차원 상들 에 나 상 상 결 고, 상 상 나 지 2차원 상들
상 상 상에 도 변 시키는 단계; 상 변 상 각각에 2차원 상 특징 들
고, 상 2차원 상 특징 들 여 3차원 상들 복원 는 단계; 상 복원 3차
원 상들 여 3차원 상 생 는 단계 포 다.
상 다 술 과 달 본 에 3차원 상 생 치는 3차원 스캔 상 각각에<11>
3차원 상 특징 들 택 는 3차원 상 특징 택 ; 상 3차원 스캔 상 각각 2차원 공간에
시키는 2차원 공간 ; 상 2차원 상들 에 나 상 상 결 고, 상
상 나 지 2차원 상들 상 상 상에 도 변 시키는 상 변 ; 상
변 상 각각에 2차원 상 특징 들 고, 상 2차원 상 특징 들 여 3차원
상들 복원 는 3차원 상 복원 ; 상 복원 3차원 상들 여 3차원 상 생 는
생 포 다.
상 다 술 과 달 본 에 상 식 3차원 스캔 상 각각에 3차원<12>
상 특징 들 택 고, 상 3차원 스캔 상 각각 2차원 공간에 시키는 단계; 상 2차원
상들 에 나 상 상 결 고, 상 상 나 지 2차원 상들 상
상 상에 도 변 시키는 단계; 상 변 상 각각에 2차원 상 특징 들
고, 상 2차원 상 특징 들 여 3차원 상 각각 복원 는 단계; 상 복원 3차원
상들 여 3차원 상 생 는 단계; 2차원 트 닝 상들 고, 상 3차원 상
여 상 트 닝 상 측 는 3차원 상 각각 생 는 단계; 상 생 3차
원 상들 각각 트 닝 상에 특징 는 단계; 식 고 는
상에 2차원 상 고, 2차원 상 특징 후 상 상에
특징 상 트 닝 상에 특징 들 간 사 여 상에 식 결과
산 는 단계 포 다.
상 다 술 과 달 본 에 상 식 치는 3차원 스캔 상 각각에 3차원<13>
상 특징 들 택 는 3차원 상 특징 택 ; 상 3차원 스캔 상 각각 2차원 공간에 시키는 2
차원 공간 ; 상 2차원 상들 에 나 상 상 결 고, 상 상
나 지 2차원 상들 상 상 상에 도 변 시키는 상 변 ; 상 변 상
각각에 2차원 상 특징 들 고, 상 2차원 상 특징 들 여 3차원 상 각각
복원 는 3차원 상 복원 ; 상 복원 3차원 상들 여 3차원 상 생 는 생 ;
2차원 트 닝 상들 고, 상 3차원 상 여 상 트 닝 상 측 는 3
차원 상 각각 생 는 3차원 상 생 ; 상 생 3차원 상들 각각 트 닝
상에 특징 는 특징 ; 식 고 는 상에 2차원 상
는 상 ; 상 상에 특징 후 상 상에 특징 상 트
닝 상에 특징 들 간 사 여 상에 식 결과 산 는 상 단
포 다.
과
본 3차원 상 생 치에 , 3차원 스캔 택 수 특징 들과 3<14>
차원 상 특징 들 시키 여 2차원 상에 상에 변 수 , 3차원 상
생 는 는 싱 도 상시킬 수 다.
또 , 본 상 식 에 , 2차원 트 닝 상 3차원 상 여 3차원 상<15>
생 후 포 변경시 2차원 다양 상 얻고 상 식 ,
상 식 고 는 2차원 상 3차원 상 복원 지 않고도 포 에 강 상 식
가능 다. 또 , 2차원 상 3차원 상 복원 에 라 는 싱 시간 수 고, 시
스 간략 도 수 다.
실시 체 내
도 참 여 본 3차원 상 생 치, 상 식 치 그<16>
- 8 -
등록특허 10-0930994
리고 상 들 수 는 그램 매체에 여 체 다.
도 1 본 실시 에 3차원 상 생 치에 블 도 다. 도 1에 도시 3차원 상<17>
생 치(1)는 3차원 스캔 상 (10), 3차원 상 특징 택 (20), 2차원 공간 (30),
상 변 (40), 3차원 상 복원 (50) 생 (60) 포 다.
3차원 스캔 상 (10)는 3차원 스캔 상 보 고, 보 다. 3차원 스캔 상 <18>
보는 다 사람들 득 별 치 보 색 보 포 다. 들어, 3차원 얼 스캔
보는 5만 내지 10만 개 3차원 치 보 그에 색 보들 다. 얼 스캔 보는 어 집단에
든 사람들에 3차원 얼 생 는, 가능 많 수 사람들 얼 에 3차원
스캔 얼 보가 다.
3차원 상 특징 택 (20)는 미리 결 에 라 3차원 스캔 상 각각에 3차원 상 특징<19>
택 다. 3차원 상 특징 택 (20)는 공지 알고리 들 여 얼 상 과 특 수
는 수 특징 만 수 다. 특 , 3차원 상 특징 택 (20)는 OpenGL picking 알고리
여 3차원 스캔 얼 상에 눈, 눈 , , 등 주 얼 특징 치 개수 특징
들 수 다. 3차원 상 특징 택 상 특징 과 나타내는 수 특징 만 택
문에, 경우 수동 통 3차원 상 특징 택 도 는 것도 가능 다.
또 , 3차원 상 특징 택 (20)는 택 개수 특징 들에 삼각 쉬들 생 는 쉬 생<20>
(미도시) 포 수 다. 쉬 생 는 들 삼각 (Delaunay triangulation) 통 상
특징 들에 삼각 쉬(mesh)들 결 수 다.
도 2a 2b는 3차원 얼 스캔 상에 개수 특징 들 고, 삼각 쉬 생 는 나타<21>
내는 참고도 다. 도 2a에 는 얼 주 눈, 눈 , , , , 마 등과
115개 특징 들에 스 나타낸 것 다. 도 2b는 들 삼각 여 115개 특징 들에
삼각 쉬 나타낸 것 다.
2차원 공간 (30)는 3차원 스캔 상 심 는 각도 <22>
는 2차원 공간에 다.
도 3 3차원 얼 스캔 상 2차원 실린 공간에 시킨 나타내는 참고도 다. 도 3에 a는 2차원<23>
실린 공간 상에 각각 에 색 보 나타내는 상 고, b는 얼 심
지 나타내는 상 다.
상 변 (40)는 2차원 상들 에 나 상 상 결 고, 상 상 <24>
나 지 2차원 상들 상 상에 도 변 시킨다. 상 변 (40)는 상 결 (42),
마스크 역 결 (44) 어 변 (46) 포 다.
상 결 (42)는 2차원 상들 에 나 상 상 결 다. 마스크 역 결<25>
(44)는 상 특징 들 에 곽에 치 특징 들에 마스크 역 결 다. 어 변
(46)는 결 마스크 역 루는 특징 들 또는 든 특징 들 는 어 변 (affine
transform) 수 다. 어 변 결과, 상 나 지 상들 특징 치는 상에
도 변 다.
도 4는 본 실시 에 라 2차원 실린 공간 상 상 어 변 는 나타내는<26>
참고도 다. 도 4에 102 상 2차원 실린 공간상에 2차원 상들 에 택 는 상 고,
104 상 상(102)과 다 상과 색 보 갖고 는 상 다. 106 상 마스크 역 나타
내 , 상 마스크 역 경계는 상 115개 특징 들 에 곽에 치 특징 들 연결시킴
통 여 특 수 다. 108 상 104 상 는 어 변 에 여 변 상 다.
들어, 102 상 마스크 역 104 상 어 변 시킬 경우, 얼 상과 어 변
통 든 얼 상들 들 도 변 수 다.
본 실시 에 상 변 는 상들 각 특징 들 어 변 통 상 특징 들<27>
과 도 변 것 다. 상 변 는 어 변 과 에 각각 에 스 여 수 는
, 별 스에 라 든 들 수 문에 상 과 같 특징 들 시키
과 후에 지 않게 다.
- 9 -
등록특허 10-0930994
3차원 상 복원 (50)는 변 상 각각에 2차원 상 특징 들 고, 상 <28>
특징 들 여 3차원 상 복원 다. 3차원 상 복원 (50)는 특징 (52), 쉬 생
(54), 역어 변 (56) 역 (58) 포 다.
특징 (52)는 상 마스크 역 내에 포 든 또는 들 2차원 상 특징<29>
다.
3차원 얼 득 여는 든 스캔 에 는 얼 특징 집 야<30>
다. 특징 (52)는 115개 수 특징 들과 그 특징 들 삼각 쉬에
보간 통 매우 얼 특징 수 다.
쉬 생 (54)는 특징 (52)에 특징 들 연결 삼각 쉬들 생 다. 특<31>
, 쉬 생 (54)는 들 삼각 여 특징 들 삼각 쉬 생 수 다.
삼각 쉬가 결 3차원 상 에 시 , 지 않고 삼각 쉬에
태 상 나타낼 수 다.
특 , 3차원 얼 상 경우 얼 앞 원래 색상 고 뒷 검게 야 3차원 얼<32>
곡 지 않는 , 삼각 쉬 (시계 또는 시계 ) , 각 쉬 앞
또는 뒷 여 악 가능 므 곡 지 수 다. 또 , 삼각 쉬는 3차원 상 복원 과 에 ,
3차원 상 에 어 는 각 에 가 치 여 사 수 다.
들 , 2차원 얼 상 얼 아니고 측 상 경우, 3차원 얼 에는 어 지만 2<33>
차원 얼 상에 는 보 지 않는 들 수 는 , 경우 보 지 않는 들에 가 치 낮게
여 고, 보 는 들에는 가 치 게 여 3차원 얼 복원 욱 게 수 다
여 에 , 가 치 계산에 삼각 쉬가 사 는 , 보 는 삼각 쉬 앞 경우에는 가 치
게 여 고, 뒷 경우에는 가 치 낮게 여 수 다.
역어 변 (56)는 삼각 쉬가 생 상들 역어 변 통 2차원 실린 공간 상에 재 는<34>
상 변 다. 특 , 역어 변 (56)는 수 식1에 라 역어 변 수 수 다.
[수 식1]<35>
<36>
여 에 , m 어 변 상에 실린 공간상 가 고, n 어 변 상에 실<37>
린 공간상 , u는 역어 변 여 복원 상에 실린 공간상 가 고, v는
역어 변 여 복원 상에 실린 공간상 , M 어 변 나타낸다.
역 (58)는 2차원 실린 공간 상에 재 는 상에 역 통 원래 3차원 공간상에 재 는<38>
3차원 상 복원 다. 게 복원 3차원 상 2차원 특징 에 는 3차원 특징
색 보 갖는다. 3차원 상에 보는 수 식2에 라 실린 공간상에 재 는 상 보가
갖는 각도 지 여 득 수 다.
[수 식2]<39>
<40>
여 에 , θ 는 실린 계 각도 다. 도 3 참고 각도는 들어 y 심 쪽<41>
- 10 -
등록특허 10-0930994
값, 쪽 양 값 갖는 것 수 다. T 는 실린 계 가 단 에 당
는 각도 , b는 실린 각도 고, R 실린 지
, r(u, v)는 (u, v) 에 당 는 지 값(702) 고, x, y, z는 3차원 상 , L 실린
계 단 에 당 는 고, b는 실린 z 다.
생 (60)는 복원 3차원 상들 여 3차원 상 생 다. 본 실시 생 는<42>
주 (PCA : Principle Component Analysis) 통 3차원 생 는 것 , 주
(62), 3차원 상 생 (64) 3차원 스쳐 생 (66) 포 여 비 다. 주 (62)
는 복원 3차원 상 보에 주 수 다. 들어, 주 (62)는 3차원 얼 특징
색 보에 주 수 수 다. 3차원 상 생 (64)는 주 결과에
라 3차원 평균 산 루어진 3차원 상 생 다. 또 , 3차원 스쳐 생
(66)는 주 결과에 라 3차원 가 갖는 색 보 평균 산 루어진 3차원 스쳐
생 다.
본 실시 에 는 PCA 본 지만, FDA(Fisher Discriminant Analysis), ICA(Independent<43>
Component Analysis), LDA(Linear Discriminant Analysis) 등 여 3차원 상 생 는
것도 가능 다. 특 , PCA 식 경우 상 차원 문에 계산량 고, 얼
상에 어 가 공통 특 에 통 시스 생 수 다는
다.
생 에 생 는 3차원 상 3차원 상 수 는 상(shape) (basis) 스쳐<44>
(texture) 수 식 3과 같 수 다.
[수 식 3]<45>
<46>
여 S는 3차원 상 상 고, So는 3차원 상 평균( 상 평균) 고, Si는 3차원 상 <47>
i 째 산 , αi는 각각 산 에 계수 고, T는 3차원 상 색
보( 스쳐) , T0는 3차원 상 에 색 보 평균 고, Ti는 3차원 상 가 갖는 색 보 j
째 산 고, βi는 각각 산 에 계수 , n 3차원 상 산 개수 고, m
3차원 상 가 가지는 색 보 산 개수 다. 상 수 식3에 라 계수 αi, βi , 3차원
상 2차원 얼 상에 당 는 3차원 상 생 수 다.
도 5는 본 실시 에 3차원 상 생 나타내는 도 다. 도 5에 도시 3차원<48>
상 생 3차원 상 생 치(1)에 시계열 수 는 단계 들 포 다.
210단계에 3차원 상 특징 택 (20)는 3차원 스캔 상 각각에 상 특징 들 택 고, 상 <49>
택 상 특징 들에 삼각 쉬들 생 다. 상 특징 들 택 는 , 얼 상
경우 다 식별 눈꼬리, 눈 , , 술 등 특징 들 특징 주 상에 여 미
리 마 릿 , 트 닝 얼 상에 릿과 가 사 치 찾 상 매칭
다. 또 , 각각 특징 주 상 AdaBoost 습 검 여 트 닝 얼 상 특
징 검 는 , 에 습 통 각 특징 계산 고 평균 치
찾는 등 다.
220단계에 2차원 공간 (30)는 2차원 실린 공간에 시킨다. 특 , 2차원 공간 (30)는 3차원<50>
스캔 상 심 는 각도 는 2차원 공간에 는 것
람직 다.
230단계에 상 변 (40)는 상들 상 태 변 다. 상 , 본 단계는 <51>
2차원 상들 에 나 상 상 결 는 단계; 상 결 상 특징 들
- 11 -
등록특허 10-0930994
에 곽에 치 특징 들 택 고, 택 특징 들 연결 경계 는 마스크 역 결 는
단계; 상 택 특징 들 또는 마스크 역 는 어 변 수 여 상 아닌 다
상들 상에 도 변 시키는 단계 포 다.
240단계에 3차원 상 복원 (50)는 230단계에 변 상에 2차원 상 특징 쉬 결<52>
다. 본 단계에 3차원 상 복원 (50)는 마스크 역 내에 포 각각 또는 들 2차원 상
특징 고, 특징 들 연결 삼각 쉬들 생 다.
250단계에 3차원 상 복원 (50)는 역어 변 과 역 통 3차원 상 복원 다. 3차원 상 복원<53>
(50)는 삼각 쉬가 생 상들 역어 변 통 2차원 실린 공간 상에 재 는 상 변
고, 2차원 실린 공간 상에 재 는 상에 역 통 원래 3차원 공간상에 재 는 3차원
상 복원 다.
260단계에 3차원 상 생 (60)는 복원 3차원 상들 여 3차원 상 생 다. 얼<54>
상 경우, 3차원 상 생 (60)는 3차원 얼 특징 색 보에 주 통
얼 식에 과 별 수 다. 3차원 상 생 (60)는 주 결과에 라 3
차원 평균 산 루어진 3차원 상 과, 3차원 가 갖는 색 보 평균 산
루어진 3차원 스쳐 생 수 다. 상 생 3차원 산 계수 색 보 산
계수 3차원 얼 상 생 수 다.
얼 상 매칭 여 3차원 얼 생 는 (optical flow) 과 비 , 얼<55>
상에 그 차 가 매우 볼 상과 마 상 들 어 문에
결과가 수 다. 또 , 결과 얻 는 복 블 상 매칭 과
, 경우 블 커질수 연산량 매우 많아지는 문 가 나, 본 실시 같 개수 특징
사 는 경우에는 개수 특징 들 삼각 쉬 마다 씩 어 변 수 문에
연산량 다. 또 , 삼각 쉬 내 값 보간 계산 문에 볼 나
마 같 균 값 갖는 역에 도 과 색상 지 값 게 수 다.
도 6 본 실시 에 상 식 치 나타내는 블 도 다. 도 6에 도시 상 식 치<56>
(300)는 3차원 스캔 상 (302), 3차원 상 특징 택 (304), 2차원 공간 (306), 상 변
(308), 3차원 상 복원 (310), 생 (312), 2차원 트 닝 상 (314), 3차원 상 생
(316), 1 특징 (318), 상 (320) 상 단 (322) 포 다. 상 들 에
3차원 스캔 상 (302) 내지 생 (312)는 도 1에 도시 들에 므 공통
생략 다.
우 , 상 식 치(300)는 주 에 식별 보 득 (미도시) 포 수 다. 들어, 식<57>
별 보 득 는 2차원 공간 (306) 통 생 2차원 실린 공간에 재 는 상 들 에
얼 주 (눈, 눈 , , 등)에 당 는 특징 들 순 각각 주 별 고, 각각
주 별 곽 특징 들 연결 경계 역 안에 는 3차원 얼 특징 들 순
당 주 식별 보 수 다.
2차원 트 닝 상 (314)는 상 식 사 습에 사 2차원 트 닝 상들<58>
는다. 들어, 어 집단 얼 식 시스 는, 그 집단에 는 든 원 들
2차원 얼 상 트 닝 상 다. 얼 식 시스 는 트 닝 상에 사
습 통 특징 는 것 다.
3차원 상 생 (316)는 3차원 상 여 2차원 트 닝 상 측 는 3차원 상<59>
생 다.
1 특징 (318) 3차원 상 2차원 실린 역에 고, 2차원 상 각각에<60>
특징 다. 1 특징 (318)는 트 닝 상 각각에 여 다양 포
는 상 (미도시), 상 상 2차원 실린 공간에 는 (미도시) 상
상 식 습 생 는 생 (미도시) 포 다.
도 7 2차원 트 닝 얼 상에 여 다양 과 동 고, 주 는 나타내<61>
는 참고도 다. 얼 상 경우 들어 , 포 는 3차원 상 생 (316)에
생 3차원 얼 상에 여 다양 포 건 여, 다양 3차원 얼 상 득 다.
- 12 -
등록특허 10-0930994
는 득 상들 2차원 실린 공간 상에 다. 생 는 2차원 얼 상 주 (눈+
눈 , , )에 브 상 습 상 고, 습 상에 특징 다. 그
러나, 얼 주 에 브 상들 크 는 다 문에 습 생 에 앞 브 상들
크 또는 여 규 시킬 가 다.
본 실시 에 생 (미도시)는 얼 주 에 식별 보 여 각 얼 에 당 는<62>
얼 특징 들 2차원 상 브 상 고, 브 상
여 얼 식 습 1 특징 생 는 것 람직 다. 1 특징 는
들어 얼 주 상에 암도(intensity) 암도 에지(edge) 1차원 재 열
가 다. 게 생 특징 는 후술 는 신경망 습 (326) 습 사 수
다.
상 (320)는 식 고 는 상에 2차원 상 는다. 상 단 (322)는 2 특<63>
징 (324) 신경망 습 (326) 비 다.
2 특징 (324)는 상 2 특징 다. 2 특징 (324)는 얼<64>
역 (미도시), 주 검 (미도시) 습 생 (미도시) 욱 비 다. 상에는
검 고 는 얼 역과 경 역 재 는 , 얼 역 는 얼 색 또는 AdaBoost
여 얼 역 검 다. 주 검 는 검 얼 역에 암 스 그램(intensity histogram)
통 주 략 치 탐색 고, 탐색 주 상 습 ( 들어 가
우시안 ) 여 주 검 다. 습 생 는 검 주 에 암도
(intensity) 과 에지(edge) 1차원 재 열시킨 습 생 다. 본 문헌에 는 상
생 습 2 특징 라 칭 다.
신경망 습 (326)는 2 특징 고, 2 특징 미 어 트 닝 상에 <65>
1 특징 간 사도 계산 통 상에 식 결과 산 다. 신경망 습 (326) 단
결과 사 1 특징 가 탐색 경우, 탐색 1 특징 에 사람 ID 다. 만약, 사
1 특징 가 탐색 지 않 경우 거 에 시지 결과 다.
도 8 본 실시 에 상 식 나타내는 도 다. 도 8에 도시 상 식 <66>
상 식 치(300)에 시계열 수 는 단계들 포 다.
410단계에 3차원 상 생 (316)는 2차원 트 닝 상 측 는 3차원 상 생 다.<67>
도 9는 도 8 410단계에 도 다. 3차원 상 생 (316)는 2차원 트 닝 상 아<68>
(412단계), 3차원 상 고(414단계), 3차원 상 생 (316)는 2차원 트 닝 상과 3차원
상 복원 는 3차원 상과 차 가 도 3차원 상 변수 3차원 산
계수 색 보 산 계수 결 (416단계), 결 계수에 3차원 상 생 다(418단계).
여 에 상 는 2차원 상 크 치에 3차원 상 략 치 도 3차원
상 평 동 거나 는 것 미 다.
420단계에 1 특징 (318)는 410단계에 생 3차원 상들 2차원 공간에 시킨다. 본 단<69>
계에 앞 3차원 상 각각에 여 다양 포 여 여러 개 다 3차원 상 생
고, 1 특징 경우 포 변 에 강 특징 수 다.
430단계에 1 특징 (318)는 주 에 식별 보 여 브 상 다. 440<70>
단계에 1 특징 (318)는 430단계에 브 상 각각에 특징 다. 450단계
에 2 특징 (324)는 식 고 는 상 브 상 다.
460단계에 2 특징 (324)는 브 상 각각에 1 특징 에 는 2 특징 <71>
다. 2 특징 에 앞 상 얼 역과 얼 주 검 는 단계
포 는 것 람직 다. 얼 역 얼 색 또는 Adaboost 과 같 얼 검 통
검 수 다. 얼 주 는 검 얼 역에 암 스 그램(intensity histogram)과 트 닝
얼 상들 주 에 여 사 에 습 여 검 다. 본 단계 2 특징 는
검 주 암도(intensity) 과 에지(edge) 1차원 재 열 시킨 가 람직
다.
- 13 -
등록특허 10-0930994
래에는 식 고 는 2차원 상 3차원 상 복원 경우 싱 시간 어지는 문 가 나,<72>
본 실시 경우에는 러 3차원 상 복원 과 없 문에 상 식 도 상시킬 수 다. 본
경우 트 닝 상 보 특징 산 는 과 에 얼 포 다양 게 변경시
얻어지는 2차원 상 습 문에 얼 식 강 지 수 다.
470단계에 신경망 습 (326)는 특징 들 간 사도 계산 다. 특징 들 간 사도 계산 는<73>
에 특별 없 나, 들어 사 거리, 클리 안 거리, 마 라 비스 거리 등 여
사 특징 탐색 수 다.
480단계에 신경망 습 (326)는 식 결과 산 다. 470단계에 비 는 개 얼 상에 특<74>
징 간 사 거리가 값 보다 경우에는 동 얼 단 고, 큰 경우에는 다 얼
단 다.
편 본 3D 상 생 과 상 식 컴퓨 수 는 매체에 컴퓨 가 <75>
수 는 드 는 것 가능 다. 컴퓨 가 수 는 매체는 컴퓨 시스 에 여 질
수 는 가 는 든 치 포 다.
컴퓨 가 수 는 매체 는 ROM, RAM, CD-ROM, , 스크, 치<76>
등 , 또 캐리어 웨 브( 들어 통 ) 태 는 것 포 다. 또 , 컴
퓨 가 수 는 매체는 트워크 연결 컴퓨 시스 에 산 어, 산 식 컴퓨 가
수 는 드가 고 실 수 다. 그리고, 본 능 (functional) 그램,
드 드 그 트 들 본 는 술 야 그래 들에 여 게 수 다.
지 본 에 여 람직 실시 심 살펴보았다. 본 는 술 야에 통상<77>
지식 가진 는 본 본질 특 에 어나지 않는 에 변 태 본 수
것 다. 그러므 , 상 개시 실시 들 아니라 에 고 어
야 다. 본 는 술 아니라 특허청 에 나타나 , 그 동등 내에 는
든 차 본 에 포 것 어야 다.
산업 가능
본 3차원 상 생 치는 3차원 상 생 는 는 싱 도 <78>
상시킬 수 문에 3차원 상 치, 3차원 상 식 치에 사 에 다. 또 , 본
상 식 치는 상 식 고 는 2차원 상 3차원 상 복원 지 않고도 포
에 강 상 식 가능 , 2차원 상 3차원 상 복원 에 라 는 싱 시간
수 문에 시스 상시킬 수 다.
도 간단
도 1 본 실시 에 3차원 상 생 치 나타내는 블 도 다.<79>
도 2a 2b는 3차원 얼 스캔 상에 특징 들 고, 삼각 쉬 생 는 나타내는 참고도<80>
다.
도 3 3차원 얼 스캔 상 2차원 실린 공간에 시키는 나타내는 참고도 다.<81>
도 4는 본 에 2차원 실린 공간상 상 어 변 는 나타내는 것 다.<82>
도 5는 본 실시 에 3차원 상 생 나타내는 도 다.<83>
도 6 본 실시 에 상 식 치 나타내는 블 도 다.<84>
도 7 2차원 트 닝 얼 상에 여 다양 과 동 고, 주 는 나타내<85>
는 참고도 다.
도 8 본 실시 에 상 식 나타내는 도 다. <86>
도 9는 도 8에 410단계에 도 다.<87>
- 14 -
등록특허 10-0930994
도
도 1
도 2
- 15 -
등록특허 10-0930994
도 3
도 4
- 16 -
등록특허 10-0930994
도 5
- 17 -
등록특허 10-0930994
도 6
도 7
- 18 -
등록특허 10-0930994
도 8
- 19 -
등록특허 10-0930994
도 9
- 20 -
등록특허 10-0930994