파노라마사진을위한 이미지정합 알고리즘에관한연구 · 정보통신전문대학원-이용현-키워드: 파노라마, 이미지정합, 2ddw-요약–디지털카메라의보급으로카메라와삼각대만있으면누구

파노라마파노라마 사진을사진을 위한위한이미지정합이미지정합

알고리즘에알고리즘에 관한관한 연구연구

이용현, 김윤중[email protected], [email protected]

한밭대학교 정보통신전문대학원대전 유성구 덕명동 산 16-1 4동 602호

016-552-8851

437

mailto:[email protected]

정보통신정보통신 전문대학원전문대학원 --이용현이용현--

키워드키워드 : : 파노라마파노라마, , 이미지정합이미지정합, 2DDW, 2DDW

-- 요약요약 ––

� 디지털 카메라의 보급으로 카메라와 삼각대만 있으면 누구나 손쉽게 파노라마 사진을 찍을 수 있다. 파노라마 사진이란 카메라를삼각대에 고정시킨 후 일부분을 중첩시키면서 회전하여 얻어진 이미지를 수평이나 수직으로 이동하여 길게 붙인 사진이다. 이때 겹치는 부분을 자연스럽게 정합시키기란 어려운 일이다.

� 본 논문에서는 이러한 이미지들을 정합하기 위한 가중치 적용 정합 알고리즘을 제시한다. 우선 각 영상의 이동운동요소를 고려하여 영상의 중심에서부터 같은 거리에 있는 부분영역을 비교하고정렬위치를 찾는다. 정렬위치로부터 정합될 부분 영상에 2차원DDW(Dimension Dynamic Warping)알고리즘을 적용시켜 최적화된 대응 화소를 찾는다. 입력 화소와 대응 화소의 자연스러운정합을 위하여 두 화소의 벡터길이에 비례한 가중치를 찾고 대응화소에 가중치를 부여하여 대응 화소를 이동시키고 색상을 만든

다.

438


목목 차차

1.1. 연구의연구의 필요성필요성2.2. 관련연구관련연구3.3. 연구목적연구목적4.4. 연구내용연구내용5.5. 영상정렬영상정렬6.6. 이미지정합이미지정합7.7. 2DDW2DDW8.8. 가중치가중치 부여부여9.9. 실험실험 및및 결과결과10.10. 결론결론 및및 향후향후 과제과제

439


1.1.연구의연구의 필요성필요성

�� 하드웨어적인하드웨어적인 방법방법�� 파노라마파노라마 전용전용 카메라를카메라를 이용함이용함..

�� 사진의사진의 크기에크기에 제한이제한이 있음있음..

�� 렌즈에렌즈에 의해의해 왜곡이왜곡이 생김생김. .

�� 소프트웨어적인소프트웨어적인 방법방법�� 영상모자익영상모자익 영상합성영상합성 기술을기술을 이용하는이용하는 방법방법..

�� 사진의사진의 크기에크기에 제한이제한이 없이없이 큰큰 사진을사진을 만듦만듦..

�� 왜곡을왜곡을 최소화최소화..

�� 애니메이션애니메이션

440


2.2.관련연구관련연구

�� 상용제품상용제품�� 포토샵포토샵 ‘‘포토머지포토머지’’ , , 율리드율리드 ‘‘쿨쿨 360360’’, , 캐논의캐논의 ‘‘포토스티포토스티

치치’’..

�� 단순한단순한 블렌딩블렌딩 효과효과..

�� 이미지의이미지의 사이즈가사이즈가 작은작은 경우에는경우에는 정렬위치정렬위치 인식불가인식불가..

�� 기존연구기존연구

�� 이동운동모델만을이동운동모델만을 이용한이용한 수평회전수평회전 카메라로부터카메라로부터 실실린더린더 파노라믹파노라믹 영상영상 생성생성[1].[1].

�� 이동운동요소만으로이동운동요소만으로 영상정렬을영상정렬을 수행한수행한 후후 초점거리초점거리를를 계산하여계산하여 실린더에실린더에 투영시킴투영시킴..

441


3.3.연구연구 목적목적

�� 영상의영상의 크기와크기와 상관없이상관없이 영상정합을영상정합을 함함..

�� [1][1]논문의논문의 영상정렬영상정렬 과정을과정을 수행한수행한 후후 이이미지미지 정합정합 단계에서단계에서 2DDW2DDW로로 매칭점을매칭점을 찾찾고고 가중치를가중치를 부여해부여해 새로운새로운 화소를화소를 생성하생성하여여 일반적인일반적인 파노라마파노라마 사진을사진을 만듦만듦..

�� 단순한단순한 블랜딩이블랜딩이 아닌아닌 최적의최적의 화소값을화소값을 생생성함성함..

442


4.4.연구의연구의 내용내용

그림그림 1.1.파노라마파노라마 사진을사진을 위한위한 가중치적용가중치적용 정합정합 알고리즘의알고리즘의 구성도구성도

두영상

영상 정렬

2DDW

가중치 부여

이미지 정합

영상 정렬

정합된 영상

대응점 탐색(DTW)(2DDW)

대응점 정합(양선형보간) (가중치)

443


5.5.영상정렬영상정렬(1)(1)

�� 영상정렬이란영상정렬이란 파노라마를파노라마를 만들기만들기 위해위해 얻어진얻어진일련의일련의 영상들을영상들을 순서대로순서대로 나열하는나열하는 것것..

�� 기존의기존의 연구연구

�� 평면평면 투영투영 운동운동 모델모델[2][2]

�� 직선모델직선모델[2][2]

�� 기존기존 연구의연구의 문제점문제점

�� 비선형적인비선형적인 방법으로방법으로 많은많은 계산시간계산시간 요구요구

�� 초점거리초점거리, , 회전각도회전각도, , 이동거리이동거리 등등 많은많은 관련요소를관련요소를 필필요로요로 함함..

444



�� 영상들영상들 간의간의 관계관계�� 파노라마파노라마 촬영은촬영은 삼각대를삼각대를 이용하여이용하여 수평회전수평회전

만만 함함..

�� 영상의영상의 중심으로부터중심으로부터 같은같은 거리에거리에 있는있는 물체물체는는 모양과모양과 크기가크기가 비슷함비슷함. .

�� 영상정렬영상정렬 시시 고려사항고려사항�� 삼각대로삼각대로 촬영을촬영을 하되하되, , 수직방향으로의수직방향으로의 떨림떨림

도도 고려함고려함..

�� 영상의영상의 중심으로부터중심으로부터 같은같은 거리의거리의 영상을영상을 비비교함교함..

445



그림 2. 중심으로부터 같은 거리의 영상 영역

446



∑ ∑=

=

+

−=

−−++=2/

0

2211 )),(2),,(1(arg),(wdx

dx

h

dy

dycydxcxIdycydxcxIdMindydxDε

ε (1)

cx1, cy1 : I1 영상의 중심, cx2, cy2 : I2 영상의 중심D(I1,I2) : I1과 I2화소간의 유클리디언 거리차.dx, dy : 중심으로부터 수평, 수직 이동거리w, h : 너비, 높이ε : 카메라 떨림문제 보상

그림3. 비교방법

h

w

이동방향이동방향이동방향이동방향

dx

dy비교영역

(cx1,cy1)

(cx2,cy2)IIII1111IIII2222

dy

ε

447


6.6.이미지이미지 정합정합

2DDW

가중치 부여

4. 4. 4. 4. 이미지이미지이미지이미지 정합정합정합정합

정합된정합된정합된정합된 영상영상영상영상

4.1 대응점 탐색(DTW)(2DDW)

4.2 대응점 정합(양선형보간) (가중치)

3. I3. I3. I3. I1111 와와와와 IIII2222의의의의 부분영역부분영역부분영역부분영역

영상정렬결과dx, dy로부터의 부분영역

P1과 P2의정합점을 찾고,

이미지의 밝기와 위치를보정함.

�영상정렬과정을 수행한 후 두 영상의 경계 영역을 자연스럽게 이어줘야 한다.�영상정렬과정으로 얻어진 I1과 I2의 영상 정렬된 부분영역을 P1과 P2로 하자.�P1과 P2의 매칭되는 점을 찾아 가중치를 부여한 후 이동시킨다.

P1P1P1P1 P2P2P2P2I1 I2

그림4. 이미지정합방법

448


7. 2DDW(1)7. 2DDW(1)

�� 탬플릿탬플릿 정합법에정합법에 기반기반..

�� 두두 이차원이차원 이미지상의이미지상의 밝기차가밝기차가 가장가장 최소인최소인 점을점을 매매칭시킴칭시킴..

�� DTWDTW알고리즘을알고리즘을 기반기반 ..

�� 타임축상의타임축상의 변형된변형된 두두 패턴의패턴의 최소화된최소화된 거리를거리를DP(DynamicDP(Dynamic Program)Program)알고리즘으로알고리즘으로 계산하는것계산하는것..

�� 22차원차원 평면상의평면상의 변형된변형된 두두 이미지의이미지의 최소화된최소화된 거거리를리를 DP(DynamicDP(Dynamic Program)Program)로로 계산한계산한 것것..

449


7. 2DDW(2)7. 2DDW(2)�� 입력영상입력영상 P1(i1,j1), P2(i2,j2)P1(i1,j1), P2(i2,j2)

)},,,(

),,,({

),,,(

2211

2211

2211

jikjkid

jikjkiCostMin

jijiCost

yx

yx

depthkdepthdepthkdepth

y

x

+++

++

=

≤≤−≤≤−

(2)

�� 출력출력 CostCost배열배열, Path, Path배열배열

Cost(i1,j1,i2,j2)는 I1(i1,j1)의 주변점의 Cost와 I1과 I2간의 거리의 최소값.d는 I1과 I2간의 유클리드 거리.kx, ky는 부분경로제약.해당 cost가 없는 경우는 무시함.Cost배열에는 최소값을, Path배열에는 최소값의 I1(i1+kx,j1+ky)좌표를 저장한다.

),,,(),,,( 22112211 jijidjijiCost = (3)

),,,(),,,( 22112211 jikjkijijiPath yx ++= (4)

450


8.8.가중치가중치 부여부여(1)(1)

�� 가중치란가중치란 어떤어떤 다른값에다른값에 곱해져서곱해져서 유용한유용한실제값을실제값을 만드는만드는 값값..

�� P2P2영상의영상의 화소값과화소값과 대응되는대응되는 P1P1영상의영상의 화화소값이소값이 P2P2영상에영상에 표시될표시될 때때 정합되는정합되는 부위부위가가 부자연스러운부자연스러운 것을것을 최소화최소화 함함..

�� 2DDW2DDW로로 찾은찾은 매칭점들에매칭점들에 가중치를가중치를 곱해곱해서서 유용한유용한 화소를화소를 만듦만듦..

451


8.8.가중치가중치 부여부여(2)(2)

LeftRightD −=

D

xxw

left−=

1

P1(x1,yl)

P2(x2,y2)

Left Right

D

l )12(12' PPWPP −+=

)',','(

)),,(),,((),,(

222

111222111

bgr

bgrbgrWbgr

=

−+

(3)

D는 정합영역의 너비L은 P1과 P2간의 벡터길이W는 x1이 Left와의 거리에 따른 비율로 l에 비례함.

그림5. 가중치계산을위한 요소

452


9.9.실험실험 및및 결과결과(1)(1)

�� PCPC환경환경�� PentiumPentium--4 , 2.4GHz4 , 2.4GHz

�� 512MB 512MB 램램

�� OSOS�� Window 2000 serverWindow 2000 server

�� 개발개발 툴툴�� Visual C#.Net2003Visual C#.Net2003

�� 카메라카메라�� Sony F707Sony F707

�� 500 * 375500 * 375

453


9.9.실험실험 및및 결과결과(2)(2)

(a) 영상 정렬을 수행한 결과

(c) 두 이미지의 정합결과

(b) 부분영역의 정합결과

454


10.10.결론결론 및및 향후향후 과제과제

�� 결론결론�� 영상의영상의 수평회전만을수평회전만을 고려하여고려하여 영상정렬을영상정렬을 하였고하였고, , 겹쳐지는겹쳐지는 두두

영역의영역의 경계차를경계차를 최소화하기최소화하기 위해위해 영상정합을영상정합을 하였다하였다. . 최적으로최적으로매칭되는매칭되는 정합점을정합점을 2DDW2DDW알고리즘을알고리즘을 이용해이용해 찾고찾고, , 색상과색상과 위치위치를를 보간하기보간하기 위해위해 가중치를가중치를 부여하여부여하여 화소를화소를 이동시키고이동시키고 색상을색상을보간하였다보간하였다..

�� 중심으로부터중심으로부터 같은같은 거리의거리의 영상의영상의 밝기차를밝기차를 계산하여계산하여 영상정렬영상정렬을을 함으로써함으로써 영상의영상의 사이즈가사이즈가 작은작은 경우에도경우에도 정렬위치를정렬위치를 잘잘 인식인식함함..

�� 정합될정합될 영역의영역의 너비에너비에 대한대한 P1P1화소의화소의 거리를거리를 이용해이용해 가중치를가중치를부여함으로써부여함으로써 비교적비교적 간단하면서도간단하면서도 좋은좋은 효과를효과를 보였음보였음..

�� 향후향후 과제과제�� 2DDW2DDW가가 픽셀과픽셀과 픽셀간의픽셀간의 매칭으로써매칭으로써 영상이영상이 큰큰 경우는경우는 검색시검색시

간이간이 오래오래 걸림걸림..�� 알고리즘알고리즘 보완으로보완으로 향상된향상된 파노라마파노라마 시스템을시스템을 개발하고자개발하고자 함함..

455


참고참고 논문논문

[1] [1] 장경호장경호, , 정순기정순기,,이동운동모델만을이동운동모델만을 이용한이용한 수평회전수평회전 카메라로부터카메라로부터 실린더실린더 파노라믹파노라믹 영상영상 생성생성, , 정정보과학회논문지보과학회논문지, , 제제2828권권 제제1212호호, 2001 , 2001

[2] [2] MichalMichal IraniIrani, P. , P. AnandanAnandan, Steve Hsu: Mosaic Based Representations of Video Sequences , Steve Hsu: Mosaic Based Representations of Video Sequences and Their Applications., in fifth International Conference on Coand Their Applications., in fifth International Conference on Computer Vision(ICCV'95), mputer Vision(ICCV'95), p.605p.605--611, 1995 611, 1995

456

Documents

파노라마사진을위한 이미지정합 알고리즘에관한연구 · 정보통신전문대학원-이용현-키워드: 파노라마, 이미지정합, 2ddw-요약–디지털카메라의보급으로카메라와삼각대만있으면누구