58 정보과학회논문지 : 소 트웨어 응용 제 41 권 제 1 호(2014.1)

다 노출 상을 이용한 HDR 상 복원 방법(High Dynamic Range Image Reconstruction from

Multiple-Exposure Image)

조 호 진† 이 승 용

††

(Hojin Cho)     (Seungyong Lee)

요 약 본 논문에서는 부호화된 자 셔터로부터 획득한 한 장의 다 노출 상을 이용한 HDR 이

미징 방법을 제안한다. 기존 HDR 이미징 방법들은 정 인 장면을 상으로 하기 때문에 상 획득 시 피

사체 움직임 손떨림 등의 모션을 처리하기 어려웠다. 한, 노출 마스크와 같은 특수한 H/W를 이용하

는 방법들은 구 /비용 문제로 실용성이 떨어진다. 제안된 방법에서는 개별 노출을 갖는 상들을 분리하

지 않기 때문에 계단 상이 없고 세부사항을 보존할 수 있다. HDR 이미징 결과는 부호화된 자 셔터가

장착된 로토타입 카메라로 촬 된 실제 상들을 이용하 으며, 본 논문의 방법이 기존 방법들에 비해

우수한 품질을 갖는다는 것을 보여 다.

키워드: HDR 상 복원, HDR 이미징, 부호화된 자 셔터, 다 노출 상, 공간 으로 다른 노출

Abstract We propose a novel HDR imaging method using a coded electronic shutter that allows

capturing spatially varying exposures simultaneously in a single image. Previous HDR imaging

approaches have difficulties in capturing moving objects and handling camera shakes, since they

assume the target scenes to be static. Special imaging devices such as exposure-filtering masks could

reduce motion artifacts, but manufacturing costs have limited their practicality. Using the proposed

framework, we extend the dynamic range of an input image without extracting the subimages for

different exposures while preventing jaggy artifacts and preserving fine details. Experimental results

on real images captured using a prototype camera equipped with a coded electronic shutter show that

our method can generate higher quality HDR images than previous approaches.

Keywords: high dynamic range image reconstruction, high dynamic range imaging, coded

electronic shutter, multiple exposure image, spatially varying exposures

․본 연구는 한국연구재단의 일반연구자지원사업(2013R1A1A2011692)의

지원으로 수행된 연구결과임

․이 논문은 2013 한국컴퓨터종합학술 회에서 ‘다 노출 상을 이용한

HDR 상 복원 방법’의 제목으로 발표된 논문을 확장한 것임

†

††

비 회 원

종신회원

논문 수

심사완료

:

:

:

:

포항공과 학교 컴퓨터공학과

nucl23@postech.ac.kr

포항공과 학교 컴퓨터공학과 교수

leesy@postech.ac.kr

(Corresponding author임)

2013년 8월 5일

2013년 10월 16일

CopyrightⒸ2014 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작

물의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다.

이 때, 사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처

를 반드시 명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든

유형의 사용행 를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야

합니다.

정보과학회논문지: 소 트웨어 응용 제41권 제1호(2014.1)

1. 서 론

실세계 장면(scene)들은 일반 으로 넓은 범 의 밝기

변화를 포함한다. 특히, 촬 상 장면이 밝은 역과

어두운 역을 동시에 포함하는 경우, Low Dynamic

Range(LDR)를 갖는 일반 인 디지털 카메라는 촬

상 장면의 방사휘도(radiance)를 제 로 획득하지 못하

고 과노출 노출 역에서 상의 세부 사항을 잃게

된다. High Dynamic Range(HDR) 이미징은 이러한 한

계 을 극복하기 해 상 기기의 제한된 동 범 를

확장하여 장면을 더 잘 표 하는 것을 목 으로 한다.

HDR 이미징과 련하여 지 까지 많은 연구가 진행

되었는데 부분의 방법들은 동일한 장면에 해 노출

을 다르게 촬 한 여러 장의 LDR 상들을 이용하여

HDR 방사휘도(radiance)를 복원하고 있다[1-6]. 하지만

이러한 방법들은 여러 상들을 순차 으로 촬 하기

다 노출 상을 이용한 HDR 상 복원 방법 59

때문에, 촬 상에 움직임이 없는 정 인 장면에만

용이 가능하다. 따라서, 촬 하는 동안에 카메라가 흔들

리거나 상이 움직이는 경우에는 HDR 복원 결과가 고

스트 상 는 변색을 포함한다. 다른 한 편으로, 단일

상을 이용하는 방법들은 픽셀 단 로 다양한 노출 값

을 획득할 수 있는 노출 필터 마스크를 이용하거나

[7-11], 카메라로 들어오는 량을 동 으로 조정할 수

있는 다 획득 장치 는 다 센서 요소들을 이용하

고 있다[12,13]. 이러한 방법들은 여러 장의 상들을 획

득하는 방법들과 비교하여 다 노출 획득 시 시간 지

연이 어들어 고스트 상이 다는 장 이 있다. 하지

만 노출 필터 마스크를 고해상도로 확장하는데 따른 어

려움과 제조 비용으로 인해 실용성이 낮고, 다 노출을

갖는 단일 상으로부터 각 노출을 갖는 개별 상들을

분리하면서 공간 해상도가 어든다는 단 이 있다.

HDR 상은 컴퓨터 그래픽스 비 분야의 응용 분

야에서 유용하게 사용될 수 있으므로, 렴한 비용으로

구 될 수 있는 실용 인 HDR 이미징 방법이 필요하다.

본 논문에서는 부호화된 자 셔터를 이용한 HDR

이미징 방법을 제시한다. 부호화된 자 셔터는 최근 출

시되는 카메라에서 쉽게 구 될 수 있으며[14], 단일 촬

으로 다 노출을 갖는 하나의 상을 획득하게 한다.

다시 말해서, 본 논문에서는 부호화된 자 셔터로부터

획득된 한 장의 다 노출 상으로부터 HDR 상을

생성하는 방법을 제안한다. 먼 , 본 논문에서는 부호화

된 자 셔터를 이용한 HDR 이미징 방법의 기본 개념

에 해 설명하고, HDR 이미징의 주요 문제들과 이를

해결하기 한 알고리즘을 제시한다. 본 논문의 실험

상들은 부호화된 자 셔터가 장착된 로토타입 카메

라로 촬 하 으며, 복원된 HDR 상들을 통해 본 논

문에서 제시하는 방법이 기존 방법보다 우수한 품질을

갖는다는 것을 보인다.

2. 련 연구

가장 리 사용되고 있는 HDR 이미징 방법들은 서

로 다른 노출을 갖는 여러 장의 LDR 상들을 이용한

다. 여러 장의 상들을 이용하는 기의 방법들은 단순

히 순차 으로 촬 된 LDR 상들 사이의 노출 변화를

이용하 다[1,3]. 이후에는 획득된 여러 LDR 상들로

부터 카메라의 응답 함수를 계산하는 방법들이 제안되

었다[2,4-6,15]. 하지만 여러 장의 상들을 이용하는 방

법들은 정 인 장면만을 상으로 하기 때문에, 상 획

득 시 피사체 움직임 는 손떨림과 같은 움직임이 고

스트(ghost)와 같은 아티팩트를 발생시킨다. 이러한 아

티팩트를 제거하기 해서는 HDR 상 디블러링[16,17]

고스트 제거[18-20]와 같은 추가 인 노력이 필요하

다. 하지만 후처리를 통한 아티팩트 제거는 처리 시간이

길고, 해가 존재하지 않는 문제의 특성으로 인해 좋은

결과를 기 하기 어렵다.

다른 한편으로, 상 획득 시간을 이기 해 단일

상을 이용하는 방법들도 연구가 되고 있다. 일반 으

로 HDR 이미징에서 다 노출 정보는 필수 이므로,

단일 상을 이용하는 가장 직 인 방법은 노출 필터

마스크를 이용하여 공간 으로 다른 노출을 획득하는

방법이다[7-11]. 이러한 방법들은 한 장의 상 촬 으

로 다 노출을 획득하기 때문에 움직임의 향이 어

고스트 상을 획기 으로 일 수 있다. 단일 상을

획득한 후에는 각 노출을 갖는 개별 상들을 보간

(interpolation)하여 분리한 뒤 기존의 여러 장을 이용하

는 방법들[2,4-6,15]과 같이 HDR 상을 생성한다. 하

지만 개별 상들을 분리하는 과정에서 상 디테일을

잃을 수 있고 계단(jaggy) 상을 발생시킨다. 더욱이,

고해상도( , 2000만 화소) 필터 마스크 제조에 따른 높

은 비용은 실용 인 사용을 어렵게 한다.

HDR 이미징을 해서 특수한 하드웨어를 이용하는

방법으로는 솔리드 스테이트 (solid state) 상 센서

[12] 학 감쇠기(optical attenuator)[13]를 이용하는

방법이 제안 되었으며, 상 획득 시간 동안 노출을 동

으로 조 한다. 이러한 방법들은 HDR 이미징을 해

필요한 만큼의 량만 획득할 수 있다는 에서 장 이

있으나 높은 제조 비용과 구 의 어려움으로 인해 실용

성이 부족하다는 한계 이 있다.

본 논문과 가장 련이 있는 연구는 최근에 제안된

부호화된 롤링 셔터(coded rolling shutter)를 이용한

HDR 이미징 방법[21]이다. 부호화된 롤링 셔터는 단일

상에서 행(row)별로 다른 노출을 획득하기 해 롤링

셔터의 리셋/리드아웃 신호를 조 할 수 있다. 이를 이

용하여 다 노출을 획득한 후에는, 각 노출에 해당하는

상들을 분리하여 기존의 여러 장의 상들을 이용하

는 HDR 이미징 방법과 같이 HDR 상을 생성한다.

하지만 개별 노출 상을 분리하므로 노출 필터 마스크

를 이용하는 방법들[7-11]과 동일한 한계 을 갖는다.

더욱이, 롤링 셔터의 한계로 인해 스큐(skew)와 우블

(wobble) 등의 추가 인 문제 도 발생할 수 있다.

3. 부호화된 자 셔터를 이용한 HDR 이미징

방법

이 장에서는 먼 부호화된 자 셔터(coded electronic

shutter) 해 설명하고, 이를 이용한 HDR 이미징 방법

의 기본 개념을 제시한다. 한, 부호화된 자 셔터 기

반 HDR 이미징의 핵심 문제에 해 알아보고, 이를 해

결하기 한 방법을 제안한다.

60 정보과학회논문지 : 소 트웨어 응용 제 41 권 제 1 호(2014.1)

3.1 부호화된 자 셔터

그림 1은 여러 카메라 셔터들의 시간 함수를 시각화

한 것이다. 그림 1(a)는 최근 사용되고 있는 부분의

카메라에 공통 으로 사용되는 이 막 면 셔터(two

curtain focal plane shutter)인데, 이를 구성하는 기계

선막 셔터(Mechanical Front Curtain Shutter; MFCS)

기계 후막 셔터(Mechanical Rear Curtain Shutter;

MRCS)가 빠른 속도로 동작하여 리셋/리드아웃 신호의

지연 없이 상을 획득하게 한다. 최근 출시되는 2000만

화소(5528×3660)의 디지털 카메라에서 기계 셔터는 약

3-4ms의 응답 속도를 보이며, 리셋 신호와 리드아웃 신

호는 각각 3.8-19.2ms 57.6-153.6ms의 응답 속도를

가지며, 이는 그림 1(a)의 오른쪽에 도식화 하 다.

그림 1(b)의 부호화된 롤링 셔터는 최근 Gu et al.[21]

이 제안한 것으로, 기계 선/후막 셔터를 리셋/리드아웃

신호로 체한 롤링 셔터에서 리셋 신호를 행별로 부호

화하도록 확장한 것이다. 롤링 셔터는 리드아웃 신호의

응답 속도가 매우 느리고 한 번에 한 행만 읽을 수 있기

때문에 리드아웃 신호를 기 으로 동작하는데, 이 때문

에 롤링 셔터 아티팩트가 발생한다. 그림 1(b)의 부호화된

롤링 셔터를 사용하면 한 장의 다 노출 상을 획득할

수 있지만 근본 인 롤링 셔터의 한계로 인해 HDR

상에 스큐 우블과 같은 아티팩트가 발생할 수 있다.

한, Gu et al.이 제안한 HDR 이미징 방법[21]은 각 노

출을 갖는 상들을 분리한 뒤 합치게 되는데, 이 때

상의 세부사항을 잃을 수 있고 계단 상(jaggy artifact)

이 발생하여 결과 상의 품질이 하된다.

(a) Two-curtain focal plane shutter

(b) Coded rolling shutter

[21]

(c) Coded electronic

shutter

그림 1 카메라 셔터 함수의 시간 차트

Fig. 1 Timing charts for camera shutter functions

그림 1(c)는 본 논문에서 사용하는 부호화된 자 셔

터의 시간 차트이다. 먼 , 자 셔터[14]는 자 선막과

기계 후막으로 구성되는데, 부호화된 롤링 셔터[21]와

유사한 방법으로 자 선막의 행간 부호를 제어함으로

써 얻는다. 여기서 리셋 신호라 하지 않고 자 선막 셔

터라고 하는 이유는 자 선막이 기계 후막의 움직임을

모사하여 그림 1(a)처럼 비선형으로 동작하기 때문이다.

부호화된 자 셔터는 빠른 응답 속도를 갖는 기계 후

막이 리드아웃 신호의 지연을 막아 부호화된 롤링 셔터

[21]와 달리 스큐 우블과 같은 롤링 셔터 아티팩트가

발생하지 않는 장 이 있다.

3.2 기본 개념

부호화된 자 셔터의 각 행에 다른 부호를 할당하면

싱 샷 촬 시 행 단 로 다 노출을 획득할 수 있

다. 본 논문에서 제안하는 HDR 이미징 방법의 핵심 아

이디어는 부호화된 자 셔터로부터 획득된 다 노출

상으로부터 과노출 노출 픽셀을 복원하고 동

범 를 확장하는 것이다. 그림 2(b)에 나타낸 것처럼 긴

노출 역의 과노출은 인 한 짧은 노출 픽셀들을 이용

하여 복원되고, 짧은 노출 역의 노출은 인 한 긴

노출 픽셀들을 이용하여 복원된다. 이 게 복원된 픽셀

들은 확장된 동 범 를 제공한다. 부호화된 자 셔터

를 HDR 이미징에 이용하면 행별로 부호화된 노출을 제

공하는 자 셔터와 롤링 셔터 문제를 막아주는 기계

후막 셔터의 장 을 모두 가지므로 기존 방법[21]과 달

리 시각 인 화질 하가 없고 더 우수한 화질의 HDR

상 생성이 가능하다.

본 논문에서는 HDR 이미징을 해서 긴 노출과 짧

은 노출 두 가지로 부호화한다. 즉, 부호화된 자 셔터

로 촬 된 상은 0을 노출 기 으로 할 때 주어진 노

출 값 차이 s에 해 ±s EV(exposure value)를 가진

다. 베이어(Bayer) 컬러 배열을 고려하면 부호화된 자

셔터로 촬 되는 상은 다음과 같이 모델링된다.

(a) Mosaic pattern (b) Principle of dynamic range extension

그림 2 (a) 부호화된 자 셔터로 획득되는 모자익 패턴,

(b) 동 범 확장 원리

Fig. 2 (a) Color filter array of spatially varying exposures

obtained using coded electronic shutter. (b) The

principle of our dynamic range extension

다 노출 상을 이용한 HDR 상 복원 방법 61

그림 3 부호화된 자 셔터를 이용한 HDR 이미징 방법의 체 과정

Fig. 3 Overall process of HDR imaging using coded electronic shutter

(1)

여기서 IS 와 IL 은 각각 짧은 노출과 긴 노출로 촬 되

는 행들이며, IRAW 의 모자익 패턴은 그림 2(a)에 나타

내었다. 주어진 IRAW

로부터 컬러 상을 얻기 해서는

IS 와 IL 사이의 노출을 동일한 수 으로 맞추어야 하는

데, 여러 장의 상으로부터 카메라의 특성 함수를 계산

하는 기존의 방법들[2,4-6,15]은 처리 시간이 길고 은

수의 상들로부터 정확하게 계산하기가 어려우므로, 본

논문에서는 미리 계산된 디지털 상 센서의 응답 함수

[22,23]를 이용하여 노출 차이를 보상한다. 일반 으로

노출이 긴 상이 노이즈가 으므로 본 논문에서는 IS

를 긴 노출을 갖도록 보상하여 IS→L 를 얻는다.

노출 차이를 보상한 후에는 IS 의 노출과 IL 의 과노

출을 복원하며, 상의 세부사항을 보존하기 해 에지

방향을 고려하는 새로운 양방향 필터(bilateral filter)를

용한다. 이를 통해 노출 과노출이 복원된 상은

확장된 동 범 인 20 log (Imax / Imin × 22s)를 가진다.

여기서 Imax 와 Imin 은 각각 상의 최 값과 최소값에

응된다. 이 게 동 범 가 넓어진 HDR 상을 획

득하더라도, 촬 도 에 모션이 발생하는 경우에 입력

상에서 IS 보다 IL 가 더 긴 모션을 획득하여 원하지

않는 아티팩트가 발생할 수 있다. 따라서, 본 논문에서

는 모션 보상을 통해 이러한 아티팩트를 제거한다.

부호화된 자 셔터를 이용한 HDR 이미징에서 다루

어야 하는 핵심 문제들을 정리하면 다음과 같다: (1) IS

와 IL 사이의 다른 노출 보상, (2) 노출/과노출 픽셀

값 복원, (3) IS 와 IL 사이의 모션 차이 보상.

3.3 체 과정

그림 3은 본 논문에서 제안하는 부호화된 자 셔터

를 이용한 HDR 이미징 방법의 체 과정으로, 앞 에

서 설명한 핵심 문제들을 해결하기 한 컴포 트들(노

출 보상, 포 픽셀 처리, 장/단노출 모션 보상)이 순차

으로 구성된다. 체 과정의 간에 치하는 컬러 상

생성은 그 뒤에 용되는 단계들에서 필요한 컬러 상

을 제공하기 한 것으로, 본 논문에서 제시하는 방법은

특별한 컬러 상 생성 방법에 의존하지 않으므로 흔히

사용되는 에지 방향을 고려한 컬러 상 생성 방법[24]

을 채택하 다. 가로 노이즈 제거 단계는 노출 보상

단계에서 상 센서 응답 함수가 정확하지 않아 발생하

는 노이즈를 제거하는 단계이다.

부호화된 자 셔터를 이용하여 촬 된 입력 상

IRAW 는 12비트로 주어지며, 먼 노출 차이를 보상하여

단일 노출 상을 획득한다. 그 후에는 상 필터링 알

고리즘들을 순차 으로 용하여 최종 으로 HDR 상

을 생성한다. 본 논문에서 제시하는 방법은 체 과정을

수행하는 동안에 각 노출에 응되는 상들을 분리하

지 않기 때문에 상의 세부사항을 보존할 수 있고,

상 보간 (interpolation)에 의한 계단 상이 발생하지

않는다는 장 이 있다.

4. 세부 알고리즘

본 장에서는 그림 3의 체 과정을 구성하는 각 알고

리즘 컴포 트에 해 설명한다. 각 단계를 거쳐 나오는

간 결과 상의 입력 상은 그림 8의 제 1 우측

상단에 나타나 있다.

4.1 노출 보상(Photometric Calibration)

이 단계에서는 상호성(reciprocity)[15]과 디지털 상

센서의 선형 응답 가정[22,23]에 기반하여 입력 상

IRAW

에 존재하는 짧은 노출과 긴 노출의 차이를 보상

한다. 상호성은 카메라의 학 도가 상 센서의 방사

조도(irradiance)와 노출 시간의 곱으로 표 된다는 것

을 의미한다. 먼 , 본 논문에서는 상 센서의 선형 응

답 가정을 검증하기 해 다음의 실험을 수행하 다. 카

메라의 ISO값과 조리개 값을 고정하고, 제어된 암실에

서 셔터 스피드를 바꿔가면서 모든 노출 값(EV)으로 고

정된 흰색 물체를 촬 하 다. 여기서 노출 값은 상호성

에 의해 계산되며, 획득된 픽셀 응답 값은 노이즈의

향을 이기 해 각 칼라 요소에 해 350만 개의 픽

셀 값을 평균하여 계산하 다. 그림 4는 이 게 계산된

노출 값에 따른 상 센서의 응답 함수를 보여 다. 실

험에 사용된 ISO 값은 100부터 6400까지 총 7가지로

상 센서의 선형 응답 가정은 다른 카메라 라미터에

해서도 성립하는 것을 알 수 있었다.

62 정보과학회논문지 : 소 트웨어 응용 제 41 권 제 1 호(2014.1)

(a) ISO 200 (b) ISO 3200

그림 4 상 센서의 응답 함수: 노출 값(x축) 베이어

칼라 배열의 평균 픽셀 값(y축). 조리개 값은

f/2, 장면 조도는 0.15 lux로 고정되었고, 노출

값은 셔터 스피드를 바꾸어가며 조 하 음

Fig. 4 Response curves of our image sensor: exposure

value (x-axis) vs. average pixel intensity values

on color filter array (y-axis). The aperture value

is f/2, and the scene illuminance is 0.15 lux. We

changed the exposure value by controlling

exposure time

본 논문에서는 분석된 상 센서 응답 함수의 선형성

에 근거하여 그림 4의 응답 함수들에 선형 회귀를 용

하고 I = aE + b 형태의 함수 얻는다. 그 후에는 IS 를

노출 보상하여 IS→L 를 얻기 해 다음의 단계를 수행한

다: (1) IS 로부터 Es 계산, (2) ES 에 IS 와 IL 사이의

셔터 스피드 차이를 이용하여 ES→L 계산, (3) ES→L 로부

터 IS→L 계산.

그림 6(a)는 노출 보상 단계로부터 획득된 간 결과

상 IPC = {IS→L, IL}를 보여 다. 여러 아티팩트 에서

가로 노이즈는 노출 보상 단계에서 사용하는 응답 함

수의 부정확성으로 인해 발생한 것이다. 이러한 노이즈

의 제거는 4.3 에서 설명한다.

4.2 포화픽셀 처리(Saturation Handling)

노출 보상을 통해 얻어진 IPC 는 여러 문제들을 포함

하는데, 이 단계에서는 그림 2(b)에 나타낸 것처럼 노

출/과노출 픽셀들을 복원한다. 입력 상에서 노출/과

노출 역은 그림 5에 나타내었다. 회색으로 표 된

역은 정상 범 의 픽셀들이며, 빨간색은 과노출 역을

나타내고, 란색은 노출 역을 나타낸다.

본 논문에서는 효과 인 노출/과노출 복원을 해

다음의 양방향 필터를 사용한다.

(2)

여기서 ws는 거리가 가까운 픽셀들에 높은 가 치를 부

여하고, wd 는 에지 방향을 따라 존재하는 이웃 픽셀들

에 높은 가 치를 부여하는 함수로 다음과 같이 정의된다.

(3)

그림 5 과노출(빨간색) 노출( 란색) 역 시각화.

정상 범 의 픽셀들은 회색으로 표 하 다.

Fig. 5 Visualization of the over-exposed areas (red) and

under-exposed areas (blue). Well-exposed areas

are shown in gray

(4)

식 (2)에서 m(･)은 멤버십 함수로 이웃 픽셀 에 포

화픽셀이 있는 경우, 이를 평균에 고려하지 않도록 0에

가까운 값을 할당하며 다음과 같이 정의된다.

(5)

여기서 BL 과 BU 는 각각 노출/과노출을 단하는 픽

셀 값의 최소치와 최 치이다(그림 5).

식 (2)의 양방향 필터는 비디오 디인터 이싱(deinter-

lacing) 알고리즘[25]에서 착안하 으며, 에지 방향을 고

려하여 상의 세부사항을 보존하면서 노출/과노출 픽

셀들을 복원할 수 있다. 이를 이용한 복원 결과는 그림

6(b)에 나타내었다.

4.3 가로 노이즈 제거(Horizontal-Noise Removal)

포화픽셀 처리 후에는 일반 으로 사용되는 컬러

상 생성 방법[24]을 이용하여 ISH

로부터 컬러 상

IRGB 을 얻는다. 본 논문에서 제시하는 HDR 이미징 방

법은 특정한 컬러 상 생성 방법에 의존하지는 않으나,

이후에 설명될 알고리즘들이 RGB 컬러 상을 사용하

기 때문에 체 과정 간에서 컬러 상 생성 방법을

용한다(그림 3).

이 에서는 4.1 에서 설명한 노출 보상의 부정확성

으로 인한 가로 노이즈를 제거하는데, 먼 효과 인

가로 노이즈 제거를 해 노이즈의 특성을 다음과 같

이 분석하 다. 4.1 의 노출 보상 단계를 통해 획득한

IS→L 픽셀 값과 카메라에서 실제로 획득한 IL 의 차이를

노출 보상의 오차로 정의하고, 10,000개 이상의 RGB

컬러 픽셀들에 해 오차의 분포를 조사하 으며, 그 결

과는 그림 7에 나타내었다.

여기서 알 수 있는 요한 사실은, 노출 보상이 정확

다 노출 상을 이용한 HDR 상 복원 방법 63

(a) Photometric Calibration (b) Saturation Handling (c) Horizontal-Noise Removal (d) Motion Compensation

그림 6 (a)-(d)는 4.1-4.4 에 설명된 각 알고리즘의 간 결과를 보여 다. 입력 상은 그림 8의 제 1에서 오

른쪽에 나타나 있으며, 부호화된 자 셔터가 장착된 카메라를 이용하여 손으로 들고 촬 한 상이다.

(a)-(d) 결과는 모두 시각화를 해서 Adobe Photoshop CS6의 “HDR toning” 연산을 이용하여 톤이 조

되었다.

Fig. 6 (a)-(d) show the intermediate results of our algorithm corresponding to Secs. 4.1-4.4, respectively. The

input image was taken with a hand-held camera using coded electronic shutter. The tone of the results

in (a)-(d) was adjusted using the “HDR toning” operation of Adobe Photoshop CS6 for visualization

(a) Shutter speed: 1/2s (b) Shutter speed: 1s

그림 7 노출 보상 오차의 분포: 오차 err= IS→L - IL (x축)

픽셀 개수(y축). IS→L 는 IS 로부터 1 EV가

높아진 픽셀 값들을 사용하 다.

Fig. 7 Distributions of the error of our photometric

calibration. IS→L is calibrated 1 EV upwardly

하게 이루어진다면 이러한 오차는 0이어야 하지만 오차

의 값이 가우시안(Gaussian) 분포를 따른다는 이다.

가우시안 분포를 따르는 노이즈는 다양한 방법으로 제

거할 수 있는데, 본 논문에서는 다음의 변분식을 통해

가로 노이즈를 제거한다.

(6)

여기서 ||I - IRGB||2 는 데이터 항이고, |∇I|는 변동

(total variation) 정규화 항이다. 상의 픽셀 인덱스는

편의상 생략하 다. 식 (6)은 오일러(Euler) 식에 의해

다음의 해를 갖는다.

(7)

식 (7)은 이방성 확산(anisotropic diffusion)으로 에

지를 보존하면서 노이즈를 제거하는 필터링으로 알려져

있다. 가우시안 노이즈는 이방성 확산 외에도 일반 인

양방향 필터[26]를 이용하면 에지를 보존하면서 효과

인 노이즈 제거가 가능하므로, 처리 속도가 빠른 양방향

필터를 사용하 다. 가로 노이즈를 제거한 결과는 그

림 6(c)에 나타내었다.

4.4 장/단노출 모션 보상(Motion Compensation)

이 단계에서는 IS 와 IL 사이의 모션 차이를 보상한다.

단일 상을 획득하더라도 IS 와 IL 가 다른 모션을 포함

하면 그림 6(c)와 같은 계단 상이 발생하기 때문에 고

품질의 HDR 상 획득을 해서는 모션 보상이 필수

이다. 이를 해 본 논문에서는 [25,27]을 참고하여 식

(1)의 부호화된 자 셔터로 획득되는 상 모델을 다음

과 같이 확장한다.

(8)

여기서 I' = IHNR 은 4.3 의 가로 노이즈 제거 결과

상이고, Φ는 상의 각 픽셀들이 모션에 따라 이동한

거리를 표 하는 벡터 필드이다.

식 (8)은 지터링(jittering) 아티팩트[27]와 유사하기

때문에, [27]의 디지터링 함수(dejittering functional)를

채택하 다. 디지터링 함수는 다음과 같다.

(9)

여기서 ||Φ(x) - x||2 는 모션 크기에 따른 패 티를 부여

하게 되고, 식의 해 IMC 는 모션의 향이 으면서

64 정보과학회논문지 : 소 트웨어 응용 제 41 권 제 1 호(2014.1)

그림 8 기존 방법과의 비교. 제 1과 2 모두 손으로 들고 촬 되었다. 기존 HDR 이미징 방법[15]은 세 가지의 서로

다른 노출을 갖는 상을 입력으로 하며, 제안된 방법은 한 장의 다 노출 상을 이용한다. 결과 HDR 상은

모두 시각화를 해서 Adobe Photoshop의 “HDR toning” 연산을 이용하여 톤이 조 되었다. 기존 방법과 비교

하여 본 논문이 제시하는 방법은 고스트가 없고 세부사항을 더 잘 표 하는 것을 알 수 있다.

Fig. 8 Comparison with a previous HDR imaging method[15]. Both examples 1 and 2 were taken with a hand-held

camera. The previous method[15] takes three differently-exposed images as input, and our method takes a single

image of multiple exposures. For visualization, the tone of the results is adjusted using the “HDR toning”

operation of Adobe Photoshop CS6. Our method does not suffer from ghosting artifacts, and preserves

fine-details better

변동 정규화 항을 만족하는 상이 된다. 식 (9)에서

모션 크기에 따른 패 티는 학 흐름(optical flow) 해

에 의해 ||Φ(x) - x||2 = (∇IT + ε)-1 (I' - I)으로 치환할

수 있고, 최종 인 해는 오일러 식에 의해 다음과 같이

계산된다.

(10)

식 (10)은 평균 곡률 흐름(mean curvature flow)과

유사한데 앞의 상수만 |∇I| 신에 |∇I|2 로 나타난 것

을 알 수 있다. 그림 6(d)에 나타낸 것처럼 식 (10)을

용하여 모션 차이를 보상한 결과는 계단 상을 포함

하지 않는다.

5. 실험 결과 비교

본 논문에서 제시한 HDR 이미징 방법은 C++을 이용

하여 구 되었으며 Intel Core(TM) i7 CPU (3.07GHz)

와 12.0 GB RAM을 장착한 PC에서 Windows 7 64bit

운 체제 하에 실험을 수행하 다.

본 논문에서 제안하는 방법의 입력 상들은 모두 부

호화된 자 셔터가 장착된 시험용 카메라를 이용하여

촬 되었으며, 기존의 HDR 이미징 방법에 사용된 입력

상들은 동일한 카메라에서 부호화된 자 셔터의 기

능을 해제하고 다른 조건은 동일하게 유지하여 촬 되

었다. 공정한 비교를 해, 입력 상으로 제공되는

상의 밝기가 유사하도록 셔터 스피드의 최소/최 값을

다 노출 상을 이용한 HDR 상 복원 방법 65

맞추었다. 한, 본 논문에 사용된 제 상의 크기는

모두 약 2000만 화소(5528x3660)이며, 제안된 방법으로

하나의 HDR 상을 생성하는데 걸리는 시간은 약 60

이다.

그림 8은 기존의 여러 LDR 상들을 이용하는 HDR

이미징 방법들[2,4-6,15]을 표하여 가장 리 사용되

고 있는 [15]와 제안된 방법의 결과를 비교한다. 기존의

HDR 이미징 방법은 손떨림으로 인해 발생한 모션이 고

스트 상을 포함하거나 일부 역에서는 변색(discolo-

ration)이 발생하 다. 특히, 제 1에서는 상 장면에

포함된 자를 읽을 수 없을 정도로 화질이 하된 것

을 볼 수 있다. 반면, 제안된 방법의 결과는 모션으로

인한 아티팩트가 없고, 밝은 역과 어두운 역을 모두

잘 표 하는 것을 알 수 있다. 이러한 실험 결과를 통

해, 본 논문에서 제시하는 부호화된 자 셔터를 이용한

HDR 이미징 방법이 모션에 더 강인하면서, 선명하고

깨끗한 HDR 상을 생성할 수 있음을 알 수 있었다.

6. 결론 향후 연구

본 논문에서는 기존에 시도되지 않았던 부호화된

자 셔터를 이용한 HDR 이미징 방법을 제안하 다. 기

존의 여러 LDR 상들을 이용하는 HDR 이미징 방법

들은 상 획득 시 빈번하게 발생하는 모션에 취약하

으나, 제안된 방법은 모션에 강인하고 아티팩트가 없는

우수한 품질의 HDR 상을 생성할 수 있다.

향후 연구로는 HDR 비디오를 생성하기 한 방법에

한 연구가 필요하며, 보다 실용 으로 사용되기 해

처리 속도의 개선이 필요하다.

References

[ 1 ] P. Burt, R. Kolczynski, "Enhanced image capture

through fusion," In Proc. Fourth International

Conference on Computer Vision (ICCV 1993),

pp.173-182, 1993.

[ 2 ] M. Granados, B. Ajdin, M. Wand, C. Theobalt,

H.-P. Seidel, H. Lensch, "Optimal hdr recon-

struction with linear digital cameras," In Proc.

IEEE Conference on Computer Vision and Pattern

Recognition (CVPR 2010), pp.215-222, 2010.

[ 3 ] B. C. Madden, "Extended intensity range imaging,"

Technical Report MS-CIS-93-96, Grasp Laboratory,

University of Pennsylvania, Philadelphia, PA, 1993.

[ 4 ] S. Mann, R. Picard, "Being ‘undigital’ with digital

cameras: Extending dynamic range by combining

differently exposed pictures," Technical Report 323,

M.I.T. Media Lab Perceptual Computing Section,

Boston, Massachusetts, 1994.

[ 5 ] T. Mitsunaga, S. Nayar, "Radiometric self calib-

ration," In Proc. IEEE Computer Society Confer-

ence on Computer Vision and Pattern Recog-

nition (CVPR 1999), vol.1, pp.374-380, 1999.

[ 6 ] M. A. Robertson, S. Borman, R. L. Stevenson,

"Estimation-theoretic approach to dynamic range

enhancement using multiple exposures," Journal of

Electronic Imaging, vol.12, no.2, pp.219-228, 2003.

[ 7 ] C.-H. Cheng, O. Au, N.-M. Cheung, C.-H. Liu,

K.-Y. Yip, "High dynamic range image capturing

by spatial varying exposed color filter array with

specific demosaicking algorithm," In Proc. IEEE

Pacific Rim Conference on Communications,

Computers and Signal Processing (PacRim) 2009,

pp.648-653, 2009.

[ 8 ] M. Konnik, E. Manykin, S. Starikov, "Optical-

digital correlator with increased dynamic range

using spatially varying pixels exposure technique,"

Optical Memory and Neural Networks, vol.18, no.2,

pp.61-71, 2009.

[ 9 ] S. Narasimhan, S. Nayar, "Enhancing resolution

along multiple imaging dimensions using assorted

pixels," IEEE Trans. Pattern Analysis Machine

Intelligence (TPAMI), vol.27, no.4, pp.518-530, 2005.

[10] S. Nayar, T. Mitsunaga, "High dynamic range

imaging: spatially varying pixel exposures," In Proc.

IEEE Conference on Computer Vision and Pattern

Recognition (CVPR 2000), vol.1, pp.472-479, 2000.

[11] S. Nayar, S. Narasimhan, "Assorted pixels: Multi-

sampled imaging with structural models," In Proc.

7th European Conference on Computer Vision

(ECCV 2002), vol.IV, pp.636-652, 2002.

[12] V. Brajovic, T. Kanade, "A sorting image sensor: An

example of massively parallel intensity-to-time

processing for low-latency computational sensors,"

In Proc. the 1996 IEEE International Conference

on Robotics and Automation, pp.1638-1643, 1996.

[13] S. Nayar, V. Branzoi, "Adaptive dynamic range

imaging: optical control of pixel exposures over

space and time," In Proc. Ninth IEEE International

Conference on Computer Vision (ICCV 2003), vol.2,

pp.1168-1175, 2003.

[14] Kodak, "Shutter operations for ccd and cmos image

sensors," Application note, MTD/PS-0259, 2003.

[15] P. E. Debevec, J. Malik, "Recovering high dynamic

range radiance maps from photographs," In Proc.

the 24th Annual Conference on Computer Graphics

and Interactive Techniques (SIGGRAPH ’97),

pp.369-378, 1997.

[16] P.-Y. Lu, T.-H. Huang, M.-S. Wu, Y.-T. Cheng,

Y.-Y. Chuang, "High dynamic range image recon-

struction from hand-held cameras," In Proc. IEEE

Conference on Computer Vision and Pattern

Recognition (CVPR 2009), pp.509-516, 2009.

[17] C. Vijay, P. Chandramouli, R. Ambasamudram, "Hdr

imaging under non-uniform blurring," In Proc. Euro-

pean Conference on Computer Vision (ECCV 2012)

Workshops and Demonstrations, vol.7584, pp.451-

66 정보과학회논문지 : 소 트웨어 응용 제 41 권 제 1 호(2014.1)

460, 2012.

[18] S. Silk, J. Lang, "High dynamic range image

deghosting by fast approximate background mode-

lling," Computers & Graphics, vol.36, no.8, pp.1060-

1071, 2012.

[19] A. Srikantha, D. Sidibe, "Ghost detection and removal

for high dynamic range images: Recent advances,"

Signal Processing: Image Communication, vol.27,

no.6, pp.650-662, 2012.

[20] W. Zhang, W.-K. Cham, "Gradient-directed compo-

sition of multi-exposure images," In Proc. IEEE

Conference on Computer Vision and Pattern Recog-

nition (CVPR 2010), pp.530-536, 2010.

[21] J. Gu, Y. Hitomi, T. Mitsunaga, S. Nayar, "Coded

rolling shutter photography: Flexible space-time

sampling," In Proc. IEEE International Conference on

Computational Photography (ICCP), pp.1-8, 2010.

[22] N. Koren, "Tonal quality and dynamic range in digital

cameras," [Online]. Available: http://www.normankoren.

com/digital_ tonality.html

[23] P. L. Vora, J. E. Farrell, J. D. Tietz, D. H. Brainard,

"Digital color cameras - 1 - response models," Tech-

nical Report HPL-97-53, Hewlett-Packard Labora-

tories, Palo Alto, CA, 1997.

[24] J. E. Adams, Jr, "Design of practical color filter

array interpolation algorithms for digital cameras,"

In Proc. SPIE 3028, Real-Time Imaging II, 117,

pp.117-125, 1997.

[25] G. De Haan, E. Bellers, "Deinterlacing-an overview,"

Proc. of the IEEE, vol.86, no.9, pp.1839-1857, 1998.

[26] C. Tomasi, R. Manduchi, "Bilateral filtering for

gray and color images," In Proc. Sixth International

Conference on Computer Vision (ICCV 1998),

pp.839-846, 1998.

[27] F. Lenzen, O. Scherzer, "Partial differential equa-

tions for zooming, deinterlacing and dejittering,"

International Journal of Computer Vision (IJCV),

vol.92, no.2, pp.162-176, 2011.

조 호 진

2007년 2월 포항공과 학교 컴퓨터공학과

(학사). 2007년 3월～ 재 포항공과 학

교 컴퓨터공학과(석박사통합과정). 2011년

6월～2011년8월 미국 Adobe Systems

인턴. 심분야는 컴퓨터 그래픽스, 상

처리, 컴퓨터 비

이 승 용

1988년 2월 서울 학교 계산통계학과(학

사). 1990년 2월 한국과학기술원 산학

과(석사). 1995년 2월 한국과학기술원

산학과(박사). 1995년 3월～l996년 9월

미국 City College of New York / CUNY

연구원. 2003년 8월～2004년 7월 독일

Max-Planck-Institut fur Informatik 방문선임연구원. 2010

년 10월～2011년 9월 미국 Adobe Systems 방문교수. 1996

년 10월～ 재 포항공과 학교 컴퓨터공학과 교수