Journal of Institute of Control, Robotics and Systems Vol. 16, No. 7, July 2010

639

레이더와 비전센서 융합을 통한 전방 차량 인식 알고리즘 개발

Radar and Vision Sensor Fusion for Primary Vehicle Detection

양 승 한, 송 봉 섭*, 엄 재 용

(Seunghan Yang, Bongsob Song, and Jaeyong Um)

Abstract: This paper presents the sensor fusion algorithm that recognizes a primary vehicle by fusing radar and monocular vision

data. In general, most of commercial radars may lose tracking of the primary vehicle, i.e., the closest preceding vehicle in the same

lane, when it stops or goes with other preceding vehicles in the adjacent lane with similar velocity and range. In order to improve the

performance degradation of radar, vehicle detection information from vision sensor and path prediction predicted by ego vehicle

sensors will be combined for target classification. Then, the target classification will work with probabilistic association filters to

track a primary vehicle. Finally the performance of the proposed sensor fusion algorithm is validated using field test data on highway.

Keywords: vehicle detection, sensor fusion, target classification, path prediction

I. 서론

운전자에게 편의성을 제공하고 주행 안전성을 향상시키기

위한 ACC (Adaptive Cruise Control)와 FCW (Forward Collision

Warning)와 같은 DAS (Driver Assistance System)이 상용화되고

있으며 더 나아가 복잡한 주행 상황을 고려한 TJA (Traffic

Jam Assist)나 전 주행속도(Stop & Go) ACC 개발로 활발히 연

구가 진행되고 있다. 이러한 DAS을 위해 강인하고 신뢰도

높은 주변 차량 검지 및 장애물 인지는 필수 핵심요소라 할

수 있다. 현재까지 ACC나 FCW 시스템의 경우 고속도로 환

경에서 날씨에 상관없이 강인하게 종방향 거리를 측정할 수

있는 레이더를 기반으로 대부분 개발되어 왔다[1].

하지만 레이더의 경우 센서 자체 특성으로 인해 전방 다중

차량이 근접하여 동일한 속도로 주행시 이를 구분하지 못하

며 레이더 신호의 난반사로 인해 정지된 차량을 인식하지 못

하는 등 복잡한 주행 환경에서 성능이 떨어지는 문제점을 갖

고 있다. 이러한 단점을 보완하기 위하여 다른 센서와의 융

합을 통하여 해결하고자 하는 연구가 진행되고 있다. 사용되

는 센서의 구성에 따라서 크게 장거리와 중거리의 레이더

(77GHz와 24GHz 레이더)의 센서융합, 레이더와 라이다(lidar)

의 센서융합, 레이더와 비전센서와의 융합으로 나뉠 수가 있

다. 그 중에 레이더와 모노비전 센서의 경우 이미 ACC 나

차선이탈경고(LDWS) 시스템을 위하여 장착되어 있어 가장

경제적이며 빠른 시일 내에 상용화가 될 수 있는 방법 중 하

나이다.

레이더와 비전 센서를 융합 방법은 센서의 정보가 융합되

는 단계에 따라 크게 sensor-level 프로세싱 (또는 high-level

data), central-level 프로세싱(또는 low-level data), hybrid-level 센

서융합으로 나뉘어진다[2]. 첫 번째로 sensor-level 프로세싱

센서융합은 레이더와 비전 센서에서 개별적으로 정보를 처

리하며 센서 별 트랙 리스트를 관리하며 최종적으로 이것의

결과를 융합하는 방식이다. 센서 별 추정 결과를 융합하기

위하여 EKF (Extended Kalman Filter), UKF (Unsented Kalman

Filter), IMMPDAF (Interactive Multiple Model - Probabilistic Data

Association Filter) 등과 같은 다양한 필터링 방법이 사용되고

있다[3,4]. 이 경우 센서 별로 데이터를 처리하므로 센서융합

알고리즘의 성능은 각 센서의 장애물 인지 알고리즘의 성능

에 많이 좌우되며 센서융합 알고리즘 자체만을 보았을 때 계

산적 효율이 높다고 할 수 있다.

Central-level 프로세싱은 모든 센서의 low-level 데이터를 중

앙의 프로세서에 전달, 이를 종합하여 처리하며 개별 장애물

에 관하여 한 개의 트랙(track)으로 관리한다. 이 경우 모든

데이터가 중앙의 프로세서로 전달되어야 하므로 많은 통신

량이 요구되며 각 센서별 데이터의 동기화 및 정렬을 위하여

복잡한 알고리즘을 필요로 한다. 따라서 레이더 센서와 비전

센서의 low-level 데이터를 직접 종합하여 처리하는 방법은

거의 쓰이고 있지 않으며 각 센서의 측정 결과가 다른 센서

의 low-level 데이터 처리에 반영되는 hybrid-level 프로세싱 방

식이 최근에 많이 연구되고 있다. 대표적으로 레이더의 측정

결과를 영상처리에 이용하는 방법이 널리 사용되는데 레이

더 측정 결과를 사용하여 영상 내 관심 영역을 설정하며 관

심 영역의 레이더 인식차량의 위치를 차량 특징 검출, SVM

(Support Vector Machine), LCA (Lobe Component Analysis) 등의

영상처리 알고리즘을 사용하여 보완 및 검증하게 된다[5,6].

현재 문헌에 나와 있는 대부분의 레이더와 비전 센서융합

알고리즘은 특정 시나리오를 기반으로 연구되고 있다. 즉, 레

이더가 단일 장애물에 대해서 여러 개의 타겟으로 인식하는

경우, 차량이 아닌 다른 장애물(가드레일과 같은 도로 구조

물)을 인식하는 경우, 곡선로 주행시 횡방향 위치정보가 틀

린 경우에 대해서 대부분 연구가 수행되고 있다. 하지만 실

제 고속도로 주행의 경우 레이더의 성능에 따라 다소 차이는

있을 수 있지만 대부분 교통혼잡에 의해서 정지차량을 포함

하여 전방에 많은 차량이 존재하는 경우 또는 차선변경 차량

등에 의해서 레이더의 미검지나 오검지가 발생한다(그림 1

참조). 특히 ACC나 FCW 시스템의 경우 자 차량의 제어대상

이 되는 자 차량 주행 경로 내 선행 차량(primary vehicle)의

* 책임저자(Corresponding Author)

논문접수: 2010. 3. 15., 수정: 2010. 4. 15., 채택확정: 2010. 4. 30.

양승한, 송봉섭: 아주대학교 기계공학부

(atom14th@ajou.ac.kr/bsong@ajou.ac.kr)

엄재용: 현대자동차 전자개발센터(jyum@hyundai.com)

※ 본 연구는 한국과학재단 일반연구자지원사업(No.2009-0075110)과

주식회사 엔지비 산학협동 연구과제에 의하여 지원 되었음.

제어 ⋅ 로봇 ⋅ 시스템학회 논문지 제 16 권, 제 7 호 2010. 7

640

선정이 필수적이며 이러한 레이더의 미검지나 오검지는 추

돌, 급제동의 위험성이 높으므로 시스템의 안정성에 치명적

일 수 밖에 없다.

본 논문에서는 레이더의 미검지나 오검지 상황에서레이더

와 모노 비전 센서의 센서융합을 이용하여 선행차량을 검지

하기 위한 알고리즘을 제안하고자 한다. 전방 차량을 인지하

는 센서의 정보뿐만 아니라 ESC (Electric Stability Control)를

위한 장착된 요각속도(yawrate) 센서를 이용하여 좀 더 계산

적으로 효율적이고 신뢰성이 높은 선행 차량 인지 알고리즘

을 제안하고자 한다. 즉, 차량 내 요각속도 센서로부터 예측

된 차량 주행 경로를 레이더와 모노 비전 센서에 의해 측정

된 차량의 위치와 정보를 융합함으로써 기존의 레이더의 검

지 성능을 제고하고자 한다.

II. 레이더 및 비전기반 전방차량 인식

본 연구에서는 상용화된 레이더와 일반적인 모노 카메라

를 이용하여 선행 차량을 검지하려고 하며 센서융합 알고리

즘을 설명하기에 앞서서 각각의 센서에 대한 특징과 한계점

을 설명함으로써 일반적인 센서융합 알고리즘 적용의 어려

움과 본 논문에서 풀고자 하는 문제를 정의하고자 한다.

1. 레이더 기반 차량 인식

본 연구에서는 최대 인식 거리가 120m이며 32°의 측정각

을 갖는 24-GHz의 레이더가 사용되었다. 레이더는 측정값의

종방향 정보에 대하여 정확도가 높았으며 이와 비교하여 측

방향 정보에 대해서는 정확도가 떨어졌다. 일반적으로 ACC

나 FCW시스템에 사용되는 레이더는 인식범위 안의 차량 대

해 다차량을 추종하며 추종된 차량의 거리 및 각도와 상대

속도를 출력하며 본 논문에 사용된 레이더는 다음과 같은 정

보를 출력한다.

[ ],

, , , ,r i r r r r r i

y x y x γΩ = (1)

여기서 아래첨자 i는 트랙 번호이며 i = 1인 경우 해당 정보는

선행 차량 정보를 뜻한다. ,rx

rx 는 각각 검출된 종방향 차

간거리 및 상대속도를 나타내며 ,ry

ry 는 횡방향 상대위치

및 상대속도를 말한다. 또한 ri

γ 는 레이더 내부 판단 로직에

의해 선행 차량의 인식 여부에 따라 true/false의 값을 출력한다.

레이더는 내부 알고리즘을 통해 비트 주파수로부터 차량

의 거리와 상대 속도를 측정하지만 송신 신호의 난반사와 도

플러 효과 등 레이더가 갖는 센서 특성으로 인해 항상 정상

적 검지를 할 수 없다. 예를 들어 그림 1에서 보는 바와 같

이 자동차 전용 도로 및 시내도로에서 수집한 데이터를 전방

차량의 검지성능에 따라 구간을 분류할 경우 다음과 같이 나

누어 진다.

i. 정상 검지: 정상적으로 전방 차량을 검지하는 경우

ii. 미분리: 근접한 2대의 전방 차량을 1대로 검지하는 경우

iii. 미검지: 자차선 내 전방 차량을 검지하지 못하는 경우

iv. 오검지: 실제 차량이 없음에도 불구하고 차량을 검지하거

나 잘못된 위치 정보를 출력하는 경우

2. 비전기반 차량 인식

우선 비전기반 차량 인식을 위하여 320×240의 해상도를

갖는 영상이 저장되었으며 연산 시 부하를 줄이기 위하여 흑

백 영상으로 변환되어 영상처리에 이용되었다. 영상정보로부

터 차량을 인식하기 위해 다양한 알고리즘이 사용되는데 크

게 SVM[5], deformable model[6] 등 차량모델을 사용하는 방법

과 차량 후면의 대칭성[7]과 같은 차량 내부의 특징을 이용

하는 방법으로 나누어 볼 수 있는데, 본 논문에서는 후자의

방법을 이용한 알고리즘이 사용되었다. 자동차의 후면에 대

한 특징으로 수직 Haar-like를 적용하여 수직 방향의 성분이

강한 요소를 검출한다. 수직성분이 강한 요소들을 강한 순서

부터 정렬을 하고 차례대로 다른 검출 요소들과 특징을 비교

한다. 이와 같이 강한 성분들로부터 검출된 특징들의 크기,

거리에 대한 관계성을 이용하여 자동차가 될 수 있는 성분들

의 후보들을 선정하고 선정된 요소들 내부에서 자동차의 그

림자의 수평특징을 검출하여 실제차량인지 아닌지에 대한

검증을 한다[8]. 검출된 차량의 종·횡방향 거리 및 차량의 폭

정보는 다음과 같다.

[ ],

, ,v j v v v j

y x wΩ = (2)

(a) Normal target (b) Inseparable target

(c) Undetected target (d) Wrong target

그림 1. 레이더에 의한 차량 검지 상황.

Fig. 1. Target detection scenarios by radar.

(a) (b)

(c) (d)

그림 2. 비전기반 차량 검지 상황.

Fig. 2. Target detection scenarios by vision.

Journal of Institute of Control, Robotics and Systems Vol. 16, No. 7, July 2010

641

여기서 ,vy ,

vx

vw 는 각각 비전 알고리즘 기반으로 인식된

차량의 종방향 위치, 횡방향 위치, 폭을 나타내며 아래첨자 i

는 자차량과 인식된 차량과의 거리에 따라 할당되는 트랙 번

호 이다.

비전기반 차량인식은 자차량으로부터 40m이내의 단거리에

존재하는 차량에 대해서는 안정적으로 차량을 인식하지만

장거리에 위치한 차량에 대해서는 인식률이 저하되어 차량

을 인식하지 못하는 경우가 빈번하게 발생하며(그림 2(a) 참

조) 영상이 갖는 원근감으로 인하여 인식된 차량의 거리 정

보가 정확하지 못하다(그림 2(b) 참조). 또한 이웃한 차량이나

도로 주변의 시설물 등에 의한 오감지가 간헐적으로 발생한다.

III. 센서융합기반 선행 차량 인식

본 논문에서는 우선 레이더와 비전센서의 차량인식 알고

리즘이 블랙박스와 같이 알 수 없다고 가정을 한다. 즉 상용

된 레이더와 비전센서를 사용할 경우 내부 인지알고리즘을

알 수 없으며 low-level 데이터 처리를 임의적으로 할 수 없

다. 즉, hybrid-level 프로세싱 센서융합을 사용할 수 없는 상황

이라고 가정한다. 이러한 경우 그림 1과 2와 같은 상황에서

선행 차량을 좀 더 강인하고 신뢰성 높게 인지하는 방법에

대해서 설명하고자 한다.

1. 센서융합 아키텍처

센서융합 아키텍처에 대해서 설명하기 앞서서 각각의 센

서에서 인지되는 타겟(target) 정보는 다음과 같은 세 개의 그

룹 중 하나로 분류될 수 있다.

① 확정(confrimed) 타겟: 센서융합 알고리즘의 바로 전 단계

에서의 차량 트랙(track)에서 인식되고 추종 되고 있으며

레이더 및 비전 센서에서 동시에 동일 타겟이라고 인식

되는 타겟

② 예비(preliminary) 타겟: 전 단계에서의 차량 트랙에서 인

식되고 추종이 되나 두 센서에서 동일 타켓이라고 인식

이 되진 않는 타겟

③ 임시(tentative) 타겟: 두 센서 중 하나에서만 선행 차량으

로 인식되는 타겟

위의 타겟에 대한 분류를 고려한 센서 퓨전 알고리즘은

그림 3과 같이 트랙(track)을 생성 및 삭제를 하거나 트랙이

존재하는 상황에서 측정되는 타겟을 분류하는 트랙 관리기

와 선행 차량 트랙과 관련 있는 유효 영역에 위치한 측정 데

이터를 확률적으로 선정하고 칼만 필터를 사용하여 트랙의

상태를 업데이트 하는 PDAF로 구성되어있다.

2. 트랙 관리기

레이더와 비전센서로부터 인식된 차량을 추종 하기 위하

여 트랙을 생성 및 삭제, 또는 유지 관리한다. 우선 새로운

위치에서 차량이 감지되면 임시 타겟으로 분류가 되며 예비

트랙을 생성하여 업데이트를 수행하게 된다. 이때 업데이트

횟수를 카운트 하여 임계값을 초과하면 선행 차량 트랙으로

확정하여 관리한다. 트랙의 삭제 또한 이와 유사하게 센서로

부터 측정값이 선행 차량 트랙에 대하여 분류되어 입력되지

않을 경우 횟수를 카운트 하며 임계값을 초과 할 경우 트랙

을 삭제한다.

생성된 트랙은 인식되는 센서에 따라 확정, 예비 타겟으로

나누어 진다. 정상적인 주행 환경에서 레이더와 비전센서에

서 동시에 트랙을 검지할 경우 이는 확정 타겟으로 분류 되

며 검지된 두개의 측정값은 뒤에 소개될 PDAF에 의해 관리

된다. 하지만 간헐적으로 발생하는 레이더와 비전센서의 오

검지 및 미검지로 인해 모든 경우에서 트랙이 확정 타겟으로

분류 되지 않으며 예비 타겟으로 분류시 지속적인 트랙의 추

종을 위해 상황에 따라 측정값을 분류, 재정의 한다. 표 1에

서 보는 바와 같이 우선적으로 레이더의 선행차량 인식여부

와 비전의 선행차량 인식여부 및 횡방향 정보를 이용하여 타

겟을 분류한다. 즉 레이더 내부의 알고리즘에 의해서 판단되

는 선행차량검지 여부 변수(ri

γ )와 아래와 같이 비전 정보

및 자 차량 주행경로 예측을 기반으로 타겟을 분류한다.

우선 비전센서의 측정값 중 차량의 제어의 대상이 되는 선

행 차량을 선정하기 위해 차량의 주행 경로가 예측된다. 곡

률반경이 일정한 도로를 주행한다는 가정 하에 다음과 같이

주행경로의 곡률반경을 예측하고 대상을 선정한다[9].

ˆ1 if ( )

0 otherwise

ri vj path

vj

y x y εγ

− <=

(3)

그림 3. 센서퓨전 아키텍처.

Fig. 3. Sensor fusion architecture.

표 1. 타겟 분류.

Table 1. Target classification.

Radar

vision 1rγ =1 (true)

1rγ =0 (false)

Νο target Others

11

vγ = (true) 확정 타겟 임시 타겟

예비 타겟

- 미분리

- 오검지

10

vγ = (false) 임시 타겟 -

제어 ⋅ 로봇 ⋅ 시스템학회 논문지 제 16 권, 제 7 호 2010. 7

642

여기서 y 은 예측된 주행경로의 횡방향 위치, pathε 는 자차

량 주행 경로 진입에 대한 임계 값을 나타낸다. 주행경로는

다음과 같이 주행속도와 yaw-rate을 이용하여 추정한다.

xv

ψ

ρω

= (4)

여기서 xv 는 주행 속도,

ψω 는 차량 내 센서를 통해 측정되

는 yaw-rate을 나타낸다. 자차량 주행경로의 급격한 변화를

막기 위해서 자차량의 yaw-rate값은 low-pass filter를 사용하여

그 값을 필터링 하였으며 이로부터 구한 자차량의 예측된 주

행 경로는 그림 4와 같이 나타내어 진다.

레이더의 선행차량검지 여부 변수(ri

γ )와 비전센서의 선행

차량 검지 여부(vj

γ )에 의해 타겟이 분류가 되는데 표 1과

같이 두 센서에도 모두 선행차량이라고 검지하는 경우 타겟

은 확정 타겟이 되며 두 센서 중 하나에서만 인식되는 경우

임시 타겟이 된다. 예비 타겟으로 분류되는 경우 다음의 조

건식을 만족할 경우 레이더의 미분리 검지로 분류 하며 아닐

경우 오검지로 분류 한다.

1

such that min .ri v longi

j x x ε∃ − < (5)

여기서 1v

x 은 비전센서에 의해 선행차량으로 검지된 차량의

종방향 상대거리를 나타내며 longε 은 동일 차량임을 판단하

기 위한 임계 값을 나타낸다[12]. 미분리 검지로 분류 될 경

우 레이더의 종방향 측정값은 정확하나 횡방향 측정값은 오

류를 포함하므로 트랙을 다음 절에서 설명할 PDAF를 이용

하여 예측을 할 경우 레이더의 종방향 측정값과 비전 센서의

횡방향 측정값 사용하여 트랙을 업데이트하며 오검지로 분

류 될 경우 비전센서의 측정값을 이용하여 트랙을 예측한다.

3. PDAF 알고리즘

트랙 관리기로부터 얻어진 센서의 측정 값들은 PDAF를

사용하여 융합되며 이를 위한 정속도 운동학(kinematic) 모델

을 다음과 같이 정의하였다[10].

( 1) ( ) ( ) ( )

( ) ( ) ( )

x k Ax k Bu k w k

z k Hx k v k

+ = + +

= +

(6)

여기서 상태 변수는 직교 좌표계에서의 종방향 상대거리(x),

종방향 상대속도(vx), 횡방향 상대거리(y), 횡방향 상대속도(vy)

로 정의 하였다. 즉,

( ) [ ] ,T

y xx k y v x v= ( ) ~ (0, ),w k n Q ( ) ~ (0, )v k R

1 0 0

0 1 0 0,

0 0 1

0 0 0 1

T

AT

=

2

2

/ 2 0

0

0 / 2

0

,

T

T

T

T

B

=

1 0 0 0

0 0 1 0H

=

(7)

위 모델을 기반으로 discrete time Kalman 필터가 사용되어

measurement update와 time update를 수행하며 전체적인 구성은

그림 5와 같다.

우선 레이더와 비전 센서의 데이터 중 현재 시점에서 관

리되고 있는 트랙과 관련 있는 유효 영역에 위치한 측정 데

이터를 선정하는 gating을 수행한다. 이를 위해 측정된 모든

데이터에 대하여 그림 5의 gating 조건문을 이용해 트랙과 연

관된 측정값을 찾아낸다. 여기서 ε은 gating threshold에 해당

하는 설계 상수 값이며, 트랙의 추정값과의 오차, ri (k)와 오차

의 공분, S(k)은 위 Kalman 필터에서 다음과 같이 계산이 된

다[11].

, | 1

| 1 | 1

ˆi k ik i k k

T

k k k k

r z Hx

S HP H R

−

− −

= −

= + (8)

이 과정에서 Gating 조건에 의해 분류된 측정값의 개수는

타겟 분류 결과 와 동일해야 하며 일치 하지 않을 경우 센서

의 측정값에 오차가 발생한 것으로 판단하여 트랙관리기와

동일하게 레이더의 종방향 측정값과 비전 센서의 횡방향 측

정값을 사용하여 트랙을 예측한다.

다음으로 동일 트랙에 대하여 위의 조건을 만족하는 측정

값이 하나가 아닌 m개의 경우 트랙의 예측 값과 각 측정 값

의 likelihood를 고려 하여 다음과 같이 한 개의 공차로 합해

지게 된다.

1

| 1

1

| 1

1

1exp[ ( )]

21

exp[ ( )]2

T

ik k k ik

i mT

jk k k jk

j

r S r

r S r

β

−

−

−

−

=

−

=

−∑ (9)

합쳐진 한 개의 공차를 사용하여 칼만 필터로부터

-4 -2 0 2 40

20

40

60

80

lateral position(m)

longitudinal position(m)

radar

vision

그림 4. 비전 기반 primary target 선정.

Fig. 4. Vision-based primary target selection.

1z−

1 2

| 1

T

ik k k ikr S r ε

−

−

≤

1

1

| 1 | 1

| | 1

| | 1

( )

( )

m

k i ik

i

T T

k k k k k

k k k k k k

k k k k k

r r

K P H HP H R

x x K r

P I K H P

β=

−

− −

−

−

=

= +

= +

= −

∑

| 1 1| 1 1| 1

| 1 1| 1

ˆk k k k k k

T

k k k k

x Ax Bu

P AP A Q

− − − − −

− − −

= +

= +

그림 5. PDAF의 flowchart.

Fig. 5. Flowchart of PDAF.

Journal of Institute of Control, Robotics and Systems Vol. 16, No. 7, July 2010

643

Measurement update를 수행하여 현재 시점에서 트랙의 정보를

구하며 다음 수행 시간의 gating을 위해 time update를 수행

한다.

IV. 실험적 검증

본 연구에서 제안된 센서 융합 알고리즘의 타당성을 실제

도로에서 수집된 주행 데이터를 기반으로 한 실험을 통해 검

증해 보았다. 레이더와 비전센서를 사용해 차량 주행시 주변

차량에 대한 데이터와 자차량의 주행 정보를 동시에 수집하

였으며 이를 바탕으로 실험을 수행하였다.

그림 7은 전방 차량이 원거리에 정지하여 있는 경우 자차

량이 가속하여 전방 차량에 다가가는 상황에 대한 실험결과

이다. 자차량이 전방 차량에 접근하지만 레이더는 전방 차량

으로부터 반사되는 신호를 바닥 면으로부터 난반사되는 신

호로 판단하여 전방 차량을 검지 하지 못하며 비전센서는 전

방 차량을 48m 부근부터 검지한다. 그림 6은 레이더, 비전

그리고 PDAF에 의해 두 센서를 융합한 결과이다. 시간 t1에

서 비전센서에 의해 차량을 인지하며 β 값이 1이므로 비전

센서만을 이용하여 이를 추종한다. 시간 t2에서 레이더에 의

해 검지된 차량이 확정 타겟으로 분류 되면 gating에 의해 검

증된 측정값도 2개가 되어 레이더와 비전센서의 검지 결과

를 융합하여 차량을 추종한다. 시간 t2이후에서 차량이 매우

근접함에 따라 비전센서가 이를 검지 하지 못하며 레이더를

이용해 차량을 추종함을 확인할 수 있다.

(a) Primary target detection at t1

(b) Primary target detection at t2

그림 7. 미검지 상황에서 레이더와 비전센서 검지 결과.

Fig. 7. Detection result on undetected target.

(a) Primary target detection at t1

(b) Primary target detection at t2

그림 8. 미분리 검지 상황에서 레이더와 비전센서 검지 결과.

Fig. 8. Detection result on inseparable target.

35 40 450

50

time(s)

x(m

)

radar

vision

fusion

35 40 45-1

0

1

2

time(s)

y(m

)

radar

vision

fusion

35 40 45-0.5

0

0.5

1

1.5

time(s)

γ

radar

vision

35 40 45-0.5

0

0.5

1

1.5

time(s)

β

radar

vision

35 40 45

0

1

2

time(s)n(a

ss

oc

iate

d d

ata

)

n(associated data)

그림 6. 미검지 상황에서 센서 퓨전 결과.

Fig. 6. Result of Sensor fusion on undetected target.

제어 ⋅ 로봇 ⋅ 시스템학회 논문지 제 16 권, 제 7 호 2010. 7

644

75 80 85 900

20

40

time(s)

x(m

)

radar

vision

fusion

75 80 85 90-1

0

1

2

3

time(s)

y(m

)

radar

vision

fusion

75 80 85 90-0.5

0

0.5

1

1.5

time(s)

γ

radar

vision

75 80 85 90-0.5

0

0.5

1

1.5

time(s)

β

radar

vision

75 80 85 90

0

1

2

time(s)n(a

ss

oc

iate

d d

ata

)

n(associated data)

그림 9. 미분리 검지 상황에서 센서 퓨전 결과.

Fig. 9. Result of Sensor fusion on inseparable target.

그림 8은 전방에 두 대의 차량이 근접하여 주행하는 상황

에 대한 실험결과이다. 두 대의 차량이 동일한 상대 거리 및

상대 속도를 갖기 때문에 레이더는 이를 분리하지 못하고 한

대의 차량으로 검지하며 그림 8(b)와 같이 레이더에 의해 검

지된 차량의 횡방향 측정값이 정확하지 못하다. 이 경우 검

지되는 차량은 타겟 분류에 의해 두 센서에서 동일 타켓이라

고 인식이 되지 않는 예비 타겟으로 분류된다. 그림 9에서

보는 바와 같이 시간 t1 이전에는 차량이 확정 타겟으로 분류

되며 gating에 의해 검증된 측정 값도 2개이므로 PDAF를 사

용하여 레이더와 비전센서의 측정 값을 융합하여 선행차량

을 추종 한다. 시간 t1 이후에는 ri

γ 과 vj

γ 는 모두 1이므로

확정 타겟으로 분류 되지만 gating에 의해 검증된 측정값은 1

개 이므로 이를 레이더 센서의 오류로 판단하여 레이더의 종

방향 측정 값과 비전센서의 횡방향 측정 값을 이용하여 트랙

을 업데이트한다.

V. 결론

본 논문에서는 차량 검지 시스템을 위해 센서 융합을 통한

전방 차량 인식 알고리즘을 제안하였다. 알고리즘은 크게 레

이더 및 비전센서의 측정값에 따라 상황을 분류하며 트랙을

생성, 삭제하는 트랙 관리기와 트랙과 연관 있는 측정값을

선정하며 이를 하나로 융합하여 트랙의 상태 값을 업데이트

하는 PDAF로 구성된다. 제안한 센서 융합 알고리즘의 타당

성을 검증하기 위해 수집된 주행 데이터를 바탕으로 다양한

시나리오에 대해 실험을 수행하였다. 실험을 통하여 알고리

즘의 유용성을 확인함으로써 센서 퓨전의 기반을 마련하였

고 향후 차량 인식 시스템을 고도화 하고자 한다.

참고문헌

[1] D.-H. Yi, H.-J. Kang, and J.-Y. Hwang, “A multi-target tracking

system implementation uuing 24GHz short range radar for ACC

Stop&Go system,” KSAE 2008 Annual Conference, pp. 495-495,

Nov. 2008.

[2] S. Blackman and R. Popoli, “Design and analysis of modern

tracking system,” Artech House, 1999.

[3] F. Liu, J. Sparbert, and C. Stiller, “IMMPDA vehicle tracking

system using asynchronous sensor fusion of radar and vision,”

IEEE Intelligent Vehicles Symposium, June 2008.

[4] E. Richter, R. Schubert, and G. Wanielik, “Radar and vision

based data fusion - advanced filtering techniques for a multi

object vehicle tracking system,” IEEE Intelligent Vehicles

Symposium, pp. 120-125, June 2008.

[5] Y. Tan, F. Han, and F. Ibrahim, “A radar guided vision system for

vehicle validation and vehicle motion characterization,” IEEE

Intelligent Transportation Systems Conference, pp. 1059-1066,

Oct. 2007.

[6] S. Denasi and G. Quaglia, “Obstacle detection using a

deformable model of vehicles,” IEEE Intelligent Vehicles

Symposium, pp. 145-150, May 2001.

[7] G. Alessandretti, A. Broggi, and P. Cerri, “Vehicle and guard rail

detection using radar and vision data fusion,” IEEE Transactions

on Intelligent Trasportation Systems, vol. 8, pp. 95-105, May

2001.

[8] 유재형, 한영준, 한헌수, “수직 Haar-like Feature를 이용한

실시간 자동차 검출 알고리즘,” 음성통신 및 신호처리

학술대회 논문집, pp. 163-166, June 2009.

[9] C.-F. Lin, A. Galip Ulsoy, and D. J. LeBlanc, “Vehicle dynamics

and external disturbance estimation for vehicle path prediction,”

IEEE Transaction on Control Systems Technology, vol. 8, no. 3,

May 2000.

[10] D. Simon, “Kalman filtering,” Embedded Systems

Programming, vol. 14, no. 6, pp. 72-79, 2001.

[11] R. Mobus and U. Kolbe, “Multi-target multi-object tracking,

sensor fusion of radar and infrared,” IEEE Intelligent Vehicles

Symposium, pp. 732-737, June 2004.

[12] S.-G. Yang, B.-S. Song, J.-Y. Um, and S.-H. Jo, “Sensor fusion

for relevant vehicle detection and tracking,” KSAE 2009 Annual

Conference, pp. 92-97, Sep. 2009.

양 승 한

2008년 아주대학교 기계공학부 졸업.

2008년~현재 아주대학교 대학원 기계

공학과 석사과정 재학중. 관심분야는

차량의 주행제어, 센서융합.

Journal of Institute of Control, Robotics and Systems Vol. 16, No. 7, July 2010

645

송 봉 섭

1996년 한양대학교 정밀기계공학과 졸

업. 1999년 U. C. Berkeley 기계공학부 석

사. 2002년 동 대학원 박사. 2002년~2003

년 U. C. Berkeley California PATH 연구원.

2004년~현재 아주대학교 기계공학부 부

교수. 관심분야는 비선형 및 차량 제어,

센서융합, 최적화, 고장감지 및 진단.

엄 재 용

현대자동차 전자개발 센터 ASV 개발팀 팀장.