J. of the Korean Sensors Society

Vol. 19, No. 3 (2010) pp. 246 − 257

− 246 −

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현

이승환†·이헌철·이범희

Implementation of a sensor fusion system for autonomous guided robot

navigation in outdoor environments

Seung H. Lee†, Heon C. Lee, and Beom H. Lee

Abstract

Autonomous guided robot navigation which consists of following unknown paths and avoiding unknown obstacles has

been a fundamental technique for unmanned robots in outdoor environments. The unknown path following requires

techniques such as path recognition, path planning, and robot pose estimation. In this paper, we propose a novel sensor

fusion system for autonomous guided robot navigation in outdoor environments. The proposed system consists of three

monocular cameras and an array of nine infrared range sensors. The two cameras equipped on the robot’s right and left

sides are used to recognize unknown paths and estimate relative robot pose on these paths through bayesian sensor fusion

method, and the other camera equipped at the front of the robot is used to recognize abrupt curves and unknown obstacles.

The infrared range sensor array is used to improve the robustness of obstacle avoidance. The forward camera and the

infrared range sensor array are fused through rule-based method for obstacle avoidance. Experiments in outdoor

environments show the mobile robot with the proposed sensor fusion system performed successfully real-time autonomous

guided navigation.

Key Words : mobile robot, autonomous guided navigation, sensor fusion system, path following, obstacle avoidance

1. 서 론

최근 무인 자동차에 대한 관심의 증가로 해외에서

Association for Unmanned Vehicle Systems Interna-

tional(AUVSI)의해 Intelligent Ground Vehicle Compe-

tition(IGVC)대회가 매년 열리고 있고 국내에서는 작년

부터 시작한 국제 로봇 실외 주행 대회 등이 개최되고

있다. 이들 대회에서는 실외 도로와 같이 특정색을 가

진 라인 사이를 로봇의 경로로 두었고, 로봇이 그 경로

상에서 목적지까지 자율적으로 주행함을 목적으로 한

다. 유도 로봇(guided robot)은 이러한 환경에서 수행

되기 위한 로봇으로 경로 추종(path following) 및 장애

물 회피(obstacle avoidance) 기술이 크게 중요하다. 먼

저 경로 추종을 위해서 많은 연구자들이 하나의 비전

센서만 이용한 방법을 제안하였다. 하나의 비전센서만

사용함으로써 전체 시스템은 계산량이 줄어들고 시스템

설계가 용이하다는 강점이 생긴다. 그래서 이들은 보다

정확한 영상처리를 수행하기 위해 노력하였다. 하지만

전체 시스템이 비전 센서 하나에 의존하게 되므로 센서

에 의한 정보 획득의 실패는 로봇의 안정성 및 정확성

에 직접적인 영향을 줄 수 있다. 이에 따라 다중 센서의

융합(fusion)을 이용한 방법도 제안되고 있다. 융합 방법

에는 보통 규칙 기반 방법(rule based method)[19], 칼만

필터(kalman filter)를 이용한 방법[18], 베이시안(baye-

sian)을 이용한 방법[17]이 있다. 규칙 기반 방법은 간단

하고 여러 번의 실험을 토대로 얻어진 규칙을 따라 수

행됨으로 강력할 수 있지만 규칙작성에 많은 시간이

들어간다. 칼만필터를 이용한 방법은 센서들로부터 얻

은 관측데이터를 토대로 예측 단계(prediction)와 갱신

단계(update)를 거쳐 가우시안(gaussian) 분포를 가지는

상태(state)를 추정한다. 이 방법은 널리 사용되고 있지

서울대학교 전기컴퓨터공학부(Department of Electrical Engineering, SeoulNational University)

†Corresponding author : leeyiri1@snu.ac.kr(Received : December 4, 2009, Revised : January 7, January 27,March 2, May 3, 2010, Accepted : May 18, 2010)

− 247 − J. Kor. Sensors Soc., Vol. 19, No. 3, 2010

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현

만 센서의 수가 많아질수록 특히 비전 센서들을 사용

하는 경우 계산량 문제에 직면하게 된다. 베이시안을

이용한 방법은 베이시안 확률 이론을 기초로 하여 최

대 가능성 추정(maximum likelihood estimation) 또는

최대 사후 추정(maximum posterior estimation)를 수행

하여 센서의 데이터를 융합을 한다. 본 논문에서는 경

로 추종을 위해 로봇에 좌, 우를 바라보는 비전 센서를

탑재시켰고, 이들을 융합하기 위해 가우시안을 기초로

하여 베이시안 방법을 사용하였다.

많은 유도 로봇의 자율 주행은 환경 인식을 통한 경

로 추종을 목적으로 하여 장애물을 크게 고려하지 않

았다[15,16]. 하지만 AUV(autonomous unmanned vehi-

cle: 무인 차량)와 같이 실제 자율 로봇이 안전하게 주

행하기 위해서 장애물 회피는 필수적인 요소이다. 일반

적으로 환경에 대한 정보가 없는 경우 로봇의 지도를

갱신하면서 장애물 회피를 하는 경우와 현재의 센서정

보를 바탕으로 한 반응성 장애물 회피(reactive obsta-

cle avoidance)를 수행하는 경우가 있다. 두 방법중 반

응성 장애물 회피 방법은 지도 갱신없이 빠른 처리속

도를 가지므로 경로상의 다양한 환경 변화에 빠르게

대응할 수 있다. 이 방법을 사용하기 위해서는 주로 거

리 센서가 사용된다. 거리센서에는 레이저 센서, 적외

선 센서, 초음파 센서가 있고, 이들은 장단점을 가지고

있다. 레이저 센서는 성능이 뛰어나지만 가격이 비싸고,

초음파나 적외선 센서는 원거리의 정확도가 떨어지지

만 가격이 싸다. 따라서 본 논문에서는 장애물 회피를

위해 비전 센서와 값이 싼 적외선 센서를 규칙 기반 방

법을 이용하여 융합하였고, 비전 센서로 원거리 회피를

하였고 적외선 센서를 이용하여 근거리에서 반응성 장

애물 회피를 수행하였다.

2. 관련 연구

Ohno 등[1]은 대학 구내 도로를 따라가며 빛의 변화

(daylight-change)에 강인한 영상 처리 알고리즘을 적용

하여 로봇 자율 주행을 수행하였다. 그리고 하나의 카메

라만 이용하여 영상 기반 경로 인식을 수행하였고[2-5,14],

경로 추종(path following)을 위해 도로의 라인을 이용

하여 삼각형을 그린 후 그 삼각형의 위쪽 꼭지점(top

vertex)과 현재의 위치를 연결하는 선을 따라 로봇이

주행하였다. 하지만 이 논문에서 제안한 색깔차이

(color difference)를 이용하여 경로 인식을 수행할 경우,

실제 추출될 색 외에 다른 색의 라인이나 장애물에서

외곽선이 추출될 수 있다. 또한 앞쪽카메라만 사용하므

로 앞쪽 카메라가 빛의 세기, 장애물 혹은 그림자 등에

의해 가려지거나 90o와 같은 급커브지역에서는 소실점

(vanishing point)[7,9]이 계산되지 않아 경로 추종을 위

한 로봇 제어 성능이 떨어지게 된다.

Bok등[8]은 로봇의 옆쪽에 설치된 카메라를 이용하여

로봇의 위치를 추정하였다. 특징점 추출을 위해 SIFT

와 SURF를 사용하여 비교하였으며 DB에 저장된 영

상과 비교하여 가장 가까운 영상을 찾아 P3P 알고리즘

을 이용해 현재의 위치를 알아내었다. 본 논문에서도

라인상에서 로봇의 위치를 추정하기 위해 양쪽의 카메

라를 이용하였으나 위의 방법을 도로의 환경에 사용함

에는 다음과 같은 어려운 점이 존재한다. 도로와 같은

주행환경은 이전 위치와 다음위치에서 큰 차이가 없으

므로 매칭이 힘들고, 특징점 추출을 위해 많은 시간이

소요되므로 실시간으로 주행을 하기 위해서는 어려운

점이 많다.

Kim[6]는 초음파를 이용한 장애물 회피 방법을 소개

하였다. 초음파 센서의 단점을 극복하기 위해 시스템을

구성하였지만 센서자체결함으로 인해 0.5 m 이하에서

는 값을 얻을 수 없고 원거리에서는 사용하기 힘든 점

을 가지고 있다. 본 논문에서는 원거리 측정은 어렵지

만 근거리에서 0.2 m까지 측정이 가능하고 근거리에서

정확도 또한 초음파에 비해 좋은 적외선 센서를 사용

하였다. 이 적외선 센서를 이용해 근거리 장애물을 회

피할 때 J. Cao 등[13]이 제안한 방법과 같은 반응성 장

애물 회피를 하게 된다.

Andrew Reed Bacha[10]와 McKeon 등[11]은 Associa-

tion for Unmanned Vehicle Systems International이

1990년대에 창설한 후 매년 열리는 무인 자동차 경주

대회인 IGVC를 위해 그들이 제안한 알고리즘을 탑재

해 출전하였다. 카메라로 색정보를 통해 경로를 검출한

후 추종하였다. 이들은 경로의 색으로 흰색을 사용하였

고 카메라 이미지에서 경로를 추출하기 위해 명도

(intensity)와 채도(saturation)를 주로 이용하였다. 특히

흰색 자체가 주변 다른 색과 비교해 명도가 크게 차이

나므로 검출이 잘됨을 보였다. 하지만 색이 흰색이 아

닌 다른 색일 경우 명도 성분 차이로 색 구분이 쉽지

않게 된다. 본 논문에서는 라인이 흰색이 아닐 경우에

는 [12]에서 라인 검출시 이용한 YCbCr 색 공간을 위의

방법에 같이 적용하여 둘의 교집합을 이용해 더욱 강

인하게 검출하였다. 그리고 이들 논문에서 공통적으로

사용한 하나의 카메라와 장애물 회피를 위한 거리 센

서의 융합을 이용한 주행은 앞서 언급한 바와 같이 여

러 가지 요소에 의해 경로 추종에 많은 어려움이 존재

한다. 이를 극복하기 위해 GPS와 동시에 사용하였지

만 이 역시 건물이나 나무 사이의 GPS수신이 떨어지

79

센서학회지 제19권 제3호, 2010 − 248 −

이승환·이헌철·이범희

는 곳이나 빛의 세기 등에 의해 성능이 현격히 떨어질

가능성이 존재한다.

따라서 본 논문에서는 더욱 안정적이고 효율적인 자

율 로봇 주행을 위해 양 옆쪽 라인 인식을 위한 두 개

의 단안 카메라와 급커브 및 원거리 장애물 회피를 위

해 정면을 바라보는 한 개의 단안 카메라, 근거리 장애

물을 회피하기 위한 적외선 거리센서로 구성된 센서

퓨전 시스템을 제안한다. 로봇은 양 옆쪽에 위치한 두

개의 단안 카메라를 이용하여 얻은 거리와 각도 정보

를 베이시안 방법으로 퓨전하여 로봇의 경로상 상대적

인 위치 및 각도를 얻는다. 이는 효율적인 경로 추종에

중요한 정보를 제공한다. 그리고 로봇은 가운데 한 개

의 단안 카메라를 이용하여 로봇과 장애물까지의 거리

(depth)를 얻고 원거리 장애물 회피를 수행한다. 거리

(depth) 정보를 알기 위해 본 논문에서는 가상 거리

(virtual depth)를 제안한다. 그리고 규칙 기반 방법에

의해 근거리 구간을 정하고, 적외선 거리센서를 이용하

여 장애물 회피를 수행한다. 이는 강인한 장애물 회피

성능에 큰 역할을 한다.

본 논문의 구성은 다음과 같다. 3장에서 전반적 시스

템의 구성을 설명하고, 4장에서 본 논문의 사용된 경로

추종 및 장애물 회피 기술에 대해 설명한다. 5장에서는

실외 실험 및 결과를 보여준다. 6장은 결론을 설명한다.

3. 시스템 구성

본 논문에는 Redone Technologies사(한국)의 4륜 구

동 로봇인 IRONC로봇이 사용되었다. Fig. 1과 같이,

IRONC 로봇의 앞쪽 15o 지점에서 165o 사이에 장착된

9개의 적외선 거리 센서는 최소 0.2 m에서 최대 1.6 m

거리까지 측정이 가능하다. 적외선 센서는 발광부에서

출력광이 물체에 투광되고 물체에서 반사된 반사광의

일부가 수광부에 입사하는 것을 이용해 삼각측량법으

로 장애물과의 거리를 알아낸다. 본 논문에서는 오차가

약 0.05 m이내인 약 0.9 m이내의 거리 정보만 이용한

다. 세 개의 단안 카메라는 원거리뿐만 아니라 근거리

에 위치한 라인 및 장애물 인식을 위해 각도 θc 만큼

하단을 향해 설치되어 있다(Fig. 2). 로봇의 양쪽에 설

치된 두 개의 단안 카메라는 이탈방지를 위해 바퀴의

끝이 보이기 시작하는 약 33o를 θc로 설정하였으며, 원

거리 장애물 회피 및 급커브 인식을 위해 정면에 설치

된 단안카메라는 가능한 한 멀리서 급커브를 인식하면

Fig. 2. Geometry of Perspective projection.

Fig. 3. Overall navigation structure using the proposed

sensor system.

Fig. 1. Four wheel robot with proposed sensor system:

(a)IRONC robot produced by Redone Tech-

nologies(Korea) with proposed sensor system and

(b)Front-view of the robot with the proposed

sensor system.

80

− 249 − J. Kor. Sensors Soc., Vol. 19, No. 3, 2010

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현

서 장애물 회피를 위해 적외선 센서의 정확도가 낮아

지기 시작하는 0.9 m에서도 관측이 가능한 약 20o 카

메라의 θc로 설정하였다. Fig. 3은 영상 기반 경로 추종

과 영상 정보 및 거리 센서 정보를 이용한 장애물 회피

로 구성되는 자율 로봇 주행의 전체 주행 알고리즘을

보여준다. 로봇은 양쪽 카메라의 융합을 통해 경로상에

서 자신의 상대적 위치 및 방향을 추정한다. 이는 로봇

이 주행하는 동안 회전 방향에 큰 영향을 준다.

Threshold1은 로봇이 원거리 장애물 회피를 시작해야

할 거리를 나타내며 본 논문에서 설정된 θc에 의해 가

상거리의 오차가 신뢰 될 수 있는 3 m로 선정하였다.

가상거리는 실제장애물과 로봇의 거리를 이미지상에

들어온 장애물의 크기를 이용해 구하는 방법으로 4.2.1

장에서 상세히 설명할 것이다. 하지만 카메라 이미지상

에 장애물의 이미지가 가득 차게 되어 가상거리를 더

이상 얻을 수 없는 근거리에서는 Threshold2를 규칙으

로 정해 이 거리 내에서 로봇은 9개의 적외선 거리센

서(IR-PSD)를 이용하여 장애물을 인식하여 거리정보

를 얻고, 양 쪽의 카메라정보에 의해 이미 계산된 자신

의 위치를 기반으로 충돌 회피 경로(collision-free

path)를 정하고 근거리 장애물 회피 동작을 수행한다.

근거리 회피 수행 방법에 대해서는 4.2.2장에서 상세히

설명할 것이며 근거리 인식을 위한 Threshold2는 적외

선 거리센서의 정확도가 신뢰되는 0.9 m로 정했다. 장

애물이 인식되지 않으면 로봇은 경로 추종을 수행한다.

앞쪽 카메라로 급커브 상황을 인식하면 급커브 방향에

맞게 급회전을 하며 동시에 경로를 추종하고, 급커브

상황이 아니면 양옆의 카메라로 양쪽 라인에 평행하게

주행하며 일반적인 경로 추종을 수행한다.

4. 영상기반 경로 추종 및 장애물 회피

4.1. 영상기반 경로 추종

4.1.1. 좌 우 라인 검출 및 경로 추종

경로 추종을 위해 로봇은 먼저 카메라들을 이용해

정확한 라인을 추출하여야 한다. 카메라 영상처리를 위

해서는 범용적 오픈 소스 라이브러리인 OpenCV를 이

용하였다. 실외 환경에서 카메라는 일광 조건에 상당히

민감하기 때문에, Fig. 4와 같이, 먼저 광원(illumina-

tion) 추정을 통해 반사(reflectance)성분을 줄일 수 있

는 Retinex 알고리즘이 사용되었다. 반사 성분을 줄임

으로써 본래에 가까워진 이미지를 median filter를 이용

하여 이미지 평탄화(image smoothing) 작업을 수행하

였다. median filter는 이미지 평탄화를 위한 bluring 방

법, mean filter를 이용한 방법 보다 고주파 제거에 탁

월하며 주위 픽셀의 중앙값으로 픽셀값을 선정한다. 그

후 라인의 정확한 색 추출을 위해, 색 공간(color

space)은 색상 ·채도 ·명도로 구성되는HSV와 휘도와

청색, 적색의 색차 신호 구성되는 YCbCr가 함께 사용

되어 좀 더 정확한 색추출이 가능하였다. 색이 추출된

이미지에서 작은 노이즈를 줄이기 위해 이미지 전체를

깍는 침식(erosion) 작업이 수행되고 침식작업 동안 노

이즈와 함께 작아진 본래 라인 이미지를 다시 팽창

(dilation)하는 작업이 수행되었다. 이 이미지에 화이트

가우시안 노이즈(white gaussian noise)에 강한 캐니엣

지검출기(canny edge detector)를 이용해 윤곽선을 검

출한다. 얻어진 윤곽선들 중 직선을 추출하는 허프 변

환(hough transform)을 이용하여 원하는 경로의 라인만

추출한다.

Fig. 5에서는 로봇과 경로가 이루는 각도가 0o와 30o

인 상황에서 왼쪽과 오른쪽 카메라에 의해 획득된 원

이미지와 Fig. 4의 과정을 통해 수행된 라인 추출의 결

과를 보여준다. Fig. 5(b)와 Fig. 5(d)에서 긴 라인(빨간

색)은 이미지에서 허프 변환으로 추출된 모든 라인을

나타내고, 실제 계산에 사용되는 가운데 짧은 라인(파

란색)은 이미지 상에서 추출된 라인들의 기울기와 위

치의 대표값(평균값)을 나타낸다. 추출된 라인을 이용

하여 로봇의 상대적인 위치를 추정할 수 있다. 본 논문

에서는 경로상에서 로봇의 상대적 위치를 추정하기 위

Fig. 4. Process of the color-based line feature extraction.

Fig. 5. Original images and results of line extraction for

images from cameras on both side of the robot:

(a)Original images at 30o, (b)Results of line

extraction at 30o, (c)Original images at 0o, and

(d)Results of line extraction at 0o.

81

센서학회지 제19권 제3호, 2010 − 250 −

이승환·이헌철·이범희

해 양쪽 카메라의 퓨전을 이용하여 라인과의 상대적인

거리(dltr)와 각도(θr)을 구하였다. 한쪽 라인에 대한 로

봇의 각도는 이미지상 라인의 기울어짐을 샘플링 한

후 보간법(interpolation)을 이용하여 구하였다. Fig. 6

에서 옆쪽 카메라의 정면에서 바라본 로봇과 라인과의

거리, dltr(raw distance)는 이미지상에서 라인의 y좌표

와 로봇과 라인 사이의 실제거리를 측정한 후 보간법

을 이용하여 구하였다. 로봇과 라인과의 상대적 거리,

dltr는 θr와 dltr, 그리고 로봇의 중심축에서 옆쪽 카메라

까지의 가로 거리 dwidth와 로봇의 중심에서 옆쪽카메라

까지의 세로 거리 dctr를 이용하여 식(1)과 같이 계산될

수 있다.

(1)

본 논문에서는 로봇과 로봇의 왼쪽에 존재하는 라인

사이 거리는 Ldltr로 정의하고 오른쪽에 존재하는 라인

사이 거리는 Rdltr로 정의한다. 그리고 왼쪽 카메라와

오른쪽 카메라에 의해 얻어진 로봇의 라인 상에서의 상

대적인 각도는 각각 Lθr, Rθr로 정의한다. 얻어진 정보

들을 퓨전하기 위해 가우시안 기반 베이시안을 이용한

다. 로봇의 상대적 각도는 −90o~90o을 가지며 Fig. 7과

같이 얻어진다. 로봇은 경로와 평행하게 주행하기 위해

퓨전을 통해 얻어진 각과 0o의 차이만큼 비례하여 회전

한다. 그리고 라인의 폭이 주어진다면 마찬가지로 Ldltr

과 Rdltr를 가우시안의 평균한 베이시안 퓨전 방법이 적

용되어 상대적 위치를 구하게 된다. 얻어진 위치를 이

용하여 한쪽 라인에 가까이 가게 되면 안정적 주행을

위해 로봇은 반대반향으로 회전하며 제어되어진다.

4.1.2 급커브 인식 및 경로 추종

경로상에는 완만한 커브뿐만 아니라 급커브 지역도

존재한다. 이러한 곳에서는 로봇이 미리 대응하지 않고

양쪽 라인만 이용하여 이동하게 되면 라인을 벗어날

수 있는 위험이 생긴다. 하지만 앞쪽 카메라에서 미리

급커브 지역을 인식하여 대처하면 그러한 상황을 피할

수 있다. 앞쪽 카메라의 이미지 처리과정은 앞선 Fig.

4와 같은 라인 추출과정을 거친다. 로봇이 Fig. 8(a)와

같이 급커브 지역을 θr만큼 기울어진 채로 바라보게 되

면 Fig. 8(b)의 이미지를 얻는 다. 추출된 라인들(빨간

색) 중에서 라인들간의 최대 기울기 θfc를 가지는 두

선분을 구하고, 두 선분의 시작점과 끝점 중 교차하지

않는 좌표 X1, Y1과 X2, Y2를 잇는 선분 Lcurve를 얻는다.

그리고 양쪽카메라에 의해 얻어진 로봇의 기울어진 정

도 θr와 θfc의 합이 식(2)를 만족하면 급커브 지역으로

인식한다.

(2)

과 는 각각 급커브를 인식하는 각도의 최소

문턱값과 최대 문 턱값으로 본 논문에서는 실험치로

각각 50과 100으로 선정하여 적용하였다. 이때 Lcurve가

양의 기울기를 가지면 ‘┌’경로로 인식하고 오른쪽 회

전, 음이면 ‘┐’경로로 인식하고 왼쪽 회전 동작을 수

행한다. 만약 ‘┐’, ‘┌’ 경로가 인식되지 않은 상황에

dltr sin θr( ) dltr′ dwidth+( ) tanθr dctr+⁄( )=

Tmin θr θfc+ Tmax≤ ≤

Tmin Tmax

f cθ

Fig. 6. Geometric relation between the line and the robot.

Fig. 7. Bayesian sensor fusion.

Fig. 8. Geometry for the abrupt curve: (a)Real world with

θr (b) Image plane with θfc.

82

− 251 − J. Kor. Sensors Soc., Vol. 19, No. 3, 2010

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현

서 ‘─’가 인식 될 경우, 즉 로봇이 정면 라인에 너무

가까이 있을 때는 옆쪽 카메라의 의해 검출된 정보를

이용하여 급회전을 수행한다. 왼쪽 카메라에 의한 라인

이 없을 시엔 ‘┐’경로로 인식하고, 왼쪽회전을 하고,

오른쪽 카메라에서 의한 라인이 검출되지 않으면 ‘┌’

경로로 인식하고 오른쪽 회전을 한다.

4.2. 장애물 회피

4.2.1 원거리 장애물 회피

본 논문을 위해 수행된 장애물 회피는 규칙 기반 융

합 방법을 이용하여 수행되어진다. 규칙에 따라 나뉘어

진 원거리 장애물 회피부분은 앞쪽 카메라를 이용하여

이루어지고, 근거리 장애물 회피는 적외선 거리 센서를

이용한 수행되어 진다. 먼저 앞쪽 카메라를 이용하여

원거리에서 장애물을 인식하는 과정은 다음과 같은 인

식과정이 필요하다. 앞쪽 카메라의 이미지 내에 장애물

이 들어오면 미리 알려진 장애물의 색상정보를 검출한

다. 앞서 언급한 것과 같이 이미지 내에 작은 노이즈를

제거하기 위한 침식과정과 침식 과정 동안 작아진 장

애물을 본래의 크기로 맞춰주는 팽창과정을 거친다. 팽

창된 이미지의 윤곽선(contour)을 그려 하나의 장애물

로 인식한다.

기본적으로 단안카메라는 물체의 거리(depth)를 알

수 없기 때문에 본 논문에서는 장애물 거리 측정에 가

상 거리(virtual depth)를 사용하였다. 가상거리는 크기

를 알고 있는 장애물에 대해 장애물까지의 실제 거리와

거리에 따른 이미지상의 장애물 높이 비율(이미지상의

추출된 윤곽선의 최대 Y좌표와 최소 Y좌표의 차이)의

비례정보를 이용하여 계산된다. 가상거리로 장애물과의

거리(depth)를 알게 되면 로봇은 Fig. 9(a)와 같은 지역

지도(local map)을 통해 θRf를 계산하여 원거리 장애물

회피를 수행한다. θRf를 구하기 위해 먼저 Fig. 9(a)를

Fig. 9(b)와 같이 단순화 시킨다. 단순화된 공간은 로봇

의 형상공간(configuration space)이며 형상공간에서 로

봇은 하나의 점(point)으로 표현되고, 장애물은 로봇의

가로와 세로 길이 중 큰 쪽 길이의 반을 본래 장애물의

길이에 추가하여 표현된다. 증가된 장애물을 로봇의 앞

쪽 카메라를 이용해 장애물을 바라보게 되면 Fig. 10의

이미지를 얻게 된다. Fig. 10는 이미지 처리 후 얻게

된 이미지로 장애물 색과 검은 색(masked image)의 두

가지로 이루어진 이미지이다. 장애물과의 거리(depth)

를 RR로 두고 앞쪽 카메라에 의해 추출된 현재 이미지

의 원점 Xc,Yc과 양쪽카메라를 이용하여 구해진 θr로

보정된 이미지상 좌표 , 를 식(3)과 (4)로 나타

낼 수 있다.

(3)

(4)

η는 실제 거리값을 이미지상의 픽셀단위로 변환하는

값이고 IH는 이미지의 세로 길이이다. 로봇은 장애물

회피를 위해 장애물과 라인 사이의 빈 공간의 크기를

알아야 한다. LE와 RE는 각각 왼쪽 오른쪽 비어있는 공

간의 크기이며, 실제 장애물의 가로 길이 xR에 이미지

상의 비율을 곱해 로봇을 기준으로 장애물의 왼쪽 길

이 Lobs와 오른쪽 길이 Robs를 식(5)와 (6)으로 구하였다.

(5)

(6)

Xc' Yc'

Xc' Xc ηRRtan θr( )–=

Yc' Yc IH 2⁄–=

Lobs XR

Xc' Xmin–

XI

--------------------=

Robs XR

Xmax Xc'–

XI

---------------------=

Fig. 9. Geometry for obstacle avoidance using virtual

depth: (a)2-D workspace (b)Configuration space.

Fig. 10. Image plane obtained by forward camera to find

empty space.

83

센서학회지 제19권 제3호, 2010 − 252 −

이승환·이헌철·이범희

여기서 Xmax와 Xmin는 각각 이미지상의 장애물의 최대

X좌표, 최소 X좌표이고 XI는 Xmax와 Xmin의 차이로써 이

미지상의 장애물의 가로길이를 의미한다. Lobs와 Robs를

이용하여 트랙상의 비어있는 공간의 크기 LE와 RE는 각

각 왼쪽라인과 오른쪽 라인에서 장애물의 왼쪽 끝과 오

른쪽 끝까지의 거리로 식(7)과 (8)을 이용하여 구한다.

(7)

(8)

좌 우의 빈 공간 LE와 RE을 구한 후 로봇의 회전각

θRf은 식(9)와 같다.

(9)

δi은 이미지 좌표 , 에서의 색정보 i와 실제

장애물의 색정보 i를 이용해 장애물의 유, 무를 판단하

기 위한 함수로 식(10)와 같이 나타낼 수 있다.

(10)

β는 옆 라인과 평행한 라인을 기준으로 로봇이 장애

물을 회피하여 회전해야 할 각도이고, 회피 동작의 안

전성을 고려해 진행할 공간의 가운데 지점으로 회전할

수 있도록 계산된다. 로봇은 식(9)의 θRf을 이용하여 δi

가 0이면 각도 보정만 수행하여 정면으로 주행하고 1

이면 장애물 회피를 위해 원거리에서 왼쪽회전을 하고

−1이면 원거리에서 오른쪽으로 장애물 회피를 위한 회

전을 한다.

4.2.2 근거리 장애물 회피

로봇은 원거리 회피가 만족스럽게 되어지지 않거나

급커브지역을 통과한 후, 근거리에서 장애물을 만나는

예기치 못한 상황에 직면할 수 있다. Fig. 11(a)와 같이

로봇이 근거리에서 장애물을 만나면 규칙상 근거리로

인지되므로 적외선 거리센서를 이용한 장애물 회피동

작을 수행하게 된다. Fig. 11(b)와 같이, 로봇은 먼저

적외선 센서 9개로부터 장애물까지의 거리 및 각도 정

보를 얻고 현재 로봇의 경로상 위치와 각도를 기반으

로 로봇과 장애물 사이의 상대적 위치를 추정한다. 추

정된 위치를 이용해 로봇은 반응성 장애물 회피를 수

행하고 충돌 회피 경로(collision-free path)를 찾는다.

그 경로를 따라 로봇은 장애물을 회피하며 충돌지역을

탈출한다.

5. 실험 및 고찰

실험에 앞서 로봇은 세 대의 카메라에 들어온 이미

지 정보를 이용하여 장애물에 대한 가상거리 및 라인

상에서 자신의 상대적 위치 및 각도를 구해야 한다. 실

험에 쓰여진 장애물은 가로 0.55 m, 세로 0.85 m의 빨

간색 원통이다. 장애물과 로봇 사이의 실제거리를 변화

시키면서 Fig. 12과 같은 참고 이미지(reference image)

들을 얻었다. 0.9 m에서 0.1 m 간격으로 3 m까지 22개

의 참고 이미지의 최대 y값과 최소 y값의 차와 측정된

실제 거리를 이용해 Fig. 13과 같은 관계 그래프를 얻

었다(파란색 막대 그래프). 이 22개의 실제거리와 이미

LE Ldltr Lobs–=

RE Rdltr Robs–=

θRf θr δiβ+=

Xc' Yc'

δi

0 i j ≠,

1 LE RE and i>, j=

1 LE RE and i<,– j=⎩⎪⎨⎪⎧

=

Fig. 11. Obstacle avoidance with infrared range sensors:

(a)Detecting obstacles (b)Generating the collision-

free path.

Fig. 12. Original images from the forward camera and

results of object(obstacle) edge extraction.

84

− 253 − J. Kor. Sensors Soc., Vol. 19, No. 3, 2010

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현

지상의 차이값을 이용해 보간법(interpolation method)을

사용하여 가상 거리를 얻기 위한 식(11)을 구하였다

(Fig. 13에서 빨간색 실선).

(11)

C와 k는 상수값으로 각각 1.1446×10-5과 0.7407를

가지며 그래프는 지수함수의 형태를 가졌다. 또한 이미

지에 들어온 로봇의 상대적 위치 및 각도를 구하기 위

해 라인 이미지의 y값과 라인의 기울기를 이용해 실제

와 θr구하였다. Fig. 14에서는 이미지상에서 라인

의 y값에 따른 라인과 로봇과의 초기거리 값과 이

미지상에서 라인의 기울기에 따른 실제 θr의 관계를 그

래프로 보여준다. 얻어진 값들을 이용해 로봇은 라인상

에서의 양쪽 비전 센서로부터 각(θr)과 거리(dltr)를 퓨

전을 통해 구하여 라인상의 상대적 위치를 갱신하며

주행하게 된다. Fig. 15는 실외에서 여러가지 색의 라

인에 대해 4장에서 제안된 방법을 적용하였다. 흰색이

아닌 나머지 색에 대해서는 색 추출시 색공간으로

HSV와 YCbCr을 동시에 적용시켰고, 추출 결과 Fig.

15(b)와 같이 추출이 잘됨을 알 수 있었다. 로봇은 이

추출된 라인을 이용하여 라인상에서 자신의 위치를 추

정하며 급커브 또한 인식하게 된다.

위의 결과를 토대로 실내에서 경로와 원통 장애물을

임의로 배치한 후 실내 실험을 수행하였다. 실내 실험

은 경로 추종 방법은 동일하게 유지하고 장애물 회피

성능을 비교하였다. 즉 적외선 센서만 이용해 반응성

장애물 회피만 수행 한 방법과 본 논문에서 제안한 비

전센서와 적외선 센서의 퓨전을 이용한 방법을 비교함 을 목적으로 한다. 실험을 수행한 환경은 Fig. 16과 같

y CRR( )k–

=

dltr'

dltr'

Fig. 13. Virtual depth as the function of obstacle size in

image: reference depth data(blue bar) and the

virtual depth with interpolation method(red line).

Fig. 14. Raw distance and angle between the robot and

lines on the robot’s both sides: (a)Raw distance

between the robot and lines (b)Angle between the

robot and lines: reference depth data(blue bar)

and the Raw distance and angle with interpolation

method(red line).

Fig. 15. Various colored lines for path: (a)Original Images

from camera on side of the robot and (b) Results

of line extraction.

85

센서학회지 제19권 제3호, 2010 − 254 −

이승환·이헌철·이범희

다. Fig. 16(a)와 Fig. 16(b)는 총 8.4 m의 직선경로로

로봇의 시작점과 2.2 m떨어진 위치에 장애물이 존재하

고 3.5 m 떨어진 위치에 또 다른 장애물이 존재하는

환경이다. Fig. 16(c)는 급커브가 존재하는 환경이다.

Table 1은 위의 3가지 환경에서 제안된 방법과 적외선

센서만으로 반응성 장애물 회피만 수행한 방법의 총

이동 시간을 보여준다. 제안된 방법은 원거리에서 미리

장애물 회피를 시도 하며 최소 1초에서 최대 4초까지

시간을 줄였다. 또한 직선의 주행 환경뿐만 아니라 곡

선의 급커브를 가진 환경에서도 앞쪽카메라와 양쪽카

메라들을 이용해 급커브 구간을 통과하였고 갑자기 마

주친 장애물에 대해서는 근거리 장애물 회피를 통해

잘 회피함을 보였다.

실외 실험은 다양한 빛의 세기와 그림자가 존재하

는 환경에서 제안된 퓨전 시스템과 기존의 시스템과

의 충돌율 및 총 주행 시간을 비교할 목적으로 수행되

었다. 실험 수행은 기존의 방법들과 제안된 방법을 총

이동시간을 통해 비교하였으며 또한 로봇의 속도도

달리하였다. 이동 시간 측정은 완주시에만 하였고 그

외 라인을 이탈하거나 장애물에 충돌할 경우 실패로

간주하였다. 각각의 시도에 대한 날씨 조건은 Table 2

와 같다.

실험 환경은 Fig. 17에서 볼 수 있듯 총 3개의 구간

으로 각각의 이루어져있고, 시작 구간인 A는 약

4.45 m, 직선 구간인 B는 약 8.5 m, 마지막 급커브 후

구간의 길이는 약 4.35 m이다. 각 구간에는 로봇이 피

해야 할 장애물이 하나씩 존재한다. 첫번째 방법

(method A)은 소실점(vanishing point)를 이용한 방법

Fig. 16. Indoor environments for Autonomous guided

navigation: (a)Straight route environment,

(b)Straight route environment in bright light and

(c)Environment with curved route.

86

Table 1. Results of autonomous guided robot navigation

in various indoor environments

Method

Total travel

time(sec) at

0.2 m/s

Total travel

time(sec) at

0.3 m/s

Using IR

Using IR & camera

50.5

46.11

36.53

35.5

Using IR 51.1 36.61

Using IR & camera 48.34 35.62

Using IR

Using IR & camera

29.93

27.25

26.82

25.85

Table 2. Weather condition for each trial

TrialWeather

State

Temperature

(o)

Humidity

(%)

Existence

of shadows

First Sunny 8.7o 47 Y

Second Sunny 12.9o 31 Y

ThirdPartly

Sunny16.3o 29 Y

Fourth Cloudy 15.7o 43 Y

Fifth Cloudy 15.9o 47 N

Fig. 17. The outdoor environment for experiments. The total distance of the outdoor environment is 17.3 m. Three red

obstacles and green lines are used for experiments.

− 255 − J. Kor. Sensors Soc., Vol. 19, No. 3, 2010

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현

으로 정면 카메라 하나와 장애물 회피를 위한 적외선

센서를 이용해 수행하였고, 두번째 방법(method B)은

로봇 양쪽 카메라만 이용해 경로를 추종하며 첫번째

방법과 마찬가지로 적외선 센서만 이용해 장애물을 회

피하는 방법이다. 마지막 세 번째 방법(proposed)은 본

논문에서 제안한 방법이다. Table 3은 실험 결과를 보

여준다. 완주하였을 경우에만 총 이동거리를 표시하였

고 실패하였을 시에는 ‘−’ 두었다. 두번째 시도에서는

강한 빛과 그림자의 영향으로 인해 이미지 처리의 어

려움을 겪어 로봇이 세가지 방법 모두 많은 실패를 나

타냈다. 하지만 나머지 시도에서는 그림자가 존재하였

지만 안정적인 실험이 가능했다. 첫번째 방법은 완주

시간면에서 제안된 방법보다 더 빠른 경우가 존재했다.

이는 제안한 방법과 달리 경로상에서 로봇 자신의 위

치를 보정하지 않으므로 경로 보정을 위한 회전 시간

이 줄여진 것이다. 하지만 경로상에서 자신의 위치를

알기 어려우므로 장애물 회피 후 라인이탈을 하거나,

회전 후 앞쪽 카메라가 장애물에 완전히 가려지는 상

황 또는 90o의 급커브경로에서 소실점이 생기지 않는

경우에 실패하는 경우도 많았다. 두번째 방법은 Table 3

에서 볼 수 있듯이 양쪽 라인을 추종하여 주행하므로

실패 하더라도 측정된 거리는 첫번째 방법에 비해 더

먼 거리까지 주행함을 보였다. 하지만 앞을 보지 않고

주행하므로 90o의 급커브경로에서 탈출에 어려움을 보

였다. 이러한 단점을 극복하고자 본 논문에서 제안된

방법은 라인추출 실패에 의한 성능에 영향을 준 경우

를 제외하고는 대부분의 경우 완주에 성공하였다. 이는

시스템상으로 앞선 두 방법이 가진 문제점을 해결 한

것으로 첫번째 방법의 불안정성을 로봇 양쪽의 카메라

들의 융합을 통해 라인상에서 현재 자신의 위치를 추

정하며 지속적으로 보정하였고, 특히 급커브 회피시 정

면 카메라를 이용해 급커브의 모양을 완벽히 파악하고

회전하였다. 그리고 두번째 방법이 가진 미래상황(급커

브, 원거리 장애물)인식문제를 원거리 장애물 회피와

급커브 인식을 통해 미리 회피하여 안정성을 크게 높

였다. Fig. 18는 본 논문에서 제안한 시스템을 탑재한

로봇이 Fig. 17의 환경을 완주하는 모습이다. 원거리

장애물회피 뿐만 아니라 급커브도 잘 인식하며 목표지

점에 도착하고 있다.

6. 결 론

본 논문에서는 실외 환경에서 영상 기반 경로 추종

과 장애물 회피로 구성되는 자율 로봇 주행을 위한 센

서 퓨전 시스템이 제안되었다. 세 대의 단안 카메라와

적외선 거리 센서로 구성되는 이 시스템은 실제 실험

에서 주행 로봇에 탑재되어, 로봇이 장애물들을 안정적

으로 회피하고 다양한 형태의 경로를 성공적으로 추종

함으로써 성능을 입증하였다. 특히 장애물 회피 시, 정

면 카메라와 적외선 거리 센서의 융합을 통해 로봇의

장애물 회피성능을 강인하게 만들었으며 이는 실내 실

험뿐만 아니라 실외 실험에서도 다른 방법에 비해 시

간면, 안정성면에서 향상을 보였다. 또한 경로 추종의

경우, 양쪽 카메라의 퓨전을 통해 추정된 로봇의 상대

적 위치와 정면 카메라의 급커브 인식을 통해 기존의

방법보다 주행 성공률을 훨씬 높였고, 이를 이용하여

로봇의 주행 성능 향상을 입증하였다. 향후 연구에서는

가변적인 장애물이 존재하는 환경에서도 자율 로봇 주

행을 수행할 수 있도록 센서 퓨전 시스템의 성능을 향

상시킬 것이다.

Table 3. Results of autonomous guided robot navigation

using various methods

Trial MethodResults at

0.2 m/s

Results at

0.25 m/s

Results at

0.3 m/s

Results at

0.35 m/s

First

Method A - - 1’01”49 1’03”33

Method B - - - -

Proposed 1’15”76 1’08”49 1’02”57 1’00”63

Second

Method A - 1’09”13 - -

Method B - - - -

Proposed - 1’09”75 - -

Third

Method A - 1’10”97 1’03”54 0’54”66

Method B - 1’12”75 1’06”85 -

Proposed 1’14”52 1’07”99 1’04”60 1’00”65

Fourth

Method A - 1’08”71 - -

Method B - - 1’00”40 -

Proposed 1’17”72 - 1’02”06 1’00”39

Fifth

Method A 1’26”20 - - 0’59”39

Method B 1’26”48 - 1’01”97 -

Proposed 1’19”81 - 1’06”06 1’00”84

Fig. 18. Snapshots of the outdoor experiment using

proposed system.

87

센서학회지 제19권 제3호, 2010 − 256 −

이승환·이헌철·이범희

감사의 글

본 연구는 BK21과 교육과학기술부 NRL 프로그램

(No.R0A-2008-000-20004-0), 지식경제부 성장동력 기술

개발사업, 서울대학교 자동화시스템공동연구소(ASR I)

의 연구 지원으로 수행되었다. 본 연구의 성과물을 사

용하여 2009년 10월 30일 광주에서 개최된 제1회 국

제로봇실외주행대회에서 기술발표부문 대상, 주행부문

최우수상을 수상하였다.

참고 문헌

[1] K. Ohno and T. Tsubouchi, “A mobile robot campus

walkway following with daylight-change-proof

walkway color image segmentation”, Proceedings

of the IEEE International Conference on Intelligent

Robots and Systems, Hawaii, USA, 2001.

[2] A. Diosi, A. Remazeilles, S. Segvic, and F. Chau-

mette, “Outdoor visual path following experiments”,

IEEE/RSJ International Conference on Intelligent

Robots and Systems, IROS’ 07, San Diego, CA,

USA, 29 October - 2 November 2007.

[3] A. James and J. Baltes, “A path following system

for autonomous robots with minimal computing

power”, University of Auckland, Private Bag

92019, Auckland, New Zealand, 2001.

[4] M. Sotelo, F. Rodriguez, L. Magdalena, L. Bergasa,

and L. Boquete, “A color vision-based lane tracking

system for autonomous driving on unmarked

roads”, Autonomous Robots, vol. 16, no. 1, pp. 95-

116, 2004.

[5] K. Kluge and C. Thorpe, “Representation and

recovery of road geometry in YARF”, Proceedings

of the Intelligent Vehicles ‘92 Symposium, pp. 114

-119, 1992.

[6] 김갑순, “초음파 센서를 이용한 로봇의 소형장애물

감지 및 회피방법 연구”, 센서학회지, 제14권, 제2호,

pp. 101-108, 2005.

[7] P.E. Trahanias, S. Velissaris, and S.C. Orpha-

noudakis, “Visual recognition of workspace land-

marks for topological navigation”, Autonomous

Robots, vol. 7, no. 2, pp. 143-158, 1999.

[8] Yunsu Bok, Youngbae Hwang, and InSo Kweon, “영

상 매칭 및 자세 추정을 이용한 무인 차량의 위치

추정(UGV localization based on scene matching

and pose estimation)”, 한국군사과학기술학회 종합

학술대회, pp. 1144-1150, 2007.

[9] K. Macek, B. Williams, S. Kolski, and R. Siegwart,

“A lane detection vision module for driver assis-

tance”, Proceedings of the IEEE/APS Conference

on Mechatronics and Robotics, Aachen, Germany,

2004.

[10] Andrew Reed Bacha, “Line detection and lane fol-

lowing for an autonomous mobile robot”, Master’s

Thesis, Virginia Polytechnic Institute and State Uni-

versity, 2005.

[11] McKeon, R.T, Paulik, M., and Krishnan, M, “Lane

identification and path planning for autonomous

mobile robots”, Proceedings of SPIE - The Interna-

tional Society for Optical Engineering, vol. 6384,

63840S, 2006.

[12] Rezoug, A., Djouadi, and M.S, “Visual based lane

following for non-holonomic mobile robot”, IEEE

EUROCON 2009, no. 5167741, pp. 902-907, 2009.

[13] J. Cao, X. Liao, and E. Hall, “Reactive navigation

for autonomous guided vehicle using the neuro-

fuzzy techniques”, Proceedings of SPIE - The Inter-

national Society for Optical Engineering, vol. 3837,

pp. 108-117, Boston, 1999.

[14] Y.U Yim and S-Y Oh, “Three-feature based auto-

matic lane detection algorithm(TFALDA) for auton-

omous driving”, IEEE Transactions on Intelligent

Transportation Systems, pp. 219-225, 2003.

[15] Li W, Lu G.T, and Wang Y. Q, “Recognizing white

line markings for vision-guided vehicle navigation

by fuzzy reasoning”, Pattern Recognition Letters,

vol. 18, pp. 771-780, 1997.

[16] Kahn P, Kitchen L, and Riseman E M, “A fast line

finder for vision-guided robot navigation”, IEEE

Transactions on Pattern Analysis and Machine

Intelligence, vol. 12, no. 11, pp. 1098-1102, 1990.

[17] Pinheiro, P, and Lima, P, “Bayesian sensor fusion

for cooperative object localization and world mod-

eling”, 8th Conference on Intelligent Autonomous

Systems (IAS-8), Amsterdam, Netherlands, 2004.

[18] Sasladek, J. Z and Q. Wang, “Sensor fusion based

on fuzzy Kalman filtering for autonomous robot

vehicle”, Proceedings of the IEEE. International

Conference on Robotics and Automation, Detroit,

Michigan, pp. 2970-2975, 1999.

[19] Kam, M., Zhu, X., and Kalata, P, “Sensor fusion for

mobile robot navigation”, Proceedings of the IEEE,

vol. 85, pp. 108-119, 1997.

[20] 강정호, 김창걸, 이승하, 송병섭, “시각장애인을 위

한 보행보조 로봇의 개발”, 센서학회지, 제16권, 제

4호, pp. 286-293, 2007.

88

− 257 − J. Kor. Sensors Soc., Vol. 19, No. 3, 2010

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현

이 승 환

• 2008년 경북대학교 전자전기컴퓨터학부

(공학사)

• 2008년~현재 서울대학교 전기컴퓨터공학

부 석사과정

•주관심분야: Visual Route Navigation,

SLAM

이 범 희

• 1978년 서울대학교 전자공학과(공학사)

• 1980년 서울대학교 전자공학과

(공학석사)

• 1985년 University of Michigan, Computer

Information & Control Engineering

(공학박사)

• 1985년~1987년 Purdue University,

Electrical Engineering, Assistant Professor

• 1987년~1990년 서울대학교 제어계측공

학과 조교수

• 1991년~1995년 서울대학교 제어계측공

학과 부교수

• 1996년~현재 서울대학교 전기컴퓨터공학

부 교수

• 2008년~현재 서울대학교 정보화본부 본

부장

•주관심분야: Multi-Agent System(Coor-

dination, Control, and Application),

SLAM, Navigation, AUV motion

planning, Security Robot

이 헌 철

• 2006년 경북대학교 전자전기컴퓨터학부

(공학사)

• 2008년 서울대학교 전기컴퓨터공학부

(공학석사)

• 2008년~현재 서울대학교 전기컴퓨터공학

부 박사과정

•주관심분야: SLAM, Navigation

89