Embed Size (px)
Citation preview
398 정보과학회논문지 : 컴퓨 의 실제 터 제 19 권 제 7 호(2013.7)
․이 논문은 제39회 추계학술발표회에서 ‘EYECANE: 시각 장애인을 한
지능형 상황인식기’의 제목으로 발표된 논문을 확장한 것임
†
††
비 회 원
종신회원
논문 수
심사완료
:
:
:
:
건국 학교 신기술융합학과 iIT 공
건국 학교 신기술융합학과 교수
(Corresponding author임)
2013년 1월 10일
2013년 5월 8일
CopyrightⒸ2013 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작
물의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다.
이 때, 사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처
를 반드시 명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든
유형의 사용행 를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야
합니다.
정보과학회논문지: 컴퓨 의 실제 터 제19권 제7호(2013.7)
EYECANE: 시각
장애인을 한 지능형
상황 인식기(EYECANE: Intelligent Situation
Awareness System for the
Visually Impaired)
황 지 혜† 지
†
(Jihye Hwang) (Yeounggwang Ji)
김 경 태† 김 은 이
††
(Kyung-tai Kim) (Eun Yi Kim)
요 약 제안된 EYECANE 시스템은 시각 장애인용
cane에 카메라가 장착된 보조 내비게이션 시스템이다.
EYECANE은 시각장애인이 익숙하지 않은 상황에서 안
하게 보행하도록 상황을 인식해 주는 시스템이다. 본 시스
템은 세 가지 환경 정보를 사용자에게 제공 한다: 1) 사용
자가 서있는 재의 상황, 2) 사용자를 심으로 있는 장애
물의 크기와 치, 3) 추출된 장애물을 안 하게 피하기
한 방향. 제안된 시스템의 효율성을 증명하기 해 다양한
환경에서 실험했다.
키워드: EYECANE, 상황인식, 장애물 추출, 시각장애인,
보조 장비
Abstract In this paper, the navigating system with
camera embedded whitecane, which is called EYECANE,
is presented to help the visually impaired in safely
traveling on unfamiliar environments. It provides three
environmental information to the user: 1) the current
situation (place type) where a user stands on, 2) the
positions and sizes of obstacles around a user, and 3) the
viable paths to prevent the collisions of such obstacles.
The experimental results demonstrated the effectiveness
of the proposed method.
Keywords: EYECANE, Situation recognition, obstacle
detection, the visually impaired people,
assistive device
1. 서 론
세계 으로 시각 장애인 인구는 3900만 명이며
시력 인구는 2억 4600만 명이다. 하지만 일상 생활에서
시각 장애인은 홀로 보행하는 데 많은 어려움이 있다[1].
특히 시각 장애인이 실외에서 보행할 때 교차로는 시
각 장애인이 사고를 당할 수 있는 매우 험한 상황 이
다. 실제로 시각 장애인에게 발생하는 체 사고율
22%가 교차로에서 일어난다.
지 까지 시각 장애인이 안 하게 교차로를 보행 할
수 있도록 다양한 방법이 연구 다. Accessible pedest-
rian signals(APS)와 Talking Signs는 시각장애인이
언제 교차로를 건 야 하는지 센서를 사용하여 알려 주
는 시스템이다. 일반 으로 센서 기반의 시스템은 리
사용되고 있지만, 상황에 제한 이며 추가 장비가 필요
하다는 문제가 있다. 이러한 문제를 해결하기 해 Cross-
watch와 Bionic Eyeglasses와 같은 비 기반의 기술
을 사용한 시스템이 개발 다. 이 시스템들은 카메라로
받아오는 이미지를 분석하여 횡단보도의 치 방향
을 알려 다. 알려진 정보를 이용하여 사용자는 안 한
방향으로 보행 할 수 있지만, 사용자의 상황에 따라 다
르게 안내해야 한다는 요한 을 간과하고 있다. 만약
사용자가 보도의 치에 서 있는데, 시스템은 횡단보도
의 치 방향만을 안내한다면 오히려 사용자에게 혼
란을 수 있다. 그 기 때문에, 사용자가 재 어느
치에 서 있는지를 먼 악한 후 안 한 방향으로
안내해야 한다[2-5].
따라서, 본 논문은 재 사용자의 상황을 인식해 주는
새로운 EYECANE 시스템을 제안한다. 제안된 시스템
은 다음과 같은 상황 정보를 자동으로 인식해 다. 1)
사용자의 재 치, 2) 사용자 주변으로 있는 장애물의
치와 크기, 3) 검출된 장애물을 피하기 한 방향.
제안된 시스템은 그림 1과 같이 실외 상황 인식, 장애
물 인식, 청각 인터페이스의 모듈로 구성된다. 실외 상
황 인식기 모듈은 사용자의 재 치를 texture와 형
태 정보를 사용해 결정한다. 장애물 인식 모듈은 온라인
배경 학습을 이용해 장애물의 치를 악하고 장애물
을 피해 갈 수 있는 안 한 길을 신경망 분류기로 제시
EYECANE: 시각 장애인을 한 지능형 상황 인식기 399
그림 1 지능형 상황 인식기 Outline
Fig. 1 Prototype of our EYECANE
한다. 최종 으로 각 모듈의 인식 결과를 음성을 통해
사용자에게 달한다.
2. 실외 상황 인식기
본 논문에서 상황은 사용자의 재 치를 말하며 교
차로와 보도로 분류 한다. 그림 2는 보도와 교차로의
시 이미지이다.
그림 2에서 알 수 있듯이, 보도와 차도 사이의 경계의
기울기가 보도는 수직에 가깝게 교차로는 수평에 가깝
게 나타난다. 이러한 특징을 texture classification와
shape filtering에 용하여 실외 상황을 구분하게 된다.
우선, 처리로 gaussian filter와 histogram equali-
zation을 사용한다. 입력 이미지의 크기는 640＊480이며,
20＊20 크기의 768개의 서 역이 추출된다.
(a) (b)
그림 2 실외 상황 시 이미지 (a) 교차로, (b) 보도
Fig. 2 Some of images captured by Web camera (a)
images categorized to intersection, (b) images
categorized to sidewalk
2.1 Texture classification
보도와 교차로 사이의 경계를 추출하기 한 가장 좋
은 방법은 에지 검출이다. 그림 2(b)는 입력 이미지의
에지 검출 결과이다. 추출된 에지 에서 보도와 차도
사이의 경계선을 검출하기 해 서 역의 Histo-
gram of Oriented Gradient (HOG)와 색 정보를 특징
값으로 사용한다.
HOG는 서 역 내 기울기의 값을 6개의 기 값
으로 나눠 시킨 특징 변수이다. 따라서 경계 역
에 치한 서 역의 경우 기울기 값이 한 쪽으
로 치우치고 그 지 않은 경우 고르게 분포 한다.
게다가 차도의 서 역 안 픽셀들은 독특한 채도
분포를 가지고 있기 때문에, 평균 채도 값으로 경계
역과 아닌 역을 분류할 수 있다.
사용된 HOG 식과 채도 값을 구하는 식은 다음과 같다.
따라서, 다음 두 가지 규칙을 만족하는 서 역이
보도와 교차로 사이의 경계 역으로 추출된다. 1)
HOGR 의 분산이 미리 정의한 경계 값 보다 클 경
우; 2) SR 이 경계 값 보다 작을 경우.
그림 3은 texture 분류기의 결과 이미지이다. 그림
3(b)와 같이 Sobel operator가 첫 번째로 수행 된다. 그
다음 HOG를 사용하여 보도와 교차로 사이 경계 서
역을 추출한다. 그림 3(c)와 같이 부분의 서 역
이 가장자리를 포함하지만 여 히 오 분류된 서 역
이 존재하기 때문에 그림 3(d)와 같이 색 정보를 사용
하여 오 분류된 서 역을 추가로 분류한다. 결과 으
로 그림 3(d)와 같이 분류된 서 역이 정확하게 가
장자리를 포함하는 것을 확인할 수 있다.
(a) (b) (c) (d)
그림 3 Texture 분류기 결과 (a) 원본 이미지, (b) Sobel
operator, (c) HOG filtering, (d) color filtering
Fig. 3 Texture classification results (a) input images,
(b) edge images by Sobel operator, (c) filtered
images by HOG distribution, (d) filtered images
by color information
2.2 Shape Filtering
본 모듈에서는 추출된 서 역의 형태 정보를 분석
하여 최종 으로 상황을 결정한다. 만약 추출된 서
역이 수평하게 분포돼 있다면 재의 상황은 교차로 이
고 수직하게 분포돼 있다면 재의 상황은 보도이다.
400 정보과학회논문지 : 컴퓨 의 실제 터 제 19 권 제 7 호(2013.7)
(a) (b) (c) (d)
그림 4 shape filtering 결과 (a) 원본 이미지, (b) texture
filtering, (c) 수평 히스토그램, (d) 수직 히스토그램
Fig. 4 Shape filtering results (a) input images, (b)
classified image by texture, (c) horizontal projec-
tion profile, (d) vertical projection profile
분류된 이미지를 X축과 Y축으로 각각 project 시켜
수평한 히스토그램과 수직한 히스토그램이 구하고, 실험
에 의해 구해진 세 가지 규칙에 의해 재 상황을 결정
한다. 1) 교차로는 수평한 히스토그램의 값이 경계 값보
다 더 크다. 2) 교차로는 수직한 히스토그램이 고르지
않게 분포 한다. 3) 보도는 수직한 히스토그램이 경계
값 보다 큰 분산을 갖는다.
그림 4는 어떻게 상황이 결정 되는지 그림으로 보여
다. 그림 4(c)는 분류된 이미지를 Y축으로 (d)는 X축
으로 project 시킨 결과이다. 그림 4(c) 의 그림은 큰
분산의 수직 히스토그램이다. 따라서 이 그림은 보도로
간주 된다. 반면에 아래의 그림은 수평 히스토그램의 값
이 경계 값 보다 크기 때문에 교차로로 간주된다.
3. 장애물 인식기
장애물 인식기 모듈은 사용자 주변에 장애물을 추출
하여 안 한 경로를 제공하는 방법으로 기존 연구에서
제시 하 다. 장애물 인식기는 장애물 분류, 유 그리
드 맵 생성, 신경망 기반의 방향 안내의 단계로 이루어
진다. 첫 째로, 온라인 배경 학습을 통해 장애물을 추출
한 후 0～9까지의 단 로 셀의 안 도를 표 하는 그리
드 맵을 생성한다. 생성된 그리드 맵을 사용하여 사용자
가 치에서 안 하게 보행할 수 있는 방향을 제시
한다. 이때, 빛, 날씨, 복잡한 환경 등의 복잡한 환경에
서도 강건하게 안 한 경로를 추출하기 해 그림 5와
같은 구조의 신경망 기반의 학습기를 사용한다. 크게 입
력층, 은닉층, 출력층으로 구성돼 있으며, 32×24 크기의
그리드 맵을 입력 값으로 사용하여 150개의 노드의 은
닉층을 거쳐 최종 으로 4개의 결과로 출력 된다. 출력
된 결과 값들 가장 큰 값을 최종 방향으로 결정한다.
자세한 내용은 기존의 연구에 설명돼 있다[6].
4. 실험 결과
제안된 시스템의 효율성을 증명하기 해 실외 상황
그림 5 신경망 구조도. 32×24개의 occupancy grid map
의 intensity 값을 입력 값으로 받고 2단계의
hidd은닉층 거쳐 4개의 출력층으로 결과가 추출
된다.
Fig. 5 Architecture of a MLP, where input layer
receives 32×24 intensity values of an occupancy
map, and output layer generates four nodes, each
of which corresponds to the respective directions
이 포함된 이미지에서 테스트 했다. 시각장애인에게 다양한
환경에서도 강건하게 실행하는 EYECANE 시스템을 제공
해야 하기 때문에 다른 시간 의 사무실 건물, 백화 , 보도
등 실내와 실외를 포함한 80,000의 이미지를 수집하 다.
4.1 상황인식 결과
2243장의 실외 상황 이미지를 수집하여 환경 복잡도
에 따라 8개의 분류로 데이터를 나눴다.
표 1은 실외 환경 데이터를 빛의 세기와 환경 복잡도
의 기 을 통해 8개로 분류한 데이터 셋을 보여 다. 데
이터 174개는 최상의 경계 값(H, S, )을 찾기
해 트 이닝 데이터로 사용하고 나머지는 테스트 데이
터로 사용했다.
그림 6은 DB1～6까지의 표 결과 이미지를 보여
다. 그림 6(a)는 입력된 이미지이며, 다양한 환경 패
턴이 존재하는 것을 확인할 수 있다. 우선, 입력된 이미
지는 처리 단계를 거쳐 노이즈를 제거한 후, texture
classification와 shape filtering를 통해서 최종 으로
상황을 결정하게 된다. 그림 6(c)에서 다양한 환경과 패
턴을 가진 입력 이미지에서도 보도와 차도 사이의 경계
역을 정확하게 추출한 것을 확인할 수 있다. 그럼에도
불구하고 잘못 추출 되는 역이 있기 때문에 상황을
분류 하는데 어려움이 있다. 그래서 그림 6(c)와 (d)와
같은 형태 정보를 사용하여 최종 으로 상황을 분류 하
게 된다. 그림 5의 에서부터 세 번째까지의 이미지는
세 번째 규칙을 통해 보도로 분류된 결과 이미지이다.
그 다음 두 개의 이미지는 두 번째 규칙에 용되어 교
차로로 분류된 경우이다. 마지막 이미지는 첫 번째 규칙
으로 교차로로 분류된 이미지이다.
EYECANE: 시각 장애인을 한 지능형 상황 인식기 401
표 1 실외 상황 인식기 실험에 사용된 데이터
Table 1 Data used in evaluating the performance of
proposed situation awareness
Environmental Factors The
Number of
Images
Illumination
TypeScene Complexity
Direct
sunlight with
little
shadow
Highly textured ground
with static obstacles 110 DB1
Textured ground with
moving obstacles 64 DB2
Highly textured ground
with static structures844 DB3
Textured ground with
simple structures256 DB4
Direct
sunlight with
complex
shadow
Non-textured ground
with simple structures156 DB5
Textured ground with
simple structures312 DB6
Non-textured ground
with moving obstacles345 DB7
Textured ground with
moving obstacles156 DB8
(a) (b) (c) (d)
그림 6 상황인식 결과 (a) 입력 이미지, (b) texture 분
류 결과 이미지, (c) 수평 히스토그램 결과, (d)
수직 히스토그램 결과
Fig. 6 Situation awareness results (a) input images, (b)
enhanced image by preprocessing, (c) texture
classification results, (d) horizontal and vertical
histograms used in shape filtering
표 2 실외 상황 인식기 정확도(%)
Table 2 Accuracy of outdoor situation awareness
DB1 DB2 DB3 DB4 DB5 DB6 DB7 DB8 Total
Accuracy 91 95.3 100 100 94.8 97.4 53.5 69 87.6
(a) (b) (c) (d)
그림 7 움직이는 장애물로 인해 오 분류된 결과 (a) 입력
이미지, (b) texture 분류 결과, (c) 수평 히스토그
램 결과, (d) 수직 히스토그램 결과
Fig. 7 Examples of misclassified images by moving
walkers (DB7 and DB8) (a) input image, (b)
enhanced image, (c) texture classification results,
(d) horizontal and vertical histograms
표 2는 다양한 실외 환경에서의 상황인식 정확도를
보여 다. 평균 정확도는 87.6%이다. DB1에서 DB4까
지 제안된 방법의 정확도는 96%이다. DB7와 DB8은
제안된 시스템에서 정확도가 가장 낮다.
그림 7은 DB7와 DB8에서 잘못 분류된 상황을 보여
다. 그림 7에서 볼 수 있듯이, 부분의 보도와 차도
사이의 경계 역이 그림자 혹은 장애물로 가려져 있다.
그 기 때문에, 경계 역을 추출하지 못하여 상황이 잘
못 분류된다.
하지만 이 문제는 상황 히스토리를 사용하면 쉽게 해
결 할 수 있을 것이다. 한, 제안된 시스템에서는 교차
로를 보도로 오 분류하여도 장애물 인식기 모듈에서 장
애물로 추출하기 때문에 험한 상황을 피할 수 있다.
4.2 장애물 인식기 결과
본 모듈에서는 많은 데이터를 사용해 장애물 인식의
정확도를 테스트 했다. 실외 상황 인식기 모듈과 같이
본 모듈에서는 표 3과 같은 데이터를 분류하여 실외와
실내가 포함된 이미지로 테스트 했다.
그림 8은 장애물 인식 모듈의 표 결과를 보여 다.
이미지가 입력이 되면 배경 모델을 사용하여 장애물을
악한 후 그림 8(b)와 같이 유 그리드맵을 생성한다.
생성된 유 그리드맵은 신경망의 입력 값으로 사용되
어 그림 8(c)와 같이 신경망을 통해 각 방향에 한 값
이 나온다. 장애물을 회피할 수 있는 방향들 신경망
을 통해 추출된 output 값이 가장 높은 방향이 안 한
방향으로 결정하게 된다.
402 정보과학회논문지 : 컴퓨 의 실제 터 제 19 권 제 7 호(2013.7)
표 3 장애물 인식기 실험에 사용된 데이터
Table 3 Data used in evaluating of obstacle detection
PlacesDB
SetsIllumination Background texture Obstacles
Indoor
DB1
Fixed
illumination
with Almost
fluorescence
Little reflection
Weak textured floor
Static
obstacles
DB2
Fixed
illumination
with pin light
Reflection floor
Marble textured
floor and tile
textured floor
Static
obstacles
with
dynamic
obstacles
DB3
Fixed
illumination
Almost
fluorescence
Little reflection
Weak textured floor
Static
obstacles
DB4
Fixed
illumination
with pin light
Reflection floor
Marble textured
floor and tile texture
floor
Static
Obstacles
with
dynamic
obstacles
Outdoor
DB5
Direct sunlight
with little
shadow
Weak textured
ground with small
road sign
Static
Obstacles
DB6
Direct sunlight
with complex
shadow
Reflection floor by
sunlight tile textured
ground
Big road signs
Static
obstacles
with
dynamic
obstacles
그림 8 장애물 인식 방향 결정 결과 (a) 입력 이미지,
(b) 유 그리드 맵 생성 결과, (c) 신경망 결과(가
장 높은 값이 안 한 경로로 채택)
Fig. 8 Example of obstacle detection and path recom-
mendation (a) input images, (b) generated OGMs,
(c) results of NN(viable path was selected as
direction with highest value)
표 4 장애물 인식기 정확도(%)
Table 4 Accuracy of obstacle detection
DB1 DB2 DB3 DB4 DB5 DB6 Total
Accuracy 80 72 89 94 88 91 86
표 4는 장애물 인식기 모듈의 실내, 외 상황에서의 정
확도를 나타낸 그래 이다. 실내에서는 83.75%, 실외에
서는 89.5%의 정확도가 나왔다
4.3 Processing Time
EYECANE은 실시간으로 사용자가 안 하게 보행 할
수 있도록 안내하는 것이 주목 이다. 표 5는 제안된 시
스템이 1 에 약 4frame을 처리할 수 있음을 보여 다.
표 5 평균 frame당 processing time(.ms)
Table 5 Average frame processing time
Modules Processing Time
실외 상황인식기
Preprocessing 41.24
Texture classification 181.32
Shape filtering 5.98
장애물 인식기OGM generation 2.95
Path recommendation 2.08
Total 233.57
5. 결 론
본 논문에서는 시각장애인이 안 하게 보행할 수 있
도록 보조해주는 EYECANE시스템을 제안했다. EYECANE
은 자동으로 교차로, 장애물과 같은 험한 상황을 인식
하여 사용자에게 알려주는 것이 목 이다. 그래서 상황
인식기, 장애물인식기, 청각 인터페이스로 구성돼 있다.
EYECANE의 유용성을 테스트하기 해서 80,000장의
실내, 외 이미지를 수집하여 사용했다. 결과 으로 실내
에서 83.75%, 실외에서 89.5%의 정확도가 나왔다.
참 고 문 헌
[ 1 ] World Health Organization(2011). Available: http://www.
who.int/blindness/en/ (downloaded 2012, Aug. 10)
[ 2 ] Barlow, J. M, B. L. Bentzen, and L. Tabor, Acces-
sible pedestrian signals: Synthesis and guide to
best practice, National Cooperative Highway Rese-
arch Program 2003, 2003.
[ 3 ] Brabyn, J., Crandall, W., and Gerrey, W., Talking
signs: a remote signage, solution for the blind,
visually impaired and reading disabled, Engineering
in Medicine and Biology Society 1933, 1993.
[ 4 ] Ivanchenko, J. Coughlan and H. Shen, "Crosswatch:
a Camera Phone System for Orienting Visually
Impaired Pedestrians at Traffic Intersections," Inter-
national Conference on Computers Helping People
with Special Needs 2008, ICCHP, pp.1122-1128. 2008.
[ 5 ] Karacs K., Lazar A., Wagner R., Balya D., Roska
T. and Szuhaj M., 2007, "Bionic Eyeglass: an Audio
Guide for Visually Impaired," Biomedical Circuits
and Systems 2006, BioCAS, pp.190-193, 2006.
[ 6 ] Ju, J., Ko, E., and Kim, E., "EYECane: Navigating
with camera embedded white cane for visually
impaired person," ACM ASSETS, pp.237-238, 2009.
