기술을 기반으로한 강설 영상처리에 의한 최적 스노우멜팅 시스템 설계journal.hsst.or.kr/DATA/pdf/v5_6_49.pdf · 여 센서데이터 처리부를 구성하고

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and SociologyVol.5, No.6, December (2015), pp.521-530

http://dx.doi.org/10.14257/AJMAHS.2015.12.38

ISSN: 2383-5281 AJMAHSCopyright ⓒ 2015 HSST 521

IoT 기술을 기반으로한 강설 영상처리에 의한 최적

스노우멜팅 시스템 설계

정우철1), 이승수2), 박준훈3)

Design of optimal snowmelting system with snowfall

image processing based on the IoT technology

Woo-Chul jung1), Sueng-Soo Lee2), Joon-Hoon Park3)

요 약

현재 겨울철에 활용되는 스노우멜팅 시스템은 온도와 습도 조건만 만족하면 시스템이 가동되도록 설계되었으나 실제 눈은 내리지 않는 상황에서도 스노우멜팅 시스템이 동작하는 경우가 발생하고 불필요한 전력소모가 발생하는 등 시스템 동작이 비효율적이고 최적화 되어있지 못한 문제점이 있다. 또한 실제 스노우멜팅 시스템이 설치된 실외 노면의 강설상황을 분석하는 것이 힘들다. 이에 본 논문에서는 아두이노 마이크로컨트롤러를 기반으로 기존의 온습도 데이터와 더불어 풍속데이터를 활용하여 센서데이터 처리부를 구성하고 카메라모듈과 라즈베리파이 마이크로 컨트롤러를 이용한 영상데이터 처리부를 도입하여 스노우멜팅 시스템이 설치된 실외 노면 영상을 확보하고, opencv의 차영상(difference image) 기법을 이용해 배경영상과 촬영된 영상의 분리를 통해 노면상의 눈의 강설상태를 확인한다. 또한 차영상의 히스토그램을 분석하여 단위면적당 적설량을 계산하는 강설 영상처리에 의한 IoT 기반의 최적화된 스노우멜팅 시스템을 제안한다.

핵심어 : 마이크로컨트롤러, 차영상기법, 제설시스템, 최적제어, 강설상태

AbstractConventional snow melting system used in the current winter season is operated by previously set

temperature and humidity conditions but this snow melting system is inefficient. Because that even though

Received (October 01, 2015), Review Result(October 20, 2015)

Accepted(November 03 2015), Published(December 31, 2015)

1380-702 Dept. Control & Instrumentation Eng, Korea National Univ of Transportation., #50 Daehak-ro,

Chungju-si, Chungbuk, Korea

email: [email protected] Dept. Control & Instrumentation Eng, Korea National Univ of Transportation., #50 Daehak-ro,

Chungju-si, Chungbuk, Korea

email: [email protected](Corresponding Author) 380-702 Dept. Control & Instrumentation Eng, Korea National Univ of

Transportation., #50 Daehak-ro, Chungju-si, Chungbuk, Korea

email: [email protected]

* 본 연구는 교육부와 한국연구재단의 지역혁신 창의인력양성사업으로 수행된 연구결과임



Copyright ⓒ 2015 HSST522

the humidity and temperature condition is satisfied with the set conditions but sometimes actual snowfall does not occur on the road. As a result, unnecessary power consumption is generated. also, conventional snowmelting system dosen't analysis snowfall condition on the road surface. In this paper, optimal snow melting system is suggested to improve the conventional system’s inefficient problem using IoT technology. To solve this problem, presented snow melting system apply wind speed data with arduino micro controller and snow fall image analysis methods with raspberry pi micro controller for setting the optimum determination condition and then operating reasonable power consumption system. The proposed system obtain road surface image and subtract between background image and road surface image to get the difference image using opencv technique. From this image information, we can determine snow falling condition of a road and analyzes difference image histogram to calculate snowfall surface area and distribution map. Therefore the suggested system can control and handle snow melting system more efficiently and optimally. This paper proposes new optimal snow melting system based on the IoT technology and image processing with good results.

Keyword : micro controller, difference image, snow melting system, optimal control, snowing condition

1. 서론

기존의 스노우멜팅 시스템은 시스템을 동작시키기 위한 판정의 기준으로 온습도 데이터만을 활

용하여 시스템을 구성하였다. 이 경우 스노우멜팅 시스템의 동작 판정이 오작동을 유발하여 불필

요한 전력의 손실을 야기할 수 있다. 또한 풍속으로 인한 온습도의 변화도 존재할 수 있다. 본 논

문은 앞선 문제를 해결하고 스노우멜팅 시스템 동작의 효율성을 개선하기 위해 풍속센서를 추가한

IoT 기반의 실외노면 센서데이터 처리부와 카메라모듈을 활용하여 실외노면 환경의 영상데이터를

분석하는 실외노면 영상데이터 처리부를 구성하여 최적 스노우멜팅 시스템을 구성한다. 영상데이

터 처리 과정에서 강설상태를 파악하기 위해 노면의 영상을 확보하고 차영상 기법을 활용해 기존

의 배경영상을 제거하여 확실한 눈 결정체를 확인하고 적설량을 파악하기 위하여 차영상의 히스토

그램을 적용하여 현재 실외의 적설량 또한 계산하여 기존의 스노우멜팅 시스템의 효율성을 극대화

하며 종합적인 겨울철 노면 강설상태를 파악할 수 있는 IoT기반의 최적화된 스노우멜팅 시스템을

제안한다.

2. 강설제어 최적시스템 구성

2.1 통합 하드웨어 구성

본 연구에서 센서데이터 처리부와 영상데이터 처리부의 통합하드웨어를 구성했다. 아두이노를

메인보드로 활용하여 DHT11온/습도 센서와 풍속센서로 센서데이터 처리부를 구성했으며, 라즈베

리파이를 메인보드로 활용하여 라즈베리파이 카메라모듈로 영상데이터 처리부를 구성했다.[1] 다음

그림1은 강설제어 최적시스템의 통합 하드웨어 구성을 나타낸다. 아두이노 메인보드는 온/습도와

풍속데이터를 취득한후 미리 설정된 온습도 값과 풍속값을 비교하여 메인 제어장치(Atmega128)로

영상데이터 처리부 참조신호를 보낸다. 영상데이터 처리부는 노면영상의 판정을 통하여 강설상태

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and SociologyVol.5, No.6, December (2015)


를 결정한 후 최종적으로 메인 제어장치로 스노우멜팅 시스템 가동요청 신호를 보내면 메인 제어

장치가 스노우멜팅 시스템 동작을 위한 신호를 송신하여 시스템이 동작한다.

[그림 1] 스노우멜팅 시스템 통합 하드웨어 블럭도

[Fig. 1] Combination block diagram of snowmelting system

2.2 강설제어 최적시스템 센서 데이터 처리부

[그림 2] 스노우멜팅 시스템 센서데이터 처리부

[Fig. 2] Sensor data processing unit of snowmelting system

그림2는 아두이노 마이크로컨트롤러 기반의 센서데이터 처리부를 보인다. 온/습도 센서로 사용

된 DHT11모듈은 디지털로 신호를 출력하며 +5V의 전원으로 동작하고 0~50℃의 온도 측정범위(측

정오차 ±5℃)와 20~90%의 습도 측정범위(측정오차 ±5%)를 갖는다.[2] 풍속측정 센서로 사용된

SEN0170모듈은 +9~24V DC 전원을 입력받아 회전축의 회전에 의한 저항의 변화를 감지하여

0~5V 전압변화를 출력하여 풍속을 측정한다. 0.4~0.8m/s의 출력을 시작으로 30m/s까지 풍속을 측

정(오차율은 ±3%)할 수 있으며, -40~80℃의 동작 온도를 갖는다.[3]

2.3 강설제어 최적시스템 영상 데이터 처리부




영상데이터 처리부에서 메인보드로 사용한 라즈베리파이2는 32BIT ARM Cortex-A7 core 프로세

서를 기반으로 USB포트 , 유무선 인터넷 , HDMI포트 등 주변장치 구성이 용이한 다양한 인터페

이스를 지원한다.[4] 라즈베리파이 보드에 라즈베리파이 전용 카메라모듈을 결선하여 영상데이터

처리부를 구성했다. 다음 그림3은 영상데이터 처리부를 보인다.

[그림 3] 스노우멜팅 시스템 영상데이터 처리부

[Fig. 3] Image data processing unit of snowmelting system

카메라 모듈은 라즈베리파이 보드의 CSI(CameraSerialInterface) 단자에 연결되며 Omnivision사

의 CMOS이미지센서를 탑재했다. (25 x 20 x 9mm)의 작은 크기가 특징이며 5Mega Pixel의 still

cut 촬영이 가능하고 1080p,720p,640x480p의 동영상 촬영모드도 지원한다.[5]

3. 강설제어 최적시스템 동작

3.1 강설제어 최적시스템 동작 알고리즘

[그림 4] 스노우멜팅 시스템 동작 알고리즘

[Fig. 4] Processing algorithm of snowmelting system



그림4는 강설제어 최적시스템의 동작 알고리즘을 나타낸다. 센서데이터 처리부의 메인 프로그램

에서 설정온도와 설정습도를 정한다. 실시간 온도를 취득하다 설정온도 보다 낮으면 실시간 습도

를 점검한다. 실시간 습도가 30% 이상이면 풍속을 측정하여 풍속으로 인한 온습도 변화가 있는지

판단한다. 메인프로그램은 시리얼통신을 이용해 메인 제어장치로 영상데이터 처리부 참조신호 전

송한다. 영상데이터 처리부에서 참조신호를 수신하면 스노우멜팅 시스템이 설치된 실외 노면환경

의 이미지를 촬영하여 opencv프로그램을 활용해서 눈의 존재 여부와 강설 상태를 감지한다. 눈의

존재여부가 확인되면 스노우멜팅 시스템을 동작시킨다.

3.2 영상데이터 판정시스템 동작 알고리즘

영상 데이터 처리부가 참조신호를 수신하면 스틸사진 촬영명령을 통해 실외 노면의 영상을 획

득한 후 opencv 영상처리 프로그램을 활용해 눈 결정체의 존재 여부를 판단한다. 본 연구에서는

차 영상(difference image), 히스토그램(histogram)분석 두 가지 opencv 프로그램을 활용하였다. 차

영상이란 미리 지정된 배경영상과 획득한 영상의 차를 계산하는 방법이며, 영상의 산술연산을 활

용해 두 영상의 차(subtract)를 구한다. 획득한 영상에서 배경영상을 감하면 깨끗한 눈의 결정을 확

인할 수 있다. 한편 영상은 화소로 만들어졌고 각 화소는 다양한 값을 갖는다. 히스토그램은 영상

에서 특정 값을 갖는 화소 개수를 제공하는 테이블이다.[6] 여기서 말하는 특정 값 이란 명도를 의

미한다. 그레이 레벨의 히스토그램은 0부터 255까지의 명도 값이 픽셀 내에 얼마나 분포하는지 여

부를 제공한다. 픽셀의 명도 값이 0에 가까울수록 어둡고 255에 가까울수록 밝다. 다음 그림5는 본

연구에서 활용된 영상데이터 처리 알고리즘을 나타낸다.

[그림 5] 스노우멜팅 시스템 영상데이터 처리 알고리즘

[Fig. 5] Image data processing algorithm of snowmelting system




노면상태 분석이 필요한 시점에서 획득한 실외 노면영상을 차 영상(difference image) 기법을 적

용해 기존의 저장된 실외 노면영상과 비교하여 영상의 차를 구한다. 차영상을 저장하고 차영상의

히스토그램을 분석하여 각 명도 값(0~255)의 픽셀 수를 구한다. 그림5에서 보이듯 value변수에 각

명도 값 별 픽셀 수를 저장한다. 히스토그램을 적용한 후 결과 영상을 분석하면 차영상 내에 눈의

출현 여부와 적설량 또한 파악할 수 있다.

4. 강설제어 최적시스템 실험

실험을 진행하기 위해 다음과 같은 세 가지의 상황을 고려하였다. 첫째, 실내 온도를 고려하여

센서데이터 처리부의 설정온도는 25℃이하, 설정습도는 50% 이상으로 설정한다. 둘째, 눈의 형태를

가공하여 사진을 제작하였으며, 실제 인공눈(雪)을 활용하여 실험을 진행하였다. 셋째, 풍속측정센

서의 경우 바람의 방향에 따라 풍속 데이터가 상이하게 나타나 전압에 따른 풍속 처리 값을 일정

한 보정을 통해 디지털로 변환, 출력 하였다. 또한 실험 조건은 초속 5m/s 이상의 바람이 불면 온

습도의 변화가 있음을 가정했다.

a) 온습도 데이터 처리결과 b) 풍속 데이터 처리결과

[그림 6] 온습도 및 풍속 데이터 처리 결과

[Fig. 6] Result of humidity and temperature and wind speed data

그림6은 온습도 데이터와 풍속 데이터의 처리결과를 나타낸다. 설정해두었던 온도(25℃), 습도

(50%) 조건을 충족하였으므로 풍속데이터를 참조한다. 풍속 데이터 는 5m/s에 도달하지 못했으므

로 눈의 적설 환경과 온도변화에 영향을 주지 않는다. 이에 마지막으로 영상데이터 참조 신호를

호출한다. 영상데이터 처리부에서 참조신호를 수신한 후 스틸사진 촬영 명령을 활용해 현재 실외

노면의 영상을 획득하고 차영상 기법을 적용하였다. 다음 그림7의 (a)는 획득영상을 (b)는 배경영



상 그리고 (c)는 차영상을 나타낸다. 차영상을 보면 실외 노면 영상에서 배경을 제거한 후 보이는

깨끗한 눈 결정체가 얻어짐을 확인할 수 있다.[7]

a) 촬영영상 b) 배경영상 c) 차영상

[그림 7] 영상데이터 처리 결과 사진

[Fig. 7] Result of background images and image obtained and difference image

차영상의 히스토그램을 분석하여 흰색 픽셀은 곧 눈의 결정을 의미하므로 차영상의 눈 결정체

의 각 명도 값의 픽셀 분포도를 확인하였다.

a) 배경영상 히스토그램 b) 차영상 히스토그램

[그림 8] 차영상과 배경영상의 히스토그램

[Fig. 8] Histogram of background images and difference image

그림8의 (a)는 배경영상의 히스토그램 분포도를 (b)는 차영상의 히스토그램 분포도를 보인다. 그

림9에서 보이듯이 배경영상은 전체적으로 95 이상의 밝은 명도를 중심으로 분포되어 명도 199에서

가장 큰 3698픽셀 수를 갖고 있다. 반면 획득영상에서 배경영상을 제거한 차영상을 보면 눈 결정

체와 배경의 분리가 정확하게 이루어져서 흑색의 배경 부분과 흰색 눈 결정체 부분을 분할하여 확




실한 히스토그램 데이터를 확인하였다. 차영상은 소량의 흰색 눈 결정체 픽셀에 비해 검은색 배경

부분이 108225 픽셀로 분포되어 있어 흰색의 눈 결정체에 대한 히스토그램 데이터는 가시적으로는

확인하기 힘들다. 이에 각 픽셀 수를 출력하여 수치 데이터를 얻었다.[8] 또한 차영상의 눈 결정체

를 가장 확실히 유도하기 위해 다양한 임계 값을 설정하여 임계 값(60)을 기점으로 차영상의 이진

화 작업을 진행하였다. 그 중 임계값이 60인 시점이 차영상의 눈 결정체를 가장 잘 유도할 수 있

음을 확인하여 임계값을 60으로 차영상의 이진화 작업을 진행하였다. 다음 그림9의 (a)는 이진화

된 차영상을 그림9의 (b)는 기존의 차영상을 보인다. 차영상의 명도 값들의 분포에 따른 픽셀 수를

분석하여 정확한 눈의 결정을 구별하기 위해 60이하의 배경부분은 전부 검은색(0)으로 나타내고

60 이상의 눈 결정은 전부 흰색(1)으로 이진화 하였다.

a) 이진영상 b) 차영상

[그림 9] 차영상의 이진화 영상

[Fig. 9] Binary image of difference image

차영상의 명도 값에 따른 픽셀 수의 데이터를 분석한 결과 임계 값(60) 이후의 값이 존재 하므

로 스노우멜팅 시스템을 동작하기 위한 모든 조건을 충족하여 메인 제어장치에 시스템 on 신호를

전송한다. 한편 적설량을 파악하기 위해 히스토그램 데이터를 분석하여 영상내의 면적을 구하였다.

그림10b의 차영상이 350 × 467 (163450)의 픽셀로 구성되어 있고, 차영상 중 임계 값 60 이상의 픽

셀의합 으로 구할 수 있는 눈 결정체는 8279픽셀로 구성되어 있으므로 전체 픽셀에 대한 임계 값

이후 픽셀의 비율을 계산하여 차영상 에서 전체 픽셀대비 흰색의 눈 결정 픽셀의 비율로부터 적설

량은 약 5.1% 라는 것을 확인하였다. 위와 같은 방식으로 적설량을 분석하기 위해 추가적인 모의

실험을 진행하였다. 100% 검은색 배경영상에 지름이 같은 흰색의 원을 5개, 10개, 15개, 20개 순으

로 배치하여 적설량을 실험하였다. 차영상의 면적 계산 방식과 동일하게 히스토그램을 분석한 뒤

임계 값을 60으로 설정하여 이진화 하였다. 다음 그림 10는 그림(a)에서 그림(d)까지 원의 개수를

다르게 하여 동일배경에 배치시킨 영상 데이터를 나타낸다. 적설량 실험에서는 눈을 의미하는 원

의 개수(적설량)가 가장 큰 그림(d)을 기준(100%)으로 최고적설량을 가정하여 실험을 진행하였다.



[그림 10] 원의 개수에 따른 영상

[Fig. 10] Images according to the number of the circles

[표 1] 원의 개수에 따른 면적 및 비율

[Table. 1] Total Area and ratio according to the number of the circles

구분픽셀값 합계

(0~10)차 (0~10)

픽셀값 합계 (246~255)

비율 (246~255)

그림(a) 59564 808 25.1%

그림(b) 56661 2903 1602 49.8%

그림(c) 53759 2902 2435 75.6%

그림(d) 50831 2908 3219 100%

표1은 원의 수에 따른 픽셀수와 비율을 나타낸다. 그림(a)에서 그림(d)로 원의 수가 증가할수록

검은 배경부분의 픽셀 값이 일정한 차이를 유지하며 감소하는 것을 알 수 있다. 또한 최고 적설량

인 그림(d)를 기준으로 그림(c)와 그림(b), 그림(a)가 원의 수가 감소하는 것에 비례하여 일정한 비

율로 감소됨을 확인 할 수 있고 이를 통해 적설상태와 분포도를 계산할 수 있다.

5. 고찰

본 연구를 통해 기존의 스노우멜팅 시스템의 비효율성을 개선하고자 했다. 온습도 정보만으로

모든 기후 조건을 판단하여 시스템을 가동시키면 주변 환경으로 부터 기인된 미세한 온습도 변화

로 인해 실제 눈이 적설 되지 않은 환경에서도 불필요한 동작을 유발한다. 이에 풍속센서를 추가

하여 바람으로 인한 온습도의 변화를 추가적으로 감지하였다. 또한 실제 실외영상을 확보하여 차

영상 기법을 통해 획득영상에서 배경영상을 감하여 영상 내에 분포된 선명한 눈 결정체를 확보할

수 있었다. 또한 히스토그램을 분석을 통해 확보된 차영상의 명도에 따른 픽셀 분포도를 확인하였

으며 차영상의 히스토그램은 가시적으로는 확인하기 힘들어 임계값을 통한 영상의 이진화 작업을

진행 하였다. 그 결과 명도값별 수치 데이터를 얻었고 픽셀수 계산을 통해 적설량을 파악하였다.




6. 결론

기존 스노우멜팅 시스템은 온도가 영상3℃이하, 습도가 30% 이상 일 때 발열을 시작한다. 그러

나 온습도 조건에만 의지하여 강설상태를 판정하고 제설여부를 결정하므로 때에 따라 오동작으로

인한 손실이 발생한다. 이에 본 논문을 통해 개선된 스노우멜팅 시스템은 설정된 온도(영상3℃) 및

습도(30%) 값을 기반으로 풍속으로 인한 온습도의 변화 여부도 감지할 수 있었으며 쌓이는 눈의

이동여부도 확인할 수 있었다. 그러나 기후 조건들로 기인한 시스템은 여전히 정확한 강설상태 파

악에는 무리가 있었다. 이에 실외 영상데이터 처리부를 통해 실제 실외노면의 영상을 분석하여 눈

의 존재 여부를 확인하였다. 배경영상과 획득영상을 차영상 기법을 통해 분리하고 보다 정확한 눈

의 결정을 도출해 냈으며, 차영상의 히스토그램을 분석하여 수치화 데이터를 활용해 획득한 실외

노면 영상 내의 눈의 존재여부 또한 파악하였다. 더불어 실외 노면의 적설량을 계산하여 강설상태

를 종합 판단할 수 있다. 적설량의 판단 기준은 스노우멜팅 시스템이 설치된 환경 조건에 따라 5%

또는 10% 등 최적화된 시스템 동작을 위해 사용자 편의에 따라 적절히 설정이 가능하다. 이로서

개선된 스노우멜팅 시스템은 동작기준의 개선을 넘어 강설상태를 종합적으로 판단할 수 있다. 향

후 본 논문을 통해 제안된 스노우멜팅 시스템을 적용하여 기존 스노우멜팅 시스템의 오작동으로

인한 전력손실을 극복하고 효율성을 극대화 시킬 수 있다. 또한 눈의 적설량 파악이 가능하여 겨

울철 강설 데이터를 필요로 하는 시스템에도 활용될 수 있다.

References

[1] J.woo-chul and L.sueng-soo and P.joon-hoon, Editors, Outdoor winter snowfall and the road surface determining system for optimal snow melting system design. Proceedings of the Congress of Society Among Humanities, Sociology, Science, and Technology, (2015) October 16; Dae-Gu, Korea

[2] http://www.micropik.com/PDF/dht11.pdf/ , September 20 (2015)

[3] http://www.dfrobot.com/wiki/index.php/Wind_Speed_Sensor_Voltage_Type(0-5V)_SKU:SEN0170/ , September 19 (2015)

[4] https://www.raspberrypi.org/ , September 16 (2015)

[5] https://www.raspberrypi.org/documentation/hardware/camera.md/ , September 16 (2015)

[6] Robert Laganiere, Opencv computer vision application programming cookbook, Packt Publishers, Vol. 4 (2013)

[7] Dong-Hoon Im, Editor, Image process using opencv, Free academy Publishers, Korea (2014)

[8] Robert Laganiere, Opencv computer vision application programming cookbook, Packt Publishers, Vol. 4 (2013)

Documents

기술을 기반으로한 강설 영상처리에 의한 최적 스노우멜팅 시스템 설계journal.hsst.or.kr/DATA/pdf/v5_6_49.pdf · 여 센서데이터 처리부를 구성하고