13
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.8, No.11, November (2018), pp. 941-953 http://dx.doi.org/10.21742/AJMAHS.2018.11.84 ISSN: 2383-5281 AJMAHS Copyright 2018 HSST 941 라즈베리파이를 활용한 해충 인식 시스템 설계 김성진 1) , 이명훈 2) , 여현 3) Design of the Pest Recognition System using Raspberry Pi Seong-Jin Kim 1) , Meong-Hun Lee 2) , Hyun Yoe 3) 요 약 4차 산업혁명의 발달과 함께 농업에 최신 ICT기술을 도입하기 위한 많은 연구가 진행되고 있다. 그러나 노지농업의 경우 외부에서 작업하는 특성상 환경 제어가 힘들고 해충에 의한 질병이 가장 문 제가 되고 있다. 이러한 문제를 해결하기 위해 현재 IT페로몬 트랩을 사용하여 문제를 해결하고 있으 , 진단 결과가 전문가에게 전달되기까지는 매우 오래 걸리며 이를 진단하기까지 전문 노동력을 소 비하여 결과를 받을 수 있는 문제가 있다. 위의 문제점을 해결하기 위해 설치비용이 적게 드는 라즈 베리파이를 활용한 CNN기법을 통해 해충 이미지에서 해충의 개수를 파악하는 시스템을 제안하고자 한다. CNN분석을 위해해충이미지를 국가기관 및 구글 이미지에서 추출하였으며 실제 해충이 발생하 는 농가에 설치하여 추출한 이미지를 포함시켰다. 부족한 이미지는 8개의 방향으로 이미지를 회전시 켜 학습시키고 1차적으로 라즈베리에서 해충의 특징을 추출한 뒤 2차로 클라우드 서버에서 이미지를 통해 분석을 실시하는 시스템이다. 위의 방법을 사용함으로써 농민 해충의 생산성을 증대시키고, 문 조직의 선진 인력의 노동력을 감소시킬 것으로 기대된다. 핵심어 : 컨볼루션 뉴럴 네트워크, 해충 감지, 딥러닝, 라즈베리파이, 텐서플로우 Abstract With the development of the 4th industrial revolution, much research is underway to introduce the latest ICT technology in agriculture. In the case of the bare ground agriculture, however, it is difficult to control the environment in order to work from the outside, and diseases caused by pests are the most problematic. Currently, IT pheromone traps are being used by farmers to solve the above problems, but it takes a very long time to send the results to the experts to receive the diagnosis and the result of the action, which is Received(September 10, 2018), Review Result(September 29, 2018) Accepted(October 12, 2018), Published(November 30, 2018) 1 (PhD Candidate) 57922 Dept. of Information & Communication Engineering, Sunchon National Univ., 255, Jungang-ro, Sunchon, Korea email: [email protected] 2 (Researcher)54875 Dept. of Agricultural Engineering, National Institute of Agricultural Sciences, Jeonju, Korea email: [email protected] 3 (Professor, Corresponding Author) 57922 Dept. of Information & Communication Engineering, Sunchon National Univ., 255, Jungang-ro, Sunchon, Korea email: [email protected] * 본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 대학ICT연구센터육성 지원사업의 연구결과로 수 행되었음 (IITP-2018-2013-1-00877)

라즈베리파이를 활용한 해충 인식 시스템 설계journal.hsst.or.kr/DATA/pdf/v8_11_89.pdf · 핵심어 :컨볼루션 뉴럴 네트워크,해충 감지,딥러닝,라즈베리파이,텐서플로우

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.8, No.11, November (2018), pp. 941-953

http://dx.doi.org/10.21742/AJMAHS.2018.11.84

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2018 HSST 941

라즈베리파이를 활용한 해충 인식 시스템 설계

김성진1), 이명훈2), 여현3)

Design of the Pest Recognition System using Raspberry Pi

Seong-Jin Kim1), Meong-Hun Lee

2), Hyun Yoe

3)

요 약

4차 산업혁명의 발달과 함께 농업에 최신 ICT기술을 도입하기 위한 많은 연구가 진행되고 있다.

그러나 노지농업의 경우 외부에서 작업하는 특성상 환경 제어가 힘들고 해충에 의한 질병이 가장 문

제가 되고 있다. 이러한 문제를 해결하기 위해 현재 IT페로몬 트랩을 사용하여 문제를 해결하고 있으

나, 진단 결과가 전문가에게 전달되기까지는 매우 오래 걸리며 이를 진단하기까지 전문 노동력을 소

비하여 결과를 받을 수 있는 문제가 있다. 위의 문제점을 해결하기 위해 설치비용이 적게 드는 라즈

베리파이를 활용한 CNN기법을 통해 해충 이미지에서 해충의 개수를 파악하는 시스템을 제안하고자

한다. CNN분석을 위해해충이미지를 국가기관 및 구글 이미지에서 추출하였으며 실제 해충이 발생하

는 농가에 설치하여 추출한 이미지를 포함시켰다. 부족한 이미지는 8개의 방향으로 이미지를 회전시

켜 학습시키고 1차적으로 라즈베리에서 해충의 특징을 추출한 뒤 2차로 클라우드 서버에서 이미지를

통해 분석을 실시하는 시스템이다. 위의 방법을 사용함으로써 농민 해충의 생산성을 증대시키고, 전

문 조직의 선진 인력의 노동력을 감소시킬 것으로 기대된다.

핵심어 : 컨볼루션 뉴럴 네트워크, 해충 감지, 딥러닝, 라즈베리파이, 텐서플로우

Abstract

With the development of the 4th industrial revolution, much research is underway to introduce the latest

ICT technology in agriculture. In the case of the bare ground agriculture, however, it is difficult to control

the environment in order to work from the outside, and diseases caused by pests are the most problematic.

Currently, IT pheromone traps are being used by farmers to solve the above problems, but it takes a very

long time to send the results to the experts to receive the diagnosis and the result of the action, which is

Received(September 10, 2018), Review Result(September 29, 2018)

Accepted(October 12, 2018), Published(November 30, 2018)

1(PhD Candidate) 57922 Dept. of Information & Communication Engineering, Sunchon National Univ.,

255, Jungang-ro, Sunchon, Korea

email: [email protected](Researcher)54875 Dept. of Agricultural Engineering, National Institute of Agricultural Sciences,

Jeonju, Korea

email: [email protected](Professor, Corresponding Author) 57922 Dept. of Information & Communication Engineering,

Sunchon National Univ., 255, Jungang-ro, Sunchon, Korea

email: [email protected]

* 본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 대학ICT연구센터육성 지원사업의 연구결과로 수

행되었음 (IITP-2018-2013-1-00877)

Design of the Pest Recognition System using Raspberry Pi

Copyright ⓒ 2018 HSST942

problematic because of the high labor consumption. In order to solve the above problem, we try to

understand the number of insect pests by analyzing the image through the proposed CNN method by taking

pest image using Raspberry pie with low installation cost. For CNN analysis, pest images were extracted

from national organizations and Google images, and images were extracted from farms where actual pests

were generated. The insufficient pest image is a system that rotates the image in eight directions, first

extracts the characteristics of the pest from raspberry pi, and secondly analyzes the image through the

cloud server. By using the above method, it is expected that it will reduce productivity of pests of farmers

and increase the productivity and reduce the labor force of advanced manpower of professional

organizations.

Keywords : Convolution Neural Network, Pest Detection, Deep Learning, Raspberry Pi, TensorFlow

1. 서론

최근 세계시장에서는 4차 산업혁명에 대한 이슈가 매우 중요하게 대두되면서 ICT기술이 필요한

일반 산업에서도 많은 관심을 가지고 있다[1]. 특히 국내 농업에서는 ICT기술 도입이 많이 부족하

여 R&D연구는 많이 진행되어 있으나 실제 현장에서는 여러 가지 이유로 상용화가 되어 있지 않

는 상황이다[3,4]. 예를 들어, 외부 환경에 영향을 많은 받지 않는 온실의 경우 확실한 환경 변수가

정해져 있기에 많은 ICT 적용 기술이 도입 되어 있으나 노지 같은 외부환경 변화에 많은 영향을

끼치는 경우 ICT기술도입에 많은 어려움을 겪는다[5,6]. 특히, 외부에서 농사를 짓기 때문에 환경

문제 뿐만 아니라 해충에 대한 피해를 많이 받고 있는 추세이다. 해충 문제를 미리 예방하지 않는

다면 질병 및 병해에 대한 피해를 피하기 어렵다[7,8].

위와 같은 문제를 해결하기 위해 국가기관 및 농업관련 업체에서는 IT페로몬 트랩을 노지농가에

설치하여 해충을 수집하고 이를 장치에 설치된 카메라로 찍어서 각 지자체와 농촌진흥청에 데이터

를 전달하고 전문가 의견을 통해 분석하여 방제대책을 농가에 전달해 주는 방식을 사용하고 있다

[9]. 하지만 위와 같은 방식에 대한 문제점으로는 단순히 전문가 의견을 통한 정확한 판단이 어려

우며 진단 결과에 대한 시간이 오래 걸려서 초동조치가 매우 어려운 상황이다. 또한 실제 농가에

서는 IT페로몬 트랩과 같은 기술을 적용하는 점에 있어서 농가주가 직접 확인하여 처리하는 방식

을 고집하므로 IT페로몬을 설치하는 점에 있어서 비용적인 측면에 대해서 무시할 수 없는 문제가

있다[10,11].

본 논문에서는 위와 같은 문제를 해결하기 위해 일상생활에서 쉽게 구할 수 있으며 단가가 낮

은 라즈베리파이를 활용하여 해충의 이미지를 수집하고 이를 Inception-V3 기법을 활용하여 라즈

베리 자체 내에서 분석을 통해 해충의 개수를 파악할 수 있을 뿐만 아니라 결과를 농가 운영시스

템의 서버로 보냄으로써 분석을 실시하여 정확한 결과를 도출하여 사용자에게 알려주는 알고리즘

을 제안한다. 해충의 이미지를 분석하기 위해서는 많은 이미지데이터가 필요하지만 농진청에서 제

공되는 이미지와 실제 외부에서 수집한 해충이미지를 통해 알고리즘을 학습하고 부족한 데이터는

각 이미지를 변환하여 학습시켜 더욱 정확한 결과를 도출할 수 있도록 했다. 실험 결과 이미지 특

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.8, No.11, November (2018)

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2018 HSST 943

징을 추출하는 딥러닝의 Convolution Neural Network기법을 활용하지만 해충의 개수를 파악하는

시스템 특성상 이미지를 분석하는 부분에 있어서 큰 문제는 없었으며, 해충의 개수를 파악을 신속

히 함으로써 해충의 대한 피해를 최소화 할 수 있는 점에서 큰 효과를 볼 수 있을 것으로 기대된

다.

본 논문의 구성은 다음과 같다. 2장에서 본 논문의 연구와 관련된 관련연구에 대해 설명한 다음

3장에서 제안하는 시스템에 대한 구성과 프로세스에 대해 설명한다. 여기서 라즈베리파이를 활용

하여 해충인식을 하여 사용자에게 결과를 알려주기까지의 프로세스를 시작으로 해충 분석을 위한

Convolution Neural Network의 알고리즘을 설명하고 구현을 위한 데이터세트에 대해 서술한다.

그리고 4장에서는 제안한 시스템으로 실험한 결과를 실제 해충 이미지에서 파악한 개수와 함께 비

교하여 성능을 평가하고 5장에서 결론을 맺는다.

2. 관련연구

2.1 IT페로몬트랩[12]

IT페로몬트랩이란 다양한 해충을 유인하는 멀티형 페로몬 트랩을 설치하고 유인된 해충을 바이

오센서에 이은 원거리 통신망으로 온라인 모니터링 결과를 농업연구기관, 농업기술센터, 영농조합,

농업관련단체, 관리업체, 농장주 등 가능한 원하는 곳에 실시간 전송하여 상황에 맞는 빠른 방제

작업을 펼칠 수 있게 알려주는 시스템이다. 실제 위와 같은 시스템을 통해 기대효과로는 모니터링

예찰요원 인건비 절감, 실시간 상황에 맞춘 방제 경보시스템 가동, 해충피해 감소를 위한 적기방제

기술 구현, 방제시기 및 방법의 정확도 상승, 예찰비용 및 농약 사용량 감소 등이 있다. 하지만 위

와 같은 방법에는 많은 모순이 있다. 우선 촬영된 사진을 국가기관 및 농업관련단체 등으로 전송

하면서 사람이 직접 상황을 체크하고 이에 대한 방제 방법 및 현재 상황 등을 MMS형식의 문자로

전송하여 알려주는 방식으로 인건비 절감 및 실시간 상황에 맞춘 방제 경보 시스템에 대한 기대는

할 수 없는 것으로 알 수 있다. 실제 IT페로몬트랩을 사용하고 있는 농가 탐방한 결과 트랩의 사

용에 대한 불만의 내용이 늦은 대책 결과 알림 및 정확한 진단 결과가 오지 않는 점이었다. 실제

촬영 후 전송되는 이미지데이터를 사람들이 직접 눈으로 확인하면서 결과를 전송하기까지 실시간

으로 방제하기에는 소모되는 인력 및 시간이 많다고 할 수 있다.

Design of the Pest Recognition System using Raspberry Pi

Copyright ⓒ 2018 HSST944

[ 1] IT페로몬트랩에서 제공되는 IT해충예찰시스템

[Fig. 1] IT Pest Prediction System provided by IT Pheromone Trap

2.2 Going Deeper with Convolutions[13]

위 연구내용은 CNN(Convolution neural network) 분석 방법을 최적의 방법으로 제안한다.

CNN을 쉽게 사용할 수 있는 방식 및 하드웨어의 과부하를 줄이기 위해 기존의 한번 씩 특징을

추출하는 CNN 방식이 아닌 새로운 방법으로 분석을 실시한다. 일반 CNN기법은 하나의 영역에

집중된 많은 클러스터로 모일 것이고 다음 레이어의 1×1 Convolution 레이어로 커버할 수 있다.

그러나 더 큰 사이즈나 픽셀에 대해 Convolution으로 커버할 수 있는 공간적인 분산 클러스터가

부족하여 더 크고 더 큰 지역의 패치수가 줄어들 것이다. 위와 같은 기존 방법에는 패치 정렬 문

제를 피하기 위해 1×1, 3×3, 5×5 필터 크기로 제한된다. 이것은 분석 방법의 필요성 보다는 편의상

으로 이루어져 있어서 분석하는 레이어에 대한 비용이 많이 든다. 그래서 대안으로 병렬 풀링 경

로를 추가하는 것으로 한다. 그림 2의 2번째 그림을 보면 큰 픽셀크기의 이미지를 폴링 할 때 3×3,

5×5 컨볼루션으로 사용한다면 비싸기 때문에 그전에 1×1 컨볼루션으로 이미지의 픽셀의 감소하여

계산한다. 그렇게 사용한다면 비용적인 문제를 해결할 뿐만 아니라 이미지 분석을 최적화 시켜 더

욱 정확한 분석결과를 만들 수 있도록 하는 이중 목적으로 사용된다.

[그림 2] CNN의 초기모델인 Inception-V1

[Fig. 2] Inception-V1 structure of CNN early model.

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.8, No.11, November (2018)

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2018 HSST 945

위와 같은 방식은 Inception-v1 으로써 현재 가장 많이 사용되고 있는 방식으로는 Inception-v3

를 사용한다. Inception-v3는 Inception-v1방식에서 5x5 픽셀에 대한 비용을 줄이기 위해 3x3을 두

번 진행함으로써 Layer의 과부화를 좀 더 줄인 방식이다. 본 논문에서는 해충에 대한 개수를 파악

하기 위한 CNN기법을 사용하기 위함으로 시간이나 비용적으로 가장 최소화 하는 Inception-v3 모

델을 사용하는게 가장 적합하다.

[그림 3] Inception-V3의 구조

[Fig. 3] Structure of Inception-V3.

3. 라즈베리파이를 활용한 해충 인식 시스템

3.1 제안한 시스템 구성 및 프로세스

[그림 4] 라즈베리파이를 활용한 해충인식시스템 구성도

[Fig. 4] Structure of the Pest Recognition System using Raspberry Pi

Design of the Pest Recognition System using Raspberry Pi

Copyright ⓒ 2018 HSST946

본 논문에서 제안하는 시스템 구성도는 그림 4와 같다. 실제 화순에 위치한 화림농원에서 사용

중인 IT페로몬 트랩에서 이미지를 가져왔다. 이곳에서는 현재 국가에서 지원하는 IT페로몬트랩을

사용하면서 국가기관을 통해 수집된 데이터를 전송하고 결과에 대한 대처 방안을 MMS방식으로

지원받고 있다. 하지만 현재 상황으로는 실제로 농장주가 직접보고 판단하여 대처하는 방법이 더

욱 빠르게 할 수 있다고 한다. 데이터가 국가기관에서 전송되고 이에 대한 대처방안을 받는 기간

최소 1주일에서 길 때는 1개월 정도 걸린다고 한다. 그리고 ICT도입에 대한 선도농장으로 추천받

지 못하면 국가지원이 어려워 설치비용에 대해서도 많은 고민을 말해주었다.

본 논문에서는 트랩에 설치된 센서를 Raspberry-Pi3를 설치하고 카메라는 Raspberry-Pi Camera

V2를 통해 촬영한다. 그리고 Raspberry-Pi 자체에 소규모 TensorFlow를 설치하여 1차적으로 수집

된 이미지에 대해 분류를 한다. 그리고 수집된 데이터는 동시에 Google Cloud를 통해 Cloud

Server로 전송되고 더욱 큰 TensorFlow 신경망으로 상세한 분류를 수행한다. 위와 같은 진단 결과

는 Raspberry-Pi의 소규모 TensorFlow로 많은 해충이 생겼을 시 단순 알림 기능을 수행하며,

Cloud Server의 큰 TensorFlow를 통해 해충의 개수를 파악하여 전송된다.

[그림 5] 라즈베리파이를 활용한 해충인식시스템 프로세스

[Fig. 5] Process of the Pest Recognition System using Raspberry Pi

그림 5는 본 논문에서 제안하는 시스템의 프로세스이다. 먼저 현장 트랩에서 제공되는 이미지는

라즈베리파이 카메라를 통해 수집된다. 수집된 해충 관련 이미지 데이터는 운영DB와 해충DB에 각

각 저장되며 관리된다. 해충 DB에는 농진청 및 지난 연구기간동안 저장된 해충 이미지 데이터를

보관하고 있으며 CNN학습을 위한 학습데이터로 사용된다. 라즈베리파이는 이미지 데이터를 수집

하는 기능과 함께 소규모 Convolution Neural Network를 통해 1차적으로 분석한다. 이때 분석 방

법은 소규모 CNN을 통해 전처리방식으로 특징을 잡아내는 것보단 신속하게 이물질 여부를 파악

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.8, No.11, November (2018)

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2018 HSST 947

할 수 있도록 한다. 이때 해충이나 이물질 등 여러 가지가 특징이 잡히면 확인을 위해 사용자에게

알림을 전달한다. 위와 같은 정보는 Google Cloud를 통해 서버로 전송되어 대규모 CNN을 통해

분석된다. 이때 사용되는 CNN은 Inception-v3 모델을 사용하였으며 본 논문에서 제안하는 CNN

알고리즘은 다음 장에서 자세히 설명한다. Google Cloud에서 대규모 CNN 분석을 통해 나온 결과

는 해충에 대한 정확한 개수와 이물질을 분리하며 이에 대한 정보를 사용자에게 어플리케이션을

통해 알려준다. 해충에 대한 개수 파악은 해충피해를 초동조치하기 위한 가장 빨리 알 수 있는 방

식이다. 위와 같은 모든 데이터는 운영 DB 와 해충DB를 통해 저장되며 모든 정보는 국가기관 및

관련 업체에 제공하여 해충 피해에 대한 국가적 종합방제 대책의 기반을 마련할 수 있다.

3.2 제안한 CNN 알고리즘

본 논문에서는 라즈베리파이 보드에서 자체적으로 분석하는 소규모 CNN 방식과 Cloud Server

에서 분석하는 Linux 서버에서 실행되는 대규모 CNN방식으로 다뤄진다. 라즈베리파이에서 사용

되는 CNN방식은 TensorFlow에서 샘플 코드로 사용 중인 Deep MNIST for Expert를 사용한다.

기본적으로 제공되는 컨볼루션(convolution), 풀링(pooling) 및 최단 레이어(last layers)를 약간 수

정하여 트랩에 해충 및 이물질이 발견되면 사용자 어플리케이션을 통해 바로 알림을 해주는 기능

을 수행한다.

[그림 6] 제안된 대규모 Convolution Neural Network 알고리즘

[Fig. 6] The proposed large-scale Convolution Neural Network algorithm

그림 6은 본 논문에서 제안하는 대규모 Convolution Neural Network의 구조이다. Inception-v3

기반의 총 9개의 Layer로 구성되어 있지만 실제로 분석 때는 두 번째 Layer와 네 번째 Layer에

CV1, CV2라 하여 본 논문에서 제안하는 방식의 알고리즘을 사용하여 11개의 Layer로 분석된다.

CV1, CV2는 Layer의 부담과 시간을 단축시키기 위해 기존 Convolution layer를 중복 진행하여 이

미지 데이터의 화질을 낮추지만 해충의 개수를 파악하는 점에 대해서는 크게 문제가 되지 않는다.

Design of the Pest Recognition System using Raspberry Pi

Copyright ⓒ 2018 HSST948

제안하는 알고리즘의 방법은 처음 Input Image(128×128)에서 1×1, 5×5 Convolution layer를 통

해 특징을 추출하여 64×64사이즈의 6개의 특징 맵을 추출한다. 이를 Max Pooling(2×2)을 통해 사

이즈를 줄이고, 또다시 두 번의 Convolution layer(1×1, 5×5)를 통해 16×16사이즈의 16개의 특징

맵을 추출한다. 그렇게 추출된 이미지를 Max pooling(2×2)하여 8×8사이즈의 16개의 특징 맵을 추

출한 후 그중 120개를 선택하여 Fully connected layer에서 최종적으로 3개의 output Image 특징

맵을 추출한다. 마지막으로 추출된 Output Image는 확률 값으로 변경되어 가장 높은 이미지를 선

택하여 출력하게 된다.

3.3 데이터세트

데이터 세트 구성을 위해서 과수농가에서 가장 많이 발생되는 해충을 선별해야 한다. 우리가 실

제 농가에 트랩을 설치할 곳은 화순 화림농원의 복숭아 농장으로 가장 많이 발생하는 해충은 ‘복

숭아순나방(Grapholita)’이다. 복숭아순나방에 대한 이미지데이터는 화순농원의 트랩이미지와 농촌

진흥청에서 제공하는 국가농작물병해충관리시스템(NCPMS)을 통해 제공받는다. 복숭아순나방에 대

한 데이터는 총 300장으로 분석을 하기 위해서는 많이 부족하나 많은 데이터세트 구성을 위해 이

미지를 그림 7과 같이 4개의 각으로 나누고 좌우로 바꾸어 사용한다. 이렇게 하면 1개의 이미지에

8개의 이미지가 발생되어 충분한 이미지 데이터가 쌓이게 된다. 또한 여러 각도로 분석하므로 트

랩 이미지 분석에 더욱 정확한 결과를 예측할 수 있다.

[그림 7] 회전 해충 이미지 데이터의 예

[Fig. 7] Example of rotation of pest image data

이렇게 데이터세트를 구성하게 되면 트랩에서 제공되는 데이터 150개, 농촌진흥청 제공데이터

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.8, No.11, November (2018)

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2018 HSST 949

150개, 회전 이미지 데이터 1200개로 구성되어 총 1,500개의 이미지를 통해 학습하게 된다.

위 데이터 세트의 구성을 다음 표 1에서 간단하게 정리하여 보여준다.

SizeImage

(oriental fruit moth)

Trap Image - 150

Offer Image 128×128 150

Rotation Image 128×128 1,200

[표 1] 데이터 세트 구성

[Table. 1] Data Set Configuration

4. 구현결과

본 논문에서 제안하는 시스템의 구현은 Raspberry-pi3를 활용하여 해충의 이미지를 촬영하고 문

턱치 맵을 활용한 알림 기능과 해충 개수 파악에 대한 실제 이미지 데이터와 비교하여 정확도를

체크하였다.

실험을 진행하기 위한 Raspberry-pi3는 2016년 2월 출시되었으며 1.2GHz 64비트 CPU로 구동

된다. 위 Raspberry-pi3의 CPU는 Raspberry-pi2보다 50%정도 빠른 ARM Cortex-A53 쿼드 코어를

사용함으로써 이미지처리속도가 2배정도 빠르다. 또한 통합 Wi-Fi 및 블루투스 모듈 등 IoT 센서

와 연동이 가능 할 수 있도록 개발되어 있어서 딥러닝 실습을 진행하기에 매우 적합한 보드이다.

[그림 8] 라즈베리파이3의 센서 및 구성

[Fig. 8] Sensor and structure of Raspberry-pi3

딥러닝 학습을 위한 이미지 데이터의 해충의 종류는 가장 피해정도가 많은 복숭아순나방으로

Design of the Pest Recognition System using Raspberry Pi

Copyright ⓒ 2018 HSST950

중점을 두었으며 이미지 데이터는 농촌진흥청 NCPMS(National Crop Pest Management System)

와 실제 화순 화림농원의 트랩이미지에서 제공받았다. 제공받은 이미지에 대해서 해충 이미지를

라벨링한 후 4개의 각도와 좌우로 회전한 이미지를 만들어 총 1,500개의 이미지를 학습시켰다.

다음 그림 9는 라즈베리파이를 통해 1차적으로 분류된 개체 인식에 대한 알림 기능을 제공하기

위한 실험 결과이다.

[그림 9] 병해충이 없는 이미지데이터(a), (a)의 임계치 맵, 해충이 있는 이미지 데이터(c), (c)의 임계치 맵(d)

[Fig. 9] Image data without pests,(a), image data using a threshold map of (a)(b), Image data with pests(c), image

data using a threshold map of (c)(d).

그림 9(a)와 그림 9(c)의 경우 실제 트랩이미지를 촬영한 것으로 아무것도 없는 트랩과 해충이

있는 트랩을 비교하였다. 이때 문턱치 맵을 통해 그림 9(b)와 그림 9(d)를 나타내며 반사되는 정도

에 설정 값을 통해 사용자 어플리케이션으로 해충 발생 알림을 제공한다.

위와 같이 라즈베리파이를 통해 분석된 1차 이미지 데이터를 Cloud Server에서 세심하게 분석

된다. 다음 그림 10은 Cloud Server에서 대규모 CNN으로 분석된 이미지 결과이다.

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.8, No.11, November (2018)

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2018 HSST 951

[그림 10] 해충 이동으로 인한 잔해물 인식 결과(a), CV1와 CV2를 사용한 임계 값 결과(b), 실험 결과(c)

[Fig. 10] The results of the debris recognition due to pest movement (a), Threshold map results using

CV1 and CV2 (b), Experimental results (c)

Design of the Pest Recognition System using Raspberry Pi

Copyright ⓒ 2018 HSST952

그림 10(a)에서 보면 해충이 트랩에서 해충이 죽으면서 움직이는 잔해물에 의해 CNN분석이 어

렵다. 하지만 그림 10(b)의 경우 CV1, CV2 방식으로 중복으로 Convolution Layer을 진행함으로써

해상도를 낮춰 잔해물에 대한 인식을 줄이고 정확하지는 않지만 해충에 대한 인식을 높임으로 개

수를 파악하기에는 문제가 없는 결과가 나왔다.

실제 해충의 이미지 개수를 파악한 결과 33마리가 트랩을 통해 죽어있으며, CNN을 통한 분석

결과 31마리가 인식되어 총 94%의 정확도를 보여주고 있다.

5. 결론

본 논문에서는 라즈베리파이를 활용하여 트랩을 설계하고 이를 통해 실제 해충의 개수를 파악

하여 사용자에게 알려주는 시스템을 제작하였다. 실제 현장 농가에서 트랩을 사용하기에는 설치비

용에 대한 부담과 함께 해충 인식결과에 대한 늦은 답변으로 해충피해를 줄이기에 효과를 보지 못

하고 있다. 이러한 문제를 해결하기 위해 본 논문에서는 라즈베리파이를 활용하여 트랩의 설치

비용을 감소시키고 이에 대한 성능을 최대한 활용하기 위해 딥러닝 기술을 사용하여 이미지를 분

석하였다.

기존 CNN 방식에서는 큰 사이즈의 이미지에서 특징을 추출하는 방식이 비용이 많이 들고 부담

이 되는 점을 고려하여 본 논문에서는 Convolution layer 계층을 반복 진행함으로써 이미지의 픽

셀을 줄이고, Layer수를 늘리면서 정확한 결과를 도출할 수 있도록 하였다. 또한 이미지 데이터 세

트 구성 시 데이터가 부족한 해충이미지를 4개의 각으로 회전하고 좌우로 회전하여 데이터를 늘리

면서 정확한 결과를 도출 할 수 있도록 하였다.

구현결과 라즈베리파이를 활용하여 해충 이미지 개수를 파악하는 정확도가 총 94%로 매우 높게

나왔으며 실제 상용화를 시키더라도 큰 문제가 없는 수치이다. 이를 통해 기존 사용하던 IT페로몬

트랩의 이미지를 활용하는 면에서 이미지를 분석하고 개수를 세주는 국가기관 및 연구기관의 인력

소모를 감소시킬 수 있으며, 사용자의 빠른 방제대책으로 해충에 대한 피해를 줄여 농가의 생산성

및 소득 증대를 기대할 수 있다. 이 연구를 기반으로 더욱 많은 데이터 수집을 통해 해충 분류 뿐

만 아니라 해충의 종류까지 파악할 수 있도록 연구 방향을 도출할 예정이다.

References

[1] T.W. Kim, T.K. Cho, “Object Segmentation for Detection of Moths in the Pheromone Trap Images,“ Journal

of the Korea Academia-Industrial cooperation Society (2017), Vol. No.18, pp. 157-163.

[2] K.B. Kim, H.C. Choi, J.H. Oh, S.J. Yoo, D.G. Han. “Recognition for Plant Disease Using Deep Learning,”

THE INSTITUTE OF ELECTRONICS ENGINEERS OF KOREA (2016), pp.1774-1777.

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.8, No.11, November (2018)

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2018 HSST 953

[3] Y.G. Kim, S.C. Jeong, Y. Kim, Y.T. Lee, “Real-time monitoring of oriental fruit moth, Grapholita molesta,

populations using a remote sensing pheromone trap in apple orchards,” Journal of Asia-Pacific Entomology

(2011), Vol.14, No.3 pp.259-262.

[4] Y.K. Hong, T.W. Kim, “Estimation of Populations of Moth Using Object Segmentation and an SVM

Classifier,“ Journal of the Korea Academia-Industrial cooperation Society (2017), Vol. 18, No. 11 pp.

705-710.

[5] H.O. Kim, J.M. Yeom, “A Study on Object-Based Image Analysis Methods for Land Cover Classification in

Agricultural Areas,“ Journal of the Korean Association of Geographic Information Studies (2012), Vol.15,

No.4, pp. 26-41.

[6] J.Y. Kim, “Introduction to Google TensorFlow,“ The Korean Society Of Computer And Information (2015),

Vol.23, No.2, pp.9-15.

[7] Y.K. Kim, S.Y. Seo, Y.T. Lee, T.I. Koo, Y. Kim, M.W. Choi, et al. “Apple Moth Monitoring System

Using IT-Pheromone Trap : Development of Remote Communication System,“ 11-1541000-001025-01,

108017-3, An Dong University, Ministry of Agriculture, Food and Rural Affairs (2011).

[8] S.I. Lee, K.H. Nam, J.M. Jung, “Implementation of handwritten digit recognition CNN structure using

GPGPU and Combined Layer,“ The Journal of the Convergence on Culture Technology (JCCT) (2017), Vol.

3, No. 4, pp.165-169.

[9] S.J. Kim, H. Yoe, “Design of Deep Learning Based Injurious insect Prediction System in Fruit tree

Environment.” Korean Institute of Communication Sciences (2017), pp.96-97.

[10] National Crop Pest Management System (http://ncpms.rda.go.kr/npms/Main.np).

[11] W. Ding, G. Taylor. “Automatic moth detection from trap images for pest management,” Computers and

Electronics in Agriculture (2016), Vol. No.123, pp. 17-28.

[12] Timely customized pest control with IT pheromone trap(2013).

http://blog.naver.com/PostView.nhn?blogId=dper2000&logNo=220918372059, Jan 23, (2017).

[13] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, et al. “Going Deeper with Convolutions,”

IEEE Advancing Technology for Humanity(2015), pp.1-9.

[14] TensorFlow System, http://www.tensorflow.org/