植物土壌水分量の監視アプリと、画像解説アプリの試作とデモ · •1990年代、インターネット技術とWebシステム構築に取り組み始める

1Copyright © 2019 BRIDGE Corporation All rights reserved.BRIDGE Confidential

植物土壌水分量の監視アプリと、画像解説アプリの試作とデモ

～カメラ入力×深層学習×ラズパイの活用～

2019/7/25

株式会社ブリッジ石井俊輔継枝由希子

EVF 2019


目次

1.株式会社ブリッジについて

2.技術研究会活動について

3.技術研究活動の成果(1)– カメラ入力による植物土壌水分量の監視

4.技術研究活動の成果(2)– 画像を文章で解説するアプリケーション

5.まとめ


目次





5.まとめ


株式会社ブリッジについて


• 1974年7月18日、オフコン向け事務システム構築ビジネスで創業• 1980年代、WS/PC登場と共に、その日本語化に貢献

– 1986年日本初のUnix WS用DTPシステムPublissを開発、トップシェア獲得！– 1986年 A社と日本語システムを開発、仮名漢字変換や日本語フォントをOEM提供– M社にも間接的に日本語TrueTypeフォントのベース技術を提供

• 1988年 (株)エクサ(旧NK-EXA)と資本提携、1997年完全子会社になる

• 1990年代、インターネット技術とWebシステム構築に取り組み始める– 1993年にIPアドレス・ドメイン名登録、村井純先生のWIDE研究プロジェクトに参加– 1995年 Java登場と共に同技術に着目し、アプリ開発、オブジェクト指向設計に集中

• 現在、クラウドやインターネット応用技術開発、オープン系のシステム構築等を主な業務とし、札幌ニアショアビジネスを展開– EXA様向けBPOでも貢献– 技術研究会活動を推進、例年北海道OSCにて成果発表（本日、一部をご紹介）

株式会社ブリッジの沿革


2019年7月18日、創立45周年を迎えました


株式会社ブリッジのロケーション紹介

北海道庁（北へ徒歩3分）

大通公園（南へ徒歩2分）

時計台（東へ徒歩7分）

ブリッジオフィスは札幌カープビル4階

すすき野はこの南の先

札幌駅は北へ徒歩10分


目次


2.技術研究活動について



5.まとめ


•㈱ブリッジでは、『先端技術の研究』へ取り組んでいます

•活動成果は「オープンソースカンファレンス北海道」へ出展しています– このカンファレンスで弊社の活動を知る就活学生も出てきています

技術研究活動への取り組みについて

•本セッションでは「オープンソースカンファレンス２０１９」にて展示した、深層学習応用のアプリケーションを2つご紹介します


目次目次





5.まとめ


カメラによる植物土壌水分量の監視機能

◇機能

カメラにより定期的に植物画像（写真）を取得

⇒ TensorFlow/画像解析により水分量を判定し、

水分不足を検知したらユーザへ通知

Webブラウザで実時間モニタリングが可能

監視制御・通知IFは、Slackで実現(SlackBot API を利用)

カメラはセンサーのような腐食や劣化を防ぎやすい

カメラ入力により土壌水分量を定期/実時間監視


システム構成の概要システム構成の概要

jsmpeg

APP

乾いたよ

制御・通知(Slack BOT)

Mobile Net v2

事前学習

モニタリング(HTML)

Google Colaboratory

python 3.6

Slack


利用要素技術の一覧


アプリ制御の仕組み（起動と終了）

◇Slack Bot API によりアプリを起動/終了

Slackからラズパイへメッセージを送信

Slack BOT API


カメラからの植物土壌の画像取得

◇Raspberry Pi のカメラモジュールを利用して、定期的に画像を取得

5秒置きに、カメラモジュールのFunctionを呼び出し、植物土壌の写真を撮影


土壌水分量の検知方法と判定

学習データとして「湿った土の画像」を用意

カメラモジュールで保存された写真を取得

Scikit-learn の LOF（Local Outlier Factor）を利用し、土壌が乾いているかどうかを判定


scikit-learn

Pythonの代表的な機械学習ライブラリ

オープンソースで公開されており無償利用が可能

多くの機械学習アルゴリズムが実装されている

土壌水分量の判定利用技術

LOF (Local Outlier Factor)

外れ検知アルゴリズムのひとつ

実務に耐えうる検知性能とシンプルな実装が魅力


土壌水分量の学習モデル

学習モデルに MobileNet V2 を利用

⇒ ラズパイにダウンロードしておき、起動時にロード

⇒ ラズパイ内部にて判定

湿った土の画像を 2000枚用意し、学習データとした

⇒ 学習環境として Google Colaboratory を利用


MobileNet

Googleが2017年（V1）と2018年（V2）に発表

利点：

•モデルのサイズが小さい

•計算量が少ない（アプリの処理待ちが短い）

•メモリが少なくて済む

モバイル端末でも深層学習可能な性能が確保できる

深層学習のコストを削減するMobileNet

参考URL：https://ai.googleblog.com/2018/04/mobilenetv2-next-generation-of-on.html


Google Colaboratory

Google が提供している無償のデータ分析環境

（Jupyter Notebook 環境）

機械学習の教育・研究を目的としており、基本的な環境構築が設定済みの状態で提供される

無料で GPU の利用が可能

データ分析利用技術

参考URL：https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja


植物土壌状態モニタリングの利用技術

Rasberry PI 上に Webサーバを構築

JavaScriptによるMPEG1デコーダーjsmpeg を利用し、カメラモジュールの映像をストリーミングで表示

スクリーンショットから求めたスコアを重ねて表示

http.serverWebSocket


植物土壌状態の異常時通知

土壌の異常を検知したら Slack Bot API を利用して通知


異常を検知したら、自動的に灌水

ラズパイ

カメラ

リレーモジュール

ポンプ

電池(ポンプ用)


デモ


カメラによる植物土壌監視の考察

◇開発工数１５人日程度で構築

◇なぜ湿度センサーではなくカメラなのか手軽（安価）に検知するための仕組みを考察

土壌湿度センサーは腐食するため、長期間利用できない

カメラは移動しながら撮影可能

⇒ランニングコストが低い

◇スコアを効果的に計測するための工夫数値が安定するまでに時間がかかるため複数回の計測値で判定

暗いと濡れていると判定されるため、明るさが必要

学習に利用した土の形状と異なる場合、判定精度が悪い

→ 学習データには土の形状も重要


今後の展開

◇農業関連のシステムへの応用

各種センサーとの組み合わせによる機能拡張（土壌成分測定など）

◇異常検知の応用

学習画像を変えることにより、他分野への応用が可能

•製品の検品

•道路のひびわれ検知

•果物・野菜のランク分け


目次





5.まとめ


画像を文章で解説するアプリ

画像を文章で解説するアプリ～深層学習(Deep Learning)の応用～

◇機能

読み込んだ画像を解析し、解説文を生成

画像とキャプションのセットで学習モデルを構築

学習モデルを利用して、読み込んだ画像を解析

⇒ キャプションの単語を組み合わせて、解説文を生成する


アプリの処理の流れ

事前学習

ひまわりと空の写真


利用技術一覧


アプリケーションフレームワーク紹介

ＪＳＰの代替となることを目指し設計されたテンプレートエンジン

HTMLの文法に従ってテンプレートを記述することが可能HTMLの他, XML, JavaScript, CSS, プレーンテキストも処理可能

スタンドアロンな Springアプリケーションを作成するフレームワークＷｅｂコンテナを内包しjarファイル単体でWebアプリケーションを実行可能Spring構成を自動化する仕組みが提供されており、高速開発が可能


「画像認識～文章生成」の利用技術

◇学習データMS COCO および STAIR Captions より、学習データ（画像＋キャプション）を入手

入手したデータを用い Google Colaboratory にて学習

STAIR Captions


画像と文章の特徴量の抽出と結合

◇学習モデル

1. 画像の特徴量を抽出

2. 文章の特徴量を抽出

3．1 と 2 を結合し、画像の特徴量と文章の特徴量を学習 (CNN+LSTM)


学習モデルの精度検証機能

学習モデルの精度を検証するため、異なるモデルによる結果を、アプリ上で比較可能とした

学習データ＝「２０００枚」と「８０００枚」のモデルを用意し、アプリ上で比較


デモ

？


開発の振り返り

◇学習モデルの作成には時間が掛かる

アプリケーションの実装：１０人日

学習モデルの作成

• ２０００枚分学習モデル作成… 1週間（学習時間: 2000枚で約35時間（GPU環境下））


今後の展開

◇精度向上に関する研究

学習量の多さだけでは、精度向上できない

⇒ どのようなアプローチが有効か研究を進める

◇様々な入力データの研究

自然言語認識,画像認識は実績あり、引き続き、音声認識・動画認識に取り組む


目次





5.まとめ


深層学習研究の先に目指すもの

◇ブリッジでは、昨年より『深層学習』の応用に取り組んでおります

その先に、

「深層学習を利用した独自サービス」

の開発・展開を狙っています


おわりに

◇私たちは、深層学習以外の新たな技術にも積極的に挑戦しております。札幌より「最新技術の架け橋」となるべく、技術力の向上に努めております。

◇新たなるテーマなどでお困りの際には、お気軽に弊社へお声がけいただけると幸いです。


ぜひ、札幌オフィスにお立ち寄り下さい！

時計台やすすき野もほど近くです！


ご清聴ありがとうございました

Documents

植物土壌水分量の監視アプリと、 画像解説アプリの試作とデモ · •1990年代、インターネット技術とWebシステム構築に取り組み始める

植物土壌水分量の監視アプリと、画像解説アプリの試作とデモ · •1990年代、インターネット技術とWebシステム構築に取り組み始める