Deep Learning Lab Kick OffJune 19, 2017

株式会社Preferred Networks

取締役 最高執行責任者 長谷川 順一

Preferred Networks, Inc. (PFN)

設 立：2014年3月

所在地：東京都千代田区大手町（日本）、カリフォルニア州サンマテオ（米国）

取締役：西川徹、岡野原大輔、長谷川順一

出資者：NTT（2014年）、Fanuc（2015年）、Toyota（2015年）

ミッション：IoT時代に向けた新しいコンピュータを創造する

あらゆるモノに知能をもたせ、分散知能を実現する

事業内容: IoT（Internet of Things） + 分散機械学習

交通システム

産業用ロボット

バイオヘルスケア

2

Our Strategic Partners and Collaborators

Chainer : ディープラーニングフレームワーク

4

✓ Pythonプログラムで自由にネットワーク記述可能

✓ 最新の深層学習の様々なアルゴリズムをネイティブにサポート

✓ データごとにオンデマンドでのネットワーク構築が可能

✓ マルチGPU対応(Model Parallel / Data Parallel)

✓ 2015年6月の公開以降，産業界，研究界で広く使われている

強化学習深層強化学習

異常検知

マルチモーダル

・

センサーフュージョン

アルゴリズム

ストリーミングデータ解析

ディープラーニング開発・実行環境

学習データ作成アノテーション

GUIカメラ管理

映像解析検出・分類再照合外観検査

Deep Intelligence in Motion（DIMo、ダイモ）PFNの研究成果をパッケージ化したプロダクト

ツール

フロアマップ連携

PFNのプロダクトDIMo の全体像

Microsoft ✕ Preferred Networks

Microsoft とPFNの提携内容

テクノロジー

Chainer / ChainerMN（Multi Node）のAzureへの展開

Azure Template の提供

Chainer on SQL

Azure AI Batch サービスのchainer対応

Chainer on Windows 対応

人材育成

深層学習人材の育成

３年間で５万人へのトレーニングの提供を目標

マーケティング

DIMo on Azure の展開

Deep Learning Lab の運営

Azure ✕ DIMo Enterprise Grade Deep Learning Solution

監視カメラ人再照合

製造ライン外観検査

機器故障予測

ユーティリティ需要予測

ロジ最適化

監視カメラ人物分析

画像物体検知

(segmentasion)

センサーデータ異常予測

自動彩色ロボット自動制御

DIMoによるPoC

画像解析

セグメンテーション

外観検査

異常検知

数値予測

強化学習

パラメータ最適化

案件のアセスメント → PoC → パイロット運用 → 本番運用 → モデルの評価・更新

DIMo on Azure を扱えるパートナーを増やしていきます

Deep Intelligence in Motion各種パッケージ紹介

齋藤 俊太

Researcher at Preferred Networks

DIMo 再照合機能：同じ人物の特徴を検出

NTT Com 3月30日プレスリリース: DIMo 再照合機能を活用中

人工知能(AI)を活用した映像解析技術により複数カメラを跨いだ不審者検出・追跡を高い精度で実現～ALSOKと連携した実証実験に成功～

DIMo 異常検知（故障予測）パッケージ 概要

正常時 異常時

時系列の数値データから、そのデータの時間的な経過による異常を検知する機能

【学習処理】• そのデータの正常時の波形

を一定時間分投入• 正常時の波形を学習するた

め、異常データが学習の際には必要ない

• ※実際に異常が発見できるか検証するために異常データ自体は少数は必要

【判定処理】• 学習した波形データの続き

のデータを投入すると、異常度スコアが出力される

● フロントエンドUI

● ヒト映像解析結果の確認表示

● 認識モデル・カメラ・マップの管理

● アノテーションツール

● Webブラウザ上で正解データ作成

● 外部企業経由で作業者に作業発注が可能

● 画像認識ライブラリ

● ヒト検出＆追跡（全身ベース）

● ディープラーニングによる属性認識

stream query engine

機械学習ディープラーニングDIMov1.0機能別

ライブラリ

画像認識

検出/追跡/認識

アノテーション

Hawk環境クラウドソーシング

映像解析パッケージ

アノテーションツール ヒト検出・認識結果Web GUIで設定を一括管理

DIMo 映像解析パッケージ 概要

デモ：https://www.youtube.com/watch?v=blMaZPEA5rA

DIMo on Azure

現在、より簡単にDIMoを利用開始できるよう

Azureで環境構築済みのものを提供予定

（DIMoはオンプレで学習・実行環境を作ることも可能）

Chainerの特徴と発展Azureとの連携

齋藤 俊太

Researcher at Preferred Networks

深層学習フレームワークChainer

• ニューラルネットワークの設計・学習・評価等、深層学習を用いた研究開発に必要となる一連の機能を提供

Popularity Growth

Define-by-Run

# 構築

x = Variable(‘x’)

y = Variable(‘y’)

z = x + 2 * y

# 評価

for xi, yi in data:

eval(z, (xi, yi))

# 構築と評価が同時

for xi, yi in data:

x = Variable(xi)

y = Variable(yi)

z = x + 2 * y

データを見ながら違う処理をしてもよい

Define-and-Run Define-by-Run

Chainer v2.0.0大幅なメモリ消費量削減、ユーザフィードバックを反映しAPIを整理

https://cupy.chainer.org

https://chainer.org

Chainer on Windows: インストール手順

Windowsでの導入をより簡単にするための作業が進行中

（ビルド済みのバイナリを配布を検討中）

1. Install Visual C++ 2015 Build Toolshttp://landinghub.visualstudio.com/visual-cpp-build-tools

2. Install CUDA Toolkit 8.0https://developer.nvidia.com/cuda-downloads

3. Install cuDNN v6.0 Library for Windows 10https://developer.nvidia.com/rdp/cudnn-downloadPut all files under C:¥Program Files¥NVIDIA GPU Computing Toolkit¥CUDA¥v8.0

4. Install Anaconda 4.3.1 Python 3.6 or 2.7https://www.continuum.io/downloads

5. Add environmental variables- Add “C:¥Program Files (x86)¥Microsoft Visual Studio 14.0¥VC¥bin” to PATH variable- Add “C:¥Program Files (x86)¥Windows Kits¥10¥Include¥10.0.10240.0¥ucrt” to INCLUDE variable

6. Install Chainer on Anaconda Prompt> pip install chainer

Chainer on Azure

Data Science VMに CuPy + Chainer をプリインストール予定

Data Science Virtual Machineを用いると現在でも簡単にChainerを使い始められます！

ログイン後、 “pip install –user cupy”, “pip install –user chainer” の2コマンドでインストール完了。GPUを用いた深層学習が開始できます。

Chainerの追加パッケージ分散深層学習・深層強化学習・コンピュータビジョン

ChainerMN: 分散深層学習用追加パッケージ

高いスケーラビリティ（128GPUで100倍の高速化）

ChainerRL: 深層強化学習ライブラリ

DQN, DDPG, A3C, ACER, NSQ, PCL, etc. OpenAI Gym サポート

ChainerCV: 画像認識アルゴリズム・データセットラッパーを提供

Faster R-CNN, Single Shot Multibox Detector (SSD), SegNet, etc.

MN

RL

CV

分散学習

強化学習

画像認識

ChainerMN: Multi-nodeChainerの使いやすさはそのままに、複数GPU、複数ノード安協で高速に学習することができる

GPU

GPU

InfiniBand

GPU

GPU

InfiniBand

ChainerMNによる分散深層学習128GPUsを使っておよそ100倍の高速化に成功

他フレームワークと比較しても高速ImageNetデータセットにてResNet-50モデルを100エポック学習するのに要した時間による比較

ChainerMNによる分散深層学習128GPUsを使っておよそ100倍の高速化に成功

How about on Azure?

高いスケールアウト性能をAzure上で実現

1

10

100

1 2 4 8 16 32 64

Sp

eed

up

(ti

mes)

Number of GPUs

ChainerMN on Azure (K80, batchsize=32, InfiniBand)

ResNet50 on ImageNet

Ideal speedup

ChainerMNクラスタセットアップのためのARM (Azure Resource Manager) Templateを公開予定