View
19.367
Download
7
Category
Preview:
Citation preview
2値化CNNなDQNをFPGAで動かしてみた
中原 啓貴東京⼯業⼤学
1
⾃⼰紹介• Hiroki Nakahara (中原 啓貴)• 36歳 (若⼿…︖)• JK@⽇本⼀モテない⼤学の教員• FPGA/ディープラーニングは⽣活の糧• FPGAは専⾨ではありません
(HDLを書くようになったのは学位を取ってから, ⾼位合成を始めたのは去年)• 多値論理と論理関数の複雑度が専⾨
2
Custom Computing Machine
3
Multi‐valued logic Pattern matching circuit• Regular expressionmatching circuit
• Packet classifier• IP address look‐up
40m
Radio telescopeDeep neural network
今⽇のお話
4Source: TensorFlow Tutorial, Strata NYC, 2016
FPGAも仲間に⼊れて︕
今回の前提• 学習済みニューラルネットワークをFPGAに組込む話
5
FPGA?• Field(現場で)• Programmable(書き換えができる)
• Gate(論理ゲートの)• Array(集合体)
6
PCIに刺してGPUの代わりにアクセラレータ (Altera社)
指先よりも小さいよ！(Lattice社)
ラズパイにのっけて高速化(Xilinx社)
iPhone7にも！！
FPGA=その場でプログラム︕
7
某国民的ゲーム機に
Ubuntuが走るよ
Arduino(ATMEGA)を乗せてみました
電波望遠鏡用の信号処理装置
FPGAの基本的な構造
8
SB SB SB SB
SB SB SB SB
SB SB SB SB
SB SB SB SB
LUT LUT LUT
LUT LUT LUT
LUT LUT LUT
IO IO IO IO IO IO
IO IO IO IO IO IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
Look-UpTable (LUT)
I/O Block
Channels
Switch Blocks
LUTを使った論理ゲートの実現x0 x1 x2 y0 0 0 00 0 1 00 1 0 00 1 1 01 0 0 01 0 1 01 1 0 01 1 1 1
x0 x1 x2 y0 0 0 00 0 1 10 1 0 10 1 1 11 0 0 11 0 1 11 1 0 11 1 1 1
LUTの出⼒を書き換えて様々な論理ゲートを実現
ChannelとSwitch Block
LUTどちらもトランジスタのスイッチ
Programmable=メモリ書き換え
11
SB SB SB SB
SB SB SB SB
SB SB SB SB
SB SB SB SB
LUT LUT LUT
LUT LUT LUT
LUT LUT LUT
IO IO IO IO IO IO
IO IO IO IO IO IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
IO
FPGAの対象=論理回路
12
module hoge(input a, b, c;output d);
assign d = (a & b) | c;
endmodule
Xilinx社
Altera社
実現したい論理回路をハードウェア記述⾔語で書く(Verilog HDL/ VHDL)
FPGAベンダーが提供するCADツールでビットストリームに合成する
FPGAにビットストリームを送信して回路が実現︕
ギャップ…
13
module hoge(input a, b, c;output d);
assign d = (a & b) | c;
endmodule
実現したい論理回路をハードウェア記述⾔語でもっっっっっっっっっっのすごーく⼤量のHDLで書く(Verilog HDL/ VHDL)
Y = X.dot(W)+B
学習したディイイイプなニューラルネットワークの⾏列演算をあっさり１⾏で書いてしまう
⾏列演算を例に
14
Y = X.dot(W)+Bビヘイビア→データフロー→FSM→ハードウェア
ここまでやってようやくHDLのコーディング
まずは⾏列の計算
15
Cとかだとループを回して完了！
データパスを書きましょう
16データの入出力をすべて展開して書く
スケジューリングしましょう
17今回はMAC演算器を使いまわす設計に(MAC: Multiply-ACcumulation)
一気に並列演算だと
完全に逐次処理だと
状態遷移図を起こしましょう
18
S0を実行しようとしたら、まずw00とw10を読み出して、、次に、積和演算を実行っと…
状態遷移図を書いた︕
19
と思ったら
20
積和演算中に次の重みを読み込んでもよくね…？ 依存関係のない処理を
同じ状態に押し込む！↓各状態に符号を割り当て
FSMをハードウェアに落とし込んで…
21
メモリや乗算器に割り当てましょう
22
制御部
データパス部
HDLに起こした結果どうしてこうなった
23
Y = X.dot(W)+B
C/C++: 10⾏
Python: 1⾏
Verilog-HDL: 66⾏
ということで、スケジューリングに…
24
パトラッシュ、、僕は疲れたよ、、、
さらに検証が加わると地獄ですよ
25
シミュレーション波形とデータシートを見比べながら永遠と続く…
どうしよう…
26
実現したい論理回路をハードウェア記述⾔語でもっっっっっっっっっっのすごーく⼤量のHDLで書く(Verilog HDL/ VHDL)
Y = X.dot(W)+B
学習したディイイイプなニューラルネットワークの⾏列演算をあっさり１⾏で書いてしまう
ということでHigh-Level Synthesis (HLS)• C/C++が⼀般的な⼊⼒• ファミコンを1週間で作ったよ• 2値化Neural netを1か⽉で作ったよ短TATというFPGAのメリットを引き出す
27
⾼位合成のフロー(従来はこれをすべて⼈⼿で⾏っていた)
28
Input Behavioral Spec. Dataflow Scheduling Data‐path generation
Controller (FSM) GenerationMapping to resources
(Binding)
RTL(HDL)達⼈ v.s HLS達⼈
29J. Cong et. al, “High‐level synthesis for FPGAs: From prototyping to deployment,” IEEE Trans. on CAD, 2011.
Deep Convolutional Neural NetworkのHLS実装• 依存性のない7重ループの最適化→⾼位合成でも最適化しやすい
...
...
120 nodes10 nodes
16 F. maps5x5
16 F. maps10x10
6 F. maps14x14
6 Feature maps28x28Gray scale
image32x32
5x52x2
5x52x2 5x5
1 2 12 4 21 2 1
①
②
③
④
⑤⑥
⑦
あともう少し…
31
⾏列演算ライブラリの中⾝をC/C++で書くただし、HDLよりは抽象的(演算器スケジューリング・
FSMは不要)
Y = X.dot(W)+B
⾏列演算をあっさり１⾏で
Y=0;for(i=0; i < m; i++){for( j = 0; j < n; j++){Y += X[i][j]*W[j][i];}}
⾼位合成ツールがHDLを吐いてくれるので従来のフローを通してFPGAに実現できる
今回作ったもの
32
⾏列演算ライブラリの中⾝をC/C++で書くただし、HDLよりは抽象的(演算器スケジューリング・
FSMは不要)
Y = X.dot(W)+bias
ディープニューラルネットワークをさっくり記述
Y=0;for(i=0; i < m; i++){for( j = 0; j < n; j++){Y += X[i][j]*W[j][i];}}
⾼位合成ツールがHDLを吐いてくれるので従来のフローを通してFPGAに実現できる
ここを⾃動⽣成＋α
なんでTensorFlowなのよ︖• (もちろんChainer (Caffe), Theano版も作ってますよ)
でもね…
• 分散学習が可能（スケールする）• クラウドで動く（計算機管理が不要になる）• みんな使ってる（研究結果を役⽴ててもらえる）
33
Artificial Neuron (AN)
+
x0=1
x1
x2
xN
...
w0 (Bias)
w1
w2
wN
f(u)u y
xi: Input signalwi: Weightu: Internal statef(u): Activation function (Sigmoid, ReLU, etc.)y: Output signal
y f (u)
u wixii0
N
34
積和演算を何とかしたい…
2値化ニューラルネットワーク• ⼆値(-1/+1)の乗算• 乗算器をXNORゲートで
35
x1 x2 Y
‐1 ‐1 1
‐1 +1 ‐1
+1 ‐1 ‐1
+1 +1 1
x1 x2 Y
0 0 1
0 1 0
1 0 0
1 1 1
XNORによる2値化CNN
36
x1
w0 (Bias)
fsgn(Y)Y
z
w1
x2
w2
xn
wn
...
2値化CNNの効果
37
x1
w0 (Bias)
fsgn(Y)Y
z
w1
x2
w2
xn
wn
...
短精度(4〜8)ビットを2値に置き換え→メモリ帯域の圧縮乗算器をXNORに置き換え→回路⾯積の削減
2値化CNNの認識精度• 浮動⼩数点CNNとほぼ同じ
38
0
20
40
60
80
100
# of epochs
Classification error (%)
(a) float32 bit precision CNN
1 80 160 2000
20
40
60
80
100
# of epochsClassification error (%)
(b) Binarized CNN
1 80 160 200
単に2値化した場合
提案⼿法
約6%の誤差(VGG‐16を使⽤)H. Nakahara et al., “A memory‐based binarized convolutional deep neural network,”FPT2016 (to appear).
2値化CNN on FPGA• Raspberry Pi3 Model B
• ARMv8@1.2GHz quad-core• 1GB RAM• Mnist CNNの処理速度: 85.81 msec/image(Cソースに変換後, gccを⽤いてコンパイル, 1コア動作)• 消費電⼒: 2Watt
• Digilent社 Nexys4 DDR• FPGA Xilinx社Artix-7100T@100MHz• 2880 Kb BRAM• Mnist CNNの処理速度: 1.56 msec/image• 消費電⼒: 1Watt未満(ワットチェッカーでは測定不能でした…)
39
デモ１: ⼿書き⽂字認識
40
Deep Q-learning Network• 全部の⼿を試すのは不可能• 報酬を最⼤にする⾏動をDeep Neural Networkで予測Deep Neural Network
＋Q-learning
↓Deep Q-learning Network (DQN)
41
AtariのPongをゲームするDQN
42
...512 neurons
3 neurons→上・下・待機
4x43x3
Arcade Learning Environment(ALE)とかOpenAI Gym
６層のConvolutional Deep Neural Network
操作ゲーム画⾯
記録しておく
AtariのPongを勉強するDQN
43
...512 neurons
3 neurons→上・下・待機
4x43x3
Arcade Learning Environment(ALE)とかOpenAI Gym
６層のConvolutional Deep Neural Network
得点が上がる操作(最⼤とはしない)
を学習
ゲーム画⾯
シャッフルする
デモ2: FPGA DQN
44
...512 neurons
3 neurons→上・下・待機
4x43x3
６層の学習済みConvolutional Deep Neural Network
操作 by UART
ゲーム画⾯by UART
Digilent社 Nexys4 DDR(Xilinx社 Artix7 100T搭載)
On-going Work• 特定FPGAボード向けのプラットフォームを開発中• TensorFlowで設計したCNNを直接Pythonでたたける(もちろんハードウェアも)Arduinoを乗せたり、ARMでLinuxを⾛らせたりして…
• ボードを取り寄せ中
45
Terasic社DE0-nano-SoC Kit
(Atlas-SoC Kit)$99 (academic $90)
※ARM搭載
Terasic社DE10-Lite Board
$85 (academic $55)
Digilent社PYNQ-Z1 Board
$229 (academic $65?)※ARM搭載
Digilent社Arty Board
$99
まとめ• FPGAをさっくり解説
• HDLのまま設計したら…⼤変だよ• 2値化CNNを実装• TensorFlowからFPGAに⼀気に落とすことが可能に
• 公開まであとちょっと待ってね
46
(おまけ)FPGA関連お勧め書籍
47
FPGAについて基礎から解説
Verilog-HDLの⽂法書として Cからハードウェアに落とす⽅法を書いた数少ない良書
Recommended