時間領域アナログ方式で脳の演算効率に迫る

森江 隆九州工業大学 大学院生命体工学研究科

morie@brain.kyutech.ac.jphttp://www.brain.kyutech.ac.jp/~morie

第18回全脳アーキテクチャ勉強会 ～全脳規模計算～2017年3月13日 @パナソニック東京汐留ビル （40分）

九州工業大学生命体工学研究科での研究体制

森江研究室

脳型知能ハードウェアグループ

田中研究室

田向研究室

知能デバイスナノ材料 脳型集積回路

脳型計算機システムデジタル集積回路

ロボット制御新ナノデバイス開発

知的画像処理・システム

人工知能処理モデル

人間知能システム工学専攻

分子アーキテクトニクス

3

人工知能（ニューラルネット）研究の盛衰

1960年代 1980年代 2010年代

パーセプトロン（単層の誤り訂正学習）

・バックプロパゲーション（誤差逆伝搬学習）（主に3層）・ネオコグニトロン・ホップフィールドネットワーク・ボルツマンマシン・SOM（自己組織化マップ）

・ディープ・ラーニング（深層学習）・スパコンでの全脳シミュレーション・IBM TrueNorth

・各国の脳プロジェクト

・機械学習・ビッグデータ解析・Computer Vision

・パーセプトロンの限界指摘（1968）

バブル景気（日本）

IBM・Deep Blueがチェスのチャンピオンに勝利（1997）

第5世代コンピュータ（推論マシン）開発

ブーム冬の時代

冬の時代

ブーム ブーム

自動運転，知能ロボット

「人工知能」命名（1956）

・アルファ碁がプロ棋士に勝利（2016）

3

設計・開発してきた脳型アナログLSIチップ

1995 2000 2005 2010

BP/DBMネット

ガボールフィルタ

畳込みネットワーク

スパイキングNN任意カオス回路

結合カオス・ネットワーク

主観的輪郭生成用異方性拡散

マッチング・プロセッサ

スパイキング・領域ベースMRF

ISSCC2009 ISSCC2012SRP

ECCTD2011

VLSI Cir. 2005ESSCIRC 2002

VLSI Cir. 2004

PWM方式

年

ISCAS2008

NCSP2007

ICONIP2011

スパイク方式 4

JSC 1994

領域分割用非線形振動子

BPネット浮遊ゲートメモリ

IEICE 1995

アナログ方式

カオスボルツマンマシンICONIP2016

内容

• 脳型情報処理ハードウェアの現状

– AIチップでのディジタル方式とアナログ方式の比較

• 時間領域アナログ方式での超低電力積和演算

• 脳型システムの学習機能と不揮発性アナログメモリ

• ノイズ（ゆらぎ）を利用した情報処理モデルとナノ構造

5

脳型ハードウェア研究とAIチップ開発の現状

6

脳型ハードウェア開発における二つの方向性

• 実際の脳で行われている処理を再現したい（理学派：理学的関心）

– 脳科学研究に役立てるツールとしてのシステム

– 実際の神経回路にどれだけ似せるかが鍵

– 非線形ニューロンモデル，STDP

– EU・FACETSなど

• 脳の情報処理様式を利用して，人工知能システムの性能向上を図りたい（工学派：工学的応用）

– 必ずしも実際の神経回路に似せる必要はない．

– 脳の構造・機能に触発された（inspired）システム

– 深層学習の成功で，近年はこちらが有力．

– 米国・SyNAPSE，EU・Human Brain Project

7

脳型システム・脳研究に関するプロジェクト

• 米国

– SyNAPSE（2009-）, DARPA, IBM, HP, etc.

• IBM・TrueNorth（2014）

– Brain Initiative （2013-）

• EU

– FACETS（2005-2010）

– BrainScaleS（2011-）

– Human Brain Project（2013-）

• 日本

–革新脳（2014～）～1000億円／10年

8

AIチップの演算性能・効率指標

演算性能／消費電力比（効率）：TOPS/W (TOPS / Watt)

= Tera Ops. per sec. / Joule per sec.

= Tera ops. / Joule

演算当たりの消費エネルギー = 1/(TOPS/W) [pJ/op]

= 1 [pJ/op]

9

演算性能：TOPS/GOPS

(Tera/Giga Operations Per Second)

通常の計算機で用いられる性能指標のFLOPSに比べて，固定小数点演算で十分な特定用途プロセッサ（メディアプロセッサ，AIチップ）では単にOPSが用いられる．最新のPC（Core i7）では～500GFLOPS

脳のシナプス演算： 0.1～1fJ/op

1,000～10,000TOPS/W

ニューロン数：～1011

シナプス数：～1015

消費電力：20（～1）W動作周波数：10～100 Hz

活性化率：～10%

ISSCC 2017でのAIチップ関連発表

10

既存デジタル手法では ~10TOPS/W

AIチップにおけるディジタル方式とアナログ方式の比較

演算性能/消費電力比（エネルギー効率）の観点から

11

既存ディジタル方式の演算効率の限界

行アドレス

行デコーダ

・・

・・

プロセッサ（演算回路）

メモリ（RAM）

メモリセル

ディジタル方式(von Neumann アーキテクチャ)

RAMは一度に一行しかアクセスできない．

12

脳型システムのための専用ハードウェア

一般的な機械学習，数値計算など

ニューラルネットワーク

計算モデルにアーキテクチャがない

計算モデルにアーキテクチャがある

同一アーキテクチャで，学習により様々な問題に対応

専用ハードウェア

汎用ハードウェア，ノイマン型計算機，並列計算機

入出力制御回路

バス

演算器

メモリ

外部バス

制御回路

制御信号

oj

ニューロンwijシナプス BPネット

入力

出力

教師信号

誤差逆伝搬

13

行アドレス

行デコーダ

・・

・・

プロセッサ（演算回路）

メモリ（RAM）

メモリセル

アナログ入力

積和演算出力

メモリ・演算セル

ディジタル方式の限界とアナログ計算

ディジタル方式(von Neumann アーキテクチャ)

アナログ/パルス処理方式(クロスバ・アーキテクチャ)

RAMは一度に一行しかアクセスできない．

RAMと同じクロスバ回路上で，記憶と演算の並列計算が実行できる．

14

クロスバ・シナプス構成の特徴

• 利点

– 2次元アレイでの超並列化を実現（ディジタル方式RAMとの相違）

– 構成が単純で，製造が簡単

• 欠点

– 学習機能内蔵には制約大（ニューロン回路側で工夫が必要）

– 本来のSTDP特性の実現には工夫が必要（cf. S. Kim et al., IEDM2015）

– 正則化，DropConnectなど，深層学習のシナプス部での機能の実行は難しい

クロスポイントにシナプス素子を集積する方式

15

アナログ専用ハードウェアで狙う機能

• 認識機能のみ（学習機能無し）

• 学習機能内蔵

• アーキテクチャ/パラメータ自己改変（近年のDLの各種ノウハウを実装）

• 荷重値２値更新（BinaryConnect*）

• 荷重値ディジタル更新（ディジタルメモリ使用）

• 荷重値アナログ更新（アナログメモリ使用）

*) NIPS 2015

16

脳型処理モデルとハードウェア方式

• フィードフォワード型ニューラルネット（組合せ回路的）

– （多層）パーセプトロン（DNN）

– 自己組織化マップ（SOM）

• フィードバック型ニューラルネット（順序回路的）ダイナミクス（時間発展）がある『物理システム』と対応

– ホップフィールド・ネットワーク

– ボルツマンマシン

• 時間領域情報処理（スパイキングニューロン）

• ノイズを利用した情報処理モデル

ディジタル方式が有効

アナログ方式がより強みを発揮．

と言っても，従来型のアナログ回路ではなく，アナログとデジタルを融合したパルス（スパイキング）型

アナログ方式は超低消費電力・実ニューロン方式を狙う．

17

電圧モードでのアナログ積和演算回路

Ew=tV2/R= 0.1～10fJ

Vin1

Vin2

Vinj

N

Op-amp

仮想接地

デジタル方式に比べてシナプス（積和演算）部で1桁以上の電力効率の向上が期待できるが，ニューロン部ではオペアンプなどで大きな電力を消費する．

DC動作を利用

R=100MW, Vin=0.1~1V, t=1ms とすると

C

Rj

Dendrite line

18

既存のアナログ方式

R1

R2 Rf

𝑽𝒐𝒖𝒕𝑹𝒇

= −

𝒋=𝟏

𝑵𝑽𝒊𝒏𝒋

𝑹𝒋

Vout

入出力はアナログ電圧 Vin，Vout

時間領域アナログ方式による超低電力積和演算

19

２種類のニューロンモデル

アナログ値

S

PSP

S

スパイクパルス

シナプス

S 総和

しきい値関数飽和型関数変換

しきい値関数非線形変換

スパイクパルスの時空間特性を用いる

スパイキングニューロン

発火率（アナログ値）を用いる

従来のアナログ型ニューロン（いわゆるニューラルネットワーク）

積分発火型

生体ニューロン（スパイク）

パルス頻度

PSP: シナプス後電位

20

w1

i1

i2

i3

P1

P2

P3

Vn

spkn

th

tvtime

w2

w3

t1 t3 t2

積分発火型ニューロンモデルでの積和演算

i1

i2

i3

P1

P2

P3

Vn qin

ii

time

Pi

典型的なPSP波形: a-function

Vn

W.Maass et al., 1999 21

時間領域積和演算モデル

xi --> タイミング tiwi --> PSPの傾き

出力タイミング tv --> y

,

w1

i1

i2

i3

P1

P2

P3

Vn

spkn

th

tvtime

Tin

w2

w3

t1 t3 t2

Q. Wang et al., ICONIP 2016 22

並列抵抗入力による積和演算

Vin

t =RC

Vin/t

q

k

0 time

【スパイクタイミング表現アナログ回路】

C=10 fF, V=1 V, q =0.1V とするとEwsum = 1 fJ

入力数N =100とすると，Ew = Ewsum/N = 10 aJ

R=1GΩとして，t=1ms

（時間分解能10nsとして，100ステップ確保）

長時定数と高並列性のため，高抵抗素子が必要！

並列度を考慮したON/OFF抵抗比が必要！

T. Tohara et al., APEX, 2016. T. Morie et al., IEEE NANO 2016.

Ewsum= CV・q

Vin1

Vin2

Vinj

N

R

CComparator

Dendrites q

23

時間領域積和演算モデルのCMOS回路実装例

w1

i1

i2

i3

P1

P2

P3

Vn

spkn

th

tvtime

Tin

w2

w3

t1 t3 t2

MOSFETをスイッチト電流源として用いる

th

C

Cw1Cw2

spkn

PG

Vn

i2

i1

Fan-out: 100~>1000

Fan-in: 100~>1000

Axonラインを充電するためのエネルギー

これを減らすために，配線容量を低減

Axons

24

クロスバ構成での時間領域積和演算の課題

25

Coi

Cii

Ci

Fan-out: M

Fan-in

: N

Vo

Ecmp

DendriteAxon

低容量配線

低入力容量高抵抗・抵抗変化メモリ素子 低消費電力

ニューロン回路

配線容量からの消費エネルギー見積もり

26

𝐶 =2𝜋𝜀

ln2ℎ𝑟

h

r

ワイヤ配線の静電容量（単位長当たり）

r = 1 nm, h = 100 nm, l = 1 mm, V = 1 V

Ci ≈ 10 pF/m CSYN ≈ 10 aF/mm

Ci

ESYN =CV 2 ≈ 10 aJ

l

（1mm当たり）

時間領域アナログAIチップ開発の課題

• 既存のディジタル方式とは対極のデバイス開発方針

– メモリ素子：高抵抗アナログメモリ

⇔低抵抗ディジタルメモリ

– トランジスタ：低速FET（subthreshold動作）

⇔高速FET

–配線材料・プロセス：極低容量（高抵抗でも可）

–高集積化プロセス：3D積層など

–回路：低精度でも，極低電力な比較器など

27

脳型システムの学習機能と不揮発性アナログメモリ

STDP機能とメモリスタ （抵抗変化型メモリ）

28

アナログ記憶デバイス

• 目的

– 所望のアナログ値記憶（結合荷重保存）【確度：Accuracy】

– 微少記憶量更新（学習機能）【精度・分解能：Precision, Resolution】

• デバイス

– キャパシタの電荷利用（DRAM型）（1980年代～）• 通常CMOS技術で作製可

• 漏れ電流のために長期間の記憶保持不可

– 浮遊ゲート型（EEPROM／フラッシュメモリ型）（1980年代～）• 特殊プロセス必要だが，実用化済

• 10V以上の高電圧が必要

• アナログ値書きこみには工夫が必要

– 強誘電体型（FeRAM）・強磁性体型（MRAM）（1990年代～）

– PCM（相変化メモリ）（DVD等）

– 『メモリスタ』（抵抗変化型：ReRAM）（2008～）• 高速・低電圧書きこみが可能

(ETANN, Intel 1989)

29

スパイクタイミング依存シナプス可塑性（STDP）

時間領域情報処理の一例

• STDP (Spike-Timing Dependent synaptic Plasticity)

– 非同期スパイク間の位相差に応じて結合荷重値を変化する学習則

– 学習機能を有するスパイキングニューラルネットワークを実現

非対称型 対称型

ti

tj time

Dt

DWij

30

まとめ

• 時間領域アナログ方式により，生体の脳を凌駕する

超低電力積和演算を実現できる可能性がある．

• 脳型システムに必要な不揮発性アナログメモリとして

抵抗変化型メモリ（ReRAM）素子などが開発中．

スパイクタイミングによるSTDP機能の実現がカギ．

• 脳型情報処理には，ノイズ（ゆらぎ）の利用が重要．

ナノデバイスで実現．

• 脳の高度な機能をモデル化する研究に期待．

31