Hybrid computing using a neural network with dynamic

Hybrid computing using a neural network with dynamic

external memoryTIS + Albert 勉強会

2017/02/28山内隆太郎

概要• Neural Network はデータ構造を表現し長期的に保持するのが苦手• → 微分可能な外部メモリを追加する• Differentiable Neural Computer(DNC) の発明

結果• グラフをもとにした推論やブロックパズルなどができるようになった

モデル全体像

処理の流れ1. Input をもとに Controller が Interface parameters を生成2. write weight vector を求め、メモリに書き込む3. Read weight vector を求め、メモリを読む4. 以上を繰り返す

Interface parameters

Write weight vector の生成と Memory への書き込み• 二つの要素を考慮して weight を生成する

1. Write key と Memory slot の類似度 （論文中ではコサイン類似度）2. 前ステップまでの読み出し状況

• 得られた weight を使って以下のように書き込み

Content weighting

Allocation weighting 一度読まれた Memory slot は消去してよい可能性が高いが、そうでない場合もある→ 上書き不可フラグ使って制御

は前ステップしか考慮していない。→ usage vector を作る

φ をを小さい順に並べるような indexing として

（たぶんを微分可能にするための処理）

Read weight vector の生成と Memory からの読み込み• 三つの read mode がある

1. Content lookup 2. Forward 3. Backward

Content lookup • Write weighting のときと同じ

Forward/backward• 書き込み順に従った読み込み

は今回書き込みが行われた場所を保持するlink 行列 L を以下のように更新

Forward/backward

前回読み込んだ slot の直後 / 直前に書き込まれた slot を得ることができる

Neural Turing Machine との比較• 動的メモリ割当• メモリ解放• リンク

Experiments• Synthetic question answering experiments

• Graph experiments

• Block puzzle experiments

Synthetic question answering experiments• bAbI task

Q. mary journeyed to the kitchen. mary moved to the bedroom. john went back to the hallway. john picked up the milk there. what is john carrying ?- john travelled to the garden. john journeyed to the bedroom. what is john carrying ? - mary travelled to the bathroom. john took the apple there. what is john carrying ? - -

A. {milk}, {milk}, {milk apple}

• mean test error rate 3.8% を達成

Graph experiments• 2 つノードとその関係の組を入力• ‘traversal’, ‘shortest path’, ‘inference’ の 3 つの問に答えさせた• Traversal で 98.8 ％の正解率（ LSTM は 37 ％）

Block puzzle experiments

End