青本勉強会2章

青本勉強会２章

宮本圭一郎@miyamotol0105

2015/07/12

自己紹介 名前：宮本圭一郎 言語： C#,VB SIer

2015 年 ruby objective-c 2016 年 python,machine learning 2017 年

@miyamotok0105 https://www.facebook.com/keiichirou.miyamoto

深層学習 ( 機械学習プロフェッショナルシリーズ )

第 1 章　はじめに第 2 章　順伝播型ネットワーク第 3 章　確率的勾配降下法第 4 章　誤差逆伝播法第 5 章　自己符号化器第 6 章　畳込みニューラルネット第 7 章　再帰型ニューラルネット第 8 章　ボルツマンマシン

Chainer で作った分類器

入力文字

分類器

疑問文 雑談文

Chainer で分類器を実装した時の実行フロー

　 パラメータ設定

活性化関数

モデル定義

ユニット計算

誤差関数

逆誤差伝播

ミニバッチ

誤差関数

勾配計算

ユニット更新

値の予想

値の学習

２．３ 多層ネットワーク

２．１ ユニットの出力

２．２ 活性化関数

２．４ 出力層の設計と誤差関数

３．４ 汎化性能と過適合３．５ 過適合の緩和

３．６ 学習のトリック

３．２ 確率的勾配降下法３．３ 「ミニバッチ」の利用

２．３ 多層ネットワーク

３．１ 勾配降下法

４．１ 勾配計算の難しさ４．２ ２層ネットワークでの計算

４．３ 多層ネットワークへの一般化４．４ 勾配降下法の完全アルゴリズム

４．５ 勾配消失問題

第２章 順伝播型ネットワーク

２．１ ユニットの出力２．２ 活性化関数２．３ 多層ネットワーク２．４ 出力層の設計と誤差関数

順伝播型（ニューラル）ネットワーク

ニューラルネットワークは、人間の脳の神経回路の仕組みを模したモデル。

人間の脳のメカニズムをコンピュータ上で 人工的に実現するアプローチ。

脳は、 100 億とも 140 億とも言われる膨大なニューロンと呼ばれる神経細胞が集まり 構成されています。ニューロン同士は相互に連結され、巨大なネットワークをつくることで、 様々な知的活動を実現しているのです。

ニューロンの構造ニューロンは他ニューロンか

らの情報・刺激を受けると、細胞体の電位が次第に上がっていきます。 そしてその電位が一定の値（閾値）を超えると、インパルス信号を出力します。この現象を 発火といいます。軸索の先端にあるシナプスから神経伝達物質と呼ばれる科学物質が放出されます。 そして、その神経伝達物質を樹状突起上のイオンチャンネルが受け取ります。

http://www.geocities.co.jp/SiliconValley-Cupertino/3384/nn/NN.html

http://merckmanuals.jp/home/%E8%84%B3%E3%80%81%E8%84%8A%E9%AB%84%E3%80%81%E7%A5%9E%E7%B5%8C%E3%81%AE%E7%97%85%E6%B0%97/%E7%A5%9E%E7%B5%8C%E7%B3%BB%E3%81%AE%E3%81%97%E3%81%8F%E3%81%BF%E3%81%A8%E5%83%8D%E3%81%8D/%E7%A5%9E%E7%B5%8C.html

ユニットの出力

重みと入力を別々で表している。

Chainer でユニットの出力

ユニット１個入力リニア４個数字が出る

活性化関数

シナプスの役割で、条件をつけて発火をする。

ロジスティック関数

多層パーセプトロン

３層ネットワーク

１層の中での重みを略して記載。

多層パーセプトロン

また略するy=y(x;w)

行列でデータを保持

w＝重み行列u=総入力行列b= バイアス行列z= 出力行列f(u)= 活性化関数行列

誤差関数

d=正解データ教師データラベル

回帰問題

わかりやすい。

２値分類

強敵登場

べき乗の性質を使ったトリック？？

クラス分類

第１戻り値誤差第２戻り値正解率

交差エントロピー。。。

勾配降下法

w で e を微分？e で w を微分？

誤差逆伝播

。。。

ギリシャ文字Δδ （デルタ）逆行列の行列式 [1]

グラフの最大次数、ある変数の差分・変化

Εε （エプシロン）

極限における微小量

回帰分析におけるランダム誤差

誤差の絶対値 [4]

集合の要素を表す記号∈は ε に由来する

Ππ （パイ）直積集合

Ηη （エータ）

数学記号

https://ja.wikipedia.org/wiki/%E6%95%B0%E5%AD%A6%E8%A8%98%E5%8F%B7%E3%81%AE%E8%A1%A8

数学記号

微分積分とは

微分は変化率。今日と明日で貯金額はどのくらい変化したか。

積分は面積。変化していく額を

全部足したもの。

微分係数

f ' ( a )

微分は傾き

AB直線の傾きは３

今後の勉強予定

・誤差関数の２値分類・誤差関数のクラス分類・３章以降

第３章 確率的勾配降下法

３．１ 勾配降下法３．２ 確率的勾配降下法３．３ 「ミニバッチ」の利用３．４ 汎化性能と過適合３．５ 過適合の緩和３．６ 学習のトリック

第４章 誤差逆伝播法

４．１ 勾配計算の難しさ４．２ ２層ネットワークでの計算４．３ 多層ネットワークへの一般化４．４ 勾配降下法の完全アルゴリズム４．５ 勾配消失問題

第５章 自己符号化器

５．１ 概要５．２ ネットワークの設計５．３ 自己符号化器の働き５．４ スパース正則化５．５ データの白色化５．６ ディープネットの事前学習５．７ その他の自己符号化器

第６章 畳込みニューラルネット

６．１ 単純型細胞と複雑型細胞６．２ 全体の構造６．３ 畳込み６．４ 畳込み層６．５ プーリング層６．６ 正規化層６．７ 勾配の計算６．８ 実例：物体カテゴリ認識

第７章 再帰型ニューラルネット

７．１ 系列データの分類７．２ ＲＮＮの構造７．３ 順伝播計算７．４ 逆伝播計算７．５ 長・短期記憶（ＬＳＴＭ）７．６ 入出力間で系列長が異なる場合

第８章 ボルツマンマシン

８．１ データの生成モデル

８．２ ボルツマンマシン

８．３ ギブスサンプリング

８．４ 隠れ変数を持つボルツマンマシン

８．５ 制約ボルツマンマシン（ＲＢＭ）

８．６ ＲＢＭの学習

８．７ その他のユニット

８．８ ディープビリーフネットワーク

８．９ ディープボルツマンマシン

８．１０ 性能比較