Upload
keiichirou-miyamoto
View
281
Download
0
Embed Size (px)
Citation preview
青本勉強会2章
宮本圭一郎@miyamotol0105
2015/07/12
自己紹介 名前:宮本圭一郎 言語: C#,VB SIer
2015 年 ruby objective-c 2016 年 python,machine learning 2017 年
@miyamotok0105 https://www.facebook.com/keiichirou.miyamoto
深層学習 ( 機械学習プロフェッショナルシリーズ )
第 1 章 はじめに第 2 章 順伝播型ネットワーク第 3 章 確率的勾配降下法第 4 章 誤差逆伝播法第 5 章 自己符号化器第 6 章 畳込みニューラルネット第 7 章 再帰型ニューラルネット第 8 章 ボルツマンマシン
Chainer で作った分類器
入力文字
分類器
疑問文 雑談文
Chainer で分類器を実装した時の実行フロー
パラメータ設定
活性化関数
モデル定義
ユニット計算
誤差関数
逆誤差伝播
ミニバッチ
誤差関数
勾配計算
ユニット更新
値の予想
値の学習
2.3 多層ネットワーク
2.1 ユニットの出力
2.2 活性化関数
2.4 出力層の設計と誤差関数
3.4 汎化性能と過適合3.5 過適合の緩和
3.6 学習のトリック
3.2 確率的勾配降下法3.3 「ミニバッチ」の利用
2.3 多層ネットワーク
3.1 勾配降下法
4.1 勾配計算の難しさ4.2 2層ネットワークでの計算
4.3 多層ネットワークへの一般化4.4 勾配降下法の完全アルゴリズム
4.5 勾配消失問題
第2章 順伝播型ネットワーク
2.1 ユニットの出力2.2 活性化関数2.3 多層ネットワーク2.4 出力層の設計と誤差関数
順伝播型(ニューラル)ネットワーク
ニューラルネットワークは、人間の脳の神経回路の仕組みを模したモデル。
人間の脳のメカニズムをコンピュータ上で 人工的に実現するアプローチ。
脳は、 100 億とも 140 億とも言われる膨大なニューロンと呼ばれる神経細胞が集まり 構成されています。ニューロン同士は相互に連結され、巨大なネットワークをつくることで、 様々な知的活動を実現しているのです。
ニューロンの構造ニューロンは他ニューロンか
らの情報・刺激を受けると、細胞体の電位が次第に上がっていきます。 そしてその電位が一定の値(閾値)を超えると、インパルス信号を出力します。この現象を 発火といいます。軸索の先端にあるシナプスから神経伝達物質と呼ばれる科学物質が放出されます。 そして、その神経伝達物質を樹状突起上のイオンチャンネルが受け取ります。
http://www.geocities.co.jp/SiliconValley-Cupertino/3384/nn/NN.html
http://merckmanuals.jp/home/%E8%84%B3%E3%80%81%E8%84%8A%E9%AB%84%E3%80%81%E7%A5%9E%E7%B5%8C%E3%81%AE%E7%97%85%E6%B0%97/%E7%A5%9E%E7%B5%8C%E7%B3%BB%E3%81%AE%E3%81%97%E3%81%8F%E3%81%BF%E3%81%A8%E5%83%8D%E3%81%8D/%E7%A5%9E%E7%B5%8C.html
ユニットの出力
重みと入力を別々で表している。
Chainer でユニットの出力
ユニット1個入力リニア4個数字が出る
活性化関数
シナプスの役割で、条件をつけて発火をする。
ロジスティック関数
多層パーセプトロン
3層ネットワーク
1層の中での重みを略して記載。
多層パーセプトロン
また略するy=y(x;w)
行列でデータを保持
w=重み行列u=総入力行列b= バイアス行列z= 出力行列f(u)= 活性化関数行列
誤差関数
d=正解データ教師データラベル
回帰問題
わかりやすい。
2値分類
強敵登場
べき乗の性質を使ったトリック??
クラス分類
第1戻り値誤差第2戻り値正解率
交差エントロピー。。。
勾配降下法
w で e を微分?e で w を微分?
誤差逆伝播
。。。
ギリシャ文字Δδ (デルタ)逆行列の行列式 [1]
グラフの最大次数、ある変数の差分・変化
Εε (エプシロン)
極限における微小量
回帰分析におけるランダム誤差
誤差の絶対値 [4]
集合の要素を表す記号∈は ε に由来する
Ππ (パイ)直積集合
Ηη (エータ)
数学記号
https://ja.wikipedia.org/wiki/%E6%95%B0%E5%AD%A6%E8%A8%98%E5%8F%B7%E3%81%AE%E8%A1%A8
数学記号
微分積分とは
微分は変化率。今日と明日で貯金額はどのくらい変化したか。
積分は面積。変化していく額を
全部足したもの。
微分係数
f ' ( a )
微分は傾き
AB直線の傾きは3
今後の勉強予定
・誤差関数の2値分類・誤差関数のクラス分類・3章以降
第3章 確率的勾配降下法
3.1 勾配降下法3.2 確率的勾配降下法3.3 「ミニバッチ」の利用3.4 汎化性能と過適合3.5 過適合の緩和3.6 学習のトリック
第4章 誤差逆伝播法
4.1 勾配計算の難しさ4.2 2層ネットワークでの計算4.3 多層ネットワークへの一般化4.4 勾配降下法の完全アルゴリズム4.5 勾配消失問題
第5章 自己符号化器
5.1 概要5.2 ネットワークの設計5.3 自己符号化器の働き5.4 スパース正則化5.5 データの白色化5.6 ディープネットの事前学習5.7 その他の自己符号化器
第6章 畳込みニューラルネット
6.1 単純型細胞と複雑型細胞6.2 全体の構造6.3 畳込み6.4 畳込み層6.5 プーリング層6.6 正規化層6.7 勾配の計算6.8 実例:物体カテゴリ認識
第7章 再帰型ニューラルネット
7.1 系列データの分類7.2 RNNの構造7.3 順伝播計算7.4 逆伝播計算7.5 長・短期記憶(LSTM)7.6 入出力間で系列長が異なる場合
第8章 ボルツマンマシン
8.1 データの生成モデル
8.2 ボルツマンマシン
8.3 ギブスサンプリング
8.4 隠れ変数を持つボルツマンマシン
8.5 制約ボルツマンマシン(RBM)
8.6 RBMの学習
8.7 その他のユニット
8.8 ディープビリーフネットワーク
8.9 ディープボルツマンマシン
8.10 性能比較