• Home

  • Documents

  • Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural...
19
Deep Learning in Neural Networks ~ ざっくりとまとめてみた ~ 政策・メディア研究科 修士1年 笹本 将平 ITシステムプロジェクト輪講資料 - 2014.05.01

Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

Deep Learning in Neural Networks

~ ざっくりとまとめてみた ~

政策・メディア研究科 修士1年

笹本 将平

ITシステムプロジェクト輪講資料 - 2014.05.01

Page 2: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

Contents

(1) 論文紹介

1. どういう論文か

2. 結論

3. 構成の説明

(2) Deep Learning

1. 定義

2. 歴史

3. 仕組み

4. 課題

Page 3: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

(1) 論文紹介

Page 4: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

1.1 論文の要約

❏ 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで

すごい。

❏ なので、関連研究を時系列順に整理してまとめてみた。

❏ この論文では、Deep NNsを用いた以下の内容についてまとめる。

1. 教師あり学習

2. 教師なし学習

3. 強化学習

Page 5: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

1.2 論文の構成

// 2章

論文内で用いる表記方法の説明

// 3章

Credit Assignment Paths についての説明

// 4章

よくあるDeep Learningのテーマ

// 5章

時系列に沿って関連研究を整理

// 6章

強化学習のための Deep Learning

Page 6: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

1.3 論文の結論

❏ Credit Assignment Paths問題を軽減できれば、教師なし学習によって強化学

習も容易になる。

❏ 動的計画法は教師あり、強化学習の両方の手法において重要。

❏ 教師なし学習は教師ありを改善できる、が、純粋な階層的ニューラルネット

ワークによる教師あり学習とか、相互結合型ニューラルネットワークでもいい精

度は出せる。

❏ Deep Learning最強っていうわけではない。

❏ 将来は最適な方法で自己学習する汎用学習アルゴリズムに属している可能

性がある。が、まだ実用的ではない。

Page 7: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

(2) Deep Learningとは

Page 8: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

2.1 Deep Learningの定義

http://slidesha.re/1hebTs8

Page 9: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

2.2 Deep Learningの歴史

❏ 1940年代: 初期のニューラルネットワークモデル誕生

❏ 1950年代: パーセプトロン

❏ 1960年代: パーセプトロンの限界が証明される

➔ 線形分離不可能なパターンを識別できない

❏ 1980年代: バックプロパゲーション

➔ 非線形の識別問題が扱えるようになる。しかし計算が遅い & 局所解に

陥る可能性がある。

❏ 2006年: Deep Neural Networkとして復活

❏ 2011年: 音声認識で従来法より10%前後(誤差が)改善

❏ 2012年: 画像認識(一般物体認識)のコンテストで10%のエラー差をつけて圧

勝

❏ 2014年: 学会でもビジネスでもDeep Learningの嵐

Page 10: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

どれくらいすごかったか

❏ 従来の一般物体認識

❏ Deep Learning

http://slidesha.re/1hebTs8

➔ つまり、特徴も一緒に学習してくれる

Page 11: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

どれくらいすごかったか

➔ という感じだったらしい。

Page 12: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

2.3 仕組み

1. 事前学習して、うまいこと特徴抽出

a. 教師あり学習の前に予め

教師なし学習をする

b. 少ない変数でインプットを

うまく説明できるような関数を学習する

2. 深層学習

a. 事前学習したレイヤーを重ね、

多層ニューラルネットワークを

構築する

b. 1層ずつ学習して重ねていく

http://slidesha.re/1heEzBo（こっちのスライドの方が分かりやすい）

Page 13: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

2.4 問題点

❏ 中間層の数、学習のくり返し回数、どれくらい層を増やすか、など

まだまだ人間が決めないといけない（しかも職人芸的な）

パラメーターが多い。

➔ それでも特徴量抽出を自動化できたことはすごい

❏ めちゃくちゃ時間がかかる

❏ pre-trainingを採用したことによる誤差はどれくらいか？

❏ 他にも効率のよい学習法はあるのか？

❏ pre-trainingが特徴の学習であ るとするならば，既存の非線形次元削減や特徴生成とは何が違っ

たのか？

❏ その違いの本質が解明され，大規模データとそれにみあう複雑度のモデルが扱うこと が可能であ

るならば，ニューラルネット以外でも深層学習と同等のモデルが獲得できるのか？

❏ 現状では調整すべきパラメータが多く性能を発揮するには忍耐強い調整を必要。

❏ 複雑なモデルの獲得には，大規模データを処理できることが必須となるが，並列計算手法の改良

はまだまだ必要。

Page 14: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

まとめ・これからのDeep Learning

❏ 研究者人口・参入企業が増えて活発化しそう

❏ 課題もいっぱい。

❏ 強化学習との統合

❏ 空間認識への応用

❏ 物体の位置を特定、動画内での物体の移動結果のひも付け

❏ 音声やロボットの運動との統合

❏ 理論的な証明が進む

❏ 神経科学との関連

Page 15: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

(3) 今後どうしよう

Page 16: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

1ヶ月終わっちゃいました...

❏ 最近やっていること

❏ pythonの勉強を始めた

❏ machine learning系のライブラリが多いので...

❏ プログラミングコンテストの問題を解いてみてる

❏ pythonとアルゴリズムの勉強を兼ねて

❏ 研究会でやったら面白いかも

❏ Deep Learningの勉強

❏ 英語で最近の資料を探す → 内容が難しい

❏ 日本語資料を頑張って探す → 言葉は分かるけど難しい

❏ 日本語資料に出てくる単語から、知らないといけないっぽい概念を

抽出している（いまここ

Page 17: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

1ヶ月終わっちゃいました...

❏ 来週以降やりたいこと

❏ Deep Learningが面白い & 盛り上がってるみたいなので、

もう少し追ってみたい。

❏ Bengioさんという人がNNで有名らしいので、その人が書いた

論文を読む

❏ まずは基本的なところからNNのモデルと解ける問題について知る。

❏ パーセプトロン

❏ バックプロパゲーション

❏ ボルツマンマシン

❏ 制約付きボルツマンマシン

Page 18: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

次回読む論文...というか記事？（予定）

Page 19: Deep Learning in Neural Networks - kri.sfc.keio.ac.jp · 1.1 論文の要約 最近 Deep Neaural Networks が パターン認識 や 機械学習 のコンテストで すごい。

Fin.

ITシステムプロジェクト輪講資料 - 2014.05.01


5 Deep Learning Multi-layered feedforward neural networks ... · 5 Deep Learning •Some Topics in Deep Learning: ∗Learning algorithms: ~Back propagation, Stochastic Gradient Descent

5 Deep Learning Multi-layered feedforward neural networks ... · 5 Deep Learning •Some Topics in Deep Learning: ∗Learning algorithms: ~Back propagation, Stochastic Gradient Descent

Documents
Do Deep Neural Networks Suffer from Crowding?papers.nips.cc/paper/...deep-neural-networks-suffer-from-crowding.pdf · Do Deep Neural Networks Suffer from Crowding? Anna Volokitiny\

Do Deep Neural Networks Suffer from Crowding?papers.nips.cc/paper/...deep-neural-networks-suffer-from-crowding.pdf · Do Deep Neural Networks Suffer from Crowding? Anna Volokitiny\

Documents
Deep Convolution Neural Networks 이용하여 결함 검출을 위한 …koreascience.or.kr/article/JAKO202006763002705.pdf · Deep Convolution Neural Networks 이용하여 결함

Deep Convolution Neural Networks 이용하여 결함 검출을 위한 …koreascience.or.kr/article/JAKO202006763002705.pdf · Deep Convolution Neural Networks 이용하여 결함

Documents
Predicting Thyroid Disorder with Deep Neural Networks

Predicting Thyroid Disorder with Deep Neural Networks

Data & Analytics
Face Feature Recognition System with Deep Belief Networks, for Korean/KIISE Thesis

Face Feature Recognition System with Deep Belief Networks, for Korean/KIISE Thesis

Engineering
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料

Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料

Science
Optimization in Deep Residual Networks

Optimization in Deep Residual Networks

Documents
Oct.7, 2016 LESS-FORGETTING LEARNING IN DEEP ......LESS-FORGETTING LEARNING IN DEEP NEURAL NETWORKS Jung, Heechul, et al. "Less-forgetting Learning in Deep Neural Networks." arXiv

Oct.7, 2016 LESS-FORGETTING LEARNING IN DEEP ......LESS-FORGETTING LEARNING IN DEEP NEURAL NETWORKS Jung, Heechul, et al. "Less-forgetting Learning in Deep Neural Networks." arXiv

Documents
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks

[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks

Technology
Embedding Watermarks into Deep Neural Networks

Embedding Watermarks into Deep Neural Networks

Technology
Deep Learning Tutorial: From Perceptrons to Deep Networks

Deep Learning Tutorial: From Perceptrons to Deep Networks

Engineering
Artificial Neural Networks and Deep Learning

Artificial Neural Networks and Deep Learning

Documents
Direct feedback alignment provides learning in Deep Neural Networks

Direct feedback alignment provides learning in Deep Neural Networks

Technology
Deep Neural Networks - GitHub Pages

Deep Neural Networks - GitHub Pages

Documents
Acceleration of deep convolutional neural networks on ...... · 1.2 Objectives ThemasterthesiswasconductedatSaabAvionicsSystems,EngineeringDepartmentforVideo& Graphics Hardwaresectionwiththefollowingobjectives

Acceleration of deep convolutional neural networks on ...... · 1.2 Objectives ThemasterthesiswasconductedatSaabAvionicsSystems,EngineeringDepartmentforVideo& Graphics Hardwaresectionwiththefollowingobjectives

Documents
Deep Neural Networks for the Assessment of Surgical Skills

Deep Neural Networks for the Assessment of Surgical Skills

Documents
Deep Auto-Encoder Neural Networks in Reiforcement Learnning （第 9 回 Deep Learning 勉強会資料; 金子）

Deep Auto-Encoder Neural Networks in Reiforcement Learnning （第 9 回 Deep Learning 勉強会資料; 金子）

Documents
How Good is the Bayes Posterior in Deep Neural Networks

How Good is the Bayes Posterior in Deep Neural Networks

Documents
Stochastic Deep Networks - HotComputerScience · Stochastic Deep Networks Gwendoline de Bie DMA, ENS gwendoline.de.bie@ens.fr Gabriel Peyr e CNRS DMA, ENS gabriel.peyre@ens.fr Marco

Stochastic Deep Networks - HotComputerScience · Stochastic Deep Networks Gwendoline de Bie DMA, ENS [email protected] Gabriel Peyr e CNRS DMA, ENS [email protected] Marco

Documents
« Convolutional Deep Belief Networks »

« Convolutional Deep Belief Networks »

Education
Chapter 3: Three Classes of Deep Learning Networksjcho/Presentation/180313_DL_Chap3.pdf · 2018-05-02 · 3.2 Deep Networks for Unsupervised or Generative Learning - Deep Boltzmann

Chapter 3: Three Classes of Deep Learning Networksjcho/Presentation/180313_DL_Chap3.pdf · 2018-05-02 · 3.2 Deep Networks for Unsupervised or Generative Learning - Deep Boltzmann

Documents
Acceleration of deep convolutional neural networks on ...1326323/FULLTEXT01.pdf · Acceleration of deep convolutional neural networks on multiprocessor system-on-chip Martin Reiche

Acceleration of deep convolutional neural networks on ...1326323/FULLTEXT01.pdf · Acceleration of deep convolutional neural networks on multiprocessor system-on-chip Martin Reiche

Documents
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks

[DL Hacks] Learning Transferable Features with Deep Adaptation Networks

Technology
Convolutional Neural Networks - unipi.it · 2020-02-14 · •Convolutional Neural Networks •Deep Autoencoders and RBM •Gated Recurrent Networks (LSTM, GRU, …) •Advanced topics

Convolutional Neural Networks - unipi.it · 2020-02-14 · •Convolutional Neural Networks •Deep Autoencoders and RBM •Gated Recurrent Networks (LSTM, GRU, …) •Advanced topics

Documents
Deep Learning : Hopfield Networks

Deep Learning : Hopfield Networks

Engineering
Harnessing Deep Neural Networks with Logic Rules

Harnessing Deep Neural Networks with Logic Rules

Engineering
Deep convolutional neural networks for segmenting …...RESEARCH ARTICLE Deep convolutional neural networks for segmenting 3D in vivo multiphoton images of vasculature in Alzheimer

Deep convolutional neural networks for segmenting …...RESEARCH ARTICLE Deep convolutional neural networks for segmenting 3D in vivo multiphoton images of vasculature in Alzheimer

Documents
On the Fundamental Stability of Deep Networks · ON THE STABILITY OF DEEP NETWORKS RAJA GIRYES AND GUILLERMO SAPIRO DUKE UNIVERSITY Mathematics of Deep Learning International Conference

On the Fundamental Stability of Deep Networks · ON THE STABILITY OF DEEP NETWORKS RAJA GIRYES AND GUILLERMO SAPIRO DUKE UNIVERSITY Mathematics of Deep Learning International Conference

Documents
Convolutional Neural Networks - e-learning•Convolutional Neural Networks •Deep Autoencoders and RBM •Gated Recurrent Networks (LSTM, GRU, …) •Recurrent, recursive and contextual

Convolutional Neural Networks - e-learning•Convolutional Neural Networks •Deep Autoencoders and RBM •Gated Recurrent Networks (LSTM, GRU, …) •Recurrent, recursive and contextual

Documents
Intrinsic Image Decomposition Using Deep …stanford.edu/class/ee367/Winter2015/report_vitelli.pdfIntrinsic Image Decomposition Using Deep Convolutional Networks Matt Vitelli mvitelli@stanford.edu

Intrinsic Image Decomposition Using Deep …stanford.edu/class/ee367/Winter2015/report_vitelli.pdfIntrinsic Image Decomposition Using Deep Convolutional Networks Matt Vitelli [email protected]

Documents