Embed Size (px)
DESCRIPTION
Deep learningの軽い紹介の軽い紹介です。 間違ってる部分があったら連絡ください。
Citation preview
Deep Learningの軽い紹介 v1.0
目的と注意
• 最近”Deep Learning”が熱いですね
• そこで”Deep Learning”を初心者の方でもわかりやすいようにまとめてみました
• 自分自身機械学習は論文や本での独学なので、間違ってる点があれば教えてください
目次
• スライドを2枚に分けます
• 1枚目 : Deep Learningの軽い紹介
• 2枚目 : Deep Learningの音声分野への応用と可能性
• Deep Learning
• Deep Neural Network(DNN)
• Neural Network(NN)
• Hidden Markov Model(HMM)
• Gaussian Mixture Model - Hidden Markov Model(GMM-HMM)
• Deep Neural Network - Hidden Markov Model(DNN-HMM)
• 機械学習
• パターン認識
• 時系列データの認識
• 音声認識
• 画像認識
• モーション認識
• 音楽リズム認識
• 経済モデル
• 感情モデル...
キーワード
MIT : http://www.technologyreview.com/lists/breakthrough-technologies/2013/
2013年の熱い技術として紹介されている
今”Deep Learning”が熱い!!
ICMLのスケジュール : http://icml.cc/2013/?page_id=47
機械学習の世界的学会、ICMLでも...
今”Deep Learning”が熱い!!
• Ne#lix Movie Compe..on – Part of the “Ensemble” ($1 Million dollars)
• Kaggle Merck Competion 2012 - Help Develop Effective Medicines by Predicting Molecular Activity
• ICPR 2012 - Contest on “Mitosis Detection in Breast Cancer Histological Images.”
• IJCNN 2011 - Traffic Sign Recognition Competition
• ISBI 2012 - Challenge on segmentation of neuronal structures.
• ICDAR 2011 - Offline Chinese Handwriting.(without knowing any Chinese)
• Online German Traffic Sign Recognition Contest - 2011, first and second ranks
• ICDAR 2009 - Arabic Connected Handwriting Competition (without speaking a word of Arabic).
画像,音声,言語処理...様々な分野で活躍中
名のあるコンペティションでの優勝
今”Deep Learning”が熱い!!
名のあるコンペティションでの優勝(補足)
人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/
今”Deep Learning”が熱い!!
• Googleの1000台のコンピュータが3日間、Youtubeの動画を見続けることで”ネコの概念”を自動的に学習した
• “この人工頭脳は、ひとたびインターネットに接続して、YouTubeからランダムに選ばれた無数の画像を山のように供給されると、非常に特殊なことを行い始めた（少なくともコンピューターにとっては）。自動学習のプロセスを通して、猫を認識することを学習したのだ。人工頭脳の父であるアラン・チューリングの生誕から100年にして、機械も独習ができることを証明した。”
.http://wired.jp/2012/07/06/google-recognizes-kittens/
.http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html
”Deep Learning” の凄さがわかる例
• コンピューターはシュミレーションを行う機械
• 2025年には完璧に脳をシュミレーションできるらしい...
• 怖いですね
http://gigazine.net/news/20090315_supercomputer_power/
人工知能に関する補足
•コンピュータが自分で考える時代の到来か!?
凄さはわかってもらえたでしょうか？
• 日本語名 : “深層学習”
• 人工知能学会では...
• あれ、という事はDeep Learning = Neural Network(NN)?
• 再び人工知能学会....
”Deep Learning” って何ぞや?
つまりDeep Learning = 深いNN? 人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/
• “深いNN”を理解する為に、まずは普通のNNの紹介です。
• アルゴリズムについてはすばらしい説明ページがたくさんあるので、概念の説明です。
”Neural Network(NN)”について
by wikipedia
• [ニューラルネットによるパターン認識]のページが非常にわかりやすいですので、ここでは簡単な流れを説明します。
• 学習データを入力層=>中間層=>出力層の順にデータを伝播させていく。各ニューロンを通るたびに「重さ」が加えられていく。
• 出力されたデータと学習データの答えを比較し、誤差を逆伝播していく。逆伝播の最中に「重さ」の更新を行う。
• 誤差が一定以下になるまで繰り返す
• ちなみに図は3階層パーセプトロン
• 他のモデルもありますよ。
”Neural Network(NN)”の仕組み
ニューラルネットによるパターン認識 : http://aidiary.hatenablog.com/entry/20050505/1274165051
ニューラルネット : http://www.sig.cs.osakafu-u.ac.jp/omatu/13neurobook.pdf
”Neural Network(NN)”の特徴[ニューラルネット]抜粋(詳しくは読んでください)
アルゴリズムが簡素である事と、これらの特徴でNNに興味を持ちました。(分散システムと相性抜群)
”Neural Network(NN)”は何が出来るのか
• パターン認識(教師あり)
• 「階層型NN」(先ほどのページ)を使えば(非線形)パターン認識を行えます。
• ライバル
• SVM(線形,非線形),GMM(確率モデル)...
• クラスタリング(教師なし)
• 「自己組織化写像(SOM)」を使えば、クラスタリングを行えます。
• ライバル
• k-means..
”Neural Network(NN)”の歴史
東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/
NNの第一の冬
NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf
線形分離不可能問題
xor をNNで解けなかった。。。=> “誤差逆伝播法”の登場で解けるようになり、第一の冬終了。
NNの第二の冬
NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf
NN遅いし、他のいいアルゴリズムあるよねー...
GPUや新しいアルゴリズムの登場で、第二の冬終了
• NNについてある程度わかってもらえたと思うので、次は”深いNN”(Deep Neural Network,DNN)の説明です。
”Deep Neural Network(DNN)”について
NNはhiddenが2,3層DNNはhiddenがたくさん
NNとDNNの違い
深いんです!!もちろん他にも違いがありますが。。。
DNNの特徴
http://www.slideshare.net/pfi/deep-learning-22350063
• 今までの機械学習分野は特徴量抽出との戦いであった。
• 画像処理 - SURF,SIFT
• 音声認識 - MFCC
• DNNは特徴抽出もまとめて行う(表現学習) => 生のデータのまま扱える
• 層が深くなるごとに、データが抽象的(次元が圧縮される)形なっていく
DNNの特徴
http://www.ais.uni-bonn.de/deep_learning/
NNはhiddenが2,3層 DNNはhiddenがたくさん
再びNNとDNNの違い
問題を解くだけだったらNNで十分、しかしDNNを使えば、特徴量抽象(次元圧縮)も同時に行う。
ここは自信ないです。。。
DNNが今まで流行らなかったのはなぜ?
• DNNの仕組み自体は前からあったが、hiddenが深いと
1. 誤差逆伝播は計算時間がかかる
2. 学習が収束しない(過学習)
という問題があった。
• そこで
1. GPUの登場や、高性能のPCを安価に大量に使うように出来るようになった
2. 新しいアルゴリズムの登場
- プレトレーニングやDropOut
により花開いた。
東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/
• アルゴリズムの仕組み自体が今回の目的ではないので、割愛します(難しいので)。
• 知りたい方は、http://www.deeplearning.net/tutorial/のページが非常に良くまとまっています。
• DNNのライブラリは”Theano”がおすすめです。
• GPUを用いて並列処理を行うことができる。
• 分散処理はサポートしてない。
DNNのアルゴリズム
• Deep Learningは発展途上で
何が本当に上手くいっているのか良くわかっていない状況です。
-----あるデータにどんな形のDNNが有効か、試してみないとわからない.
=> 分散処理で様々なネットワークを試してみては？
問題点
http://research.preferred.jp/2012/11/deep-learning/
• Deep Neural Network は”深いNN”
• 各層ごとに意味がある
• DNNを使えば、従来の機械学習分野で必要であった特徴量抽出が必要ないパターン認識を行える
• 生のデータをそのまま扱える
• 未知のデータでも使用可能?
• 機械が自動的にパターンを学習する - googleのネコの概念 -
• 未知の部分も多いが、現状素晴らしい成果を生み出しているのは明白である
• 非常に分散・並列処理と相性がいいアルゴリズムである。さらにアルゴリズム自体は簡素で、学習コストも低い(しっかり理解するのは大変...)
まとめ
• 次回は「 Deep Learningの音声分野への応用と可能性」です。
• 最近の音声認識は、
”Gaussian Mixture Model - Hidden Markov Model(GMM-HMM)”から
”Deep Neural Neural - Hidden Markov Model(DNN-HMM)”に
置き換わっている。
• やっている事は両方とも”パターン認識 - 時系列パターン認識”
• 音声認識の場合”音素認識(パターン認識) - 単語認識(時系列パターン認識)”
• DNN-HMMはGMM-HMMの性能を凌駕する。
• 実際にMicrosoft,Googleの音声検索に使われている。
• DNN-HMMのモデルは様々な分野に応用可能であるので、その応用例も考えてみる。
• モーション認識に応用出来るのではないかと考えている。
• NUIの幅が広がる気がする。
次回予告
