機械学習
第1回 イントロダクション
白浜 公章
教材Webサイトに講義資料とコード(Python jupyter notebook形式)を公開https://www.info.kindai.ac.jp/~shirahama/courses/ml/
講義している手法の動作確認がその場で行える!
参考書• 本講義は、下記の本に基づいている
Jeremy Watt, Reza Borhani and Aggelos K. KatsaggelosMachine Learning Refined: Foundations, Algorithms, and ApplicationsCambridge University Press, 2016
著者とコンタクトをとり、コードや図を使用する許可を得ている もうすぐ第2版が出版される
目標• 機械学習の枠組み、及び現在主流となっている技術に関する基礎知識の習得• 高水準言語(Python)を用いて、機械学習モデルを実装する能力・経験の習得
成績評価合計3回のレポート(講義した手法を用いて、UCI Machine Learning Repositoryのデータを解析)
本講義について
本講義では、機械学習の枠組みを抑えた後で、深層学習について深く学ぶ!
機械学習とは?
人工知能:計算機上で人間の知能を再現する技術(1956年~)
機械学習:データを統計的に解析して、予測や分類を行うモデルを学習(構築)する技術
深層学習:人間の脳の仕組みに基づく深い階層をもつモデルを学習する技術
P. Viola and M. Jones,CVPR 2001
N. Jones,Nature 2014
ルールベースアプローチの限界
計算機(GPU)の進歩大規模データの収集・整備
肌色、髪の色、眼、口の形…
どうやって学習する?
多くの学習データを使えば使うほど、正確な識別が行えるようになる
データを見せる人間と同じ
学習データ
(データ本体) (ラベル)
猫
犬
猫
犬
(教師)
(学習者) (計算機)
データが属するクラス(カテゴリ)を表す
犬と猫の識別
学習データをどうする?
クラスごとの特徴を見つけるこれも人間と同じ
猫クラス
犬と猫の違いは、〇 耳の形〇 鼻の大きさ(顔との比率)× 脚の数× 色…
犬クラス
もう少し定量的には?
学習データを特徴空間中の点として表現するいい特徴を使えていれば、同じクラスのデータが近くに集まる
犬クラス
猫クラス
(大)鼻の大きさ(小)
耳の形
(丸い)
(尖っている)
(大きい、丸い)
(小さい、尖っている)
どうやって識別する?
(大)鼻の大きさ(小)
耳の形
(丸い)
(尖っている)
モデル(図では線形モデル(直線))を学習する パラメータの最適化
y = 𝑎𝑥 + 𝑏(耳の形) (鼻の大きさ) 傾きaと切片bを求める
犬クラス
猫クラス異なるクラスのちょうど中間を通っており最適(だろう)
学習した後は?
ラベルが未知のテストデータを分類する
(大)鼻の大きさ(小)
耳の形
(丸い)
(尖っている)
犬クラス
猫クラス
誤分類:学習データでは、鼻の大きさと耳の形で十分だったが、一部のテストデータには当てはまらない!• 学習データを増やす• 新たな特徴(例えば、眼の色)を導入→ モデルを再学習
機械学習の枠組み (1/2)
問題設定
犬 vs. 猫
データ収集
学習データ(ラベルが既知)
テストデータ(ラベルが未知)
犬
猫
?
?
特徴抽出
データを特徴空間に写像
学習
正確な分類ができるようにモデルのパラメータを最適化
テスト
学習したモデルをテストデータに適用して性能評価
分類問題:ラベルが離散値(クラス)
機械学習の枠組み (2/2)
問題設定
株価予測
データ収集
学習データ(ラベルが既知)
テストデータ(ラベルが未知)
特徴抽出
データを特徴空間に写像
学習
正確な予測ができるようにモデルのパラメータを最適化
テスト
学習したモデルをテストデータに適用して性能評価
回帰問題:ラベルが連続値
企業A 400
企業B 100
?企業C
?企業D
株価
株価
歳入
• 各企業を“歳入”という1つの特徴で表現
• 縦軸はラベル(株価)
株価
歳入企業Cの歳入
企業Cの株価(予測値)
回帰問題も分類問題も枠組みは同じ(ラベルが違うだけ)!
特徴の重要性(1/3)
適切な特徴をデザインすることが非常に重要• 対象問題に関して深い知識があれば、適切な特徴をデザインでき、高精度を達成可能• ただし、多くの場合、対象問題について少ししか知識がない、もしくは全くない
どうやって有用な特徴を自動抽出(し高精度を達成)するか → 特徴学習(重要!)
深い知識があるとき:物体の落下距離の回帰(ガリレオの落下法則)落下距離は質量に依存せず、時間(の2乗)にのみ依存する
(時間の2乗:特徴)
特徴の重要性(2/3)
知識がほとんどないとき(パート1):視覚情報に基づく物体認識「人間が物体認識に使用する情報は、エッジに多く含まれている」ということは分かっている
確かに、エッジだけからでも2人の人が映っていることは分かるただし、複雑な画像に対してはエッジだけでは不十分
適切な特徴をデザインすることが非常に重要• 対象問題に関して深い知識があれば、適切な特徴をデザインでき、高精度を達成可能• ただし、多くの場合、対象問題について少ししか知識がない、もしくは全くない
どうやって有用な特徴を自動抽出(し高精度を達成)するか → 特徴学習(重要!)
特徴の重要性(3/3)
知識がほとんどないとき(パート2):視覚情報に基づく物体認識「脳内には小領域のエッジ検出を行う細胞(ニューロン)があり、検出されたエッジを組み合わせて、
人は物体認識を行っている」という脳科学の知見
こういうエッジを特徴として検出する(そして、さらに組み合わせる)→ 物体認識に関する現在最先端の特徴(深層学習)
適切な特徴をデザインすることが非常に重要• 対象問題に関して深い知識があれば、適切な特徴をデザインでき、高精度を達成可能• ただし、多くの場合、対象問題について少ししか知識がない、もしくは全くない
どうやって有用な特徴を自動抽出(し高精度を達成)するか → 特徴学習(重要!)
パラメータの最適化とは?(1/2)
コスト関数の最小化• 入力は、最適化するモデルのパラメータ(下の例では、傾きaと切片b)• 出力は、あるパラメータを使用した時のエラー率(つまり、コスト)
コストを最小にするパラメータを見つける
コスト大 → 悪いパラメータ(回帰精度が低い)
コスト最小 → 最適パラメータ(回帰精度が高い)
パラメータの最適化とは?(2/2)
コスト関数の最小化• 入力は、最適化するモデルのパラメータ(下の例では、傾きと切片)• 出力は、あるパラメータを使用した時のエラー率(つまり、コスト)
コストを最小にするパラメータを見つける
コスト大 → 悪いパラメータ(分類精度が低い)
コスト最小 → 最適パラメータ(分類精度が高い)
数値最適化(数値計算法)が大事!
本講義の焦点と日程
特徴学習:データから有用な特徴を抽出し、分類・回帰を行うニューラルネットワーク• 回帰のための特徴学習(8, 9, 10週目)• 分類のための特徴学習(11, 12週目)• 代表的な特徴学習手法(CNN, RNNなど) (13, 14, 15週目)
数値最適化(2週目)
知識に基づいて手動で定義した特徴• 回帰モデルの学習、テスト(3, 4週目)• 分類モデルの学習、テスト(5, 6, 7週目)
歳入
株価
鼻の大きさ
耳の形
問題設定 データ収集 特徴抽出 学習 テスト
一層だけからのシンプルなモデルを用いて、機械学習の基本的枠組みを抑える
• 特徴によるデータ表現• モデルパラメータの最適化
多層からなる複雑なモデルに発展させる
Anaconda Python 3.7のインストール
僕は、 https://www.anaconda.com/download/ から、Windows用の64ビット版Anaconda Python 3.6(最新版はPython 3.7)をダウロードしインストールした。Macbook Airでも、上記サイトからPython 3.7をダウンロードし、簡単にインストールできることを確認済み!
ただし、下記の2点には注意した方がいいと思われる。• Anacondaのインストールフォルダに日本語が入っているとインストールできないので、Cの直下にフォルダを作り、そこにインストールした。プラス、ユーザ名に日本語が混じっているなら、日本語が混じっていないユーザを作り、そちらで作業すべき(後でscipyがうまく動かないことが分かり、痛い目に遭った)。
• Anacondaのパスを環境変数に設定することはNot recommendedだったが、環境変数に設定した。
Anaconda Pythonをインストールすれば、Pythonの基本的なライブラリ(jupyter-notebook、numpyなど)も併せてインストールされる。
インストールが完了すれば、ターミナルでjupyter-notebook
と実行すれば、jupyter-notebookが起動する。Webブラウザに以下のような画面が表示されるはず。
インストール済みの人は次のスライドへ
Autograd(自動で微分を計算してくれるライブラリ)のインストールAnaconda Promptを起動し、下記のコマンドを実行して、autogradをインストールする
• python -m pip install –upgrade pip• pip install autograd
本講義で使用する補助ライブラリのイントールとテスト1. 講義のWebページに公開されている下記の2つのファイルをダウンロードする
• 1_test.ipynb• mlrefined_libraries.zip
2. mlrefined_libraires.zipを、1_test.ipynbと同じフォルダに解凍・配置する。
3. Jupyter Notebookで、1_test.ipynbを開き、実行できることを確認する。うまく行けば、右のようなグラフが表示されるはず。
本講義用の設定
jupyter-notebookを使ったPythonプログラミング
Pythonやjupyter-notebookの使い方に関するWebページは、数多く公開されている。徐々にで構わないので、各自で勉強し、jupyter-notebookを使ったPythonプログラミングに慣れておくこと!
例えば、下記のWebページを挙げておくが、探せば色々と見つかる。自分で内容を読み、理解し、納得したWebページを参照すること!(jupyter-notebookの使い方)
https://pythondatascience.plavox.info/python%E3%81%AE%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83/jupyter-notebook%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%88%E3%81%86
https://bizinfolog.com/python-machine-learning/how-to-use-jupyter-notebook/
(Pythonの全般的な使い方)http://lang.sist.chukyo-u.ac.jp/classes/PythonProbStat/Guide2Python.htmlhttps://www.python-izm.com/basic/
(numpyという非常に重要な計算ライブラリの使い方)http://www.kamishima.net/mlmpyja/nbayes1/ndarray.html
メモ1. jupyter-notebookで” IOPub data rate exceeded”というエラーが出たとき
jupyter-notebookで使用するメモリが不足しているで、増やしてやるhttps://aotamasaki.hatenablog.com/entry/2018/04/08/123146https://stackoverflow.com/questions/43288550/iopub-data-rate-exceeded-when-viewing-image-in-jupyter-notebook
2. jupyter-notebookで作成したコードの拡張子は.ipynbであるが、Safariを用いて、Web上の.ipynbファイルをダウンロードすると、最後に”.txt”が追加されることがあるので、そのときは”.txt”を削除する
レポート課題では必須!
おさえておくべき事項
1. Pythonに関すること• パッケージのimport• 変数の型は不要(typeで確認)• インデントでコードを書く• print• 内包標記• 関数(複数の返り値も簡単)
2. numpyというパッケージは非常に重要• ベクトル・行列の定義• ベクトル・行列のサイズの確認• ブロードキャスティングによる計算• テキストファイルの読み込み(loadtxt, genfromtxtなど)
3. jupyter-notebookでは、”Code”モードだけでなく、”Markdown”モードも抑えておく• 簡単にメモ書きができる:https://qiita.com/tbpgr/items/989c6badefff69377da7• Latexと同じ記法で数式が書ける:https://qiita.com/PlanetMeron/items/63ac58898541cbe81ada