音楽数理情報処理の技術3 （ベイズの定理と最尤推定） ·...

0

音楽数理情報処理の技術3（ベイズの定理と最尤推定）

片寄晴弘関西学院大学理工学部情報科学科

音楽情報処理（第11回）

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 1

音楽音響信号の分析・理解（全体的な枠組み）音楽の心象（クオリア）

音楽プリミティブ

楽譜

楽音

時間周波数表現と差分系（パワー・周波数）

音響信号

音楽学

認知科学

パターン認識

心理学

神経生理学

信号処理

物理学

関連領域

記譜法

音楽学領域でのクオリア

リズム 旋法和声

奏法スタイル

音響レベルでのクオリア

ハーモニックエンベロープ

ゲシュタルト変化点アテンション

音源定位

非調波構造

アーリーオーディション

音量弁別 周波数弁別 位相弁別

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 2

•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 3

本日のトピック:「～っぽい」を数理的に取り扱う手法

ストーンズっぽい（進行）マッシブっぽい（音）メロディっぽい（音列）スパムメールっぽい麻雀をする人なら「平和待ちっぽい」とか

「観測」と「経験」がベース（最も「尤もらしい」を選んでいく手法）

音楽音響信号の分析・理解（アプローチ）

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 4

＜関連パターン認識技術：ここで大きな問題・・＞•他科目での既習：なし•受講中：「音声情報処理」「認知情報処理」

最後の２～３回（ちょうど今？）非受講者も多い

•そもそも基礎となる確率・統計、情報理論、を学んでいない受講者も結構いる！

•前半はできるだけ基礎的なお話しと事例から入るようにします•後半も事例や図的理解から入るようにしますが、数式もでてきます

音楽音響信号の分析・理解（アプローチ）

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 5

赤玉・白玉（＋箱）問題見た目が全く同じ箱が 2 つある. 箱1 と 箱2とする.箱1には赤玉が 9 個, 白玉が 1個箱2には赤玉が 2 個, 白玉が 8個入っているとする. どちらの箱か分からないが, 手を入れて玉を一つだけ取りだしてみると赤い玉だった. この場合, 選んだ箱が箱1であった確率は？

箱１は、箱２より 4.5倍 赤が出やすい。この直感を確率として計算すると・・・・

99 + 1

99 + 1 +

22 + 8

＝911

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 6

ベイズの定理

読み方： p 𝜃 given X （Xの条件下で 𝜃 が起こる確率）

事前確率：情報が提示される前の確率先ほどの例で玉取り出しの前だと、「箱１」か」「箱２」かは「50%」取り出した玉が「赤玉」だったとわかると、9/11≒ 82%（事後確率）（「ベイズ更新」：データの観測により事後確率が高まること）

例題（とある関東の大学の40年前入試の問題）５回に１回の割合で帽子を忘れるくせのあるＫ君が、正月に Ａ、Ｂ、Ｃ ３軒を順に年始回りをして家に帰ったとき、帽子を忘れてきたことに気がついた。２軒目の家 Ｂ に忘れてきた確率を求めよ。

𝑃 𝜃 𝑋 =𝑃 𝑋 𝜃 𝑃(𝜃)

𝑃(𝑋) = 𝑃 𝜃 ∗𝑃(𝑋|𝜃)𝑃(𝑋) 𝑃 𝜃! 𝑋 =

𝑃 𝑋 𝜃! 𝑃(𝜃!)∑!"#$ 𝑃 𝜃! 𝑃(𝑋|𝜃!)

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 7

ベイズの定理とMAP推定

【まず、赤玉・白玉＋箱問題での直感】さまざまな数の組み合わせで「赤玉、白玉」が合計10個入っている箱が複数ある。任意で選んだ一つの箱から「赤玉」が出たとわかったとして、どの箱だったかを考える。元々最も「赤玉」が多かった箱が答えのはず・・・

この直感を解くのMAP推定（観測条件下で最も事後確率を大きくする条件）を選ぶ・・・式で書くと

𝜃 を決めるタスクに 𝑃(𝑋) は関係ないので、

𝜃∗ = argmax&

𝑃 𝜃 𝑋 =𝑃 𝑋 𝜃 𝑃(𝜃)

𝑃(𝑋)

𝜃∗ = argmax&

𝑃 𝜃 𝑋 = 𝑃 𝑋 𝜃 𝑃(𝜃)

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 8

MAP推定（例題1）

過去の調査から、無作為に選んだメールの 20％が迷惑メール、80％が一般メールだと分かっている。調査によると、迷惑メールが『キャンペーン』という単語を含んでいる確率は 30 ％、一般メールが『キャンペーン』という単語を含んでいる確率は 44 ％である。無作為に選んだメールが『キャンペーン』という単語を含んでいた場合、これが迷惑メールである確率は？このメールは「迷惑メール」「一般メール」のいずれと判断されるか？

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 9

Coffee break 統計学にまつわる注意（その１）

•患者が実際に病気であるならば、99%の場合には（確率0.99）検査結果は正しく「陽性」となる。•患者が実際は病気でないならば、95%の場合には（確率0.95）検査結果は正しく「陰性」となる。•そして患者の0.1%が実際に病気だとしよう（確率0.001）。

•検査結果が陽性だったという条件下で、それが偽陽性（本当は陽性ではない）の確率をベイズの定理を用いて計算しよう。

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 10

Coffee break 統計学にまつわる注意（その２）

•いろいろな生活習慣の調査。一日に２度歯磨きをしている人は，他の事項とくらべて有意（確率的 に偶然とは考えにくく、意味があると考えられる）に長生きだった。

•長生きをするために一日に２度歯を磨こう

• 正しい呼びかけか？

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 11

•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 12

マルコフ過程と最尤推定

マルコフ過程：記号の出現確率が、直前のm個の記号によって決定されるような確率過程特に，m = 1の場合

A 地方の天気遷移

A = {aij}=

0.4 0.3 0.30.2 0.6 0.20.1 0.1 0.8

!

"

# # #

$

%

& & &

雨へ 曇へ 晴へ雨から

曇から

晴から

晴

曇雨

0.8

0.1

0.4

0.6

0.3 0.1

0.20.2

0.3

1

3

2

𝑃(𝑥!|𝑥!"#)𝑃(𝑥!|𝑥!"#, 𝑥!"$,''' 𝑥!"%)

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 13

マルコフ過程と最尤推定「目隠しして見知らぬ街に連れて来られてここはどこ問題」天気は{晴：最初｝，晴，晴，雨，雨，晴，曇，雨となった。

先ほどのA地方（モデル）だとして、このことが起こる確率は・・・

P[3]*P[3|3]**P[3|3]*P[1|3]*P[3|1]*P[2|3]*P[3|2]=1*0.8*0.8*0.1*0.4*0.3*0.1*0.2=1.536*10-4

確率をかけているだけなので、・・・・観測データ系列を ベクトル y とした時の式は、

𝑀∗ = argmax'

𝑃(𝑦│𝑀)

𝑃 𝑦 𝐴 =,!

𝑃(𝑦! |𝑎!"#, 𝐴)

A地方意外に他のたくさんの地方（モデル M）があって、どの地方であればその観測データが最も起こりやすいかを考えて

晴

曇雨

0.8

0.1

0.40.6

0.3 0.1

0.20.2

0.3

1

3

2

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 14

マルコフ過程と最尤推定（例題）「目隠しして見知らぬ街に連れて来られてここはどこ問題」

連れて来られる先が、先ほどの地方Aと、晴、曇、雨のすべての遷移確率が等しく1/3の地方 B のいずれかであることがわかっている。

天気は{晴：最初｝，晴，晴，雨，雨，晴，曇，雨となった。

どちらの地方に連れて来られたと考えるべきか？

晴

曇雨

0.8

0.1

0.40.6

0.3 0.1

0.20.2

0.3

1

3

2

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 15

ここまでの知識でできることコード進行 bi-gramで、アーティスト判別

とあるサイトによれば、Mr.Chidren（2015年までのシングル）Ⅳ→Ⅴ: 7曲Ⅰ→Ⅳ: 7曲Ⅰ→Ⅴ: 6曲Ⅰ→Ⅲ: 4曲Ⅵm→Ⅴ:3曲それ以外:2曲

他のアーティストで同様の調査をすれば、コード進行による（～っぽさ）の判定も可能に。他の特徴量も捉えていくことで推定確率もあげていける。

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 16

•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 17

マルコフ過程とHidden Markov Model目隠しして見知らぬ街に連れて来られてここはどこ問題 その２

窓がなく、看守の行動パターンしかわからない看守の行動パターン：「仕事をする」 「出かける」「ゲームをする」の三つ看守の行動パターンは天気と関係があり、「晴」「曇」「雨」のそれぞれで三つのうちどの行動をするのかがわかっている。

晴

曇雨

0.8

0.1

0.40.6

0.3 0.1

0.20.2

0.3

1

3

20.7

0.3

0.0 出かける

仕事ゲーム 0.4

0.3

0.3出かける

仕事ゲーム

0.1

0.4

0.5出かける

仕事ゲーム

• 行動は直接観測できる• 天気は直接観測できない• 行動は天気に応じて確率的に与えられる→「隠れた状態遷移モデルがあり、そのモデルが確率的な記号出力を与える」Hidden Markov Model

【直感】看守の行動パターンを観察すればどこに連れて来られたか類推できそう！

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 18

マルコフ過程とHidden Markov Model• 【直感】看守の行動パターンを観察すればどこに連れて来られたか類推できそう！ → できる

• みたい対象が直接観測できないが間接的に観測できる→ 多々ある

• Hidden Markov Model に基づく最尤推定手法の発展（特に、音声認識領域で）

• 音声や音楽領域での課題（時間変動成分がある、発話スピード・テンポの揺らぎ、音価の違い）→

Bakis モデルを例に説明（次ページ）

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 19

HMM（Hidden Markov Model)の利用へ

Bakis モデル [] 内は，a, b の出現確率自身，次のノード，その次のノードへの連結により時間変動成分を吸収． → 長さの変わる音声認識等で利用

このモデルが，aba を与える確率は？

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 20

HMM（Hidden Markov Model)の利用へ

下図の Bakis モデルが[a, b, a] を与える遷移は

q1→q1→q3→q5, q1→q2→q3→q5, q1→q2→q4→q5,q1→q3→q3→q5, q1→q3→q4→q5, q1→q3→q5→q5

P(y |M) = P(qitt∏

i 0,i1⋅⋅⋅iT∑ | qit−1,M) ⋅P(yt | qit−1,qit ,M)

やりたいこと 𝑀∗ = argmax'

𝑃 𝑦 𝑀 再掲

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 21

HMM（Hidden Markov Model)の利用

q1→q1→q3→q5, q1→q2→q3→q5, q1→q2→q4→q5,q1→q3→q3→q5, q1→q3→q4→q5, q1→q3→q5→q5

P(y |M) = P(qitt∏

i 0,i1⋅⋅⋅iT∑ | qit−1,M) ⋅P(yt | qit−1,qit ,M)

P1=0.3×0.7×0.2×0.5×0.3×0.6 = 0.00378P2=0.5×0.8×0.6×0.6×0.3×0.6 = 0.02592P3=0.5×0.8×0.2×0.7×0.5×0.4 = 0.0112P4=0.2×0.5×0.4×0.1×0.3×0.6 = 0.00072P5=0.2×0.5×0.3×0.4×0.5×0.4 = 0.0024P6=0.2×0.5×0.3×0.4×1.0×0.1 = 0.0012

P(aba|Ｍ）＝P1+P2+P3+P4+P5+P6 = 0.04522

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 22

HMM（Hidden Markov Model)の利用へ

• HMMの計算は基本は積算の上、加算• 最適パスの存在

最適パスが与える確率 >>それ以外の確率

• パスのうち最も確率の高いものへの着目→高速化手法として「動的計画法」利用→ Viterbi（ビタビ）アルゴリズム

• 認識精度はきっちりやった場合とほぼ同様

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 23

ここまでの知識でできそうなこと例えば、・・

ギターソロからのギタリスト推定指癖（当該スケールの中でメロディでどの音を順にならしていくか）は典型パターンがいくつかある音価の割り当ては比較的自由になされる

Bakis モデルが使えそう！隠れ状態としてスケール、コード進行とかあるのでは？(yes, そのようなモデルを組み、十分な教師データを用意することで、実際に認識率があがります。）

次週、ここまでの知識での実応用例として、音価推定とビートトラッキングへの応用のお話をします。

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 24

•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 25

k-meansとEMアルゴリズムの図的理解•応用領域

n音の群化n画像処理nその他パターン認識系なんでも

• 機械学習アルゴリズムの一つnクラスタリング→教師なし学習器

その応用先の一つがポスタリゼーション →

通称ビショップ本 パターン認識と機械学習 上下(ベイズ理論による統計的予測) C.M. ビショップ 著 (2006)

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 26

Coffee break 教師あり学習 vs 教師なし学習

機械学習

教師あり学習

教師なし学習

強化学習

回帰

分類

クラスタリング

アソーシエーション分析

Q-学習

モンテカルロ法

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 27

クラスタリング与えられたデータを外的基準なしに自動的に分類する手法 →教師なしデータ分類手法データの集まりをデータ間の類似度にしたがっていつかのグループに分ける

１次元データ３クラスタの場合 2次元データ4クラスタの場合

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 28

K-means クラスタリング（図的理解）

(a)×印はμ1とμ2の初期選択を表す．(b)各データを近いクラスタに割り当てる．(c)割り当てられたデータの平均値をクラスタの中心とする．(d)収束するまで繰り返す．

n 例題：２次元データ２クラスタ分割

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 29

K-means クラスタリング

•N個のデータ集合{x1,…xn}をK個のクラスタに分割する．•Kの値は既知とする．•クラスタとは、データ点間距離が小さいグループを表す．•μkをk番目クラスタの中心をする。•各クラスタに存在するデータからμkへの二乗距離の総和を最小にする．

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 30

K-meansクラスタリング• データ点のクラスタへの割り当てを表現する．• 各データxnに対応する二値指示変数

rnk∈{0,1} (k=1,…K)を定める．• xn がクラスタ k に割り当てられる場合

rnk=1，j≠kの場合はrnj=0とする．• 目的変数Jを定義する．

• Jを最小にするrnkとμkを求める．• rnkとμkを最適化するステップを繰り返す．• 最初にμkの初期値を選ぶ．• μkを固定して，Jを最小化するrnkを求める．• rnkを固定して，Jを最小化するμkを求める．

€

J = rnk xn −µk2

k=1

K

∑n=1

N

∑

𝒓!" = #1 𝑖𝑓 argmin

#𝒙! − 𝝁#

$

0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 31

• rnk を固定した下で，μkを最適化する．•目的関数Jはμkの二次関数なので 偏微分=0 を解くと最小化できる．

•μkについて解くと，

• k番目クラスタに割り当てられた全データの平均値である．→K-meansアルゴリズム

€

2 rnk (xn −µk )n=1

N

∑ = 0

€

µk =rnk xnn

∑rnkn∑

K-meansクラスタリング

€

J = rnk xn −µk2

k=1

K

∑n=1

N

∑

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 32

K-meansクラスタリング• データ点のクラスタへの割り当てを表現する．• 各データxnに対応する二値指示変数

rnk∈{0,1} (k=1,…K)を定める．• xn がクラスタ kに割り当てられる場合

rnk=1，j≠kの場合はrnj=0とする．• 目的変数Jを定義する．

• Jを最小にするrnkとμkを求める．• rnkとμkを最適化するステップを繰り返す．• 最初にμkの初期値を選ぶ．• μkを固定して，Jを最小化するrnkを求める．• rnkを固定して，Jを最小化するμkを求める．• 収束するまで繰り返す．

€

J = rnk xn −µk2

k=1

K

∑n=1

N

∑

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 33

K-means クラスタリング

画像の画素値ベクトル：赤，青，緑の3つ組 {R,G,B}．各画素ベクトルを割り当てられたクラスタの平均{R,G,B}で置き換える．

注）色は：μkの重心

概念の拡張が肝要！

n 例題：N色ポスタリゼーション〈３次元データNクラスター分割〉

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 34

•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 35

K-means vs EMアルゴリズム

•K-means：データ点を1つのクラスタに割り当てる•EM：ガウス分布を仮定した事後確率の最大化（クラスタ数は与えるのは同じ） 1

(2πσ k2 )1 2

exp −x −µk

2( )2σ 2

"

#$$

%

&''

先に反復推定アニメーションをみよう！

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 36

その前に EMアルゴリズムの図的理解

𝝁, 𝜮 が更新されていく部分がポイント！

EMアルゴリズム：先ほどの定義を言い換えると・・・観測データ（関数）にガウス分布がフィッティングする（対数尤度が最大になる）よう、 𝝁, 𝜮を反復推定していくアルゴリズム

アニメーションをみてみよう！https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efb より

あるいはhttps://www.slideshare.net/yag_ays/em-algorithm-animation

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 37

•緑はデータ点の中心．青と赤の円は，ガウス分布の標準偏差の等高線•青と赤の両クラスタの負担率に比例したインクで描写

負担率€

p(x) = π kN(xµk,∑k )k=1

K

∑

混合ガウス分布

EMアルゴリズムによる混合ガウス分布推定（図的理解）

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 38

EMアルゴリズムによる混合ガウス分布推定（図的理解）

•緑はデータ点の中心．青と赤の円は，ガウス分布の標準偏差の等高線•青と赤の両クラスタの負担率に比例したインクで描写•ガウス分布(青/赤)の平均は各データ点が持つ(青/赤)インクの重み付き平均(重心)．共分散（相関）はインクの共分散•繰り返し

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 39

K-means vs EMアルゴリズム

•K-meansとEMは強い類似性がある．•K-meansはデータ点を1つのクラスタに割り当てるが，EMは事後確率に基づいて割り当てる．•混合ガウス分布に関するEMの極限としてK-meansを導出できる．

•各ガウス要素の共分散がεの混合ガウス分布を考える．

•この形のK個混合ガウス分布のEMを考える．•ただし，εは推定しない固定定数とする．€

p(xµk,∑k ) =1

(2πε)D 2 exp −12ε

x −µk2&

' (

) * +

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 40

EMアルゴリズムによる混合ガウス分布推定

•離散的な潜在変数を用いた混合ガウス分布を定式化する．

• ガウス分布: 平均 𝜇kと分散 Σk

•K次元の2値確率変数zを導入する．•1つのzkだけ1，他は0の1-of-K表現• zkは，zk∈{0,1}かつΣkzk=1を満たす．•Zの周辺分布は，混合係数πkで定まる．

€

p(x) = π kN(xµk,∑k )k=1

K

∑

€

p(zk =1) = π k

1 2 3

1 0 0 1

2 1 0 0

3 1 0 0

4 0 0 1

5 0 1 0

π 0.4 0.2 0.4

x k

z

€

p(x) = π kN(X µk,∑k )k=1

3

∑

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 41

k

z

EMアルゴリズムによる混合ガウス分布推定

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 42

•μk,Σk,πkをEMアルゴリズムを用いた最尤推定法で解を見付ける．•最初に，平均，分散，混合係数の初期値を選ぶ．•Eステップ(expectation)：初期パラメータを用いて負担率 𝛾(𝑧45) を計算する．•Mステップ(maximization)：負担率に基づき平均，分散，混合係数のパラメータを再計算する．•対数尤度，またはパラメータの変化量が閾値より小さくなったとき，収束したとする．

EMアルゴリズムによる混合ガウス分布推定

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 43

(a) 同時分布p(z)p(x|z)からのサンプル．混合要素に対応するZの状態を赤,緑,青で描写．

(b) 同サンプルを周辺分布(x)から生成．Zの値を無視し，xの値のみ描写．

(c) 同サンプルの負担率 𝛾(𝑧45)を表現𝛾(𝑧23) (k=1,2,3)に比例する量の赤,青,緑のインク

EMアルゴリズムによる混合ガウス分布推定

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 44

•Eステップ(expectation)：負担率 𝛾(𝑧45) を計算 の補足

EMアルゴリズムによる混合ガウス分布推定

確率分布式で書くと

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 45

•Mステップ(maximization)： μ, 𝜮, 𝜋3の計算• μの最尤解を求める→偏微分

• μの最大化

• 𝜮 の最大化

• 𝜋!の計算・・・ラグランジュの未定乗数法を利用で

EMアルゴリズムによる混合ガウス分布推定

𝜕𝜕𝜇ln𝒩 𝒙 𝝁, 𝜮 = Σ"#(𝒙 − 𝝁)

𝜕𝜕𝜇𝒩 = 𝒩 > 𝜮"#(𝒙 − 𝝁)

?$%#

&

𝛾(𝑧$')(𝒙$−𝝁') = 0

𝜇' の最大化なのでこれも偏微分して解くと

𝜇' =1𝑁'

?$%#

&

𝛾(𝑧$')𝒙$

μのと同様、対数尤度関数に対して偏微分して解いていくと

Σ' =1𝑁'

?$%#

&

𝛾(𝑧$') (𝒙$ − 𝝁')(𝒙$ − 𝝁')(

𝜋' =1𝑁?$%#

&

𝛾(𝑧$') 最尤解はすべて負担率（インク） 𝛾(𝑧!") に依存

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 46

クラスタリングの課題と発展

•クラスタ重心 μkが重なる場合n 写像，カーネルトリック

•クラスタ数もあわせて最尤推定していきたい場合

n ノンパラメトリックベイズモデルn 階層ベイズモデル

モデルの複雑さとデータとの適合度とのバランスを取る指標は？

cf. KL-ダイバージェンスAIC（赤池情報基準), BIC・・・

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 47

ここまでの知識での応用として、次週

• EMアルゴリズム• メロディ抽出（PreFEst by 後藤 2004)• 調性推定（Tonnetz by E. Gómez’s 2006)

• GMM• 音源分離（HTC by 亀岡 2005)

を紹介します。

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 48

•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報

片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 49

実装例（コード）情報• HMM

• HMM learnTensorFlow API

• EMアルゴリズムとGMM• https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efbPythonによるわかりやすい解説です

• https://yokaze.github.io/2019/08/30/TensorFlow（とGoogle Colaboratory）利用TensorFlow のoptimizersを利用。機械学習環境のオープン化のおかげで、随分シンプルにコーディングできる時代となりました