音楽数理情報処理の技術3 （ベイズの定理と最尤推定） · ＜関連パターン認識技術：ここで大きな問題・・＞ •他科目での既習：なし

0

音楽数理情報処理の技術3（ベイズの定理と最尤推定）

片寄晴弘関西学院大学理工学部情報科学科

音楽情報処理（第11回）

片寄晴弘関西学院大学理工学部音楽情報処理講義資料 2020 1

音楽音響信号の分析・理解（全体的な枠組み）音楽の心象（クオリア）

音楽プリミティブ

楽譜

楽音

時間周波数表現と差分系（パワー・周波数）

音響信号

音楽学

認知科学

パターン認識

心理学

神経生理学

信号処理

物理学

関連領域

記譜法

音楽学領域でのクオリア

リズム旋法和声

奏法スタイル

音響レベルでのクオリア

ハーモニックエンベロープ

ゲシュタルト変化点アテンション

音源定位

非調波構造

アーリーオーディション

音量弁別周波数弁別位相弁別


•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報


本日のトピック:「～っぽい」を数理的に取り扱う手法

ストーンズっぽい（進行）マッシブっぽい（音）メロディっぽい（音列）スパムメールっぽい麻雀をする人なら「平和待ちっぽい」とか

「観測」と「経験」がベース（最も「尤もらしい」を選んでいく手法）

音楽音響信号の分析・理解（アプローチ）


＜関連パターン認識技術：ここで大きな問題・・＞•他科目での既習：なし•受講中：「音声情報処理」「認知情報処理」

最後の２～３回（ちょうど今？）非受講者も多い

•そもそも基礎となる確率・統計、情報理論、を学んでいない受講者も結構いる！

•前半はできるだけ基礎的なお話しと事例から入るようにします•後半も事例や図的理解から入るようにしますが、数式もでてきます

音楽音響信号の分析・理解（アプローチ）


赤玉・白玉（＋箱）問題見た目が全く同じ箱が 2 つある. 箱1 と箱2とする.箱1には赤玉が 9 個, 白玉が 1個箱2には赤玉が 2 個, 白玉が 8個入っているとする. どちらの箱か分からないが, 手を入れて玉を一つだけ取りだしてみると赤い玉だった. この場合, 選んだ箱が箱1であった確率は？

箱１は、箱２より 4.5倍赤が出やすい。この直感を確率として計算すると・・・・

99 + 1

99 + 1 +

22 + 8

＝911


ベイズの定理

読み方： p 𝜃 given X （Xの条件下で 𝜃 が起こる確率）

事前確率：情報が提示される前の確率先ほどの例で玉取り出しの前だと、「箱１」か」「箱２」かは「50%」取り出した玉が「赤玉」だったとわかると、9/11≒ 82%（事後確率）（「ベイズ更新」：データの観測により事後確率が高まること）

例題（とある関東の大学の40年前入試の問題）５回に１回の割合で帽子を忘れるくせのあるＫ君が、正月にＡ、Ｂ、Ｃ３軒を順に年始回りをして家に帰ったとき、帽子を忘れてきたことに気がついた。２軒目の家Ｂに忘れてきた確率を求めよ。

𝑃 𝜃 𝑋 =𝑃 𝑋 𝜃 𝑃(𝜃)

𝑃(𝑋) = 𝑃 𝜃 ∗𝑃(𝑋|𝜃)𝑃(𝑋) 𝑃 𝜃! 𝑋 =

𝑃 𝑋 𝜃! 𝑃(𝜃!)∑!"#$ 𝑃 𝜃! 𝑃(𝑋|𝜃!)


ベイズの定理とMAP推定

【まず、赤玉・白玉＋箱問題での直感】さまざまな数の組み合わせで「赤玉、白玉」が合計10個入っている箱が複数ある。任意で選んだ一つの箱から「赤玉」が出たとわかったとして、どの箱だったかを考える。元々最も「赤玉」が多かった箱が答えのはず・・・

この直感を解くのMAP推定（観測条件下で最も事後確率を大きくする条件）を選ぶ・・・式で書くと

𝜃 を決めるタスクに 𝑃(𝑋) は関係ないので、

𝜃∗ = argmax&

𝑃 𝜃 𝑋 =𝑃 𝑋 𝜃 𝑃(𝜃)

𝑃(𝑋)

𝜃∗ = argmax&

𝑃 𝜃 𝑋 = 𝑃 𝑋 𝜃 𝑃(𝜃)


MAP推定（例題1）

過去の調査から、無作為に選んだメールの 20％が迷惑メール、80％が一般メールだと分かっている。調査によると、迷惑メールが『キャンペーン』という単語を含んでいる確率は 30 ％、一般メールが『キャンペーン』という単語を含んでいる確率は 44 ％である。無作為に選んだメールが『キャンペーン』という単語を含んでいた場合、これが迷惑メールである確率は？このメールは「迷惑メール」「一般メール」のいずれと判断されるか？


Coffee break 統計学にまつわる注意（その１）

•患者が実際に病気であるならば、99%の場合には（確率0.99）検査結果は正しく「陽性」となる。•患者が実際は病気でないならば、95%の場合には（確率0.95）検査結果は正しく「陰性」となる。•そして患者の0.1%が実際に病気だとしよう（確率0.001）。

•検査結果が陽性だったという条件下で、それが偽陽性（本当は陽性ではない）の確率をベイズの定理を用いて計算しよう。


Coffee break 統計学にまつわる注意（その２）

•いろいろな生活習慣の調査。一日に２度歯磨きをしている人は，他の事項とくらべて有意（確率的に偶然とは考えにくく、意味があると考えられる）に長生きだった。

•長生きをするために一日に２度歯を磨こう

• 正しい呼びかけか？




マルコフ過程と最尤推定

マルコフ過程：記号の出現確率が、直前のm個の記号によって決定されるような確率過程特に，m = 1の場合

A 地方の天気遷移

A = {aij}=

0.4 0.3 0.30.2 0.6 0.20.1 0.1 0.8

!

"

# # #

$

%

& & &

雨へ曇へ晴へ雨から

曇から

晴から

晴

曇雨

0.8

0.1

0.4

0.6

0.3 0.1

0.20.2

0.3

1

3

2

𝑃(𝑥!|𝑥!"#)𝑃(𝑥!|𝑥!"#, 𝑥!"$,''' 𝑥!"%)


マルコフ過程と最尤推定「目隠しして見知らぬ街に連れて来られてここはどこ問題」天気は{晴：最初｝，晴，晴，雨，雨，晴，曇，雨となった。

先ほどのA地方（モデル）だとして、このことが起こる確率は・・・

P[3]*P[3|3]**P[3|3]*P[1|3]*P[3|1]*P[2|3]*P[3|2]=1*0.8*0.8*0.1*0.4*0.3*0.1*0.2=1.536*10-4

確率をかけているだけなので、・・・・観測データ系列をベクトル y とした時の式は、

𝑀∗ = argmax'

𝑃(𝑦│𝑀)

𝑃 𝑦 𝐴 =,!

𝑃(𝑦! |𝑎!"#, 𝐴)

A地方意外に他のたくさんの地方（モデル M）があって、どの地方であればその観測データが最も起こりやすいかを考えて

晴

曇雨

0.8

0.1

0.40.6

0.3 0.1

0.20.2

0.3

1

3

2


マルコフ過程と最尤推定（例題）「目隠しして見知らぬ街に連れて来られてここはどこ問題」

連れて来られる先が、先ほどの地方Aと、晴、曇、雨のすべての遷移確率が等しく1/3の地方 B のいずれかであることがわかっている。

天気は{晴：最初｝，晴，晴，雨，雨，晴，曇，雨となった。

どちらの地方に連れて来られたと考えるべきか？

晴

曇雨

0.8

0.1

0.40.6

0.3 0.1

0.20.2

0.3

1

3

2


ここまでの知識でできることコード進行 bi-gramで、アーティスト判別

とあるサイトによれば、Mr.Chidren（2015年までのシングル）Ⅳ→Ⅴ: 7曲Ⅰ→Ⅳ: 7曲Ⅰ→Ⅴ: 6曲Ⅰ→Ⅲ: 4曲Ⅵm→Ⅴ:3曲それ以外:2曲

他のアーティストで同様の調査をすれば、コード進行による（～っぽさ）の判定も可能に。他の特徴量も捉えていくことで推定確率もあげていける。




マルコフ過程とHidden Markov Model目隠しして見知らぬ街に連れて来られてここはどこ問題その２

窓がなく、看守の行動パターンしかわからない看守の行動パターン：「仕事をする」「出かける」「ゲームをする」の三つ看守の行動パターンは天気と関係があり、「晴」「曇」「雨」のそれぞれで三つのうちどの行動をするのかがわかっている。

晴

曇雨

0.8

0.1

0.40.6

0.3 0.1

0.20.2

0.3

1

3

20.7

0.3

0.0 出かける

仕事ゲーム 0.4

0.3

0.3出かける

仕事ゲーム

0.1

0.4

0.5出かける

仕事ゲーム

• 行動は直接観測できる• 天気は直接観測できない• 行動は天気に応じて確率的に与えられる→「隠れた状態遷移モデルがあり、そのモデルが確率的な記号出力を与える」Hidden Markov Model

【直感】看守の行動パターンを観察すればどこに連れて来られたか類推できそう！


マルコフ過程とHidden Markov Model• 【直感】看守の行動パターンを観察すればどこに連れて来られたか類推できそう！ → できる

• みたい対象が直接観測できないが間接的に観測できる→ 多々ある

• Hidden Markov Model に基づく最尤推定手法の発展（特に、音声認識領域で）

• 音声や音楽領域での課題（時間変動成分がある、発話スピード・テンポの揺らぎ、音価の違い）→

Bakis モデルを例に説明（次ページ）


HMM（Hidden Markov Model)の利用へ

Bakis モデル [] 内は，a, b の出現確率自身，次のノード，その次のノードへの連結により時間変動成分を吸収． → 長さの変わる音声認識等で利用

このモデルが，aba を与える確率は？



下図の Bakis モデルが[a, b, a] を与える遷移は

q1→q1→q3→q5, q1→q2→q3→q5, q1→q2→q4→q5,q1→q3→q3→q5, q1→q3→q4→q5, q1→q3→q5→q5

P(y |M) = P(qitt∏

i 0,i1⋅⋅⋅iT∑ | qit−1,M) ⋅P(yt | qit−1,qit ,M)

やりたいこと 𝑀∗ = argmax'

𝑃 𝑦 𝑀 再掲


HMM（Hidden Markov Model)の利用

q1→q1→q3→q5, q1→q2→q3→q5, q1→q2→q4→q5,q1→q3→q3→q5, q1→q3→q4→q5, q1→q3→q5→q5

P(y |M) = P(qitt∏

i 0,i1⋅⋅⋅iT∑ | qit−1,M) ⋅P(yt | qit−1,qit ,M)

P1=0.3×0.7×0.2×0.5×0.3×0.6 = 0.00378P2=0.5×0.8×0.6×0.6×0.3×0.6 = 0.02592P3=0.5×0.8×0.2×0.7×0.5×0.4 = 0.0112P4=0.2×0.5×0.4×0.1×0.3×0.6 = 0.00072P5=0.2×0.5×0.3×0.4×0.5×0.4 = 0.0024P6=0.2×0.5×0.3×0.4×1.0×0.1 = 0.0012

P(aba|Ｍ）＝P1+P2+P3+P4+P5+P6 = 0.04522



• HMMの計算は基本は積算の上、加算• 最適パスの存在

最適パスが与える確率 >>それ以外の確率

• パスのうち最も確率の高いものへの着目→高速化手法として「動的計画法」利用→ Viterbi（ビタビ）アルゴリズム

• 認識精度はきっちりやった場合とほぼ同様


ここまでの知識でできそうなこと例えば、・・

ギターソロからのギタリスト推定指癖（当該スケールの中でメロディでどの音を順にならしていくか）は典型パターンがいくつかある音価の割り当ては比較的自由になされる

Bakis モデルが使えそう！隠れ状態としてスケール、コード進行とかあるのでは？(yes, そのようなモデルを組み、十分な教師データを用意することで、実際に認識率があがります。）

次週、ここまでの知識での実応用例として、音価推定とビートトラッキングへの応用のお話をします。




k-meansとEMアルゴリズムの図的理解•応用領域

n音の群化n画像処理nその他パターン認識系なんでも

• 機械学習アルゴリズムの一つnクラスタリング→教師なし学習器

その応用先の一つがポスタリゼーション →

通称ビショップ本パターン認識と機械学習上下(ベイズ理論による統計的予測) C.M. ビショップ著 (2006)


Coffee break 教師あり学習 vs 教師なし学習

機械学習

教師あり学習

教師なし学習

強化学習

回帰

分類

クラスタリング

アソーシエーション分析

Q-学習

モンテカルロ法


クラスタリング与えられたデータを外的基準なしに自動的に分類する手法 →教師なしデータ分類手法データの集まりをデータ間の類似度にしたがっていつかのグループに分ける

１次元データ３クラスタの場合 2次元データ4クラスタの場合


K-means クラスタリング（図的理解）

(a)×印はμ1とμ2の初期選択を表す．(b)各データを近いクラスタに割り当てる．(c)割り当てられたデータの平均値をクラスタの中心とする．(d)収束するまで繰り返す．

n 例題：２次元データ２クラスタ分割


K-means クラスタリング

•N個のデータ集合{x1,…xn}をK個のクラスタに分割する．•Kの値は既知とする．•クラスタとは、データ点間距離が小さいグループを表す．•μkをk番目クラスタの中心をする。•各クラスタに存在するデータからμkへの二乗距離の総和を最小にする．


K-meansクラスタリング• データ点のクラスタへの割り当てを表現する．• 各データxnに対応する二値指示変数

rnk∈{0,1} (k=1,…K)を定める．• xn がクラスタ k に割り当てられる場合

rnk=1，j≠kの場合はrnj=0とする．• 目的変数Jを定義する．

• Jを最小にするrnkとμkを求める．• rnkとμkを最適化するステップを繰り返す．• 最初にμkの初期値を選ぶ．• μkを固定して，Jを最小化するrnkを求める．• rnkを固定して，Jを最小化するμkを求める．

€

J = rnk xn −µk2

k=1

K

∑n=1

N

∑

𝒓!" = #1 𝑖𝑓 argmin

#𝒙! − 𝝁#

$

0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒


• rnk を固定した下で，μkを最適化する．•目的関数Jはμkの二次関数なので偏微分=0 を解くと最小化できる．

•μkについて解くと，

• k番目クラスタに割り当てられた全データの平均値である．→K-meansアルゴリズム

€

2 rnk (xn −µk )n=1

N

∑ = 0

€

µk =rnk xnn

∑rnkn∑

K-meansクラスタリング

€

J = rnk xn −µk2

k=1

K

∑n=1

N

∑


K-meansクラスタリング• データ点のクラスタへの割り当てを表現する．• 各データxnに対応する二値指示変数

rnk∈{0,1} (k=1,…K)を定める．• xn がクラスタ kに割り当てられる場合

rnk=1，j≠kの場合はrnj=0とする．• 目的変数Jを定義する．

• Jを最小にするrnkとμkを求める．• rnkとμkを最適化するステップを繰り返す．• 最初にμkの初期値を選ぶ．• μkを固定して，Jを最小化するrnkを求める．• rnkを固定して，Jを最小化するμkを求める．• 収束するまで繰り返す．

€

J = rnk xn −µk2

k=1

K

∑n=1

N

∑


K-means クラスタリング

画像の画素値ベクトル：赤，青，緑の3つ組 {R,G,B}．各画素ベクトルを割り当てられたクラスタの平均{R,G,B}で置き換える．

注）色は：μkの重心

概念の拡張が肝要！

n 例題：N色ポスタリゼーション〈３次元データNクラスター分割〉




K-means vs EMアルゴリズム

•K-means：データ点を1つのクラスタに割り当てる•EM：ガウス分布を仮定した事後確率の最大化（クラスタ数は与えるのは同じ） 1

(2πσ k2 )1 2

exp −x −µk

2( )2σ 2

"

#$$

%

&''

先に反復推定アニメーションをみよう！

https://yokaze.github.io/2019/08/30/


その前に EMアルゴリズムの図的理解

𝝁, 𝜮 が更新されていく部分がポイント！

EMアルゴリズム：先ほどの定義を言い換えると・・・観測データ（関数）にガウス分布がフィッティングする（対数尤度が最大になる）よう、 𝝁, 𝜮を反復推定していくアルゴリズム

アニメーションをみてみよう！https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efb より

あるいはhttps://www.slideshare.net/yag_ays/em-algorithm-animation

https://crestmuse.jp/klab/lecture/mi/EM_animation.gif

https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efb

https://www.slideshare.net/yag_ays/em-algorithm-animation


•緑はデータ点の中心．青と赤の円は，ガウス分布の標準偏差の等高線•青と赤の両クラスタの負担率に比例したインクで描写

負担率€

p(x) = π kN(xµk,∑k )k=1

K

∑

混合ガウス分布

EMアルゴリズムによる混合ガウス分布推定（図的理解）


EMアルゴリズムによる混合ガウス分布推定（図的理解）

•緑はデータ点の中心．青と赤の円は，ガウス分布の標準偏差の等高線•青と赤の両クラスタの負担率に比例したインクで描写•ガウス分布(青/赤)の平均は各データ点が持つ(青/赤)インクの重み付き平均(重心)．共分散（相関）はインクの共分散•繰り返し


K-means vs EMアルゴリズム

•K-meansとEMは強い類似性がある．•K-meansはデータ点を1つのクラスタに割り当てるが，EMは事後確率に基づいて割り当てる．•混合ガウス分布に関するEMの極限としてK-meansを導出できる．

•各ガウス要素の共分散がεの混合ガウス分布を考える．

•この形のK個混合ガウス分布のEMを考える．•ただし，εは推定しない固定定数とする．€

p(xµk,∑k ) =1

(2πε)D 2 exp −12ε

x −µk2&

' (

) * +


EMアルゴリズムによる混合ガウス分布推定

•離散的な潜在変数を用いた混合ガウス分布を定式化する．

• ガウス分布: 平均 𝜇kと分散 Σk

•K次元の2値確率変数zを導入する．•1つのzkだけ1，他は0の1-of-K表現• zkは，zk∈{0,1}かつΣkzk=1を満たす．•Zの周辺分布は，混合係数πkで定まる．

€

p(x) = π kN(xµk,∑k )k=1

K

∑

€

p(zk =1) = π k

1 2 3

1 0 0 1

2 1 0 0

3 1 0 0

4 0 0 1

5 0 1 0

π 0.4 0.2 0.4

x k

z

€

p(x) = π kN(X µk,∑k )k=1

3

∑


k

z



•μk,Σk,πkをEMアルゴリズムを用いた最尤推定法で解を見付ける．•最初に，平均，分散，混合係数の初期値を選ぶ．•Eステップ(expectation)：初期パラメータを用いて負担率 𝛾(𝑧45) を計算する．•Mステップ(maximization)：負担率に基づき平均，分散，混合係数のパラメータを再計算する．•対数尤度，またはパラメータの変化量が閾値より小さくなったとき，収束したとする．



(a) 同時分布p(z)p(x|z)からのサンプル．混合要素に対応するZの状態を赤,緑,青で描写．

(b) 同サンプルを周辺分布(x)から生成．Zの値を無視し，xの値のみ描写．

(c) 同サンプルの負担率 𝛾(𝑧45)を表現𝛾(𝑧23) (k=1,2,3)に比例する量の赤,青,緑のインク



•Eステップ(expectation)：負担率 𝛾(𝑧45) を計算の補足


確率分布式で書くと


•Mステップ(maximization)： μ, 𝜮, 𝜋3の計算• μの最尤解を求める→偏微分

• μの最大化

• 𝜮 の最大化

• 𝜋!の計算・・・ラグランジュの未定乗数法を利用で


𝜕𝜕𝜇ln𝒩 𝒙 𝝁, 𝜮 = Σ"#(𝒙 − 𝝁)

𝜕𝜕𝜇𝒩 = 𝒩 > 𝜮"#(𝒙 − 𝝁)

?$%#

&

𝛾(𝑧$')(𝒙$−𝝁') = 0

𝜇' の最大化なのでこれも偏微分して解くと

𝜇' =1𝑁'

?$%#

&

𝛾(𝑧$')𝒙$

μのと同様、対数尤度関数に対して偏微分して解いていくと

Σ' =1𝑁'

?$%#

&

𝛾(𝑧$') (𝒙$ − 𝝁')(𝒙$ − 𝝁')(

𝜋' =1𝑁?$%#

&

𝛾(𝑧$') 最尤解はすべて負担率（インク） 𝛾(𝑧!") に依存


クラスタリングの課題と発展

•クラスタ重心 μkが重なる場合n 写像，カーネルトリック

•クラスタ数もあわせて最尤推定していきたい場合

n ノンパラメトリックベイズモデルn 階層ベイズモデル

モデルの複雑さとデータとの適合度とのバランスを取る指標は？

cf. KL-ダイバージェンスAIC（赤池情報基準), BIC・・・

https://ja.wikipedia.org/wiki/%25E8%25A4%2587%25E9%259B%2591%25E3%2581%2595


ここまでの知識での応用として、次週

• EMアルゴリズム• メロディ抽出（PreFEst by 後藤 2004)• 調性推定（Tonnetz by E. Gómez’s 2006)

• GMM• 音源分離（HTC by 亀岡 2005)

を紹介します。




実装例（コード）情報• HMM

• HMM learnTensorFlow API

• EMアルゴリズムとGMM• https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efbPythonによるわかりやすい解説です

• https://yokaze.github.io/2019/08/30/TensorFlow（とGoogle Colaboratory）利用TensorFlow のoptimizersを利用。機械学習環境のオープン化のおかげで、随分シンプルにコーディングできる時代となりました

https://hmmlearn.readthedocs.io/

https://www.tensorflow.org/probability/api_docs/python/tfp/distributions/HiddenMarkovModel

https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efb

https://yokaze.github.io/2019/08/30/

https://www.tensorflow.org/

https://www.codexa.net/how-to-use-google-colaboratory/

Documents

音楽数理情報処理の技術3 （ベイズの定理と最尤推定） · ＜関連パターン認識技術：ここで大きな問題・・＞ •他科目での既習：なし