劣モジュラ最適化と機械学習2.5 節機械学習プロフェッショナルシリーズ@St_Hakky

自己紹介と告知• Twitter : @St_Hakky• ブログ： http://st-hakky.hatenablog.com/• 関西で機械学習勉強会を実施中 !!

• 団体のモットー：• 圧倒的スピード感で大量の書物と論文をぶった切る• 「えっ、まだ読んでないの？」と煽り奉り、輪講会を乱立させる

• 過去のイベント例• PRML 輪講会、 PRML 上巻 / 下巻一気読み• データ解析のための統計モデリング入門の輪講会• わかりやすいパターン認識 ( 続 ) の輪講会

• 参加したい方は、 Facebook のグループにまずは参加を。• URL :https://www.facebook.com/groups/1767916400127792/

劣モジュラ最適化と機械学習の2.5節をやります

コンテンツ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張• 2.5.2 : 劣モジュラ関数と凸関数• 2.5.3 : 劣モジュラ関数の多重線形拡張

劣モジュラ関数と凸性正規化された劣モジュラ関数

𝑓 :2𝑉→ℝ𝑉={1 ,…,𝑛}

劣モジュラ関数と凸性についてはある種の等価性が成立この凸性は最適化アルゴリズムの設計上でも重要な役割を果たす

ロヴァース拡張への誘い劣モジュラ関数が離散領域で凸関数とみなせることについて、その意味を正確に述べるためロヴァース拡張を見る

ロヴァース拡張�̂� :ℝ≥ 0

𝑛 →ℝ

定義域の違い劣モジュラ関数の定義域

離散領域ロヴァース拡張の定義域

を連続化した次元の非負象限

劣モジュラ関数と凸性の等価性が導かれる

多重線形拡張

多重線形拡張~𝑓 : [0 ,1]𝑛→ℝ

またロヴァース拡張とは異なる連続化である多重線形拡張も用いられる

多重線形拡張の定義域多重線形拡張の定義域

次元単位超立方体

拡張している概念の違い

劣モジュラ関数を凸関数として拡張する概念 劣モジュラ関数を部分的に見れば凹関数となるように拡張する概念

目的の違い

劣モジュラ関数の最小化や最小化と関連する最適化で用いる劣モジュラ関数の最大化において用いる

ロヴァース拡張と多重線形拡張の具体例準備 ( 記号 ) 𝑉={1 ,2}

𝑓 ({})=0 𝑓 ({1 })=4𝑓 ({2 })=3 𝑓 ({1,2 })=5

上記により定まるを考える

ロヴァース拡張と多重線形拡張の具体例

ロヴァース拡張と多重線形拡張は次式のようになる

ロヴァース拡張と多重線形拡張線形関数をつなぎ合わせてできた関数

任意の変数 1 つのみに着目すれば線形関数であるような関数

の自然な拡張であることの確認とについて以下が成り立つので、それぞれの自然な拡張であるといえる

ロヴァース拡張 の凸関数の確認

�̂� (𝑧 1 , 𝑧 2)=𝑚𝑎𝑥 {4 𝑧 1+𝑧 2，2 𝑧1+3 𝑧 2}

確かに凸関数

多重線形拡張の部分的凹関数の確認

h (𝑡 )=~𝑓 (𝑡 ,1− 𝑡 )=−2 𝑡2+7 𝑡例：

は確かに凹関数

h (𝑡 )=~𝑓 (𝑡 ,1−𝑡)=2 𝑡2−𝑡+3例：

この場合は凸関数

変数関数をは凹関数 ()

は凸関数 ( それ以外 )

この後の流れ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張

• 劣モジュラ関数とは限らない関数と劣モジュラ関数のロヴァース拡張について• 2.5.2 : 劣モジュラ関数と凸関数

• 劣モジュラ関数と凸関数に等価性について• 2.5.3 : 劣モジュラ関数の多重線形拡張

• 劣モジュラ関数の多重線形拡張の定義とその性質

集合関数のロヴァース拡張記号

：台集合：任意の（劣モジュラとは限らない）正規化された集合関数

：各部分集合： の特性ベクトル

の定義域

と表記次元ベクトル全体の集合

の定義域との対応を考えると同一視できる

ロヴァース拡張の定義

を満たす必要があるが、に含まれな いについて、の値を決める必要がある

が自然な連続化関数とすると、定義域を離散領域のから非負象限へと拡張し、ロヴァース拡張を定義する

ロヴァース拡張の関数値の定義： 次元の非負ベクトル

) ： の任意の線形順序,

： 個の特性ベクトル

記号

ロヴァース拡張の関数値の定義

を満たすような ) とを 1 つ取ると、以下のように表現できる

の非負結合として分解した表現が得られる

ロヴァース拡張の関数値の定義

はに依存せず一意に定まるので、は一般に連続関数となる

ロヴァース拡張の関数値

具体例： の

という非負結合表現が得られるので，

が得られる

より線形順序であるから

ここまでのまとめこの定義より、各について (2.29) が成立。

よって、ロヴァース拡張は集合関数の自然な拡張になっている

ロヴァース拡張の性質についてもう少し詳しく見て見る

ロヴァース拡張の図形的な解釈) ： の任意の線形順序に対し、をを以下のように定義

の図形的解釈 は錐：かつならばもまたに含まれることからわかる錐は 個：のとり方だけあるので、非負象限。は 個の錐に分割される

ロヴァース拡張ロヴァース拡張の定義式 (2.32) より、各錐 の上に限れば線形関数

は 個の線形関数を連結させることで得られる関数

錐とロヴァース拡張の値の関係

のようにの非負結合で表されるベクトル全体と一致。この時、ロヴァース拡張の値は以下のようになる

錐は、個の特性ベクトルと任意の 個の非負実数を用いて

ロヴァ ー ス拡張の値

具体例：•非負象限は以下の二つに分割される

•

• ロヴァ ース拡張は次で与えられる

関数は、確かにとの上では線形関数

具体例：•非負象限は個の錐に分割• , , , ,

この後の流れ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張

• 劣モジュラ関数とは限らない関数と劣モジュラ関数のロヴァース拡張について• 2.5.2 : 劣モジュラ関数と凸関数

• 劣モジュラ関数と凸関数に等価性について• 2.5.3 : 劣モジュラ関数の多重線形拡張

• 劣モジュラ関数の多重線形拡張の定義とその性質

2.5.2 劣モジュラ関数と凸関数• 劣モジュラ関数のロヴァース拡張は 2 .4 節で定義した多面体で簡潔な形で表現可能なことを見る• 劣モジュラ多面体 • 基多面体

•この節では、さらに劣モジュラ関数と凸関数の等価性についてもみる。

劣モジュラ関数のロヴァース拡張• ：正規化された劣モジュラ関数について、そのロヴァース拡張を考える• ここでは、劣モジュラ関数について、そのロヴァース拡張が やを用いて式 (2.32) とは異なる形で表現可能なことを見る

劣モジュラ関数のロヴァース拡張記号

：任意の次元非負ベクトル) ：を満たすの線形順序：式 (2.22) によって定義される線形順序に対応する基多面体の端点

ロヴァース拡張の関数値ロヴァース拡張の関数値は式 (2.32) を変形することで以下のようになる。

ここでちろっと 2.4 の復習

基多面体上の線形最適化 (復習 )

次の問題を考える

は基多面体

⟨𝒄 , 𝒙 ⟩=∑𝑖=1

𝑛

𝑐 𝑖 𝑥𝑖

実行可能領域を有界な多面体とする線形最適化問題には端点であるような最適解、端点最適解が必ず存在

線形最適化問題に対する貪欲法 (復習 )

式 2.35 をもう一度見る

⟨𝒄 , 𝒙 ⟩=∑𝑖=1

𝑛

𝑐 𝑖 𝑥𝑖形が同じ

式 2.35 をもう一度見る

⟨𝒄 , 𝒙 ⟩=∑𝑖=1

𝑛

𝑐 𝑖 𝑥𝑖

形が同じの定数ベクトル → を定数ベクトルはそのまま同じ意味として扱う

式 2.35 をもう一度見る

⟨𝒄 , 𝒙 ⟩=∑𝑖=1

𝑛

𝑐 𝑖 𝑥𝑖

形が同じの定数ベクトル → を定数ベクトルはそのまま同じ意味として扱う

2.23 の最適解は

つまり

正規化された劣モジュラ関数のロヴァース拡張は線形順序を含まない形で表される

をに置き換えた場合2.4.2項の議論との非負性から置き換えた場合も成立

劣モジュラ関数ではない一般の正規化された集合関数についてはそのロヴァース拡張が式 (2.37) や (2.38) のような形では表現できない

劣モジュラ関数と凸関致の対応関係

正規化された集合関数 について次の関係が成り立つ が劣モジュラ関数 が凸関数

ロヴァース拡張を用いることで、ロヴァースによって証明された劣モジュラ関数と凸関数の以下のような対応関係を記述することが可能定理 2.1

証明•本を読みましょう

この後の流れ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張

• 劣モジュラ関数とは限らない関数と劣モジュラ関数のロヴァース拡張について• 2.5.2 : 劣モジュラ関数と凸関数

• 劣モジュラ関数と凸関数に等価性について• 2.5.3 : 劣モジュラ関数の多重線形拡張

• 劣モジュラ関数の多重線形拡張の定義とその性質

劣モジュラ関数の多重線形拡張

劣モジュラ関数を部分的に見れば凹関数となるように拡張する概念ただし 2.5. 2項で述べた、ロヴァース拡張を用いた劣モジュラ関数と凸関数の関係のようにきれいな性質は成り立たない

多重線形拡張•本書の最適化アルゴリズムでは利用しない• しかし、カリネスクらの 2011年の論文など、様々な劣モジュラ関数最大化問題のアルゴリズムにおいて利用されている

多重線形拡張の関数値次元超立方体に含まれる次元ベクトルについては以下のように表される

多重線形拡張の関数値

任意のについてが成り立つので、多重線形拡張は自然な連続化関数。

多重線形拡張の期待値による拡張解釈期待値による拡張と解釈できる。

確率的に決まる部分集合と捉える

多重線形拡張の期待値による拡張解釈期待値による拡張と解釈できる。

各要素について独立とする

多重線形拡張の期待値による拡張解釈期待値による拡張と解釈できる。

は確率でを含み、確率でを含まないとする

多重線形拡張の期待値による拡張解釈

このときはの期待値と一致

についてのに関する偏微分が以下のように成立

さらにについて以下が成立

これより、の劣モジュラ性から以下が成立

多重線形拡張の偏微分

等号成立は

劣モジュラ関数の多重線形拡張の凹性任意の 2 つのベクトルから 1 変数関数をと定める。 このとき (2.40) より

であるため、 h は凹関数。つまり自体は凹関数とは限らないが，非負方向の直線に沿っての関数値を見れば凹関数になることがわかる。

おしまい