第二回北大クラスタリングセミナー

S. E. Schaeffer, Comput. Sci. Rev. 1, 27 (2007)4.2. Cluster fitness measures4.2.2. Cut-based measures

発表者 永幡 裕＠小松崎研

4.2Cluster fitness measures

4.2 Cluster fitness measures

• 4.2.1 Density measures

𝑘 ≤ 𝑛, 𝜉 ∈ 0,1 に対して頂点数 𝑆 = 𝑘、密度𝛿 𝑆 = 𝜉の

部分グラフ𝑆 ⊆ 𝑉はどれか？（𝛿 𝑆 = 1のときクリーク問題）

• 4.2.2 Cut-based measures

クラスターの質、部分グラフの独立性

最も重要な手法が最小コンダクタンスカット

※ コミュニティ検出などが目的

2

Conductance

• 重み付き無向グラフ 𝐺 = 𝑉, 𝐸 に対して

𝛷 𝑆 =𝑤 𝑆, 𝑆𝑐

min 𝑤 𝑆, 𝑉 , 𝑆𝑐 , 𝑉= max

𝑤 𝑆, 𝑆𝑐

𝑤 𝑆𝑐 , 𝑉,𝑤 𝑆𝑐 , 𝑆

𝑤 𝑆, 𝑉

• 最小コンダクタンスカットmin𝑆⊆𝑉

𝛷 𝑆

→ コミュニティ検出、 (MRF上での)画像分割、

ほぼ不変集合、マルコフ連鎖の混合時間…

※Markov 連鎖

𝑝𝑡,𝛥𝑡 𝑆, 𝑆𝑐

𝑝𝑡,𝛥𝑡 𝑆𝑐 , 𝑉=

𝑝𝑡,𝛥𝑡 𝑆, 𝑆𝑐

𝑝𝑡 𝑆𝑐= 𝑝𝛥𝑡 𝑆 𝑆𝑐 𝑡

3

𝑆 𝑆c

なんでConductance？• 上下限を定める Cheeger 不等式がある[1]

• Cheeger 不等式とは

同名のリーマン幾何におけるLaplace 演算子に対する不等式に由来

vertex expansionに対するCheeger 不等式はN. Alonによって示された[2]

その後F. Chung によって重みつき無効グラフのLaplacianに対するCheeger 不等

式[1]が示される。（有効グラフでも示せる[3]）

2ℎ𝐺 ≤ 𝜆2 ≤ℎ𝐺2

2

Cheeger’s constant ℎ𝐺 ≔ min𝑆⊆𝑉

𝛷 𝑆

Graph Laplacian: ℒ = 𝐸 − 𝐷1

2 𝑃𝐷−1

2

The second smallest Laplacian eigenvalue: 𝜆2

4

[1] F. Chung, in Comb. Paul Erdős is Eighty, vol. 2 edited by D. Miklós, V. T. Sós, and T.

Szőnyi (János Bolyai Mathematical Society, Budapest, 1996), pp. 157–172.

[2] N. Alon, Combinatorica 6, 83 (1986).

[3] F. Chung, Ann. Comb. 9, 1 (2005).

Variance of Conductance• Normalized cut e.g.[1] (almost invariant cut[2])

𝑤 𝑆, 𝑆𝑐

𝑤 𝑆𝑐 , 𝑉+

𝑤 𝑆𝑐 , 𝑆

𝑤 𝑆, 𝑉

• Expansion e.g.[2]

𝑤 𝑆, 𝑆𝑐

min 𝑆 , 𝑆𝑐

• Cut ratio e.g.[3]

𝑤𝑐 𝑆, 𝑆𝑐

𝑤𝑑 𝑆, 𝑆𝑐

5

[1] J. Shi and J. Malik, IEEE Trans. Pattern Anal. Mach. Intell. 22, 888 (2000)[2] R. Kannan, S. Vempala, and A. Vetta, J. ACM 51, 497 (2004).[3] D. W. Matula and F. Shahrokhi, Discret. Appl. Math. 27, 113 (1990)

なんでCluster fitness measure？NP完全またはNP困難である場合がほとんど

→最適解を求めるのは指数時間かかる

最少コンダクタンスカットはNP困難

J. Šíma and S. Schaeffer, in SOFSEM 2006 Theory Pract. Comput. Sci., edited by J.

Wiedermann, G. Tel, J. Pokorný, M. Bieliková, and J. Štuller (Springer Berlin Heidelberg,

2006), pp. 530–537.

正則グリッドグラフのNcutはNP完全

Papadimitrou 97またはJ. Shi and J. Malik, IEEE Trans. Pattern Anal. Mach. Intell. 22, 888

(2000)

𝒇-balanced bipartition ( 𝑽 ≤ 𝒇 𝑺 )

D. Wagner and F. Wagner, in Math. Found. Comput. Sci. 1993, edited by A. M.

Borzyszkowski and S. Sokołowski (Springer Berlin Heidelberg, Berlin, Heidelberg, 1993), pp.

744–750.

6

ヒューリスティックス最少コンダクタンスカットのヒューリスティックス

ラプラシアンℒ = 𝐸 − 𝐷1

2𝒫𝐷−1

2の二番目に小さい固有値をもつ固有ベクトル

𝑣1 = 𝑣1 1 , 𝑣1 2 ,… , 𝑣1 𝑁 を次の様に並べ直す

𝑣1 = 𝑣1 𝑖1 , 𝑣1 𝑖2 , … , 𝑣1 𝑖𝑁 s.t. 𝑣1 𝑖1 ≤ 𝑣1 𝑖2 ≤ ⋯ ≤ 𝑣1 𝑖𝑁 。

ヒューリスティックスはこの順序（または符号）を用いて表される

ℎapprox 𝐺 = min𝑘

𝑝 𝐶𝑘,𝐶𝑘𝑐

min 𝑝 𝐶𝑘 ,𝑝 𝐶𝑘𝑐 s.t. 𝐶𝑘 = 𝑖1, … , 𝑖𝑘

→ Cheerger 不等式の導出に由来

Normalized cut のヒューリスティックス

D − W 𝑦 = 𝜆𝐷𝑦

の一般化固有値問題。ここで

W = 𝑤 𝑖, 𝑗 = 𝑤 𝑗, 𝑖 , D = diag 𝑗 𝑤 𝑖, 𝑗

→ 𝑦 ∈ −1,1 なら最少のNormalized cut

ここからが論文紹介

紹介するのは

R. Kannan, S. Vempala, and A. Vetta, J. ACM 51, 497 (2004).

ヒューリスティックスに、クラスタリングの誤りに対する保証を与えるというもの。

著者のRavindran Kannan(Microsoft)はKnuth賞(2011)とFulkerson賞(1991)を受賞している

一番読みにくい論文だから紹介（結果が正しければとても重要な論文）

定理３．１ Approximate Cluster algorithm の値の良さ

系４．２ Spectral algorithm の値の良さ

定理4．3 Spectral algorithm でブロック対格化する際に誤る列の数

その前に、マルコフ連鎖の定義と重要な性質を確認

Approximate Cluster algorithm の値の良さApproximate Cluster algorithm

Find a cut that approximates the minimum conductance cut in G.

Recurse on the pieces induced by the cut.

ただし ℎapprox. ≤ 𝐾ℎ𝐺𝜈 でℎ𝐺を見積もるものとする。

𝜶, 𝝐 -clustering

クラスタ間の枝の重みの総和： 𝜖 𝑤 𝑉, 𝑉 /2

終了条件１： 𝛼 6 log 𝑛 𝜖 ≤ ℎapprox

終了条件２： 𝑤 𝐶, 𝑉 < 𝜖 𝑤 𝑉, 𝑉 𝑛 𝐶 ⊂ 𝑉 は得られたクラスタ

定理３．１ 𝛼, 𝜖 -clusteringをApproximate Cluster algorithmで繰り

返し用いると

𝛼

6𝐾 log𝑛𝜖

𝜈

, 12𝐾 + 2 𝜖𝜈 log𝑛

𝜖− clustering になる

やっていること

Spectral algorithm の値の良さSpectral algorithm

Normalize 𝐴 and find its 2nd right eigenvector 𝑣. Find the best ratio

cut wrt 𝑣. Recurse on the pieces induced by the cut.

ただし ℎapprox. ≤ 2ℎ𝐺 1 2

でℎ𝐺を見積もるものとする。

系４．２

𝛼, 𝜖 -clusteringをSpectral algorithmで繰り返し用いると

定理４．３

W ≔ 𝑤 𝑖, 𝑗 = A + Bとする。𝐴は𝑘個のブロックからなるブロック対格行列でブロックの

大きさの最大はO 𝑛 𝑘 、列の和は１、BはAの摂動で𝜆𝑘+1 𝐴 + 𝐵 ≤ 𝛿 ≤ 1 2

であるとき、Spectral algorithm はO 𝛿2𝑛 列誤る。

𝛼2

72 log2 𝑛𝜖

, 20 𝜖 log𝑛

𝜖− clustering になる

この論文の問題点①系４．２までは、ヒューリスティックスで求まるコンダクタンスの値がどれだけ最小値に近い

かで評価していた。

→ コンダクタンスは劣モジュラ関数ではないので、この評価の仕方は不適切

The 2nd min-cond. cut

The 1st min-cond. cut

𝜙 does not satisfy discrete convexity= 𝜙 is not sub-modular function

sub-modular function:𝜙 1 ⋎ 2 + 𝜙 1 ⋎ 3 ≥ 𝜙 1 + 𝜙 1 ⋎ 2 ⋎ 3

0.188 0.316 1.000 0.463≤ ++

← Lazy random work

この論文の問題点②定理４．３でやっていることは（理解が正しければ）、上位ｋ個固有値に対する固有

ベクトルで、対角項だけと非対角項を考慮した場合の差が一定割合以上行けば「誤り」

とよんでいる。

→ それっぽい基準だけど、コンダクタンスとどう関係あるのかよくわからない

W ≔ 𝑤 𝑖, 𝑗 = A + Bとする。

𝐴は𝑘個のブロックのブロック対格行列でブロックの大きさの最大はO 𝑛 𝑘 、列の和は１

𝑋𝑘 = 𝑣1 𝐴 ,… , 𝑣𝑘 𝐴= 𝑌𝑘𝑈 + 𝐹

𝑌𝑘 = 𝑣1 𝐵 ,… , 𝑣𝑘 𝐵𝐶 = 𝐴𝑋𝑘

行列𝐶, 𝑌𝑘𝑈の𝑖番目の列ベクトルをそれぞれ𝑐𝑖 , 𝑦𝑖とするとき

𝑐𝑖 − 𝑦𝑖 ≥𝑦𝑖

9なら𝑖列は誤っている(disordered) とする。

appendix

14

グラフラプラシアン• Graph Laplacian for reversible Markov

chain: ℒ = 𝐸 − 𝐷 1 2 𝒫𝐷− 1 2, 𝐷 ≔ diag 𝜋

• 𝐷 1 2 𝒫𝐷− 1 2 は対称行列。なので固有ベクトルは実数。

𝜋 𝑖 𝑝 𝑗 𝑖 = 𝜋 𝑗 𝑝 𝑖 𝑗 (reversible Markov chain)

⇔ 𝜋 𝑖 1 2𝑝 𝑗 𝑖 𝜋 𝑗 1 2 = 𝜋 𝑗 1 2𝑝 𝑖 𝑗 𝜋 𝑖 1 2

• 固有ベクトルに𝐷 1 2がかかる

𝒫 = 𝐷− 1 2𝐷 1 2𝒫𝐷− 1 2𝐷 1 2

15

Cheeger の不等式• Cheeger 不等式

2ℎ𝐺 ≤ 𝜆2 ≤ℎ𝐺2

2

Cheeger’s 定数（最少コンダクタンスカット）

ℎ𝐺 ≔ min𝑆⊆𝑉

𝛷 𝑆

二番目に小さいラプラシアン固有値: 𝜆2

16

ヒューリスティックス

最少コンダクタンスカットのヒューリスティックス

ラプラシアンℒ = 𝐸 − 𝐷1

2𝒫𝐷−1

2の二番目に小さい固有値をもつ固有ベクトル

𝑣1 = 𝑣1 1 , 𝑣1 2 ,… , 𝑣1 𝑁 を次の様に並べ直す

𝑣1 = 𝑣1 𝑖1 , 𝑣1 𝑖2 , … , 𝑣1 𝑖𝑁 s.t. 𝑣1 𝑖1 ≤ 𝑣1 𝑖2 ≤ ⋯ ≤ 𝑣1 𝑖𝑁 。

ヒューリスティックスはこの順序（または符号）を用いて表される

ℎapprox 𝐺 = min𝑘

𝑝 𝐶𝑘,𝐶𝑘𝑐

min 𝑝 𝐶𝑘 ,𝑝 𝐶𝑘𝑐 s.t. 𝐶𝑘 = 𝑖1, … , 𝑖𝑘

→ Cheerger 不等式の導出に由来

𝜆2 ≤ ℎ𝐺2 2の導出で出てきた