パターン認識 - Hiroshima Universityhome.hiroshima-u.ac.jp/tkurita/waseda/H21-11-PATREC.pdf · – 第1主成分軸上のスコアのヒストグラムを計算 – 大津の2値化法でヒストグラムを最適に分割するしきい値を計算

脳神経情報研究部門

独立行政法人産業技術総合研究所早稲田大学電気・情報生命工学科講義

パターン認識早稲田大学講義 – 平成21年度

（独）産業技術総合研究所脳神経情報研究部門

栗田多喜夫、赤穂昭太郎



講義の内容

• 前半（赤穂担当）– http://www.neurosci.aist.go.jp/~akaho/waseda/

• 後半（栗田担当）– http://staff.aist.go.jp/takio-kurita/index-j.html– 第 8回（11月16日）パターン認識のための多変量データ解析手法

– 第 9回（11月23日）線形識別関数の学習とニューラルネット

– 第10回（11月30日）汎化性の評価と特徴選択

– 第11回（12月 7日）クラスタリング

– 第12回（12月14日）進化論的計算論

– 第13回（12月21日）パターン認識の応用（顔検出・顔認識）

– 第14回（ 1月18日）授業理解の確認。



レポート課題「パターン認識に関する指定の英文論文誌、国際会議に掲載された論

文を読んで、以下の問いに簡潔に答えてください」

質問１

・その論文は、どのようなパターン認識課題を議論しているか？

質問２

・その課題を解決するために、どのような特徴が用いられているか？

質問３

・その課題を解決するために、どのようなパターン認識手法が使われ

ているか？

質問４

・なぜ、その論文を選んで、読むことにしたのか？

質問５

・その論文に対する意見、批評、感想は？


独立行政法人産業技術総合研究所

レポート課題• 対象論文 (2000年以降に発表された論文）

IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMI)Pattern Recognition, Pattern Recognition LettersInter. Conf. on Computer Vision (ICCV), Inter. Conf. on Pattern

Recognition (ICPR), IEEE Computer Society Conference on ComputerVision and Pattern Recognition (CVPR)

• 原稿の体裁と評価のポイント

– A4用紙で、1ページ目に学籍番号と名前を明記してください。

– 取り上げた論文の論文情報（著者名、論文タイトル、発表論文誌名、Vol. No. ページ、

発表年）を明記してください。

– レポートは、2ページ以内にまとめてください。

• 提出方法と提出期限

– 2010年1月18日の講義の時に提出

– 提出期限： 2010年1月18日（月）

早稲田大学電気・情報生命工学科講義



クラスター分析



クラスター分析• クラスター分析（クラスタリング）

– 複数の特性によって決定された個体間の類似性の指標をもとに、個体の集合をいくつかのグループに分類するための手法

– 生物学、植物学、医学、社会科学、地球科学、政治経済学等で利用されている

– 通信の分野では、ベクトル量子化と呼ばれ、情報の圧縮のための基本的な手法

• クラスタリング手法– 階層的クラスタリング

• 凝集的クラスタリング <= ヒープを利用した高速アルゴリズム[Kurita1991]• 分割的クラスタリング

– 反復的クラスタリング• K-meansクラスタリング• Vector Quantization

– オンラインクラスタリング• 競合学習• Self-Organizing Maps (SOM)• Learning Vector Quantization (LVQ)

– 正規混合分布を用いたクラスタリング• EMアルゴリズム



1次元データのクラスタリング

画像の2値化への応用



ヒストグラムの分割問題

• 濃淡画像を対象領域と背景に分離するためのしきい値選定に利用可能

しきい値



判別基準に基づく二値化(大津の二値化)• 二値化のためのしきい値の選定

– 濃淡画像を各画素の輝度値により対象領域と背景とに分離

• 判別基準– 輝度値をあるしきい値により分類したときの判別基準

2

2

2

2

2

2

, ,T

B

W

T

W

B

σ

σ

σ

σ

σ

σ ηκλ ===

222TBW σσσ =+

– 最小二乗基準との関係

最大化

2Wσ 最小

– ヒストグラムから簡単に計算可能



画像の2値化（大津の方法）



平均誤識別率に基づく二値化（Kittlerの二値化）

• 平均誤識別率を最小とする基準– 対象領域の輝度値を背景の輝度値がともに正規分布に従うと仮定し

、各画素をしきい値によって２つのクラスに分類したときの平均誤識別率から最適なしきい値を決定

• 平均誤識別率

• Kittlerの二値化基準

∑

∑∑

∑∑

=

+==

+==

++++=

+−+−≤

−−=

L

g

L

kg

k

g

L

kg

k

ge

gpgpkkk

kkk

gpgCPgpgCP

gpgCPgpgCPP

12

22

1

11

11

11

11

11

))(log()())2log(1(21

)()(log)(

)()(log)(

)()]|(log1[)()]|(log1[1

)()|()()|(1

πωσω

ωσω

)()(log)(

)()(log)()(

2

22

1

11 k

kkkkkkJ

ωσω

ωσω +=



最大尤度しきい値選定法• 混合分布モデル（Population Mixture Model）

– 画素iがどのクラスに属しているかの情報がθで与えられたとき、その画素が輝度値g_iを取る条

件付確率分布

)|()|()|( 2211 CgpCgpgp iiiiii θθ +=θ

• 正規分布を仮定して、尤度を最大とするようなしきい値を選定

– 各クラスの分布が平均は異なるが同じ分散を持つと仮定して、条件付分布の尤度を最大化＝＞大津のしきい値選定法

– 異なる分散を持つと仮定して、同時分布の尤度を最大化＝＞ Kittlerのしきい値選定法

– 各クラスの分布が平均は異なるが同じ分散を持つと仮定して、同時分布の尤度を最大化＝＞栗田のしきい値選定法

T.Kurita, N.Otsu, and N.Abdelmalek, ``Maximum Likelihood Thresholding based on Population Mixture Models,'' Pattern Recognition, Vol.25, No.10, pp.1231-1240, 1992.



しきい値選定結果



細胞画像の２値化（栗田の方法）



BTC (Block Truncation Coding)• 画像の局所ブロック（８ｘ８画素の領域）を2値で近似

– 大津の2値化を用いると平均2乗誤差が最小のBTCが可能

• カラー画像のBTC（Color BTC)– 画像の局所ブロック内の色ベクトルの集合を主成分分析

– 第1主成分軸上のスコアのヒストグラムを計算

– 大津の2値化法でヒストグラムを最適に分割するしきい値を計算

– 画素を2クラスに分類し、各クラスの平均色を計算

– 分類結果に基づき、局所ブロックを2色で近似



BTC (Block Truncation Coding)による画像圧縮への応用～JPEGとの比較～

（3.32KB）

(3.65KB)

（4.14KB ）

（4.29KB ）

（2.24KB ）

（2.38KB ）

JPEG

提案方式



階層的クラスタリング



階層的クラスタリング• 階層的クラスタリング

– N個のサンプル

に対して、サンプル1個のみからなるN個のクラスターからはじめて、近いクラスター対を逐次統合するクラスタリング手法

• アルゴリズム– 初期化

• サンプル1個のみからなるN個のクラスターを作成し、

• 各クラスターに含まれるサンプル数、および平均ベクトルを、それぞれ、1個、サンプルの特徴ベクトルそのものとする

– 繰り返し• 最も近いクラスター対を見つける

• そのクラスター対を統合して、新しいクラスターを作成し、そのクラスターのサンプル数、平均ベクトルを計算

– 終了• クラスター数が1個になれば終了

},,{ 1 Nxx K



近さ(類似度）の定義

• ユークリッド距離(L2 norm)

• Minkowski distance (Lp norm)

• Manhattan distance (L1 norm)

• The sup distance (L∞ norm)

2

1

2/1||),( ⎟⎠

⎞⎜⎝

⎛ −= ∑=

d

ljlilji xxD xx

pd

l

pjlilji xxD ⎟

⎠

⎞⎜⎝

⎛ −= ∑=1

/1||),( xx

∑=

−=d

ljlilji xxD

1||),( xx

||max),( jlilji xxD −=xx



近さ(類似度）の定義

• Mahalanobis distance

• 相関係数に基づく距離

• ベクトルのなす角に基づく距離

)()(),( 1ji

Tjiji SD xxxxxx −−= −

2/)1(),( ijji rD −=xx

),(1),( jiji SD xxxx −=

∑∑

∑

==

=

−−

−−=

d

ljjl

d

liil

d

ljjliil

ij

xxxx

xxxxr

1

2

1

2

1

)()(

))((

||||||||cos),(

ji

jTi

jiSxxxx

xx == α



統合後の距離の更新

• Single linkage (nearest neighbor)

• Complete linkage (farthest neighbor)

• Group average linkage

• Weighted average linkage

)),(),,((min))(,( jliljil CCDCCDCCCD =+

)),(),,((max))(,( jliljil CCDCCDCCCD =+

)),(),((21))(,( jliljil CCDCCDCCCD +=+

),(),())(,( jlji

jil

ji

ijil CCD

nnn

CCDnn

nCCCD+

++

=+



統合後の距離の更新

• クラスターの重心（平均）

• Centroid linkage

• Median linkage

∑∈

=iCi

i n xxx 1

),(41),(

21),(

21))(,( jijliljil CCDCCDCCDCCCD −+=+

2)(

2

||||

),()(

),(),())(,(

jil

jiji

jijl

ji

jil

ji

ijil CCD

nnnn

CCDnn

nCCD

nnnCCCD

+−=

+−

++

+=+

xx



Ward法• 評価基準（各クラスターの分散の和の最小化）

• 二つのクラスターが統合された時の評価基準の変化

• 統合後の距離の更新

∑ ∑= ∈

−=K

k Cki

ki

E1

2||||x

xx

2|||| jiji

jiij nn

nnE xx −

+=Δ

),()(

),(),())(,( 2 jiji

ljl

lji

ljil

lji

lijil CCD

nnnCCD

nnnnn

CCDnnn

nnCCCD+

−++

++

+++=+



成績データ• 学生のテストの成績データ

> seiseki算数理科国語英語社会

田中 89 90 67 46 50佐藤 57 70 80 85 90鈴木 80 90 35 40 50本田 40 60 50 45 55川端 78 85 45 55 60吉野 55 65 80 75 85斉藤 90 85 88 92 95

> seiseki.d<-dist(seiseki)> seiseki.d

田中佐藤鈴木本田川端吉野佐藤 68.65858 鈴木 33.77869 81.11104 本田 60.13319 64.14047 52.67827 川端 28.47806 60.75360 21.30728 47.10626 吉野 63.37192 12.40967 75.66373 54.31390 56.38262 斉藤 67.88225 38.10512 87.53856 91.53142 67.72739 45.58509

学生間の近さ



成績データのクラスタリング結果

??

??

??

??

??

??

??0

2040

6080

100

120

140

Cluster Dendrogram

hclust (*, "ward")seiseki.d

Hei

ght

斉藤

佐藤

吉野

本田

田中鈴

木川端



Fisherのアヤメのデータの識別課題

• 3種類のアヤメ– Setosa, Versicolor,Virginica

• 計測した特長– ガクの長さ、ガクの幅、花びらの長さ、花び

らの幅

• 訓練用サンプル– 各アヤメそれぞれ50サンプルを収集

– 合計150サンプル（50x3）

• 問題– ガクの長さ、ガクの幅、花びらの長さ、花び

らの幅を計測して、どのアヤメかを推測する識別装置を設計すること



アヤメのデータの階層的クラスタリング

• Ward法＝クラス平均とデータとの平均2乗誤差を最小と

するようなクラス対を統合する手法



階層的クラスタリングアルゴリズムの高速化

• 階層的クラスタリング– 似たクラスター対を順番に統合するクラス

タリング手法

• 高速化のアイデア– 最も似たクラスター対の探索に手間がか

かる

– クラスター対の類似度をヒープに保存

• ヒープ

– ルートノードが最小値を持つような木構造

– 要素の挿入、削除、値の修正がO(Nlog(N))の手間で可能

– N個の要素のクラスタリングの手間

• O(N^2 log(N))

T.Kurita, ''An Efficient Agglomerative Clustering Algorithm using a Heap,'' Pattern Recognition, Vol.24, No.3, pp.205-209, 1991.



画像の効率的な領域分割（region merging）手法

• 領域分割の高速化– 画像中の隣接する領域のみ統合可能

• クラスター間の隣接関係をsorted linked listsにより表現

– 最も類似度の高いクラスター対の探索

• クラスター対の類似度をヒープで表現

• 適用例– 画像の領域分割

• 各画素の輝度値の差を類似度とする

– 距離画像の領域分割

• 各画素の法線ベクトルを推定し、その角度の差を類似度とする

元画像

128領域 256領域

96領域距離画像T.Kurita, ``An Efficient Clustering Algorithm for Region Merging,'' IEICE Trans. of

Information and Systems, Vol.E78-D, No.12, pp.1546-1551, 1995.



分割型クラスタリング



ｋ-means法• 反復的クラスタリング

– データを繰り返し参照して、K個のクラスターに自動分類

• アルゴリズム– 初期化：

• クラスター数Kを決定

• K個のクラスター代表ベクトルを選択

– 繰り返し

• N個のサンプルを最も近いクラスター代表ベクトルのクラスターに分類

• 分類されたサンプルを用いてクラスター平均ベクトルを計算し、それを新しいクラスター代表ベクトルとする

– 終了

• 終了条件に適合したら、クラスター代表ベクトルを返す



アヤメのデータのk-means法でのクラスタリング

• k-means法 – クラス代表ベクトルへの近さでデータを分類す

ることを繰り返すクラスタリング手法



ベクトル量子化

• ベクトル量子化– データ集合をK個のクラスターに分割し、各クラスターをK個の代表ベ

クトル（コードブック）で近似

• 最適なコードブック– ベクトルデータ集合

– 平均2乗誤差最小の意味で最適な代表ベクトル

• ベクトル量子化のアルゴリズム– Linde等が提案したK-means法に基づくアルゴリズムが有名（LBGア

ルゴリズム）

},,{ 1 Nxx K

∑∈

=lCi

il

l Nxx 1



One-Pass ベクトル量子化法

• データ集合を1度参照するだけである程度良いベクトル量子

化を実現

• 考え方– 新たなデータに対して、現在のクラスタリングの結果を修正する

– 修正法1• 既存のクラスターに新しいデータを追加

– 修正法２

• 既存の2つのクラスターを統合し、新たなデータのみのクラスターを作成

)()(1

1l

Tl

lNS xxxx −−

+=Δ

)()( qpT

qpqp

qp

NNNN

S xxxx −−+

=Δ



画像データの圧縮への応用

• M/RVQ (Mean / Residual Vector Quantizer)– 画像を小ブロックに分割し、各ブロックをその平均値と各画素の輝度

値の平均からのズレのベクトルに分けて、ズレのベクトルをベクトル量子化する

元画像（256x256画素、8ビット／画素）圧縮画像（256x256画素、1.5ビット／画素）



ソフトクラスタリング



混合分布モデルに基づくクラスタリング

• 混合分布

• 混合パラメータの条件

• 各確率密度分布の条件

• 各確率密度分布が正規分布の場合（混合正規分布モデル）

∑=

=O

jj jxpxp

1)|()( ω

∑=

≤≤=O

jjj

110 ,1 ωω

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧ −

−= 2

2

2/2 2||||

exp)2(

1)|(j

jd

j

xjxp

σμ

πσ

1)|( =∫ dxjxp



混合正規分布の最尤推定• N個の学習データに対する対数尤度

• 各確率密度分布のパラメータ推定（正規分布の場合）– 非線形最適化手法を利用

ただし、

∑ ∑∑∏= === ⎭

⎬⎫

⎩⎨⎧

====N

n

O

jnjn

N

n

N

nn jxpxpxpLl

1 111

)|(log)(log)(loglog ω

∑∑

∑∑

==

==

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧ −

+−=⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧ −

+−=∂∂

−=

−=

∂∂

N

n j

jn

jn

N

n j

jn

jn

nj

j

j

jnN

nn

N

n j

jn

n

nj

j

xdxjPxd

xpjxpl

xxjP

xxp

jxpl

13

2

13

2

211

2

||||)|(

||||)(

)|(

)()|(

)()(

)|(

σμ

σσμ

σω

σ

σμ

σμω

μ

∑=

= O

kk

j

kxp

jxpxjP

1

)|(

)|()|(

ω

ω



混合正規分布の最尤推定（つづき）• 混合パラメータの推定

– 補助パラメータを利用（softmax関数）

– 対数尤度の補助パラメータに関する微分

∑=

= O

kk

jj

1)exp(

)exp(

γ

γω

{ }∑ ∑= =

−=∂∂

∂∂=

∂∂ O

k

N

njn

j

j

jj

xjPll1 1

)|( ωγω

ωγ



混合正規分布の最尤推定（つづき）• 最尤解の性質

– 対数尤度の微分＝０とおくと

– 各要素への帰属度を表す事後確率P(j|x)を重みとして計算される

∑

∑

∑

∑

∑

=

=

=

=

=

−=

=

=

N

nn

jn

N

nn

j

N

nn

n

N

nn

j

N

nnj

xjP

xxjP

d

xjP

xxjP

xjPN

1

2

12

1

1

1

)|(

||ˆ||)|(1ˆ

)|(

)|(ˆ

)|(1ˆ

μσ

μ

ω

∑=

= O

kk

j

kxp

jxpxjP

1

)|(

)|()|(

ω

ω



EMアルゴリズム• EMアルゴリズム

– 不完全データからの学習アルゴリズム

• 混合分布モデルのパラメータの推定に利用可能

• 最急降下法と同様に解を逐次改良して、次第に最適な解に近づける

• 一般的な定式化は、Dempster等による(1977)

• EMアルゴリズムの実際

– 各確率密度分布が正規分布の場合

– 方針

• データｘがどの正規分布から生成されたかの番号ｚを含めたもの(x,z)を完全データとみなし、ｘを不完全データとみなしてEMアルゴリズムを適用

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧ −

−= 2

2

2/2 2||||

exp)2(

1)|(j

jd

j

xjxp

σμ

πσ



EMアルゴリズム（つづき）

• 完全データの分布

• N個の完全データに対する対数尤度

• EMアルゴリズム– パラメータの適当な初期値からはじめて、EステップとMステップと呼

ばれる二つの手続きを繰り返す

)|(),( zxpzxf zω=

{ }∑∑==

==N

nnnznn

N

n

zxpzxfln

11)|(log),(logˆ ω



EMアルゴリズム（メタアルゴリズム）• Eステップ

– 完全データの対数尤度のデータとパラメータに関する条件付き期待値の計算

• Mステップ– Qを最大とするパラメータを求めて新しい推定値とする

EステップとMステップを繰り返して得られるパラメータは、尤度を単調に

増加させることが知られている

)],|),([)|( )()( tnn

t xzxfEQ θθθ =



EMアルゴリズム（具体例）

• 正規分布の混合分布の場合– Qを最大とするパラメータは陽に求まる

– 各要素への帰属度を表す事後確率の現時点での推定値を重みとして、パラメータを推定することを繰り返す

∑

∑

∑

∑

∑

=

=+

=

=+

=

+

−=

=

=

N

n

tn

tjn

N

n

tn

tj

N

n

tn

n

N

n

tn

tj

N

n

tn

tj

xjP

xxjP

d

xjP

xxjP

xjPN

1

)(

2)(

1

)(

)1(2

1

)(

1

)(

)1(

1

)()1(

),|(

||ˆ||),|(1ˆ

),|(

),|(ˆ

),|(1ˆ

θ

μθσ

θ

θμ

θω

∑=

= O

kk

j

kxp

jxpxjP

1

)|(

)|()|(

ω

ω



EMアルゴリズム（利点と欠点）

• 利点– 各繰り返しのステップで尤度が単調に増加

• 他の方法（最急降下法等）と比べて数値計算的に安定

– 逆行列の計算が必要ない

• Newton法等の非線形最適化手法に比べて簡単

– 多くの実例では他の手法に比べて良い解に収束する

– 繰り返しの初期の段階ではNewton法と同程度に速い

• 欠点– 解の近くでは収束が遅くなるので、工夫が必要

– 大域的な収束は保証されていないので、初期値の選び方の工夫が必要



混合正規分布モデルを用いた識別の例

• データ– Class 1: 2次元正規分布

– Class 2: ２つの正規分布の混合分布

N1=100N2=100



識別器の構成と学習• 各クラスの分布を正規混合分布により推定

– Class １： O=5個の正規混合分布

– Class ２： O=5個の正規混合分布

• 訓練サンプル– N=200サンプル（各クラス100サンプル）

• パラメータの学習法– EMアルゴリズムを利用



混合正規分布推定による識別境界

O1=5O2=5



混合正規分布推定によるテストサンプルの識別結果

新たに生成したテストサンプル（N=200)の識別



ニューラルネットベースのクラスタリング



競合学習（Competitive Learning)• オンラインクラスタリング

– 時々刻々と与えられるサンプルに適応的にクラスター構造を変更

• アルゴリズム– 初期化

• 重みの初期化

– 繰り返し

• 与えられた入力特徴ベクトルに対して

最大の出力を与えるクラスター（勝者）を探す

• そのクラスターに対応する重みを

入力ベクトルの方向にちょっとだけ動かす

• 重みを正規化

x

W

入力特徴ベクトル

クラスター



自己組織化マップ（SOM)• 近傍との隣接関係を維持して、高次元のデータを低次元（2

次元）に非線形に写像するデータ解析法



アヤメのデータに対するSOMの適用例



LVQ （Learning Vector Quantization）• 概要

– 学習ベクトル量子化法

– 入力データをパターン分類できるように、競合学習によって結合重みベクトルの更新

– 教師あり学習

– 歴史

• ＬＶＱモデルは１９８６年に発表され、その後ＬＶＱ２、ＬＶＱ３と改良

• LVQ２アルゴリズム

1. 入力データベクトルＸjに最適マッチングした結合重みベクトルＷkと、その次にマッチングするＷmを見つける

2. ＷkとＷmの中間の位置で、ある一定の幅をもつウインドウを設定

3. Ｘjがそのウインドウに入っている場合、次の式により結合重みベクトルを更

新

jmoldmj

oldm

newm

jkoldkj

oldk

newk

CC

CC

=−+=

≠−−=

if )(

if )(

wxww

wxww

α

α



移動ロボットに搭載した全方位カメラ画像系列の分割

time



向きの変化に不変な特徴ベクトルの抽出

1. 画像の展開– 扱い易さ

2. ソーベルフィルタ– 柱などの形状を強調した特徴

3. 周囲方向への自己相関特徴– 向きの変化に不変な特徴

4. 主成分分析– 次元数の圧縮

Sobel+自己相関



時間順序を維持した階層的クラスタリング

①②③ ④⑤ ⑥⑦⑧⑨ t

特徴空間

①②③

④⑤

⑥⑦⑧⑨

移動軌跡で隣合うものだけを統合できる場合



画像列のクラスタリング結果

画像２５６×２４６画像（展開）３５９×７９クラスタ７５９→１２



平均ベクトルによる代表画像の選択結果

代表画像



情報量による代表画像の選択結果

代表画像

Documents

パターン認識 - Hiroshima Universityhome.hiroshima-u.ac.jp/tkurita/waseda/H21-11-PATREC.pdf · – 第1主成分軸上のスコアのヒストグラムを計算 – 大津の2値化法でヒストグラムを最適に分割するしきい値を計算