パターン認識 - home.hiroshima-u.ac.jphome.hiroshima-u.ac.jp/tkurita/waseda/H21-12-PATREC.pdf · 遺伝的アルゴリズムによる変数選択 • 遺伝子型表現 – 各特徴量が回帰式（モデル）で使われるかどうかを1ビット（0,1)で表

脳神経情報研究部門

独立行政法人産業技術総合研究所早稲田大学電気・情報生命工学科講義

パターン認識早稲田大学講義 – 平成21年度

（独）産業技術総合研究所脳神経情報研究部門

栗田多喜夫、赤穂昭太郎



講義の内容

• 前半（赤穂担当）– http://www.neurosci.aist.go.jp/~akaho/waseda/

• 後半（栗田担当）– http://staff.aist.go.jp/takio-kurita/index-j.html– 第 8回（11月16日）パターン認識のための多変量データ解析手法

– 第 9回（11月23日）線形識別関数の学習とニューラルネット

– 第10回（11月30日）汎化性の評価と特徴選択

– 第11回（12月 7日）クラスタリング

– 第12回（12月14日）進化論的計算論

– 第13回（12月21日）パターン認識の応用（顔検出・顔認識）

– 第14回（ 1月18日）授業理解の確認。



レポート課題「パターン認識に関する指定の英文論文誌、国際会議に掲載された論

文を読んで、以下の問いに簡潔に答えてください」

質問１

・その論文は、どのようなパターン認識課題を議論しているか？

質問２

・その課題を解決するために、どのような特徴が用いられているか？

質問３

・その課題を解決するために、どのようなパターン認識手法が使われ

ているか？

質問４

・なぜ、その論文を選んで、読むことにしたのか？

質問５

・その論文に対する意見、批評、感想は？


独立行政法人産業技術総合研究所

レポート課題• 対象論文 (2000年以降に発表された論文）

IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMI)Pattern Recognition, Pattern Recognition LettersInter. Conf. on Computer Vision (ICCV), Inter. Conf. on Pattern

Recognition (ICPR), IEEE Computer Society Conference on ComputerVision and Pattern Recognition (CVPR)

• 原稿の体裁と評価のポイント

– A4用紙で、1ページ目に学籍番号と名前を明記してください。

– 取り上げた論文の論文情報（著者名、論文タイトル、発表論文誌名、Vol. No. ページ、

発表年）を明記してください。

– レポートは、2ページ以内にまとめてください。

• 提出方法と提出期限

– 2010年1月18日の講義の時に提出

– 提出期限： 2010年1月18日（月）

早稲田大学電気・情報生命工学科講義



遺伝的アルゴリズム• 遺伝的アルゴリズム

– 1975年にミシガン大学のジョン・H・ホランド（John Henry Holland）によって提案された近似解を探索するメタヒューリスティックアルゴリズム

– 解の候補を遺伝子で表現した「個体」を複数用意し、適応度の高い個体を優先的に選択して交叉・突然変異などの操作を繰り返しながら解を探索する

– 適応度は適応度関数によって与えられる

– 利点

• 評価関数の可微分性や単峰性などの知識がない場合であっても適用可能

• 遺伝子の表現の仕方によっては組合せ最適化問題やNP困難な問題な

どのさまざまな問題に適用可能



遺伝的アルゴリズムの流れ1. あらかじめ N 個の個体が入る集合を二つ用意

– 以下、この二つの集合を「現世代」、「次世代」と呼ぶ

2. 現世代に N 個の個体をランダムに生成

3. 評価関数により、現世代の各個体の適応度を計算

4. ある確率で次の3つの動作のどれかを行い、その結果を次世代に保存

– 個体を二つ選択（後述）して交叉（後述）を行う

– 個体を一つ選択して突然変異（後述）を行う

– 個体を一つ選択してそのままコピーする

5. 次世代の個体数が N 個になるまで上記の動作を繰り返す

6. 次世代の内容を全て現世代に移す

7. 3. 以降の動作を最大世代数 G 回まで繰り返し、最終的に「現世代」の

中で最も適応度の高い個体を「解」として出力する



選択• 選択は生物の自然淘汰をモデル化したもので、適応度にも

とづいて個体を増やしたり削除したりする操作

• 選択のアルゴリズム– ルーレット選択

• 個体 i を選ぶ確率を固体の適合度から決定

– ランキング選択

• 各個体を適応度によってランク付けして、「1位なら確率 p1, 2位なら確率p2, 3位なら…」というふうにランクごとにあらかじめ確率を決めておく方式

– トーナメント選択

• トーナメント選択はあらかじめ決めた数（トーナメントサイズという）だけ集団の中からランダムで個体を取り出し、その中で最も適応度の高い個体を選択する方式

∑ =

= N

k k

ii

ffp

1



交叉• 生物が交配によって子孫を残すことをモデル化したもので、個体の遺伝

子の一部を入れ換える操作

• 交叉のアルゴリズム

– 一点交叉

• 遺伝子が交叉する場所（交叉点）をランダムで一つ選び、その場所より後ろを入れ換える方式

– 個体A: 01001｜11010 ⇒ 01001 01011– 個体B: 10101｜01011 ⇒ 10101 11010

– 二点交叉

• 交叉点をランダムで二つ選び、二つの交叉点に挟まれている部分を入れ換える方式

– 個体A: 010 | 01110 | 10 ⇒ 010 01010 10– 個体B: 101 | 01010 | 11 ⇒ 101 01110 11

– 一様交叉

• 各要素ごと独立に1/2の確率で入れ換える交叉

– 個体A: 0 1 0 0 1 1 1 0 1 0 ⇒ 0 0 1 0 1 1 1 0 1 1– 個体B: 1 0 1 0 1 0 1 0 1 1 ⇒ 1 1 0 0 1 0 1 0 1 0



突然変異• 突然変異は生物に見られる遺伝子の突然変異をモデル化し

たもので、個体の遺伝子の一部を変化させる操作

• 方法– 遺伝子型がビット列の場合はある遺伝子座の0と1を入れ換える

– 数字の場合は乱数と置き換える

– 遺伝子座の位置を変更する

などの方法がとられる



変数選択へのGAの応用

• 線形回帰モデル

• 変数選択– どの特徴量を使えば汎化性能の高いモデルが学習できるか？

– 特徴量の部分集合の内で最も汎化性能の高いものを選ぶ

• 変数選択基準– 赤池の情報量基準（AIC)

∑=

+=M

jjj xaay

10

)2(2ˆlog2log)( 2 ++++= pNNNpAIC σπ

残差分散サンプル数特徴の次数 :ˆ ,: ,: 2σNp



遺伝的アルゴリズムによる変数選択

• 遺伝子型表現– 各特徴量が回帰式（モデル）で使われるかどうかを1ビット（0,1)で表

現し、Mビットのビット列で遺伝子を表現

• 適応度– AIC値

• 遺伝子操作– 選択

• 集団全体の個々の固体の適応度の占める割合に応じた確率

– 交差

• 一様交差

– 突然変異

• ある確率（P=0.01）で固体のビットを反転

),1,,1,1,1(),0,,0,0,1(),0,,0,1,1(),0,,0,1,0(),1,,0,1,0( KKKKK



ガソリン消費量予測データ

• Henderson等のガソリン消費量データ

– 目的変数

• ガソリン1ガロン当たりの走行距離

– 説明変数

• シリンダ数、排気量、馬力、ギア比、車両重量、1/4マイルの走行時間、エンジン形式（V型、直列）、オートマかマニュアルか、変速段数、キャブ

レタ数

– データ数

• 32個

• 遺伝的アルゴリズムでモデルを探索した結果– 3個の説明変数（車両重量、1/4マイルの走行時間、オートマかどうか

）の回帰モデルでAICが最小



高次局所自己相関特徴による顔認識

次元 = 35 (gray) , 25 (binary) 各3x3マスクで画像をスキャンし

積和を取り、特徴値を得る

0th 1st 2nd

N次高次自己相関関数



顔識別データへの適用

• 高次局所自己相関特徴による顔識別– 目的変数

• 3人の顔のどれかを示すクラス番号（１，２，３）

– 説明変数

• 画像から計算した25個の特徴（高次局所自己相関特徴）

– データ数

• 60個

• 遺伝的アルゴリズムでモデルを探索した結果– 16個の特徴量を用いたモデルでAICが最小



評価値の変化

GAの世代

• 遺伝的アルゴリズムの評価値（AIC値)の変化

GAの世代

AIC AIC

GASデータ顔識別データ

これまで見つかった最適値

集団の平均



多クラス識別問題における2クラス識別器の選択

• Support Vector Machine(SVM)- ２クラス識別器

• 作成可能な2クラス識別器は非常に多い

• 多クラス識別器の構成パターンは膨大

どの組合せが一番よいのか？

多クラス問題を2クラスの組合せで解く

1 or 5

3 or 4,5

6,8 or 2,7・・・



従来手法: 一対他法

• あるクラスかそれ以外の2クラス識別器で構成

- Kクラスに対して

K個の2クラス識別器

- 不定領域が大きい



従来手法: 一対一法

• 全てのクラスペアの2クラス識別器のみで構成

- Kクラスに対して

個の2クラス識別器を利用

- 不定領域が小さい

- 多数決により識別

2CK



従来手法：誤り訂正出力符号化法

• 誤り訂正符号を用いて多クラス識別器を構成

- 識別をデータの伝送問題と捉える

f1 f2 f3 f4 f5 f6 f7

C1 1 1 1 1 1 1 1

C2 0 0 0 0 1 1 1

C3 0 0 1 1 0 0 1

C4 0 1 0 1 0 1 0

出力 1 1 0 1 0 1 0

クラス符号

ｆ1：C1 or C2,C3,C4ｆ2：C1,C2 or C3,C4

識別した結果、誤りを含む符号が出力される

C1: 距離3

C2: 距離5

C3: 距離5

C4: 距離1

一致しない要素の数を距離とする



利用可能な全ての2クラス識別器から課題に適

応的に最適な組み合わせを選択

• 従来手法の問題点

– 利用する2クラス識別器はごく一部

– 多クラス識別器の構成パターンもごく一部

- より汎化性能の高い多クラス識別器の存在する可能性が高い

膨大な数の組合せが存在

遺伝的アルゴリズムによる準最適組合せを探索



評価実験• 実験データ

– libSVM datasets

• 実験設定– 実験A

• 誤り訂正出力符号化法でされた2クラス識別器の中から最適な組み合わせを探索

– 実験B • 全ての2クラス識別器の中から最適な組み合わせを探索

63620004435Satimage Data

418200646Vehicle Data

クラス数特徴次元数テスト

サンプル数

訓練

サンプル数

データセット名



実験結果• 識別率と利用された2クラス識別器の数

156746Vehicle Data識別器数

0.860.8410.7850.7350.851Satimage Data誤識別率

12

0.765

実験A

11731615Satimage Data識別器数

0.840.7850.770.795Vehicle Data誤識別率

実験B誤り訂正出力符号化法

一対他法一対一法



Particle Swarm Optimization (PSO)• PSO :Eberhart, Kennedy (1995)

– 鳥やアリなどの群，社会現象などからヒントを得た最適化法 ⇒ 群や組織の特性

– ランダムネスを利用した多点探索



ppi

PSO アルゴリズム

pi:位置ベクトル v:移動速度ベクトル w:慣性項c1,c2: 加速定数 rp,rg: 乱数 U(0,1)

ppi:それぞれの集団での最適解（履歴を含む）pg:全体での最適解（履歴を含む）

pg

vi

pi更新式

最適化問題



PSO アルゴリズム

• 評価関数 f(p) の最小化

① 繰り返し回数 tmax, 個体数 np を決定

② それぞれの個体に対して，位置 pi, 速度 vi を初期化（i=1～np）

③ f(pi) をそれぞれの個体について計算する

④ f(pi)< f(ppi) であれば ppi を更新， f(pi)< f(pg) であればpg を更新

⑤ pi, vi を更新式に従い更新

⑥ ③～⑤を tmax 回繰り返す



カーネルサポートベクターマシンの最適なハイパーパラメータの探索

⎥⎦

⎤⎢⎣

⎡−= ∑

∈ nSiiii hKty ** ),(sgn xxα



汎化性能の高い識別器を学習するには• ＧａｕｓｓカーネルＳＶＭの場合

– 正則化パラメータとカーネルパラメータを適切な値に設定する必要がある

最適化問題

双対問題

適切な値に設定する必要がある



C=10000, σ2=0.5

C=1, σ2=0.5

C=0.1, σ2=0.5

test

正則化パラメータ C

大小



C=1, σ2=50

C=1, σ2=0.5

C=1, σ2=0.05

test

大小

カーネルパラメータ σ2 (Gauss カーネル)



モデル評価基準

• AICやMDL ⇒ 尤度基準

• k-fold Cross Validation (k-fold CV)– 訓練サンプルを分割しモデルの汎化性を測ることができる

訓練評価

dataモデル選択の基準として採用

訓練データで構築したモデルで評価データを評価

k通りの平均で

全体の汎化能力を評価



一般に良く用いられる手法（格子点探索法）

• 従来のSVMのパラメータ探索手法

– 勾配法 Chapelle et al. 2002• 微分可能性など制約がある

– 格子点探索（評価:Cross Validation）

• 探索が冗長

• パラメータ数が増えると計算量が指数関数的に増加

C

σ2

Cross Validation

Particle Swarm Optimization を用いることにより

効率良くパラメータを探索



実験

• 格子点探索 VS PSO探索

– ベンチマークデータ（banana,heart ※) で評価

– それぞれ20通りの訓練・評価データの組み合わ

せに対し実行（パラメータは訓練データのみを用いて決定）

– 探索範囲： 2-5(0.03125) < C < 215(32768), (初期範囲) 2-4(0.0625) < σ2 < 214(16384)

– 繰り返し回数、固体数の異なる３種のPSOと格子

点探索を比較

※G. Ratsch, T. Onoda, and K.R. Muller 1998C.L.B. D.J. Newman, S. Hettich, and C. Merz 1998, (UCI)



実験結果

12.8(±7.6)10.8 (±0.8)10.7 (±0.8)10.8 (±0.7) test error (%)

129.1 (±120)

8.8 (±1.1)

PSO(np=20,tmax=20)

5.3 (±2.1)26.4 (±29.3)176.8 (±23.6)CPU time (sec)

11.1 (±7.3)9.1 (±1.0)9.0 (±1.1)CV error (%)

PSO(np=5,tmax=5)

PSO(np=10,tmax=10)

格子点探索

(21×19)

16.6 (±2.7)16.6 (±3.3)17.0 (±3.0)17.1 (±2.9) test error (%)

18.3 (±5.3)

14.2 (±1.9)

PSO(np=20,tmax=20)

1.2 (±0.1)4.7 (±0.6)30.2 (±1.4)CPU time (sec)

15.0 (±2.0)14.5 (±1.9)14.5 (±1.8)CV error (%)

PSO(np=5,tmax=5)

PSO(np=10,tmax=10)

格子点探索

(21×19)

banana （訓練: 400 サンプル，評価: 4900 サンプル, 特徴: 2 次元） Gauss カーネル

heart （訓練: 170 サンプル，評価: 100 サンプル, 特徴: 13 次元） Gauss カーネル



実験結果

格子点探索 VS PSO（np=20,tmax=20)

1ステップ目ですでに格子点探索と同等

heart



最適なパラメータで構成した識別器

banana

test PSO(20×20) で決定した識別平面

CV error: 7.5 %test error: 10.3 %



PSOのSVMの特徴選択への応用

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

• ほぼ線形分離可能な場合（２次元正規分布:左図）

– Test accuracy: 96.5%(GaussカーネルSVM)

– Test accuracy: 88.5%

ランダムな特徴を50次元加える（52次元で識別）

ランダムな特徴により汎化性能が大幅に落ちる！

特徴選択

train ●●

test □□



SVMを用いた特徴選択• ステップワイズに特徴を選択（Backward Stepwise

Selection)– SVMを用いて特徴選択をする場合，特徴数が変われば最適なパラメ

ータも変わる

一つ特徴を選ぶ度にPSO でパラメータを再決定



SVMを用いた特徴選択

0 10 20 30 40 50 6075

80

85

90

95

100

number of features

accura

cy

真の特徴



Viola&Jonesの対象検出手法の学習の高速化

• Viola&Jonesの対象検出法– 現在、顔検出で最もよく利用されている手法

– デジカメ等で使われている

• 手法のオリジナリティ– 矩形特徴をブースティングにより選択・統合する識別器を学習

– インテグラルイメージを用いた矩形特徴の高速計算法を提案

• 欠点– 学習に時間がかかる

顔検出の適用例

映画での顔検出例



AB

例）顔画像ではAの部分よりBの部分の方が明るいが、背景画像ではそうでないことが多い

• 矩形特徴：特定領域の明るさの違いに基づいて

識別を行うフィルタ

Viola-Jonesの検出器



Viola-Jonesの検出器

• 矩形特徴のバリエーション

– 特徴を取り出す領域の位置やサイズに応じたバリエーション

– 例）19×19ピクセルの画像には約53,000 個の矩形特徴が存在

識別器の候補が多すぎるので選択が必要

↓

Adaboost



ブースティングによる矩形特徴の選択的統合

…

)(1 xh

)(2 xh

)(xhT

1α

2α

Tα)(xH

• 複数の矩形特徴を組み合わせれば，顔のように複雑なパターンを認識することも可能(Boosting)

バリエーション例



Boostingのアルゴリズム

実験で選ばれる矩形特徴の例（左から最初の5個、50個、500個）

サンプルの重み（重要度）に従い各矩形特徴のパラメータを

最適化

それらの中から重みつき誤差が最小の矩形特徴を選択、t番目の弱識別器に採用

12

3

t

…

（重みの更新）今選ばれた

特徴が誤識別するサンプルの重みを大きくする

訓練サンプルを入力、それぞれに重み（重要度）を

割りふる（初期値は均等）

T回反復

tt



Viola-Jonesの検出器の学習（計算量）• Adaboostによる矩形特徴（ＲＦ）の選択

– N個の訓練サンプル, C個の候補RFを入力

– サンプル重みを均一に初期化

– for t =1, 2, ......, T （T：反復数）– C個の候補RFをそれぞれ個別に訓練

– 最高識別率の候補をベース識別器 bt とする

– bt を用いてサンプル重みを更新

– T個のベース識別器で強識別器を構築

C個の候補RF

S

T個の

ベース識別器

O(NlogNTC) ~ 数日から数週

RFの訓練（N個の特徴量をソートして閾値決定）

RF選択の反復



PSOによる良い矩形特徴の探索パーティクル＝RF（位置ベクトル＝RFのパラメータ）

• p = (xs, ys, xe, ye, z)

– 評価関数E(p):• その矩形特徴の訓練セットに対する重みつき識別率

z=1 z=2 z=3 z=4

(xs, ys)

(xe, ye)

z : Configuration

PSO in 5-D Search Spacexs

ys

xeyez



学習性能の評価実験条件

• 顔・非顔識別問題– MIT/CBCL face database

• 2,901枚の顔画像

• 28,121枚の背景画像

• 19×19ピクセル

– 53,000個の候補RF

– 訓練セットとテストセットのペアをランダムに3組生成

– 3つのペアでの平均識別率を表示

24,121901テストセット

4,0002,000訓練セット

背景顔



各学習法の学習速度の比較実験

89.88%88.68%90.12%識別精度 (t=5)

98.77%98.58%98.75%識別精度 (t=600)

2,000 (3.8%)

PSO

1,133 (2.1%)53,130候補RFの最適化回数

HybridViola

Hybrid = PSO-300-30（30段目まで）＋RCS-1000（31段目から）

Viola-Jones

RCS-1000

PSO-100-20Hybrid

VJ

RCS

PSOHybrid

up to 30th from 31st

Adaboost反復数

テスト識別率

(%)

従来手法の１／５０の計算量で同等の識別率を達成！

従来手法の１／５０の計算量で同等の識別率を達成！



非隣接型矩形特徴を用いた高精度な物体検出

• 矩形タイプの画像特徴

– 領域内の平均輝度値を特徴量とする

– 積分画像法によって高速に特徴量を計算可能

– 抽出する位置に応じて多数のバリエーション

– 単体の特徴では識別力が弱い

⇒ 複数の特徴を組み合わせて識別に用いる

(xs, ys)

(xe, ye)

Parameter Spacexs

ys

xeye



矩形特徴の拡張に関する研究

• 最初の矩形特徴– 配置タイプが4パターンのみ

• 拡張型の矩形特徴– 配置タイプを……

• 14パターン [Lienhart 2002]• 19パターン [Pham 2007]

– に拡張し，識別精度が向上

複雑な配置 ⇒ より柔軟に対象の部分構造を捕捉



矩形領域の組合せ問題

• 小矩形の隣接性

– 先行研究では隣接領域の組合せのみを扱っている

– 隣接性の制約を外した場合，小矩形の組合せ爆発が発生• W×H ピクセルの画像中に存在する小矩形の数 S

• 任意の小矩形 n 個の組合せの総数

• W=H=19，n=2 ⇒ S2=約13億

22

2)1(

2)1( HWHHWWS ∝+×+=

nnn HWS 22∝

従来法では特徴選択が難しい

PSOによる特徴

選択なら可能



非隣接型矩形特徴による検出器の高精度化

• 非隣接型矩形特徴（NNRF）• 任意の小矩形領域のペア

• 従来特徴：隣接領域の関連性のみを見る

• 提案特徴：遠隔領域の関連性も見る

• より柔軟に対象の構造を捉えるため，より識別力が高い



非隣接型矩形特徴による検出器の高精度化

• 非隣接型矩形特徴（NNRF）– 特徴量と識別関数は従来特徴と同じ

特徴量

f = mean(A) − mean(B)

領域A, Bの平均輝度

識別基準

f は閾値θ より大きい？小さい？

AB



Adaboost.PSOによる矩形特徴選択

• 矩形特徴

– 小矩形：互いに隣接・同サイズ

– パラメタ：(xs, ys, xe, ye, z)– 特徴数：約53,000個＠19x19pixs

• 非隣接型矩形特徴

– 小矩形：任意の位置・任意のサイズ

– パラメタ：(xs1, ys1, xe1, ye1, xs2, ys2, xe2, ye2)– 特徴数：約13億個＠19x19pixs– 検出時の計算量は従来特徴と等価

(xs, ys)

(xe, ye)

1 2 3 4

z : Configuration

(xs1, ys1)

(xe1, ye1)(xs2, ys2)

(xe2, ye2)



Adaboost.PSOによるNNRF選択

Particle Swarm Optimization– P個の粒子がTitステップ目まで互いに通信

しながらパラメータ空間F内を探索する

– 第 t ステップ目の第 p 番目の粒子は次の二

つの状態ベクトルで表される：• 位置ベクトル x p

t∈F• 速度ベクトル v p

t∈F– Adaboost.PSOでは“粒子”＝NNRF

• xpt = (xs1, ys1, xe1, ye1, xs2, ys2, xe2, ye2)p

t∈F– 評価関数E(xp

t)：• 学習サンプルに対するNNRF xp

t の重みつき識別率

PSO in NNRF's parameter Spacexs

1 ys1

xe1

ye1

xs2ys

2

xe2

ye2

{ } { }pt

ggt

pt

ppt

pt

pt

pt

pt

pt

rcrcw xpxpvvvxx

−+−+=

+=

+

+

211

1

the best solution found by p-th particle

the best solution found by all particles



RFとNNRFの比較実験

• 顔・非顔識別問題– MIT/CBCL face database

• 顔2901枚＋背景28121枚• 小矩形：約36,000個• RF：約53,000個• NNRF：約13億個

– Adaboost：200ステップまで

24,121901テストセット

4,0002,000訓練セット

背景顔(19x19ピクセル)

ランダムに3組のペアを生成

テストセットへの平均識別率



RFとNNRFの比較実験

• 顔・非顔識別問題

PSO-2000-25で選ばれた最初の3つのNNRF実験画像の平均顔

従来の矩形特徴では表現できない

複雑・柔軟な構造を発見できた！

Documents

パターン認識 - home.hiroshima-u.ac.jphome.hiroshima-u.ac.jp/tkurita/waseda/H21-12-PATREC.pdf · 遺伝的アルゴリズムによる変数選択 • 遺伝子型表現 – 各特徴量が回帰式（モデル）で使われるかどうかを1ビット（0,1)で表