マルチ識別器を用いた花画像検索システムの構築

神戸大学福田恵太・滝口哲也・有木康雄

研究背景

「イメージ」から検索可能な図鑑システム

知りたい情報をユーザーが負担なく得るために…

道端、庭先、山にある自然物の情報が知りたい検索対象の大半が、「イメージ」である「キーワード」分類の従来図鑑の不便さIC タグで扱えない自然物認識

従来手法

花という一点からの特徴を捉えているため、

どの花に対しても同じ特徴量を扱う。

提案手法

花の構造により分類し、構造に依存した特徴量を

選択するマルチ識別器を構成する。

本研究について

システム全体の流れ

検索画像

花弁領域抽出

特徴量抽出 データベース

マルチ識別器

結果表示

•表示画像•特徴量•花の名前•科名•属名 etc..

花弁領域抽出画像入力

HSV 色空間に変換

K- 平均法による減色処理

中央でなおかつ画素の多い色の領域を自動抽出

マウス操作により修正

輪郭抽出

画像出力

面積最大領域

10×10 次元の HS 色空間における二次元ヒストグラム ( 分布量 )

特徴量抽出

低周波数成分における 30 次元の正規化されたスペクトルの強さ

色特徴量

形特徴量

一次元形状グラフ 形特徴量

DFT

l

dPower

Freq

色特徴量

構造による分類円形度 エントロピー 平均 構造のタイプ

高 中 低 円形に近い花

低 高 高 複数の花弁をもつ花

低 低 中 明確な花弁をもつ花

円形に近い花 複数の花弁をもつ花 明確な花弁をもつ花

各構造に依存した特徴を重視することが可能になる。

Fuzzy C-means 法 １つのサンプルが複数のクラスタ

に属することを想定している． ０～１で帰属度を示す．

円形 :0.04複数 :0.03明確 :0.93

円形 :0.53複数 :0.07明確 :0.40

｛円形花らしさ，複数花らしさ，明確花らしさ｝

というベクトル空間を構成する．

検索画像と帰属度が類似したものに候補を絞る．検索画像の重視すべき特徴がわかる．

その目的として複雑

円形

明確

認識法

検索画像

FCM

識別器

円形

複数

明確

データベース

0.04

0.03

0.93

候補の削減

類似度

結果表示

検索画像の帰属度

呼び出し

小データベース

各識別器の構成類似度計算：ヒストグラムインターセクション

タイプ 周波数領域ガウス重み ＋形状特徴量円形 低周波数 円形度複数 高周波数 複雑度明確 ピーク値 動径最小 / 最大

形特徴量： 30 次元の形特徴量＋ α

色特徴量： 10×10 次元の色特徴量

※ 　動径最小 / 最大は，花弁が長いほど値が低く，短いほど値が高くなる．

ガウス重み

N(5,1^2)

Histogram Intersection

ピーク値

検索画像

画像 i

形類似度計算

形類似度

実験条件112種類花画像 ×４枚1枚を検索用，残りを DB とした CV 法評価方法： MRR (Mean Reciprocal Rank)

評価実験 (1)ファジィ化の度合いによる認識率の変化評価実験 (2)識別器の統合による認識率の変化

0.538

0.548

0.562 0.5650.5600.561

0.52

0.53

0.54

0.55

0.56

0.57

1.0 1.5 2.0 2.5 3.0 3.5

MRR

ファジィ係数が大きくなればなるほどファジィ化の度合いが大きい．

特にファジィ係数 =1.0 のときは，クリスプ C-means 法となる．

評価実験 (1)

評価実験 (2)各識別器で最も MRR が高かった時の形色重み比率を

採用しマルチ識別器を構成．

0.552

0.560

0.541

0.569

0.520

0.530

0.540

0.550

0.560

0.570

0.580

円形 複数 明確 マルチ

第３候補まで 68.5％，第５候補まで 79.2% ，第 10 候補まで 92.0% の認識率

まとめ考察　特に輪郭形状が安定した花は認識率が高い．　ファジィ化を行うことで精度が向上．　識別器の統合により精度が向上．

今後の課題　同じ花でも色形が異なる花の認識率の精度向上．　アジサイのような集合花などへの対応．　さらに多くの自然物に対応する図鑑システムの構築．

従来手法

花という一点からの特徴を捉えているため、

どの花に対しても特徴量が同じ。

提案手法

花の構造により分類し、構造に依存した特徴量を

重視するマルチ識別器を構成する。

本研究について

画像入力

RGB から HSV

H S V

花弁領域抽出

マウスによる修正

No

面積最大

輪郭抽出

画像出力

Yes

K-means K-means K-means

花弁領域抽出

例．黄色領域

H ： 60 度付近

S ： 0.3以上

V ： 0.6以上

抽出成功例

抽出失敗例

FCM 処理結果 (1)帰属度

エントロピーべき乗パラメーター　 m = 2.5 のとき

FCM 処理結果 (2)帰属度

円形度べき乗パラメーター　 m = 2.5 のとき

ガウス重み

N(5,1^2)

Histogram Intersection

ピーク値

検索画像

画像 i

Histogram Intersection

形類似度

321

321

www

DwDwDwV hscij

ijV

321 ,, www：識別器 j における画像 i との類似度

類似度計算

：類似度の重み

hsc DDD ,, ： MAX 1 min 0 　の各類似度

321 06.091.003.0)( iii VVViM

円形 :0.03複数 :0.91一花 :0.06

検索画像のとき，

ijV ：識別器 j における画像 i との類似度

識別器の統合

この場合，「複数」を扱う識別器の結果が重視される．

クラスタリング精度

　 1.0 1.5 2.0 2.5 3.0 3.5

エラー率（%） 5.13 4.02 1.56 1.12 0.67 0.22

削減率 (%) 62.5 61.0 55.9 45.9 30.0 14.0

エラー率：正解の３サンプルが小データベースに入らなかった割合

削減率：（除外されたデータ数 / データベースのデータ数 ) の割合

色類似度の重み w1 と形類似度の重み w2 を w1 + w2 = 1.0 とし，

W1 の値を 0.0 から 0.1刻みで 1.0まで変化させたときの認識率順位

　 1st 2nd 3rd 4th

円形 0 1 4 4

複数 1 4 1 3

一花 3 1 3 2

マルチ 6 3 1 0

マルチ識別器の評価 (2)

0.4970.508 0.509

0.495

0.47

0.448

0.40.420.440.460.48

0.50.52

1.0 1.5 2.0 2.5 3.0 3.5

MR

Rシングル識別器

各識別器で用いた識別器をそのまま特徴量に用いた場合．

Mean Reciprocal Rank

順位逆数の総和を平均した評価法（平均逆順位法）

１位 1

２位 0

３位 0

４位 2

5.0)24

1

1

1(

3

1MRR

マルチ識別器の評価

各識別器で最も MRR が高かった時の形色重み比率を

採用しマルチ識別器を構成．

0.552

0.560

0.541

0.569

0.520

0.530

0.540

0.550

0.560

0.570

0.580

円形 複数 明確 マルチ

色が異なる花への対処現時点のシステムでは対処できない． (例．チューリッ

プ )

色別にモデルをデータベースに登録する．個々に知識データベースを用意しておく．

(個々の花ごとに重要な特徴量を定義しておく． )

再検索の要求

フィードバック機能現時点のシステムは再検索機能がない．

類似度が低かった場合に再検索を要求する．色または形特徴量の重みをユーザーが変更．既知の情報などにより精度の向上．

ファジィ化の目的輪郭が不安定であるため，３つの構造いずれに属するか決定することが困難である．

K- 平均 ファジィ

エラー率 (%) 5.13 1.12

削除率 (%) 62.5 45.9

MRR 0.538 0.565

0

0.1

0.2

0.3

0.4

0.5

0.6

0 5 10 15 20 25 30

"fourier/sakurasou4.data"

サクラソウ

-20

-15

-10

-5

0

5

10

15

0 20 40 60 80 100 120 140 160 180 200

"inverse/sakurasou4.data"

112種類花画像 ×４枚 3枚を DB に１枚を検索用とするクロスバリデーション ファジィ化の度合いによる変化ごとの MRR (Mean Reciprocal Rank)

0.538

0.548

0.562 0.5650.5600.561

0.52

0.53

0.54

0.55

0.56

0.57

1.0 1.5 2.0 2.5 3.0 3.5

MRR

評価実験

第３候補まで 68.5％，第５候補まで 79.2% ，第 10 候補まで 92.0% の認識率

アプリケーション