「画像の認識・理解シンポジウム (MIRU2009)」 2009 年 7 月

個人識別に向けた表情変化の動的解析田中 秀典† 斎藤 英雄†

† 慶應義塾大学大学院理工学研究科〒 223-8522 神奈川県横浜市港北区日吉 3-14-1

E-mail: †hidenori@hvrl.ics.keio.ac.jp

あらまし 本稿では個人識別に向けた顔の表情変化の動的解析手法を提案する．従来，顔画像を用いた個人識別技術では，表情変化が識別率を落とす要因となっていた．しかし，本稿では表情変化にこそ，個人の特徴が含まれると考える．提案手法では，連続する画像シーケンスの初期フレームにおいて特徴点抽出を行った後，次フレーム以降特徴点追跡を行い，表情変化区間を抽出することで，表情変化ベクトルを生成する．ここで，特徴点抽出には ActiveAppearance Modelを用い，特徴点追跡には Lucas-Kanade法に基づいた手法を用いる．識別においては，入力ベクトルを学習ベクトルと DPマッチングにより比較し，本人かどうかを判定する．MMI Facial Expression Databaseに含まれる笑顔の画像シーケンスを用いた実験により，本手法の有効性を確かめる．キーワード 表情解析, Active Appearance Model, Lucas-Kanade法, DPマッチング, 個人識別

Dynamics analysis of facial expressions for person identificationHidenori TANAKA† and Hideo SAITO†

† Graduate School of Sience and Technology, Keio University3-14-1, Hiyoshi, Kouhoku-ku, Yokohama, Kanagawa, 223-8522 Japan

E-mail: †hidenori@hvrl.ics.keio.ac.jp

Abstract We propose a new method for analyzing dynamics of facial expressions to identify persons. Severalmethods have been proposed to identify persons in face images. Changes due to facial expressions are one of thefactors of troubles in most methods. However, facial movements of facial expressions have personal characteristic.In the proposed method, facial feature points are extracted using an Active Appearance Model in the first frame ofcontinuous image sequences. They are then tracked using Lucas-Kanade based method. Next, an interval from thebeginning time to the ending time of facial expression changes is extracted. Finally, a feature vector is obtained.In the identification phase, an input vector is classified by calculating the distance between an input vector andthe reference vectors using DP matching. We show the effectiveness of the proposed method using smile imagesequences from MMI Facial Expression Database.Key words facial expression analysis, Active Appearance Model, Lucas-Kanade method, DP matching, personidentification

1. は じ め に

顔の表情解析は，人間とロボットのインタラクション等マンマシンインタフェースへの応用が期待される分野である．多くの顔の表情解析の研究においては，表情を感情のカテゴリーに分類するものが主である．しかしながら，顔の表情には，感情の表出のみならず，その変化において個人の特徴が含まれる [1] ．本研究では，この個人性に着目し，顔の表情変化を動的に解析することで，個人を識別することを目指す．個人識別サービスの実現には，様々な身体的特徴を統合していく必要があると考えられるが，顔の表情もそ

の一つと位置づけられる．我々が想定する，顔の表情変化を用いた個人識別サービスの一例を図 1に示す．想定シーンは高級会員制クラブであり，その入り口において，人間とロボットが近づき，インタラクションすることにより，自然と個人が特定され，その人に応じたサービスを提供する．本研究では，こういった人間とロボットが積極的に関わりあう場面を想定し，顔の表情変化から個人識別を行うことを目的とする．従来，顔の個人識別技術においては，表情変化が識別

率を落とす要因とされ，これをいかに克服するかと言う観点で研究がなされてきた [2–4] ．しかしながら，表情変化が動画像で獲得できる場合，逆に表情変化の個人性

図 1 表情変化を用いた個人識別によるサービス

を利用し，個人識別が可能になると考えられる．このような表情変化の個人性に着目した個人識別の研究は，これまであまり行われていないが，以下のような研究例がある．

Fenらは [5] 特定の言葉を発する中で獲得された，顔の動的変化を含む画像シーケンスからオプティカルフローを算出し，主成分分析で次元を圧縮，特徴ベクトルを生成し，個人識別を行っている．Ningらは [6] 笑顔を含む画像シーケンスからオプティカルフローを計算し，それを画素毎に時間方向で積算，主成分分析を行い，個人識別を行っている．これらの手法では，顔画像全体でフローを算出しているために，特に背景領域におけるフローの不安定さが識別率を落とす可能性があった．また，顔の姿勢の変動を吸収するための画像の正規化において，正規化の基準となる顔の特徴点を手動で抽出しており，自動化されていなかった．本手法では，表情変化を撮影した画像シーケンスの初期フレームにおいて，自動的に Active AppearanceModel（AAM)を用い特徴点抽出を行う．次フレーム以降では，Lucas-Kanade法（LK法）に基づいた追跡手法を用い，特徴点追跡を行う．そして，表情変化区間を抽出することで，表情変化ベクトルを生成する．識別においては，入力ベクトルを学習ベクトルと DPマッチングにより比較し，本人かどうかを判定する．以下，第 2章では，提案手法における特徴点抽出，特

徴点追跡，顔画像の正規化，表情変化区間の抽出，識別手法について詳細に述べる．第 3章では公開されている顔表情データベースから選択した笑顔の画像シーケンスを用い，本手法の有効性を評価する．そして，第 4章で本稿の結論と今後の予定について述べる．

2. 提 案 手 法

本章では，提案手法の詳細な説明を行う．提案手法の

図 2 提案手法の流れ

流れは，図 2に示すように，2つのフェーズ（学習フェーズと識別フェーズ）からなる．学習フェーズでは，まず，撮影された顔の表情変化の画像シーケンスから，初期フレームにおいて，学習済みのAAMを用い，眉・目・鼻・口・顔の輪郭部分の特徴点抽出を行う．次フレーム以降においては初期フレームで抽出された特徴点を LK法に基づいた追跡手法を用いて，特徴点追跡を行う．なお，ここで顔の姿勢の変化による，位置・回転・スケールの変化を吸収するために，両目の内眼角点と鼻の鼻下点の特徴点を用い顔画像の正規化を行う．そして，画像シーケンスの中から，特徴点の変化量をみることで，表情変化の開始点と終了点を探索し，表情変化区間を抽出する．こうして求めた，表情変化ベクトルに，人物のラベルをつけることで，学習ベクトルを生成する．識別フェーズにおいては，学習フェーズと同様にして特徴点抽出・特徴点追跡・正規化・表情変化区間抽出を経て，入力ベクトルを算出する．そして，あらかじめラベル付けされた学習ベクトルとの比較を DPマッチングを用い行い，閾値判定により識別を行う．以下，2. 1節で AAMを用いた特徴点抽出，2. 2節では LK法に基づく追跡手法を用いた特徴点追跡，2. 3節では両目・鼻の特徴点を用いた顔画像の正規化，2. 4節では特徴点の変化量に基づく表情変化区間の抽出，2. 5節では DPマッチングを用いた入力ベクトルと学習ベクトルのマッチングによる識別の詳細について述べる．

2. 1 AAMを用いた特徴点抽出

本手法では，連続する画像シーケンスの初期フレームにおいて，顔の特徴点を AAM [7, 8] を用い抽出する．AAMは変形を伴う物体において，形状（特徴点の座標値）と輝度値の相関をパラメタとして持つ統計的なモデルを構築することで，画像の合成，および入力画像における形状が獲得できる手法である．詳細には，まず，学習画像を用い形状ベクトル sと輝度値ベクトル gを算出する．形状ベクトル sは，学習画像上であらかじめ与えた特徴点の座標を並べることで獲得され，輝度値ベクト

図 3 AAMの学習に用いるデータ

ル gは，学習画像において特徴点座標に基づき領域抽出したものを，形状ベクトル郡に対し正規化を行い求めた平均形状へと warpすることで，warp後の画像の輝度値として獲得される．次に，形状ベクトル sと輝度値ベクトル gの相関を求める．はじめに，形状ベクトル sと輝度値ベクトル g系列に対し，それぞれ主成分分析を行う．形状の変化と輝度値の変化には相関があるので，さらに主成分分析を行う．モデルの線形性に着目すると，形状ベクトルと輝度値ベクトルは次式で表せる．

s = s + PsW−1s Qsd (1)

g = g + PgW−1s Qgd (2)

ここで，s, g は形状と輝度値の平均ベクトルであり，Ps, Pg は形状と輝度値ベクトルにおいて平均からの偏差を主成分分析して得られる固有ベクトルであり，Ws は形状と輝度値間の単位を正規化する行列であり，Qs, Qg

は形状と輝度値の固有ベクトルで，dは物体の形状と輝度分布の両方を制御するパラメータである．本手法では，特徴点を抽出したい入力画像と構築されたモデル間の輝度値の残差を最小化するように最適化計算を行い，特徴点を獲得する．

d∗ = arg mind| gi − gm |2 (3)

ここで，gi は入力画像の輝度値ベクトルであり，gm

は構築されたモデル画像の輝度値ベクトルである．得られた最適解 d∗ から，式 1により形状ベクトルを獲得し，特徴点を抽出する．なお，本稿では学習データとして図3に示すような眉，目，鼻，口，顔の輪郭部分の特徴点（計 65点）を用い AAMを構築する．

2. 2 特徴点追跡

連続する画像シーケンスにおける表情の変化を，AAMによって初期フレームで抽出された特徴点を用い，追跡する．AAMにおいては AAM trackingが用意されているが，学習ベースの手法であるために，表情変化の追跡

(a) AAM tracking (b) LK法に基づく手法

図 4 特徴点追跡結果

に当たっては，すべての表情変化の画像を学習しておく必要があり，膨大な学習量となる．さらに，AAMにおいては，学習量が増えると多くの局所解が生まれ，追跡精度が低下することが知られている [9]．また，無表情の場合のみを用いて学習を行った際には，図 4 (a) に示すように，表情の変化に追従できない（口周辺部の特徴点追跡に失敗している）．そこで本手法では，Lien [10] によって提案された LK法に基づく特徴点追跡手法を用いて，ロバストに顔の特徴点を追跡する．特徴点追跡においては，時刻 tにおける NxN画素領域と時刻 t+1における NxN画素領域の最適解を探索することで追跡を行う．得られた追跡結果は図 4 (b) のようになり，表情が変化した際にもロバストに特徴点追跡できていることがわかる．

2. 3 顔画像の正規化

撮影時における顔の姿勢の変動，および表情変化に伴う姿勢変化に対処するため，顔画像の正規化を行う．まず，正規化の基準点として，表情が変化した際にも位置が変動しにくい，両目の内眼角点と鼻の鼻下点の 3点を用いる．この 3点は初期フレームにおいて AAMを用いて抽出し，連続するフレームにおいては，前節で述べた特徴点追跡手法を用い抽出する．次に，両目の内眼角点と鼻の鼻下点の特徴点が，正規化後の座標位置に移動するように，顔画像全体をアフィン変換する．今回，正規化後の画像サイズは 128x128 pixelsとし，左目の内眼角点 (F1)，右目の内眼角点 (F2），鼻の鼻下点 (F3)がそれぞれ，F1=(54,28)，F2=(76,28)，F3=(64,60)となるように変換した（左上座標原点）．

2. 4 表情変化区間の抽出

表情変化がどの時刻から始まり，どの時刻で終了するのかの表情変化区間の抽出を行う．これは，表情変化区間以外を含んでしまうと誤識別の要因になると考えられるためである．本手法では，前節までで抽出した特徴点において，座標値の変化量をみることで，表情変化の開始点と終了点を探索し，表情変化区間を抽出する．詳細には，初期フレームは無表情で始めるという制約の元で，

図 5 表情変化区間の抽出

現在のフレームの初期フレームに対する特徴点の座標値の変化量を算出し，それが隣接するフレーム間で閾値以上およびに以下になった場合に，表情変化点とする．

F (xt) =| f(xt)−f(xt−1) |, f(xt) =K∑

i=1

| xti−x0

i |(4)

(ts = t if F (xt) > Thperiod

te = t if t > ts and F (xt) < Thperiod

)

ここで，F (xt) は時刻 tと時刻 t− 1の間の初期フレームを基にした特徴点の座標値の変化量であり，K は特徴点の総数，xt

i,x0i はそれぞれ時刻 tフレームおよび初期

フレームにおける i番目の特徴点における座標値，ts,teは表情変化区間の開始点および終了点，Thperiodは表情変化点を決定する閾値である．なお，Thperiod は特徴点追跡において，照明等の撮影環境に依存するノイズから生じる追跡誤差に起因するものと考えられ，撮影環境に応じて経験的に定める．ここで，最初に閾値を超えるフレームを，表情変化区間の開始点とし，次に閾値以下となるフレームを，表情変化区間の終了点とし，これにより表情区間を抽出する．図 5に表情変化区間抽出の様子を示す．これにより，表情変化ベクトルが生成される．表情変化ベクトルは，顔の特徴点の座標値を並べた系列（65点 x2＝ 130）x表情変化フレーム数分（te-ts）の多次元時系列ベクトルとして表現される．

2. 5 識 別 手 法

識別は，入力ベクトルとあらかじめ人物のラベル付けがされた学習ベクトルとを比較し，その差を閾値判定することにより行う．通常，同一人物であっても，表情変化ベクトルの長さ（表情変化区間の長さ）には揺らぎが生じてしまうので，それを吸収するマッチング手法が必要である．本手法においては，音声認識において代表的なマッチング手法である DPマッチングを用いる．DPマッチングは比較を行う 2つのパターンを非線形に伸縮し，マッチングを行う方法である．詳細には，T1の長さを持つ入力ベクトル A = (a1, a2, . . . , ai, . . . , aT1)と T2

の長さを持つ学習ベクトル B = (b1, b2, . . . , bj , . . . , bT2)

を定義し，D(i, j)を ai,bj のユークリッド距離としたとき，以下のようにベクトル間の累積距離 G(i, j)を算出する．

G(i, j) = min

( G(i− 1, j) + D(i, j)G(i− 1, j − 1) + 2D(i, j)G(i, j − 1) + D(i, j)

)(5)

そして，算出された累積距離を，DPマッチングで辿った経路の長さ（T1 + T2）で正規化することにより，入力ベクトルと学習ベクトル間の DP距離とし，これを閾値判定することで本人かどうかを判別する．

3. 実 験

提案手法の有効性を確認するために，公開データベースであるMMI Facial Expression Database [11] に含まれる，正面顔における笑顔の画像シーケンスを用い評価を行った．用いた画像シーケンスは解像度が 720x576pixelsでフレームレートは 25fpsであった．評価にあたっては，48シーケンス分（被写体 12人，一人当たり 4シーケンス，被写体の性別は男性 7人・女性 5人）を用いた．各画像シーケンスにおいて，被写体は真顔から笑顔に表情を変化させ，その後真顔に戻る．実験では，まず，本手法においてすべての顔の特徴点

を用いた動的変化による識別実験を行い，従来手法である顔画像全体にオプティカルフローを適用した手法と比較する．次に，本手法においてそれぞれの顔部分の特徴点を用いた動的変化による識別実験を行う．これにより，どの顔部分の動的変化が識別に有効であるかを検証するとともに，それぞれの顔部分における特徴点の動きの組み合わせ（ダイナミクス）に個人性があるかどうかを検証する．なお，本実験においては，評価指標として個人識別における精度性能の目安である等価エラー率および一位正解率を用いる．（等価エラー率は他人受入エラー率（FAR：False Acceptance Rate)と本人棄却エラー率（FRR：False Rejection Rate）が等しいときの割合を表す．）一般に，等価エラー率は低く，一位正解率は高いものほど識別性能が高いと言える．

3. 1 顔全体の動的変化からの識別

本実験では，まず，本手法を用い笑顔の顔全体の動的変化を解析することにより，個人識別を行うことへの有効性を検証する．実験を行う前に，本手法により特徴点を追跡した笑顔の画像シーケンスの一例を図 6に示す．この図から，個人によって，表情変化を構成する特徴点の動きの時間的な変化が異なる様子が見て取れる．続いて，本手法を用いて，すべての顔の特徴点（計 65点）で表情の動的変化を表現し，識別実験を行う．実験においては全シーケンスから 1シーケンスをテストシーケンスとして抜き出し，残りを学習シーケンスとして，これを全組み合わせ行うことにより，評価を行った．図 7に閾

図 6 MMI Facial Expression Database に含まれる笑顔の画像シーケンスの特徴点追跡結果（表情変化の開始点から等フレーム間隔で切り出し）

図 7 閾値と FAR/FRRの関係

値と FAR，FRRの関係を示す．この図から見て取れるように，等価エラー率は 14.0％であることがわかった．また，等価エラー率となるときの閾値における一位正解率は，92.5％となった．本手法を用いることで，顔の表情変化から高い識別能力が得られることがわかった．なお，ここで識別率を落としている要因としては表情変化中にまばたきをした際の特徴点追跡の失敗があげられる．次に，比較のために，従来手法で用いられる顔画像全体に対してオプティカルフローを算出する手法を同じ画像シーケンスに対し適用した．なお，ここで，オプティカルフローの算出に当たっては，本手法と同様に両目・鼻の特徴点を用い正規化した画像シーケンスに対し，初期フレームで画像全体に x方向・y方向それぞれ 8画素毎に等間隔でフローの始点を配置し，次フレーム以降フローを算出するものとする．そして，本手法同様，表情変化区間を抽出し表情変化ベクトルを生成，DPマッチングにより入力シーケンスと学習シーケンスの比較を行うものとする．なお，評価方法についても本手法同様とする．評価の結果，従来手法を用いた識別実験における等価エラー率は 36.8％であり，等価エラー率となるときの閾値における一位正解率は，62.3％となった．よって，本手法の方が等価エラー率が低くかつ一位正解率が高い

ので，従来手法と比べて識別性能が高いことを示すことができた．ここで，従来手法における識別性能を落とす要因としては，顔画像中の背景部分においてフローの算出が不安定になっていたことが一要因であると考えられる．これに対し，本手法では，表情変化に対してより特徴的な部分を抽出しているために動きが安定して算出されており，識別性能が高くなっているものと考えられる．

3. 2 顔部分の動的変化からの識別

本実験では，本手法を用い顔部分毎の笑顔の動的変化を解析することにより，どの部分が個人識別に有効であるかを検証する．また，表情変化区間を，顔全体の特徴点の変化から抽出した場合とそれぞれの顔部分の特徴点の変化から抽出した場合とを比較することにより，顔全体として，それぞれの顔部分における特徴点の動きの組み合わせ（ダイナミクス）に個人性があることを検証する．ここでは，特徴点としてそれぞれ，眉（18点），目（16点），鼻（11点），口（8点），顔の輪郭（12点）を用い実験を行う．実験においては前節同様，全シーケンスから 1シーケンスをテストシーケンスとして抜き出し，残りを学習シーケンスとして，これを全組み合わせ行うことにより，評価を行った．まず，表情変化区間に関して，前節の全特徴点の変化から抽出した表情変化区間と同じ表情変化区間を用い実験を行った．表 1に全特徴点の時間変化によって抽出した表情変化区間を用いた識別実験における等価エラー率と，等価エラー率となるときの閾値を用いた一位正解率を示す．ここで，眉部分の等価エラー率が最も低く，かつ一位正解率が最も高くなっている．これにより，本画像シーケンスにおいては，眉部分の動的変化に最も個人性があるということがわかる．逆に，目・口部分においては等価エラー率が高く，一位正解率が低くなっている．これは，笑顔においては，目尻が下がり口角が上がることが特徴的であるか，それは

表 1 顔部分毎の等価エラー率と一位正解率（顔全体の特徴点を用いた表情変化区間抽出）

顔部分 等価エラー率 [％] 一位正解率 [％]

眉 15.2 88.7

目 24.4 71.7

鼻 21.7 70.7

口 24.7 64.2

輪郭 17.0 81.1

表 2 顔部分毎の等価エラー率と一位正解率（顔部分の特徴点を用いた表情変化区間抽出）

顔部分 等価エラー率 [％] 一位正解率 [％]

眉 17.3 77.4

目 31.0 67.9

鼻 22.5 81.1

口 27.6 62.3

輪郭 19.0 67.0

表情の特徴であって，その動的変化においては個人の特徴があまり含まれないのではないかと考えられる．次に，表情変化区間に関して，それぞれの顔部分の特徴点の変化から抽出した表情変化区間を用い実験を行った．表 2にそれぞれの顔部分の特徴点によって抽出した表情変化区間を用いた識別実験における等価エラー率と，等価エラー率となるときの閾値を用いた一位正解率を示す．表から，表 1に比べて，鼻部分を除き等価エラー率が高く，一位正解率が低くなっている．このことから，顔全体の特徴点の変化を基準とした区間抽出による特徴点の動きの組み合わせが，それぞれの顔部分の特徴点の変化を基準とした区間抽出による特徴点の動きの組み合わせより識別に有効であることがわかる．つまり，顔全体として，それぞれの顔部分における動きの時間的な変化の組み合わせに個人性があると考えることができる．

4. 結 論

本稿では人間とロボットが積極的に関わりあう場面を想定し，個人識別に向けた顔の表情変化の動的解析手法を提案した．表情変化を撮影した画像シーケンスにおいて，AAMを用い自動的に顔の特徴点抽出を行い，LK法に基づいた手法を用いロバストに特徴点追跡を行って表情変化区間を抽出することで，表情変化ベクトルを生成した．識別においては，入力ベクトルを学習ベクトルとDPマッチングにより比較し本人かどうかを判定した．実験においては，公開データベースであるMMI FacialExpression Databaseに含まれる正面顔の笑顔 48シーケンスを用い識別実験を行った．結果から，すべての顔の特徴点を用いた識別実験において等価エラー率 14.0％，一位正解率 92.5％となり，従来手法と比較し識別性能の面で優れていることをがわかった．また，顔部品毎の特徴点を用いた識別実験により，特に眉部分に動的変化の個人性が現れ，目・口部分の動的変化に関しては，表

情においては特徴的な部分であるが，その動的変化に個人性があまり見られなかった．さらに，顔全体として，それぞれの顔部分における特徴点の動きの時間的な変化の組み合わせ（ダイナミクス）に個人性があることがわかった．本手法は，表情変化という動的特徴を用いているため

に，見た目が似ている人であっても，区別できる可能性があると考えられる．また，これまでの静止画に基づく顔識別技術と組み合わせることにより，識別性能の高い個人識別が可能になるものと考えられる．今後の予定としては，形状のみならず見えを考慮した

特徴量について検討を行うと共に，笑顔以外の表情に関する検証を行って行きたいと考えている．

文 献

[1] J.F. Cohn, K. Schmidt, R. Gross, and P. Ekman,“Individual differences in facial expression: stabil-ity over time, relation to self-reported emotion, andability to inform person identification,” Fourth IEEEInternational Conference on Multimodal Interfaces,ICMI2002, pp.491–496, 2002.

[2] P.H. Tsai and T. Jan, “Expression-invariant facerecognition system using subspace model analysis,”IEEE International Conference on Systems, Man andCybernetics, vol.2, pp.1712–1717, Oct. 2005.

[3] M. Ramachandran, S.K. Zhou, D. Jhalani, and R.Chellappa, “A method for converting a smiling faceto a neutral face with applications to face recogni-tion,” IEEE International Conference on Acoustics,Speech, and Signal Processing, (ICASSP ’05), vol.2,pp.977–980, March 2005.

[4] X. Li, G. Mori, and H. Zhang, “Expression-invariantface recognition with expression classification,” The3rd Canadian Conference on Computer and RobotVision, pp.77–83, June 2006.

[5] L.-F. Chen, H.-Y. Liao, and J.-C. Lin, “Person iden-tification using facial motion,” International Confer-ence on Image Processing, ICIP2001, vol.2, pp.677–680, Oct. 2001.

[6] Y. Ning and T. Sim, “Smile, you’re on identitycamera，” 19th International Conference on PatternRecognition, ICPR 2008，pp.1–4，Dec. 2008．

[7] T.F. Cootes, G.J. Edwards, and C.J. Taylor, “Ac-tive appearance models,” IEEE Transactions on Pat-tern Analysis and Machine Intelligence, vol.23, no.6,pp.681–685, 2001.

[8] I. Matthews and S. Baker, “Active appearance modelsrevisited,” International Journal of Computer Vision,vol.60, pp.135–164, 2004.

[9] R. Gross, I. Matthews, and S. Baker, “Generic vs.person specific active appearance models,” Image andVision Computing, vol.23, pp.1080–1093, 2005.

[10] J. Lien, “Automatic recognition of facial expressionsusing hidden markov models and estimation of ex-pression intensity,” PhD thesis, Robotics Institute,Carnegie Mellon University, 1998.

[11] M. Pantic, M. Valstar, R. Rademaker, and L. Maat,“Web-based database for facial expression analysis,”IEEE International Conference on Multimedia andExpo, ICME 2005, pp.5pp.–, July 2005.