Disentangled Representation Learning GAN for Pose-Invariant Face Recognition
@51takahashi
Representation Learning by Rotating Your Faces
@51takahashi
• さのまる
• @51Takahashi
• 顔認証の研究開発やっています
• 今回の発表は所属組織と関係ありません
自己紹介 CVPR2017輪読会
3
はじめに CVPR2017輪読会
4
• CVPR2017の顔関連の研究はどれくらい?
– 検索条件: タイトルから手動で判定
» 783件中38件
» 全部は読めてません(まだ読めません)
はじめに CVPR2017輪読会
5
• CVPR2017の顔関連の研究はどれくらい?
– 検索条件: タイトルから手動で判定
» 783件中38件
» 全部は読めてません(まだ読めません)
– 研究動向
» 3D顔モデル推定 7件
» 顔属性認識(表情とか) 7件
» 顔画像処理(超解像とか) 6件
» 顔認証 6件
» 顔特徴点検出 4件
» 顔検出 3件
» 姿勢推定 2件
» 読唇 1件
» データセット 1件
» カラーキャリブレーション 1件
はじめに CVPR2017輪読会
6
• CVPR2017の顔関連の研究はどれくらい?
– 検索条件: タイトルから手動で判定
» 783件中38件
» 全部は読めてません(まだ読めません)
– 研究動向
» 3D顔モデル推定 7件 ⇒ 全盛期
» 顔属性認識(表情とか) 7件 ⇒ ディープで殴る系
» 顔画像処理(超解像とか) 6件 ⇒ ディープで殴る系
» 顔認証 6件 ⇒ 超ワイルド顔認証が流行
» 顔特徴点検出 4件 ⇒ 停滞期?
» 顔検出 3件 ⇒ 超ワイルド顔検出が流行
» 姿勢推定 2件 ⇒ 停滞期?
» 読唇 1件 ⇒ !?
» データセット 1件 ⇒ 毎年新しいのが出てる
» カラーキャリブレーション 1件 ⇒ !?
論文の概要 CVPR2017輪読会
7
• タイトル
– Disentangled Representation Learning GAN for Pose-Invariant Face
Recognition
– 顔向きに頑健な顔認証のための、GANによる分解表現学習
• どこの研究?
– Michigan State Universityの人たち(この大学は顔認証で有名)
• どんな研究?
– GANで顔認証の特徴量を学習しよう!
• どんな手法?
– 顔画像を入力して、その本人の任意の向きの顔を出力するGANを学習
» Gで正面顔に変換して、その画像から特徴量を学習…しない!!
» 正面顔を生成するGの中間表現が特徴量として有効
• どんな結果?
– 正面と横顔との照合性能が高い
» IJB-AデータセットでSOTA(当時)
予備知識1: 顔認証ベンチマーク CVPR2017輪読会
8
• 最近の顔認証:MegaFace・IJB-A
– 超ワイルド顔認証用のDB
– 少し前までLFWがメジャーだったけど…
• MegaFace [Klare+, CVPR2016]
– University of Washingtonの人たちが作った
– 100万人の中からある人物を検索する顔認証ベンチマーク
» 最近、MegaFace2も出た [Nech+, CVPR2017]
• IJB-A [Kemelmacher-Shlizerman+, CVPR2015]
– NIST(アメリカ国立標準技術研究所)の人たちが作った
– 複数画像vs複数画像の顔認証ベンチマーク
» 最近、IJB-Bも出た
類似度
特徴量 特徴量
予備知識2: DeepFace・DeepID CVPR2017輪読会
9
• ディープラーニングを使った顔認証
– 学習方法
» n人の学習データをnクラス分類するようにネットワークを学習
– 顔認証方法
» 最後の隠れ層の出力を特徴量として利用
» 特徴量のコサイン類似度を計算することで顔認証の類似度になる
DeepID, CVPR2014 Bottleneckとも
GAN CVPR2017輪読会
10
Noise z
x’
ホンモノ? D
x
G
GAN CVPR2017輪読会
11
Noise z
x’
ホンモノ? D
x
G
ニセモノ(合成)
ホンモノ
DR-GAN CVPR2017輪読会
12
Noise z
x
x’ Pose c
…
さのまる
くまもん
ふなっしー
ホンモノ?
…
-90°
-75°
+90
…
…
D Person
f(x)
x
Genc
Gdec
Noise z
x
x’ Pose c
ホンモノ?
…
-90°
-75°
+90
…
Person
f(x) Genc
Gdec
DeepFace・DeepID CVPR2017輪読会
13
…
さのまる
くまもん
ふなっしー
…
D
x
DR-GAN CVPR2017輪読会
14
Noise z
x
x’ Pose c
…
さのまる
くまもん
ふなっしー
ホンモノ?
…
-90°
-75°
+90
…
…
D Person
f(x)
x
Genc
Gdec
ニセモノ(合成)
ホンモノ
DR-GAN CVPR2017輪読会
15
Noise z
x
x’ Pose c
…
さのまる
くまもん
ふなっしー
ホンモノ?
…
-90°
-75°
+90
…
…
D Person
f(x)
x
Genc
Gdec
エンコーダ
デコーダ
DR-GAN CVPR2017輪読会
16
Noise z
x
x’ Pose c
…
さのまる
くまもん
ふなっしー
ホンモノ?
…
-90°
-75°
+90
…
…
D Person
f(x)
x
Genc
Gdec
個人性を表現
DR-GAN CVPR2017輪読会
17
Noise z
x
x’ Pose c
…
さのまる
くまもん
ふなっしー
ホンモノ?
…
-90°
-75°
+90
…
…
D Person
f(x)
x
Genc
Gdec 顔向きを指定
DR-GAN CVPR2017輪読会
18
Noise z
x
x’ Pose c
…
さのまる
くまもん
ふなっしー
ホンモノ?
…
-90°
-75°
+90
…
…
D Person
f(x)
x
Genc
Gdec
その他の摂動
DR-GAN CVPR2017輪読会
19
Noise z
x
x’ Pose c
…
さのまる
くまもん
ふなっしー
ホンモノ?
…
-90°
-75°
+90
…
…
D Person
f(x)
x
Genc
Gdec
さのまるを入れると cで指定した顔の向きの さのまるが出てくる
Multi-image DR-GAN CVPR2017輪読会
20
x1
Person
f(x1)
Genc
Weight
w1
xn
x2 …
Person
f(x2)
Genc
Weight
w2
Person
f(xn)
Genc
Weight
wn
Person
f(X)
x’ Pose c
Gdec
Noise z
Multi-image DR-GAN CVPR2017輪読会
21
x1
Person
f(x1)
Genc
Weight
w1
xn
x2 …
Person
f(x2)
Genc
Weight
w2
Person
f(xn)
Genc
Weight
wn
Person
f(X)
x’ Pose c
Gdec
Noise z n枚の入力画像の
個人性を加重平均
Multi-image DR-GAN CVPR2017輪読会
22
x1
Person
f(x1)
Genc
Weight
w1
xn
x2 …
Person
f(x2)
Genc
Weight
w2
Person
f(xn)
Genc
Weight
wn
Person
f(X)
x’ Pose c
Gdec
Noise z
n枚の入力画像から 1枚の画像を生成
GAN vs L2-loss CVPR2017輪読会
23
Disentangled Representation CVPR2017輪読会
24
Multi-image DR-GAN CVPR2017輪読会
25
面白いところ CVPR2017輪読会
26
• 正面顔を生成してDの出力を特徴量として利用するより、Gencの出力
f(x)を利用したほうが性能がいい
– IJB-Aの場合、TAR@R1で86.1% → 90.1%
– Gの中間表現が、実は表現学習に有効
• DR-GANでは、DよりGの方が支配的
– 学習が収束したら、GencをDにすり替えて再学習すると性能が上がる
– 何が起こってるのかは不明
実験結果: IJB-A CVPR2017輪読会
27
・DR-GAN(avg.)は、Single DR-GAN+平均類似度を利用したもの ・DR-GAN(fuse)は、Multi-image DR-GANを利用したもの
論文のまとめ CVPR2017輪読会
28
• タイトル
– Disentangled Representation Learning GAN for Pose-Invariant Face
Recognition
– 顔向きに頑健な顔認証のための、GANによる分解表現学習
• どこの研究?
– Michigan State Universityの人たち(この大学は顔認証で有名)
• どんな研究?
– GANで顔認証の特徴量を学習しよう!
• どんな手法?
– 顔画像を入力して、その本人の任意の向きの顔を出力するGANを学習
» Gで正面顔に変換して、その画像から特徴量を学習…しない!!
» 正面顔を生成するGの中間表現が特徴量として有効
• どんな結果?
– 正面と横顔との照合性能が高い
» IJB-AデータセットでSOTA(当時)
おつかれさまでした