84
CVPR2012 Review “Social interactions: A first-person perspective” Akisato Kimura (@_akisato, @_akisato_)

関西CVPR勉強会 2012.7.29

Embed Size (px)

DESCRIPTION

Fathi+ "Social interactions: A first-person perspective" CVPR12 を紹介します.

Citation preview

Page 1: 関西CVPR勉強会 2012.7.29

CVPR2012 Review

“Social interactions:

A first-person perspective”

Akisato Kimura (@_akisato, @_akisato_)

Page 2: 関西CVPR勉強会 2012.7.29

何でこれを紹介しようと思ったんですか?

Social という単語に釣られました… (嘘

関西CVPR勉強会 (July 29, 2012) 2

Page 3: 関西CVPR勉強会 2012.7.29

何でこれを紹介しようと思ったんですか?

Social という単語に釣られました… (嘘

Ego-centric visionで本質的に面白い問題はこれ!

関西CVPR勉強会 (July 29, 2012) 3

Page 4: 関西CVPR勉強会 2012.7.29

何でこれを紹介しようと思ったんですか?

Social という単語に釣られました… (嘘

Ego-centric visionで本質的に面白い問題はこれ!

ライフログ? いや,スナップショットで十分だし…

http://itunes.apple.com/jp/app/puno-laita-dao/id536059062

http://www.ntt.co.jp/ylab/special/vol_3/index.html

関西CVPR勉強会 (July 29, 2012) 4

Page 5: 関西CVPR勉強会 2012.7.29

一言で言うと,何これ?

関西CVPR勉強会 (July 29, 2012) 5

誰が何をしているかを予測します!

Page 6: 関西CVPR勉強会 2012.7.29

もう少しキチンと説明します

関西CVPR勉強会 (July 29, 2012) 6

あなたです

みんな

あなたを

見ています

Page 7: 関西CVPR勉強会 2012.7.29

もう少しキチンと説明します

関西CVPR勉強会 (July 29, 2012) 7

あなたです

みんな

あなたを

見ています

あなたです

みんな

あなたを

放置です

Page 8: 関西CVPR勉強会 2012.7.29

もう少しキチンと説明します

関西CVPR勉強会 (July 29, 2012) 8

あなたです

みんな

あなたを

見ています

画面に映る人の役割や意図を予測します!

あなたです

みんな

あなたを

放置です

Page 9: 関西CVPR勉強会 2012.7.29

こんなことして何が嬉しいの?

関西CVPR勉強会 (July 29, 2012) 9

リアルお友達関係が映像だけからわかります.

行動パターンが似ている人がわかります.

同一行動をしていたグループ全員

HMDをつけていた人たち (First person)

(注: HMDをつけている人が自分自身を映すことはできないので,自分とは仲良くなれません.)

Page 10: 関西CVPR勉強会 2012.7.29

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 10

Page 11: 関西CVPR勉強会 2012.7.29

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 11

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

Page 12: 関西CVPR勉強会 2012.7.29

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 12

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

各人の

顔向き・位置

誰が誰を

見ているか

各人の役割

Page 13: 関西CVPR勉強会 2012.7.29

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 13

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

各人の

顔向き・位置

誰が誰を

見ているか

各人の役割 観測特徴系列

謎の離散

隠れ変数系列

何らかのラベル

Page 14: 関西CVPR勉強会 2012.7.29

大雑把な枠組

関西CVPR勉強会 (July 29, 2012) 14

HMD画像

HMDな人の頭部運動

顔追跡・ 顔認識

各人の

顔向き・位置

誰が誰を

見ているか

各人の役割 観測特徴系列

謎の離散

隠れ変数系列

何らかのラベル

Page 15: 関西CVPR勉強会 2012.7.29

顔検出・認識・顔向き推定

関西CVPR勉強会 (July 29, 2012) 15

フリーソフト PittPatt を利用

Page 16: 関西CVPR勉強会 2012.7.29

顔検出・認識・顔向き推定

関西CVPR勉強会 (July 29, 2012) 16

フリーソフト PittPatt を利用

http://www.pittpatt.com

(゜Д゜)

Page 17: 関西CVPR勉強会 2012.7.29

顔検出・認識・顔向き推定

関西CVPR勉強会 (July 29, 2012) 17

フリーソフト PittPatt を利用

http://www.pittpatt.com

http://techcrunch.com/2011/07/22/google-acquires-facial-recognition-software-company-pittpatt/

(゜Д゜)

(゜Д゜)

Page 18: 関西CVPR勉強会 2012.7.29

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 18

キャリブレーションができていればできる.

Page 19: 関西CVPR勉強会 2012.7.29

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 19

キャリブレーションができていればできる.

画面上での顔位置,

顔の大きさ,

顔向き (Yaw, Pitch, Roll)

Page 20: 関西CVPR勉強会 2012.7.29

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 20

キャリブレーションができていればできる.

画面上での顔位置,

顔の大きさ,

顔向き (Yaw, Pitch, Roll)

HMDな人からの距離

𝑑 = 𝑐/ℎ HMDな人基準の顔向き

𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)

Page 21: 関西CVPR勉強会 2012.7.29

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 21

キャリブレーションができていればできる.

画面上での顔位置,

顔の大きさ,

顔向き (Yaw, Pitch, Roll)

HMDな人からの距離

𝑑 = 𝑐/ℎ HMDな人基準の顔向き

𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)

ℎ 𝑟

Page 22: 関西CVPR勉強会 2012.7.29

実世界上の顔位置の推定

関西CVPR勉強会 (July 29, 2012) 22

キャリブレーションができていればできる.

画面上での顔位置,

顔の大きさ,

顔向き (Yaw, Pitch, Roll)

HMDな人からの距離

𝑑 = 𝑐/ℎ HMDな人基準の顔向き

𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)

ℎ 𝑟

HMDな人

ターゲット

上から見た図

Page 23: 関西CVPR勉強会 2012.7.29

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 23

顔向きと注意位置は一致しません!

でも全く相関がないわけではない.

Page 24: 関西CVPR勉強会 2012.7.29

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 24

顔向きと注意位置は一致しません!

でも全く相関がないわけではない.

たぶんこんな感じ

Page 25: 関西CVPR勉強会 2012.7.29

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 25

顔向きと注意位置は一致しません!

でも全く相関がないわけではない.

たぶんこんな感じ

顔向きからわかる,ぼやっと拡がる視野

Page 26: 関西CVPR勉強会 2012.7.29

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 26

顔向きと注意位置は一致しません!

でも全く相関がないわけではない.

たぶんこんな感じ

顔向きからわかる,ぼやっと拡がる視野

その視野内に誰かいれば,その人を見ているはず

Page 27: 関西CVPR勉強会 2012.7.29

みんながどこを向いているか当てましょう

関西CVPR勉強会 (July 29, 2012) 27

顔向きと注意位置は一致しません!

でも全く相関がないわけではない.

たぶんこんな感じ

顔向きからわかる,ぼやっと拡がる視野

その視野内に誰かいれば,その人を見ているはず

そうでないときは,勝手に見ている場所を作る!

Page 28: 関西CVPR勉強会 2012.7.29

注意箇所推定のためのモデル

関西CVPR勉強会 (July 29, 2012) 28

マルコフ確率場 (MRF)のエネルギー最大化

𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖

𝑁

𝑖=1

Page 29: 関西CVPR勉強会 2012.7.29

注意箇所推定のためのモデル

関西CVPR勉強会 (July 29, 2012) 29

マルコフ確率場 (MRF)のエネルギー最大化

𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖

𝑁

𝑖=1

(観測できるもの) 𝑖さんの顔 𝑓𝑖 の

実世界での位置 𝑇𝑓𝑖 と顔向き 𝑉𝑓𝑖

(推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿𝑓𝑖

Page 30: 関西CVPR勉強会 2012.7.29

注意箇所推定のためのモデル

関西CVPR勉強会 (July 29, 2012) 30

マルコフ確率場 (MRF)のエネルギー最大化

𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖

𝑁

𝑖=1

尤度項 隣接項

人数

(観測できるもの) 𝑖さんの顔 𝑓𝑖 の

実世界での位置 𝑇𝑓𝑖 と顔向き 𝑉𝑓𝑖

(推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿𝑓𝑖

Page 31: 関西CVPR勉強会 2012.7.29

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 31

尤度項

隣接項

Page 32: 関西CVPR勉強会 2012.7.29

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 32

尤度項

隣接項

正面ほど高得点

周辺視は低得点.

Page 33: 関西CVPR勉強会 2012.7.29

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 33

尤度項

隣接項

自分が自分を見ない

ような縛りを掛ける.

正面ほど高得点

周辺視は低得点.

Page 34: 関西CVPR勉強会 2012.7.29

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 34

尤度項

隣接項

誰かの顔を見ていれば,高得点get!

自分が自分を見ない

ような縛りを掛ける.

正面ほど高得点

周辺視は低得点.

Page 35: 関西CVPR勉強会 2012.7.29

エネルギー関数をまじめに書くと…

関西CVPR勉強会 (July 29, 2012) 35

尤度項

隣接項

α-expansion的な何かで推定可能 (cf. P4右)

誰かの顔を見ていれば,高得点get!

同じ人の顔を見ていれば,高得点get!

自分が自分を見ない

ような縛りを掛ける.

正面ほど高得点

周辺視は低得点.

Page 36: 関西CVPR勉強会 2012.7.29

関西CVPR勉強会 (July 29, 2012) 36

実はここからが本番

Page 37: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 37

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 38: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 38

(推定したいもの) 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 39: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 39

(観測できるもの) フレーム𝑘の各種特徴量

(推定したいもの) 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 40: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF)

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 40

(観測できるもの) フレーム𝑘の各種特徴量

(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数

(推定したいもの) 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 41: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF) フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 41

(観測できるもの) フレーム𝑘の各種特徴量

(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数

(推定したいもの) 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 42: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF)

特徴尤度項

フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 42

(観測できるもの) フレーム𝑘の各種特徴量

(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数

(推定したいもの) 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 43: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF)

潜在尤度項 特徴尤度項

フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 43

(観測できるもの) フレーム𝑘の各種特徴量

(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数

(推定したいもの) 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 44: 関西CVPR勉強会 2012.7.29

NLP業界大好き 条件付き確率場 (CRF)

潜在尤度項 特徴尤度項 隣接項

フレーム数

各人の役割や意図を予測するモデル

関西CVPR勉強会 (July 29, 2012) 44

(観測できるもの) フレーム𝑘の各種特徴量

(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数

(推定したいもの) 行動ラベル

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 45: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (1)

関西CVPR勉強会 (July 29, 2012) 45

HMDな人の近くにいる人の数を数えてみる

Page 46: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (1)

関西CVPR勉強会 (July 29, 2012) 46

HMDな人の近くにいる人の数を数えてみる

75度 -75度

HMDな人 0m

5m

Page 47: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (1)

関西CVPR勉強会 (July 29, 2012) 47

HMDな人の近くにいる人の数を数えてみる

視野を20分割して,それを20次元のベクトルに.

人々の位置関係で誰がどう話しているかわかる.

75度 -75度

HMDな人 0m

5m

Page 48: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (2)

関西CVPR勉強会 (July 29, 2012) 48

見られている,ということを基準にした特徴

Page 49: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (2)

関西CVPR勉強会 (July 29, 2012) 49

見られている,ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

Page 50: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (2)

関西CVPR勉強会 (July 29, 2012) 50

見られている,ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

Page 51: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (2)

関西CVPR勉強会 (July 29, 2012) 51

見られている,ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

HMDな人と𝑖さんが同じ人を見ているかどうか

Yes = その人が会話の中心にいる

Page 52: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (2)

関西CVPR勉強会 (July 29, 2012) 52

見られている,ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

HMDな人と𝑖さんが同じ人を見ているかどうか

Yes = その人が会話の中心にいる

𝑖さんと同じ場所を見ている人の数

1以上 = その場所が注意の中心

Page 53: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 (2)

関西CVPR勉強会 (July 29, 2012) 53

見られている,ということを基準にした特徴

𝑖さんを見ている人の数

1以上 = 𝑖さんが会話の中心にいる

HMDな人が𝑖さんを見ているかどうか

Yes = HMDな人と𝑖さんが会話している

HMDな人と𝑖さんが同じ人を見ているかどうか

Yes = その人が会話の中心にいる

𝑖さんと同じ場所を見ている人の数

1以上 = その場所が注意の中心

(合計,4次元の特徴)

Page 54: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴 (3)

関西CVPR勉強会 (July 29, 2012) 54

HMDな人の頭部運動

特に,歩行中のインタラクション判別に効果的.

Page 55: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴 (3)

関西CVPR勉強会 (July 29, 2012) 55

HMDな人の頭部運動

特に,歩行中のインタラクション判別に効果的.

① Dense optical flowを計算

Page 56: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴 (3)

関西CVPR勉強会 (July 29, 2012) 56

HMDな人の頭部運動

特に,歩行中のインタラクション判別に効果的.

① Dense optical flowを計算

②3×3の部分領域に分割

Page 57: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴 (3)

関西CVPR勉強会 (July 29, 2012) 57

HMDな人の頭部運動

特に,歩行中のインタラクション判別に効果的.

① Dense optical flowを計算

②3×3の部分領域に分割

③各領域を左右上下成分に分割 (全成分非負値)

Page 58: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴 (3)

関西CVPR勉強会 (July 29, 2012) 58

HMDな人の頭部運動

特に,歩行中のインタラクション判別に効果的.

① Dense optical flowを計算

②3×3の部分領域に分割

③各領域を左右上下成分に分割 (全成分非負値)

合計,36次元.

Page 59: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 59

HMDな人の近くにいる人の数を数えてみる

全部で20次元

Page 60: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 60

HMDな人の近くにいる人の数を数えてみる

全部で20次元

見られている,ということを基準にした特徴

全部で4次元

Page 61: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 61

HMDな人の近くにいる人の数を数えてみる

全部で20次元

見られている,ということを基準にした特徴

全部で4次元

HMDな人の頭部運動

全部で36次元

Page 62: 関西CVPR勉強会 2012.7.29

CRFに突っ込む特徴量 まとめ

関西CVPR勉強会 (July 29, 2012) 62

HMDな人の近くにいる人の数を数えてみる

全部で20次元

見られている,ということを基準にした特徴

全部で4次元

HMDな人の頭部運動

全部で36次元

全部合わせて,

60次元の特徴ベクトル/frame の完成.

Page 63: 関西CVPR勉強会 2012.7.29

条件付き確率場 (CRF)

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 63

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 64: 関西CVPR勉強会 2012.7.29

条件付き確率場 (CRF)

潜在変数に依存する重みで,特徴の各次元を重み付け

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 64

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 65: 関西CVPR勉強会 2012.7.29

条件付き確率場 (CRF)

どの潜在変数が出やすいか,

行動ラベルによって変わる.

潜在変数に依存する重みで,特徴の各次元を重み付け

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 65

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 66: 関西CVPR勉強会 2012.7.29

条件付き確率場 (CRF)

どの潜在変数が出やすいか,

行動ラベルによって変わる.

潜在変数に依存する重みで,特徴の各次元を重み付け

現時点の前後での潜在変数の

変わりやすさが行動ラベル依存.

もう一度モデルを見直す

関西CVPR勉強会 (July 29, 2012) 66

Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑖

𝑛

𝑖=1

+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸

Page 67: 関西CVPR勉強会 2012.7.29

で,CRFってどうやって解くの?

関西CVPR勉強会 (July 29, 2012) 67

準ニュートン法の一種であるBFGSで解けるっぽい

Page 68: 関西CVPR勉強会 2012.7.29

で,CRFってどうやって解くの?

関西CVPR勉強会 (July 29, 2012) 68

準ニュートン法の一種であるBFGSで解けるっぽい 反省しています…これを読んで出直します…

http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670

Page 69: 関西CVPR勉強会 2012.7.29

データセット

関西CVPR勉強会 (July 29, 2012) 69

http://www.cc.gatech.edu/~afathi3/Disney/

http://vimeo.com/37507972

Page 70: 関西CVPR勉強会 2012.7.29

使った機材

関西CVPR勉強会 (July 29, 2012) 70

GoPro HD HERO2: 今なら1台299USD!

http://jp.gopro.com/hd-hero2-cameras/

Page 71: 関西CVPR勉強会 2012.7.29

データセット 詳細スペック

関西CVPR勉強会 (July 29, 2012) 71

8人に42時間HMDな人になってもらう.

その他含めて25人以上の団体様でテーマパークへ.

データに残ったのは25人だった模様.

1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析.

Page 72: 関西CVPR勉強会 2012.7.29

データセット 詳細スペック

関西CVPR勉強会 (July 29, 2012) 72

8人に42時間HMDな人になってもらう.

その他含めて25人以上の団体様でテーマパークへ.

データに残ったのは25人だった模様.

1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析.

全映像に手動でラベリング.

6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他.

行動の開始と終了も丁寧にアノテーション.

Page 73: 関西CVPR勉強会 2012.7.29

データセット 詳細スペック

関西CVPR勉強会 (July 29, 2012) 73

8人に42時間HMDな人になってもらう.

その他含めて25人以上の団体様でテーマパークへ.

データに残ったのは25人だった模様.

1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析.

全映像に手動でラベリング.

6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他.

行動の開始と終了も丁寧にアノテーション.

顔向きや位置は各人1000フレームだけラベリング.

5人分を各種学習に,残り3人分をテストに.

Page 74: 関西CVPR勉強会 2012.7.29

行動ラベリングの結果 (1)

関西CVPR勉強会 (July 29, 2012) 74

Dialogue Discussion Monologue

Tru

e p

osi

tive

False positive

水色: 位置に関する特徴だけ

緑色: HMDな人の頭部運動特徴だけ

青色: 注目度に関する特徴だけ

赤色: 全部使ってみた (提案法)

Page 75: 関西CVPR勉強会 2012.7.29

行動ラベリングの結果 (1)

関西CVPR勉強会 (July 29, 2012) 75

Dialogue Discussion Monologue

Tru

e p

osi

tive

False positive

水色: 位置に関する特徴だけ

緑色: HMDな人の頭部運動特徴だけ

青色: 注目度に関する特徴だけ

赤色: 全部使ってみた (提案法)

対抗手法ないのでこれで勘弁してやろうか…

Page 76: 関西CVPR勉強会 2012.7.29

行動ラベリングの結果 (2)

関西CVPR勉強会 (July 29, 2012) 76

Walk dialogue Walk discussion Confusion mat.

Tru

e p

osi

tive

False positive

水色: 位置に関する特徴だけ

緑色: HMDな人の頭部運動特徴だけ

青色: 注目度に関する特徴だけ

赤色: 全部使ってみた (提案法)

Page 77: 関西CVPR勉強会 2012.7.29

行動ラベリングの結果 (2)

関西CVPR勉強会 (July 29, 2012) 77

Walk dialogue Walk discussion Confusion mat.

Tru

e p

osi

tive

False positive

水色: 位置に関する特徴だけ

緑色: HMDな人の頭部運動特徴だけ

青色: 注目度に関する特徴だけ

赤色: 全部使ってみた (提案法)

Dialogとdiscussionを区別するのは大変.

Page 78: 関西CVPR勉強会 2012.7.29

行動ラベリングの結果 (2)

関西CVPR勉強会 (July 29, 2012) 78

Walk dialogue Walk discussion Confusion mat.

Tru

e p

osi

tive

False positive

水色: 位置に関する特徴だけ

緑色: HMDな人の頭部運動特徴だけ

青色: 注目度に関する特徴だけ

赤色: 全部使ってみた (提案法)

Dialogとdiscussionを区別するのは大変.

歩いているとさらに大変.

Page 79: 関西CVPR勉強会 2012.7.29

実世界における仲良し関係が明らかに

関西CVPR勉強会 (July 29, 2012) 79

特に何も解析はしていないが,

多くのデータで突き詰めて解析すると,

何か面白い結果が出る,かも?

Page 80: 関西CVPR勉強会 2012.7.29

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 80

グループ全員の行動パターンを知る

Page 81: 関西CVPR勉強会 2012.7.29

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 81

グループ全員の行動パターンを知る.

たぶんこれら

Fathi, Rehg “Learning to recognize daily actions using

attention,” IEEE Works. Egocentric Vision 2012.

Fathi, Rehg “Learning to recognize daily actions using

gaze,” to appear in ECCV2012.

Page 82: 関西CVPR勉強会 2012.7.29

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 82

グループ全員の行動パターンを知る.

たぶんこれら

Fathi, Rehg “Learning to recognize daily actions using

attention,” IEEE Works. Egocentric Vision 2012.

Fathi, Rehg “Learning to recognize daily actions using

gaze,” to appear in ECCV2012. 同じ,じゃないよね,まさか…

Page 83: 関西CVPR勉強会 2012.7.29

他にもたくさんできることが

関西CVPR勉強会 (July 29, 2012) 83

グループ全員の行動パターンを知る.

たぶんこれら

Fathi, Rehg “Learning to recognize daily actions using

attention,” IEEE Works. Egocentric Vision 2012.

Fathi, Rehg “Learning to recognize daily actions using

gaze,” to appear in ECCV2012. 同じ,じゃないよね,まさか…

複数のHMDの幾何拘束を使って

本質的にインタラクションの問題を解ける.

たぶんどっかで見たけど,忘却の彼方…

Page 84: 関西CVPR勉強会 2012.7.29

参考資料

関西CVPR勉強会 (July 29, 2012) 84

第1著者のページ (Alireza Fathi)

http://www.cc.gatech.edu/~afathi3/

2nd IEEE Workshop on Egocentric (First-Person) Vision

in conjunction with CVPR2012

http://egovision12.cc.gatech.edu

First-person social interaction dataset

http://www.cc.gatech.edu/~afathi3/Disney/

Woodman Labs GoPro HD HERO2

http://jp.gopro.com/hd-hero2-cameras/

数式を含む論文の読解効率化 / 西尾泰和のはてなダイアリー

http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670