Upload
akisato-kimura
View
1.197
Download
4
Embed Size (px)
DESCRIPTION
Fathi+ "Social interactions: A first-person perspective" CVPR12 を紹介します.
Citation preview
CVPR2012 Review
“Social interactions:
A first-person perspective”
Akisato Kimura (@_akisato, @_akisato_)
何でこれを紹介しようと思ったんですか?
Social という単語に釣られました… (嘘
関西CVPR勉強会 (July 29, 2012) 2
何でこれを紹介しようと思ったんですか?
Social という単語に釣られました… (嘘
Ego-centric visionで本質的に面白い問題はこれ!
関西CVPR勉強会 (July 29, 2012) 3
何でこれを紹介しようと思ったんですか?
Social という単語に釣られました… (嘘
Ego-centric visionで本質的に面白い問題はこれ!
ライフログ? いや,スナップショットで十分だし…
http://itunes.apple.com/jp/app/puno-laita-dao/id536059062
http://www.ntt.co.jp/ylab/special/vol_3/index.html
関西CVPR勉強会 (July 29, 2012) 4
一言で言うと,何これ?
関西CVPR勉強会 (July 29, 2012) 5
誰が何をしているかを予測します!
もう少しキチンと説明します
関西CVPR勉強会 (July 29, 2012) 6
あなたです
みんな
あなたを
見ています
もう少しキチンと説明します
関西CVPR勉強会 (July 29, 2012) 7
あなたです
みんな
あなたを
見ています
あなたです
みんな
あなたを
放置です
もう少しキチンと説明します
関西CVPR勉強会 (July 29, 2012) 8
あなたです
みんな
あなたを
見ています
画面に映る人の役割や意図を予測します!
あなたです
みんな
あなたを
放置です
こんなことして何が嬉しいの?
関西CVPR勉強会 (July 29, 2012) 9
リアルお友達関係が映像だけからわかります.
行動パターンが似ている人がわかります.
同一行動をしていたグループ全員
HMDをつけていた人たち (First person)
(注: HMDをつけている人が自分自身を映すことはできないので,自分とは仲良くなれません.)
大雑把な枠組
関西CVPR勉強会 (July 29, 2012) 10
大雑把な枠組
関西CVPR勉強会 (July 29, 2012) 11
HMD画像
HMDな人の頭部運動
顔追跡・ 顔認識
大雑把な枠組
関西CVPR勉強会 (July 29, 2012) 12
HMD画像
HMDな人の頭部運動
顔追跡・ 顔認識
各人の
顔向き・位置
誰が誰を
見ているか
各人の役割
大雑把な枠組
関西CVPR勉強会 (July 29, 2012) 13
HMD画像
HMDな人の頭部運動
顔追跡・ 顔認識
各人の
顔向き・位置
誰が誰を
見ているか
各人の役割 観測特徴系列
謎の離散
隠れ変数系列
何らかのラベル
大雑把な枠組
関西CVPR勉強会 (July 29, 2012) 14
HMD画像
HMDな人の頭部運動
顔追跡・ 顔認識
各人の
顔向き・位置
誰が誰を
見ているか
各人の役割 観測特徴系列
謎の離散
隠れ変数系列
何らかのラベル
顔検出・認識・顔向き推定
関西CVPR勉強会 (July 29, 2012) 15
フリーソフト PittPatt を利用
顔検出・認識・顔向き推定
関西CVPR勉強会 (July 29, 2012) 16
フリーソフト PittPatt を利用
http://www.pittpatt.com
(゜Д゜)
顔検出・認識・顔向き推定
関西CVPR勉強会 (July 29, 2012) 17
フリーソフト PittPatt を利用
http://www.pittpatt.com
http://techcrunch.com/2011/07/22/google-acquires-facial-recognition-software-company-pittpatt/
(゜Д゜)
(゜Д゜)
実世界上の顔位置の推定
関西CVPR勉強会 (July 29, 2012) 18
キャリブレーションができていればできる.
実世界上の顔位置の推定
関西CVPR勉強会 (July 29, 2012) 19
キャリブレーションができていればできる.
画面上での顔位置,
顔の大きさ,
顔向き (Yaw, Pitch, Roll)
実世界上の顔位置の推定
関西CVPR勉強会 (July 29, 2012) 20
キャリブレーションができていればできる.
画面上での顔位置,
顔の大きさ,
顔向き (Yaw, Pitch, Roll)
HMDな人からの距離
𝑑 = 𝑐/ℎ HMDな人基準の顔向き
𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)
実世界上の顔位置の推定
関西CVPR勉強会 (July 29, 2012) 21
キャリブレーションができていればできる.
画面上での顔位置,
顔の大きさ,
顔向き (Yaw, Pitch, Roll)
HMDな人からの距離
𝑑 = 𝑐/ℎ HMDな人基準の顔向き
𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)
ℎ 𝑟
実世界上の顔位置の推定
関西CVPR勉強会 (July 29, 2012) 22
キャリブレーションができていればできる.
画面上での顔位置,
顔の大きさ,
顔向き (Yaw, Pitch, Roll)
HMDな人からの距離
𝑑 = 𝑐/ℎ HMDな人基準の顔向き
𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)
ℎ 𝑟
HMDな人
ターゲット
上から見た図
みんながどこを向いているか当てましょう
関西CVPR勉強会 (July 29, 2012) 23
顔向きと注意位置は一致しません!
でも全く相関がないわけではない.
みんながどこを向いているか当てましょう
関西CVPR勉強会 (July 29, 2012) 24
顔向きと注意位置は一致しません!
でも全く相関がないわけではない.
たぶんこんな感じ
みんながどこを向いているか当てましょう
関西CVPR勉強会 (July 29, 2012) 25
顔向きと注意位置は一致しません!
でも全く相関がないわけではない.
たぶんこんな感じ
顔向きからわかる,ぼやっと拡がる視野
みんながどこを向いているか当てましょう
関西CVPR勉強会 (July 29, 2012) 26
顔向きと注意位置は一致しません!
でも全く相関がないわけではない.
たぶんこんな感じ
顔向きからわかる,ぼやっと拡がる視野
その視野内に誰かいれば,その人を見ているはず
みんながどこを向いているか当てましょう
関西CVPR勉強会 (July 29, 2012) 27
顔向きと注意位置は一致しません!
でも全く相関がないわけではない.
たぶんこんな感じ
顔向きからわかる,ぼやっと拡がる視野
その視野内に誰かいれば,その人を見ているはず
そうでないときは,勝手に見ている場所を作る!
注意箇所推定のためのモデル
関西CVPR勉強会 (July 29, 2012) 28
マルコフ確率場 (MRF)のエネルギー最大化
𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖
𝑁
𝑖=1
注意箇所推定のためのモデル
関西CVPR勉強会 (July 29, 2012) 29
マルコフ確率場 (MRF)のエネルギー最大化
𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖
𝑁
𝑖=1
(観測できるもの) 𝑖さんの顔 𝑓𝑖 の
実世界での位置 𝑇𝑓𝑖 と顔向き 𝑉𝑓𝑖
(推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿𝑓𝑖
注意箇所推定のためのモデル
関西CVPR勉強会 (July 29, 2012) 30
マルコフ確率場 (MRF)のエネルギー最大化
𝐸 𝑳|𝑷 = 𝜙𝑈 𝐿𝑓𝑖 , 𝑷 + 𝜙𝑃 𝐿𝑓𝑖 , 𝐿𝑓𝑗𝑗≠𝑖
𝑁
𝑖=1
尤度項 隣接項
人数
(観測できるもの) 𝑖さんの顔 𝑓𝑖 の
実世界での位置 𝑇𝑓𝑖 と顔向き 𝑉𝑓𝑖
(推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿𝑓𝑖
エネルギー関数をまじめに書くと…
関西CVPR勉強会 (July 29, 2012) 31
尤度項
隣接項
エネルギー関数をまじめに書くと…
関西CVPR勉強会 (July 29, 2012) 32
尤度項
隣接項
正面ほど高得点
周辺視は低得点.
エネルギー関数をまじめに書くと…
関西CVPR勉強会 (July 29, 2012) 33
尤度項
隣接項
自分が自分を見ない
ような縛りを掛ける.
正面ほど高得点
周辺視は低得点.
エネルギー関数をまじめに書くと…
関西CVPR勉強会 (July 29, 2012) 34
尤度項
隣接項
誰かの顔を見ていれば,高得点get!
自分が自分を見ない
ような縛りを掛ける.
正面ほど高得点
周辺視は低得点.
エネルギー関数をまじめに書くと…
関西CVPR勉強会 (July 29, 2012) 35
尤度項
隣接項
α-expansion的な何かで推定可能 (cf. P4右)
誰かの顔を見ていれば,高得点get!
同じ人の顔を見ていれば,高得点get!
自分が自分を見ない
ような縛りを掛ける.
正面ほど高得点
周辺視は低得点.
関西CVPR勉強会 (July 29, 2012) 36
実はここからが本番
NLP業界大好き 条件付き確率場 (CRF)
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 37
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
NLP業界大好き 条件付き確率場 (CRF)
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 38
(推定したいもの) 行動ラベル
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
NLP業界大好き 条件付き確率場 (CRF)
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 39
(観測できるもの) フレーム𝑘の各種特徴量
(推定したいもの) 行動ラベル
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
NLP業界大好き 条件付き確率場 (CRF)
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 40
(観測できるもの) フレーム𝑘の各種特徴量
(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数
(推定したいもの) 行動ラベル
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
NLP業界大好き 条件付き確率場 (CRF) フレーム数
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 41
(観測できるもの) フレーム𝑘の各種特徴量
(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数
(推定したいもの) 行動ラベル
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
NLP業界大好き 条件付き確率場 (CRF)
特徴尤度項
フレーム数
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 42
(観測できるもの) フレーム𝑘の各種特徴量
(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数
(推定したいもの) 行動ラベル
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
NLP業界大好き 条件付き確率場 (CRF)
潜在尤度項 特徴尤度項
フレーム数
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 43
(観測できるもの) フレーム𝑘の各種特徴量
(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数
(推定したいもの) 行動ラベル
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
NLP業界大好き 条件付き確率場 (CRF)
潜在尤度項 特徴尤度項 隣接項
フレーム数
各人の役割や意図を予測するモデル
関西CVPR勉強会 (July 29, 2012) 44
(観測できるもの) フレーム𝑘の各種特徴量
(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数
(推定したいもの) 行動ラベル
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
CRFに突っ込む特徴量 (1)
関西CVPR勉強会 (July 29, 2012) 45
HMDな人の近くにいる人の数を数えてみる
CRFに突っ込む特徴量 (1)
関西CVPR勉強会 (July 29, 2012) 46
HMDな人の近くにいる人の数を数えてみる
75度 -75度
HMDな人 0m
5m
CRFに突っ込む特徴量 (1)
関西CVPR勉強会 (July 29, 2012) 47
HMDな人の近くにいる人の数を数えてみる
視野を20分割して,それを20次元のベクトルに.
人々の位置関係で誰がどう話しているかわかる.
75度 -75度
HMDな人 0m
5m
CRFに突っ込む特徴量 (2)
関西CVPR勉強会 (July 29, 2012) 48
見られている,ということを基準にした特徴
CRFに突っ込む特徴量 (2)
関西CVPR勉強会 (July 29, 2012) 49
見られている,ということを基準にした特徴
𝑖さんを見ている人の数
1以上 = 𝑖さんが会話の中心にいる
CRFに突っ込む特徴量 (2)
関西CVPR勉強会 (July 29, 2012) 50
見られている,ということを基準にした特徴
𝑖さんを見ている人の数
1以上 = 𝑖さんが会話の中心にいる
HMDな人が𝑖さんを見ているかどうか
Yes = HMDな人と𝑖さんが会話している
CRFに突っ込む特徴量 (2)
関西CVPR勉強会 (July 29, 2012) 51
見られている,ということを基準にした特徴
𝑖さんを見ている人の数
1以上 = 𝑖さんが会話の中心にいる
HMDな人が𝑖さんを見ているかどうか
Yes = HMDな人と𝑖さんが会話している
HMDな人と𝑖さんが同じ人を見ているかどうか
Yes = その人が会話の中心にいる
CRFに突っ込む特徴量 (2)
関西CVPR勉強会 (July 29, 2012) 52
見られている,ということを基準にした特徴
𝑖さんを見ている人の数
1以上 = 𝑖さんが会話の中心にいる
HMDな人が𝑖さんを見ているかどうか
Yes = HMDな人と𝑖さんが会話している
HMDな人と𝑖さんが同じ人を見ているかどうか
Yes = その人が会話の中心にいる
𝑖さんと同じ場所を見ている人の数
1以上 = その場所が注意の中心
CRFに突っ込む特徴量 (2)
関西CVPR勉強会 (July 29, 2012) 53
見られている,ということを基準にした特徴
𝑖さんを見ている人の数
1以上 = 𝑖さんが会話の中心にいる
HMDな人が𝑖さんを見ているかどうか
Yes = HMDな人と𝑖さんが会話している
HMDな人と𝑖さんが同じ人を見ているかどうか
Yes = その人が会話の中心にいる
𝑖さんと同じ場所を見ている人の数
1以上 = その場所が注意の中心
(合計,4次元の特徴)
CRFに突っ込む特徴 (3)
関西CVPR勉強会 (July 29, 2012) 54
HMDな人の頭部運動
特に,歩行中のインタラクション判別に効果的.
CRFに突っ込む特徴 (3)
関西CVPR勉強会 (July 29, 2012) 55
HMDな人の頭部運動
特に,歩行中のインタラクション判別に効果的.
① Dense optical flowを計算
CRFに突っ込む特徴 (3)
関西CVPR勉強会 (July 29, 2012) 56
HMDな人の頭部運動
特に,歩行中のインタラクション判別に効果的.
① Dense optical flowを計算
②3×3の部分領域に分割
CRFに突っ込む特徴 (3)
関西CVPR勉強会 (July 29, 2012) 57
HMDな人の頭部運動
特に,歩行中のインタラクション判別に効果的.
① Dense optical flowを計算
②3×3の部分領域に分割
③各領域を左右上下成分に分割 (全成分非負値)
CRFに突っ込む特徴 (3)
関西CVPR勉強会 (July 29, 2012) 58
HMDな人の頭部運動
特に,歩行中のインタラクション判別に効果的.
① Dense optical flowを計算
②3×3の部分領域に分割
③各領域を左右上下成分に分割 (全成分非負値)
合計,36次元.
CRFに突っ込む特徴量 まとめ
関西CVPR勉強会 (July 29, 2012) 59
HMDな人の近くにいる人の数を数えてみる
全部で20次元
CRFに突っ込む特徴量 まとめ
関西CVPR勉強会 (July 29, 2012) 60
HMDな人の近くにいる人の数を数えてみる
全部で20次元
見られている,ということを基準にした特徴
全部で4次元
CRFに突っ込む特徴量 まとめ
関西CVPR勉強会 (July 29, 2012) 61
HMDな人の近くにいる人の数を数えてみる
全部で20次元
見られている,ということを基準にした特徴
全部で4次元
HMDな人の頭部運動
全部で36次元
CRFに突っ込む特徴量 まとめ
関西CVPR勉強会 (July 29, 2012) 62
HMDな人の近くにいる人の数を数えてみる
全部で20次元
見られている,ということを基準にした特徴
全部で4次元
HMDな人の頭部運動
全部で36次元
全部合わせて,
60次元の特徴ベクトル/frame の完成.
条件付き確率場 (CRF)
もう一度モデルを見直す
関西CVPR勉強会 (July 29, 2012) 63
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
条件付き確率場 (CRF)
潜在変数に依存する重みで,特徴の各次元を重み付け
もう一度モデルを見直す
関西CVPR勉強会 (July 29, 2012) 64
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
条件付き確率場 (CRF)
どの潜在変数が出やすいか,
行動ラベルによって変わる.
潜在変数に依存する重みで,特徴の各次元を重み付け
もう一度モデルを見直す
関西CVPR勉強会 (July 29, 2012) 65
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
条件付き確率場 (CRF)
どの潜在変数が出やすいか,
行動ラベルによって変わる.
潜在変数に依存する重みで,特徴の各次元を重み付け
現時点の前後での潜在変数の
変わりやすさが行動ラベル依存.
もう一度モデルを見直す
関西CVPR勉強会 (July 29, 2012) 66
Ψ 𝑦, 𝒉, 𝒙;𝑤 = 𝑤ℎ𝑖 ∙ 𝜑𝑥𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑖
𝑛
𝑖=1
+ 𝑤𝑦,ℎ𝑘,ℎ𝑙𝑘,𝑙 ∈𝐸
で,CRFってどうやって解くの?
関西CVPR勉強会 (July 29, 2012) 67
準ニュートン法の一種であるBFGSで解けるっぽい
で,CRFってどうやって解くの?
関西CVPR勉強会 (July 29, 2012) 68
準ニュートン法の一種であるBFGSで解けるっぽい 反省しています…これを読んで出直します…
http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670
データセット
関西CVPR勉強会 (July 29, 2012) 69
http://www.cc.gatech.edu/~afathi3/Disney/
http://vimeo.com/37507972
使った機材
関西CVPR勉強会 (July 29, 2012) 70
GoPro HD HERO2: 今なら1台299USD!
http://jp.gopro.com/hd-hero2-cameras/
データセット 詳細スペック
関西CVPR勉強会 (July 29, 2012) 71
8人に42時間HMDな人になってもらう.
その他含めて25人以上の団体様でテーマパークへ.
データに残ったのは25人だった模様.
1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析.
データセット 詳細スペック
関西CVPR勉強会 (July 29, 2012) 72
8人に42時間HMDな人になってもらう.
その他含めて25人以上の団体様でテーマパークへ.
データに残ったのは25人だった模様.
1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析.
全映像に手動でラベリング.
6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他.
行動の開始と終了も丁寧にアノテーション.
データセット 詳細スペック
関西CVPR勉強会 (July 29, 2012) 73
8人に42時間HMDな人になってもらう.
その他含めて25人以上の団体様でテーマパークへ.
データに残ったのは25人だった模様.
1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析.
全映像に手動でラベリング.
6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他.
行動の開始と終了も丁寧にアノテーション.
顔向きや位置は各人1000フレームだけラベリング.
5人分を各種学習に,残り3人分をテストに.
行動ラベリングの結果 (1)
関西CVPR勉強会 (July 29, 2012) 74
Dialogue Discussion Monologue
Tru
e p
osi
tive
False positive
水色: 位置に関する特徴だけ
緑色: HMDな人の頭部運動特徴だけ
青色: 注目度に関する特徴だけ
赤色: 全部使ってみた (提案法)
行動ラベリングの結果 (1)
関西CVPR勉強会 (July 29, 2012) 75
Dialogue Discussion Monologue
Tru
e p
osi
tive
False positive
水色: 位置に関する特徴だけ
緑色: HMDな人の頭部運動特徴だけ
青色: 注目度に関する特徴だけ
赤色: 全部使ってみた (提案法)
対抗手法ないのでこれで勘弁してやろうか…
行動ラベリングの結果 (2)
関西CVPR勉強会 (July 29, 2012) 76
Walk dialogue Walk discussion Confusion mat.
Tru
e p
osi
tive
False positive
水色: 位置に関する特徴だけ
緑色: HMDな人の頭部運動特徴だけ
青色: 注目度に関する特徴だけ
赤色: 全部使ってみた (提案法)
行動ラベリングの結果 (2)
関西CVPR勉強会 (July 29, 2012) 77
Walk dialogue Walk discussion Confusion mat.
Tru
e p
osi
tive
False positive
水色: 位置に関する特徴だけ
緑色: HMDな人の頭部運動特徴だけ
青色: 注目度に関する特徴だけ
赤色: 全部使ってみた (提案法)
Dialogとdiscussionを区別するのは大変.
行動ラベリングの結果 (2)
関西CVPR勉強会 (July 29, 2012) 78
Walk dialogue Walk discussion Confusion mat.
Tru
e p
osi
tive
False positive
水色: 位置に関する特徴だけ
緑色: HMDな人の頭部運動特徴だけ
青色: 注目度に関する特徴だけ
赤色: 全部使ってみた (提案法)
Dialogとdiscussionを区別するのは大変.
歩いているとさらに大変.
実世界における仲良し関係が明らかに
関西CVPR勉強会 (July 29, 2012) 79
特に何も解析はしていないが,
多くのデータで突き詰めて解析すると,
何か面白い結果が出る,かも?
他にもたくさんできることが
関西CVPR勉強会 (July 29, 2012) 80
グループ全員の行動パターンを知る
他にもたくさんできることが
関西CVPR勉強会 (July 29, 2012) 81
グループ全員の行動パターンを知る.
たぶんこれら
Fathi, Rehg “Learning to recognize daily actions using
attention,” IEEE Works. Egocentric Vision 2012.
Fathi, Rehg “Learning to recognize daily actions using
gaze,” to appear in ECCV2012.
他にもたくさんできることが
関西CVPR勉強会 (July 29, 2012) 82
グループ全員の行動パターンを知る.
たぶんこれら
Fathi, Rehg “Learning to recognize daily actions using
attention,” IEEE Works. Egocentric Vision 2012.
Fathi, Rehg “Learning to recognize daily actions using
gaze,” to appear in ECCV2012. 同じ,じゃないよね,まさか…
他にもたくさんできることが
関西CVPR勉強会 (July 29, 2012) 83
グループ全員の行動パターンを知る.
たぶんこれら
Fathi, Rehg “Learning to recognize daily actions using
attention,” IEEE Works. Egocentric Vision 2012.
Fathi, Rehg “Learning to recognize daily actions using
gaze,” to appear in ECCV2012. 同じ,じゃないよね,まさか…
複数のHMDの幾何拘束を使って
本質的にインタラクションの問題を解ける.
たぶんどっかで見たけど,忘却の彼方…
参考資料
関西CVPR勉強会 (July 29, 2012) 84
第1著者のページ (Alireza Fathi)
http://www.cc.gatech.edu/~afathi3/
2nd IEEE Workshop on Egocentric (First-Person) Vision
in conjunction with CVPR2012
http://egovision12.cc.gatech.edu
First-person social interaction dataset
http://www.cc.gatech.edu/~afathi3/Disney/
Woodman Labs GoPro HD HERO2
http://jp.gopro.com/hd-hero2-cameras/
数式を含む論文の読解効率化 / 西尾泰和のはてなダイアリー
http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670