進化する物体認識技術一般物体認識とは

1

進化する物体認識技術一般物体認識とは

http://mprg.jp/tutorials

機械知覚&ロボティクス研究グループ(中部大学)

中部大学工学部ロボット理工学科

宮腰あゆみ機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp

MACHINE PERCEPTION AND ROBOTICS GROUP

Chubu UniversityDepartment of Robotics Science and TechnologyCollege of Engineering

Ayumi Miyakoshi

Machine Perception and Robotics Group1200 Matsumoto-cho, Kasugai, Aichi487-8501 JapanTel +81-568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp


中部大学工学部ロボット理工学科助手

山内悠嗣機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringResearch Assistant

Dr.Eng.Yuji Yamauchi



中部大学工学部情報工学科講師

山下隆義機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Computer ScienceCollege of EngineeringLecturer

Dr.Eng.Takayoshi Yamashita



中部大学工学部ロボット理工学科教授

藤吉弘亘機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringProfessor

Dr.Eng.Hironobu Fujiyoshi



中部大学工学部ロボット理工学科

宮腰あゆみ機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of Engineering

Ayumi Miyakoshi



中部大学工学部ロボット理工学科助手

山内悠嗣機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-8249Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringResearch Assistant

Dr.Eng.Yuji Yamauchi



中部大学工学部情報工学科講師

山下隆義機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9670Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Computer ScienceCollege of EngineeringLecturer

Dr.Eng.Takayoshi Yamashita



中部大学工学部ロボット理工学科教授

藤吉弘亘機械知覚＆ロボティクスグループ487-8501愛知県春日井市松本町1200Tel 0568-51-9096Fax [email protected]://vision.cs.chubu.ac.jp

博士（工学）


Chubu UniversityDepartment of Robotics Science and TechnologyCollege of EngineeringProfessor

Dr.Eng.Hironobu Fujiyoshi



http://mprg.jp/tutorials

1.1 進化する物体認識 1.2 一般物体認識とは 1.3 一般物体認識の細分化

2

3

夜間の歩行者や障害物を検知人の目に見えない近赤外線を前方に照射し、夜間見えにくい前方の歩行者、道路状況などを近赤外線カメラで撮影し、ディスプレイに表示 http://www.toyota.co.jp/jpn/tech/safety/technology/technology_file/active/night_view.html

ナイトビューシステム（トヨタ）

http://itunes.apple.com/us/app/flow-powered-by-amazon/id474664425?mt=8

4

年齢/性別が判別できる自販機（JR品川駅）人が自販機の前に立って、商品購入をしようという場合は、顧客属性(年齢、性別)を判定し、属性ごとにお勧め商品の表示を行ったり、季節や時間帯、環境に応じた商品の提案 http://news.mynavi.jp/news/2010/08/10/058/index.html

デジタルサイネージ自販機(オムロン)


5

Amazon Flow

実世界をアマゾンにするAR買い物アプリ商品情報をオーバーレイ表示 http://itunes.apple.com/us/app/flow-powered-by-amazon/id474664425?mt=8

8


6

写真から被写体やテキストを解析して検索する画像検索ツール対象：書籍とDVD, ランドマーク, ロゴ, 連絡先情報, 芸術, お店, 商品, バーコード, テキスト http://www.google.com/mobile/goggles/

Text Artwork

WineLandmark

Google Goggles


7

KINECT for Xbox360(Microsoft)

人体部位認識に基づく三次元姿勢推定異なる姿勢の大量の人サンプル画像をコンピュータに学習 http://research.microsoft.com/en-us/projects/vrkinect/default.aspx


8

KINECT for Xbox360(Microsoft)

9

一般物体認識とは？

10

歩行者検出・車両検出・標識認識・白線検出・シーン分割・シーン理解

一般物体認識の解

11

• 制約のない実世界シーンの画像に対して、計算機がその中に含まれる物体を一般的な名称で認識すること ‒ 物体認識を難しくする要因

‒ 多くのカテゴリが存在 ‒ 物体の位置が不明 ‒ 見え方の違い ‒ 照明変動 ‒ オクルージョン ‒ スケールの変化 ‒ 変形

一般物体認識とは

14

一般物体認識問題の細分化

これは建物ですか？照合

人はどこですか？物体検出

何の画像ですか？画像分類

どのようなシーンですか？シーンの理解

特定物体認識

一般物体認識

標識”止まれ”ですか？

12

照合：Object Verification

• 画像中のある物体を指し，対象物体のカテゴリであるか否かを照合する問題 ‒ 指紋照合 [松本, 佐藤, 藤吉, 梅崎, "LPC分析に基づく指紋照合法の評価", 電学論, 122-C, No. 5, pp. 799-807, 2002]

登録パターン

特徴抽出→ 出力：本人／他人入力：画像 →照合→

指紋入力

距離計算・判定本人／他人特徴抽出

照合

13

物体検出：Object Detection

• あるカテゴリ物体が，画像中のどこにあるかを求める問題 ‒ 顔検出 [P. Viola, M. Jones, “Robust Real-time Face Detection”, IJCV2001]

‒ 人検出 [N. Dalal, B. Triggs, “Histogram of Oriented Gradient for Human Detection”, CVPR2005]

Haar-like特徴量

HOG特徴量抽出

顔検出結果

人検出結果 HOG特徴量

14

画像分類：Image Categoraization

• 画像中の物体がどの物体カテゴリであるかを分類する問題 ‒ Bag-of-Keypoints (BOF) 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

[G. Csuka et al., “Visual Categorization with Bags of Keypoints”, ECCV2004]

顔

バイク

→

→

→

→

入力画像

入力画像

特徴抽出

特徴抽出

ベクトル量子化ヒストグラム

ベクトル量子化ヒストグラム

→

→

15

シーンの理解：Scene Understanding

• 画像内のシーン構造を理解する問題 ‒ 画像セグメンテーションとラベル付けによる三次元構造の獲得　　　　

[D. Hoiem et al., "Automatic Photo Pop-up", SIGGRAPH 2005]

入力：単一画像

Ground

Vertical

Sky

ラベル付けシーン分割出力：三次元構造

Image

Learned Models

→ → →

16

• 画像中のある物体の固有名詞を答える問題 ‒ 交通道路標識の認識　　　　　　　　　　　　　　　　　　　　　　　　

[高木, 藤吉, "SIFT特徴量を用いた交通道路標識認識", 電学論, Vol. 129-C, No. 5, pp. 824-831, 2009]

特定物体認識：Specific Object Recognition

交通標識(テンプレート)

� � ��

�

� �

��

30 ��

��

��

30

入力画像

登録パターン

17

18

• 一般物体認識とは ‒ 制約のない実世界シーンの画像に対して、計算機がその中に含まれる物

体を一般的な名称で認識すること

• 一般物体認識を細分化 ‒ 特定物体認識

画像局所特徴量 ‒ 物体検出

局所特徴量と統計的学習手法の組み合わせ

まとめ

Technology

進化する物体認識技術 一般物体認識とは

進化する物体認識技術一般物体認識とは