“Spectral Graph Reduction forEfficient Image and Streaming Video Segmentation”

-CVPR2014-Fabio G., Margret K., Thomas B., Bernt S.

発表者 筑波大学情報数理研究室 修士1年 上田隼也

1

目次

1. Abstract

2. Author

3. Motivation

4. Summary

5. Contribution

6. Comments & Explore2

Abstract

3

1

project page: http://fgalasso.github.io/Equivalence.html

1. 計算コストとメモリコストがSpectral Techniquesを制限し、特に動画の領域分割においては深刻な問題がある。

2. ”super pixel”(特徴量が類似した画素領域)を用いてグラフを削減する。以前の関連研究では再構築したグラフに再び重み付けを行った。再構築したグラフは元のグラフの領域分割結果と同一の物が仮説の上では得られる。

3. NCutとSpectral Clusteringによる緩和が同一だということについて言及。提案手法が実行時間とメモリ削減について貢献し、画像とビデオに対して実行した。更にストリーミングビデオにも手法を適用して素晴らしい効果を実証。

Author

4

2

Dr. Fabio Galasso

ドイツのOSRAM(照明の会社)というセンサーシステムの開発のヘッドを務めていて、 ケンブリッジ大学とMPII(ドイツの研究所)と共同研究を行っている2007-2014までCVPR,ICCV,BMVCにCV御三家の国際会議にコンスタントに論文を通してる。 人物の三次元認識が研究領域。 サイトでは当論文のサンプルコード、発表スライドも公開してる。[LINK]

Margret Keuper

image by http://fabiogalasso.org/

image by http://lmb.informatik.uni-freiburg.de/people/keuper/

ドイツのフレイバーグ大学のポスドク。主な研究領域は医療用画像の解析。 所属する研究グループは、画像・動画の領域分割・Convolutional Networks・動画からの三次元復元が研究領域。[LINK]

Author

5

2

Prof. Thomas Brox

フレイバーグ大学教授でCVグループのヘッドを務める。ポスドク時代にJitendra Malik (バークレー大の教授 NCutの提案者)と2年間共同研究をした後にフレイバーグ大学へ移籍。 CVPR,ICCVの常連。NIPISにも論文を通してる。

Prof. Dr. Bernt Schiele

image by http://lmb.informatik.uni-freiburg.de/people/brox/index.en.html

image by https://www.mpi-inf.mpg.de/departments/computer-vision-and-multimodal-computing/people/bernt-schiele/

MPII教授。信号処理の認識が研究領域。CMU→MIT→ETH Zürich(スイスの大学)→TU Darmstadt→現職。

Motivation

1. Spectral Clustering は画像領域分割において、良い結果が得られるが、固有値計算に対するメモリ消費と計算時間が問題点。

2. 画像の表現グラフを”super pixel”で置き換える事による問題点

1. 物体の真の境界が乱れる

2. 画像のオブジェクト対応が変化する(NCutと同じ問題点)

3. 我々はSpectral Graph Reduction を提案する6

3

How to Segment

7

4

segmentedimage

Graph from image

Graph Cut

1. グラフ分割画像からグラフを構築部分グラフを完全に分割する

2. グラフ分割を実現するには? 1. Normarized Cut

(グラフ分割最小化問題を固有値問題に帰着させた手法)

2. Spectral Clustering 分割問題において良い結果が保証されている

Super Pixel の問題点

8

4

superpixel

1. 画像の表現グラフを”super pixel”で置き換える事による問題点

1. 物体の真の境界が乱れる

2. 画像のオブジェクト対応が変化する(NCutと同じ問題点)

Super Pixel の問題点

8

4

superpixel

1. 画像の表現グラフを”super pixel”で置き換える事による問題点

1. 物体の真の境界が乱れる

2. 画像のオブジェクト対応が変化する(NCutと同じ問題点)

Super Pixel の問題点解消

9

4

ReduceFindconjunction

GraphCut

制約条件 ex)特定のノード間は必ず

リンクする

Graph Reduction ノード数は減少したが

性質は元のグラフと同一なグラフ

NCut グラフカットを行う

ここを提案

元のグラフとの等価なGraph Reduction

10

4

Normalized Cut

Spectral Clustering

制約条件(Must Link)から頂点集合を一つの頂点へ結合

グラフ変更後の重み付け

Experiment

11

4

Image segmentation

• 従来手法と同じ実行結果 • ２倍高速化 • メモリコストが半分

Experiment

12

4

Video segmentation

境界線の認識精度 オブジェクトの認識精度Boundary Precision Recall

適合率・再現率 曲線

評価指標の詳しい説明 : A Unified Video Segmentation Benchmark: Annotation, Metrics and Analysis

Volume Precision Recall

Experiment

13

4

Streaming video segmentation

ストリーミングビデオにおける制約条件 1. 事前に特徴データは取得できない 2. メモリにはストリーミングデータの一部分しか保存できない

Explore & Comments

1. [関連研究]- Multiscale Combinatorial Grouping[CVPR2014] Affinity Matrix に対してダウンサンプリングを行う- Power Iteration Clustering[ICML2012]固有値計算をべき情報を用いることでスケーラビリティを保証。 early stoppingと呼ばれる

14

6

Explore & Comments

1. Spectral Clusteringの結果は他のクラスタリングと比較しても良好な物が得られるが、問題点としてメモリコストと実行時間が挙げられているが、最近の研究では問題点解消のために以下の２つのアプローチが多い傾向がある。

1. グラフ調整:行列サイズの縮小→メモリコスト削減かつ高速化

2. 新たな固有値解法の提案:計算時間の高速化→実行時間短縮

15

6

Credit

16

Galasso, Fabio, et al. "Spectral graph reduction for efficient image and streaming video segmentation." Computer Vision and Pattern Recognition

(CVPR), 2014 IEEE Conference on. IEEE, 2014. 図・実験結果が上記の論文から引用しました。