Tensor Completion based onLow-rank and Smooth Structures

低ランク性および平滑性を用いたテンソルデータ補完

横田 達也名古屋工業大学

2016 年 9 月 16 日 MI 研招待講演

1

行列・テンソル補完の研究について紹介

主な研究成果行列補完

T. Yokota, A. Cichocki. A fast automatic rank determination algorithm for noisy low-rank matrix completion. In Proceedings of Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2015), pp. 43-46, 2015.

テンソル補完T. Yokota, A. Cichocki. Tensor Completion via Functional Smooth Component Deflation. In Proceedings of 41st International Conference on Audio, Speech, and Signal Processing (ICASSP2016), pp. 2514-2518, 2016.T. Yokota, Q. Zhao, C. Li, and A. Cichocki. Smooth PARAFAC Decomposition for Tensor Completion, IEEE Transactions on Signal Processing, vol. 64, issue 20, pp. 5423-5436, 2016.

2本日の講演内容

3

導入編

データ ( 配列 ) の失われた値を埋め完全なデータにすること失われた値 (missing values) を埋めるためには，

参照可能値 (available values),構造的事前情報 (priors),

を活用する．

4補完とは

損失 (20%) 補完

補完されたデータ

原データ( 未知 )

観測データ( 未完データ )

カラ松

名 姓

松野

ID

9612

チョロ松9613

カラ松

名 姓

松野

ID

9612

チョロ松 松野9613

事前情報 : 彼らは兄弟である .

おそ松 松野9611

おそ松 松野9611

-- 補完問題 --

-- 例 --

参照可能

空白

参照可能

推定値

リコメンデーション (Netflix 問題 )データ：商品 ( 動画 ) を購入したユーザがつけた評価ポイント (1~10)問題：ユーザが次に買ってくれそうな商品 ( 動画 ) はどれか？

5補完の例①

User ID 001

User ID 002

User ID 003

User ID 004

10 92

10

89

8 13

1

…

…

…

…

…

…… … … … …

画像穴埋め (Image Inpainting)パッチ処理 ( 局所的類似性 ) を用いるアプローチ [Criminisi+ 2008]

6補完の例②

原画像 未完画像 復元画像

[Criminisi+ 2008] A. Criminisi, P. Patrick, and K. Toyama. "Region filling and object removal by exemplar-based image inpainting." IEEE Transactions on image processing, 13.9 (2004): 1200-1212.

画像補完 (Image completion)ランク最小化 ( 凸最適化 ) を用いるアプローチ [Gandy+ 2008]

7補完の例③

原画像 未完画像 復元画像

[Gandy+ 2008] S. Gandy, B. Recht, and I. Yamada. "Tensor completion and low-n-rank tensor recovery via convex optimization." Inverse Problems 27.2 (2011): 025010.

補完 (completion) ：不完全なものを「完全」にすること補間 (interpolation) ：「間」を埋めること

補間といっても良いし，補完といっても良い例は多い．( 私の認識 ) 補間は特殊，補完は一般， 補完⊃補間

要素の「位置」に意味がある場合には補間と言って良い要素の「位置」を任意に入れ替え可能な場合は補間とは言わない

Netflix 問題は「補間ではない補完」の代表的な例

8補完と補間の違い

User ID 001

User ID 002

User ID 003

User ID 004

User ID 001

User ID 003

User ID 002

User ID 004

入れ替え可能 入れ替え可能

入れ

替え

可能

入れ

替え

可能

9

理論編

ベクトルデータ補完 ( 補間または回帰 )未完データを完全にしたい ( 補完 )

事前情報 : この信号変化は滑らかである ( 隣り合う値の差が小さい )“ 線形補間” および “多項式補間” による補完

10ベクトルの補完 ( 補間 )

行列補完技術

11行列の補間

1 0 1 1 1 0

0

1 11 011 1

0

01 11 0

11

1

0 01

110 1

1

1

0

01 11 0 1 1 1 0

0

1 1

入力 出力行列

観測行列

指示行列

復元作用素

ベクトル補完ができれば，行列補完もできるじゃん？？No !!ダメ，絶対 !!

ダメな理由：行列でしか定義できない構造があるから行列ランク横方向の連続性縦方向の連続性etc

12行列補完 vs ベクトル補完

・・・

・・・

ベクトル展開

行列化

ベクトル補完行列補間

リコメンダーシステム (Netflix 問題 )Netflix, Amazon, 楽天…

Rating (1~10)

13低ランク性に基づく補完の例

User ID 001

User ID 002

User ID 003

User ID 004

10 92

10

89

8 13

1

…

…

…

…

…

…… … … … …

14未完行列の低ランク近似

User ID 001

User ID 002

User ID 003

User ID 004

青いタイプの商品を好む

赤いタイプの商品を好む

青いタイプのみの成分行列 赤いタイプのみの成分行列

青のユーザ分布ベクトル

…

…青の代表スコアベクトル

赤のユーザ分布ベクトル

…

…赤の代表スコアベクトル

15未完行列の低ランク近似 (2)

User ID 001

User ID 002

User ID 003

User ID 004

青の成分行列 赤の成分行列

= +

≒ + + +・・・

一般化

(I*J)- 行列 ランク -R 行列近似

与えられた未完行列が「低ランク」であると仮定する問題を定式化

16低ランク性に基づく行列補完

+ + +・・・

ランク -R 行列

≒

NP困難 [Gillis+ 2011]

-- アプローチ 1 --固定ランクの行列モデル

を使って未完行列を近似する

-- アプローチ 2 --ランク最小化の代わりに核ノルムを最小化する

R- ランク行列モデル

最適化問題

最急降下法，凸最適化，多様体最適化などを用いて解く．

17ランク近似による行列補完

≈I

J

I

JR

R

行列核ノルム定義：

最適化問題

核ノルムは凸だが微分できないため近接分離 (proximal splitting)に基づいた凸最適化手法が用いられる．

18核ノルム最小化による行列補完

=

19低ランク性に基づく行列補完 ( 例 )

原画像 未完画像 復元画像

[Li+ 2014] W. Li, L. Zhao, Z. Lin, D. Xu, and D. Lu. "Non‐Local Image Inpainting Using Low‐Rank Matrix Completion." Computer Graphics Forum. Vol. 34, No. 6, pp. 111-122, 2015.

対象とするデータによって異なるNetflix 問題：本質だと思われる．

理由：人の趣味嗜好には偏りがあり，それはいくつかのパターンに分けることができそうだから．

画像補完問題：部分的には使える ( がおそらく本質ではない )理由：例えば，物体が回転するとランクが変わってしまう．とは言え，潜在的にフルランクの自然画像はほとんどない．

20低ランク性は本質か？

ランク 1 の画像

中の物体が回転

高ランクの画像( しかし，フルランクではない )

ランクが増加

平滑性画像に関しては，核ノルムより本質Total Variation(TV) による平滑性の評価

最適化問題

TVノルムは凸だが微分できないので近接分離 (proximal splitting) に基づいた凸最適化手法が用いられる．

21平滑性を用いた行列補完

-- [Li+ 2014] --

Smooth(TV) method

Original

Missing

Results

22低ランクと平滑性の組み合わせ

原画像 未完画像

核ノルム &TV

-- An example of result by LTVNN method [Han et al., 2014] --

核ノルムのみ TVのみ

スパース性ある配列があってそのほとんどの値がゼロである．

スパース性を担保するための代表的な枠組みL1ノルム正則化

変数 X に線形作用素 L をかけたものがスパースになる．L() が行列 X の特異値を出力する線形作用素の場合：核ノルム正則化L() が行列 X の微分値を出力する線形作用素の場合： TVノルム正則化

核ノルム正則化， TVノルム正則化はどちらも信号の「ある空間」でのスパース性を仮定したモデルになっていることが分かる．

23スパース制約としての特徴付け

24

理論編その二：テンソル補完

テンソル：添え字のついた数，多次元配列

スカラー，ベクトル，行列は全部テンソル例 ,

添え字の数： オーダー (階数 )スカラー： 0階テンソルベクトル： 1階テンソル行列： 2階テンソル・・・

25テンソルとは ?

例0階テンソル：

1階テンソル：

2階テンソル：

3階テンソル：

26テンソルデータ

ベクトル- スカラーを並べたもの

行列- ベクトルを並べたもの

- 行列を並べたもの

3階テンソルを 直方体 のようにイメージすると

4階テンソル3階テンソルを並べたもの

5階テンソル4階テンソルを並べたもの

N階テンソル(N-1)階テンソルを並べたもの

27高階テンソル

・・

・・

・・

・・

・

・・

・

・・・

・・・

・・・

・・・

28テンソルデータの例

Time series signal

Multiple channels of time series signal

1階テンソル ( ベクトル )筋電図、心電図モノラル音声

2階テンソル ( 行列 )脳電図、脳磁図X 線、濃淡画像

3階テンソルMRI、 CT、 PETカラー画像

4階テンソル機能的 MRIカラー動画像

Gray-scale image Color image

・・・

MRI ， Functional MRI

時間軸

与えられたデータが高次元配列 (高階テンソル ) の場合でも，行列展開してから行列補完技術を適用すれば補完自体はできる．しかし，それが良いアプローチかというとそうではない．

例 : カラー RGB 画像 (3階テンソル )

29テンソル補完 vs 行列補完

comp.

comp.

comp.

comp.

未完カラー画像・赤チャネル・青チャネル・緑チャネル

復元後のカラー画像

… …

comp.

①

②

③

① 各チャネル画像間の類似性を活用できない

② 赤の列，青の列，緑の列の間の類似性を活用できない

③ 単一チャネル画像の低ランク性を活用できない

テンソルはテンソルのまま補完するべき！

30テンソル補完

comp.

入力テンソル

指示テンソル

出力テンソル

テンソルのランクには 2種類の定義がある．CP ランク

テンソルをランク 1 テンソルの和で表すときに必要な最小のランク1 テンソルの数 (図はランク R テンソル )

Tucker ランク ( 多重線形ランク )テンソルをあるモードに対して行列化した時の行列ランク

31テンソルの低ランク

=

第 1モードランク

第 2モードランク

第 3モードランク

第 1モード

第 2モード

第 3モード

主に 2 つの分解モデルがあるCP 分解 ( ランク R)

Tucker 分解 ( ランク -(R1,R2,R3))

32テンソル分解モデル

=

=

テンソル核ノルムの 2 つの定義CP 分解に基づくテンソル核ノルム

Tucker 分解に基づくテンソル核ノルム

33テンソル核ノルム

CP 分解の計算自体が NP困難であり，これの最小化は難しい．

テンソルの第 nモードに対する行列化

凸関数になっており，最適化と相性が良い．

HaLRTC [Liu et al., TPAMI 2013]

34テンソル核ノルム最小化による補完

最適化問題

Augmented Lagrangian function

重み付きテンソル核ノルム

STDC [Chen et al., TPAMI 2014]

35Tucker 分解に基づくテンソル補完

最適化問題

Augmented Lagrangian function

低ランクな Tcuker 分解

因子行列 U についての制約

低ランク CP 分解に基づくテンソル補完

基底ベクトルに平滑性の制約を付加 (TV ， QV)

36私の最近の仕事

ランク 1 テンソルの数 R をなるべく少なくしたい

TV:

QV:

37最適化問題

固定ランク CP 分解 ( 平滑制約付き ) 最適な R を求める基準

・ Smoothness constraint・ PARAFAC decomposition・ Low rank based model selection

Algorithm [Yokota et al., IEEE-TSP 2016]階層的交互最小二乗法 (HALS) インクレメンタルなアプローチで R を求める

38最適化アルゴリズム

RR+1ランク増加

39

応用編 (実験結果 )

40人工データ

41Results: Color Image CompletionMatrix completion Tensor completion New

80%

95%

Text

Scratch

42Results: Color Image CompletionMatrix completion Tensor completion New

95%

99%

43拡大 (提案手法 )

未完画像(text masked) 補完結果

44拡大 (提案手法 )

補完結果未完画像(Scratched)

45拡大 (提案手法 )

補完結果未完画像( ランダム 80%)

46拡大 (提案手法 )

補完結果未完画像( ランダム 95%)

47拡大 (提案手法 )

未完画像( ランダム 99%)

行列補完核ノルム＋

TVノルム

STDC法テンソル補完Tuckerモデル

＋チコノフ正則

化

提案法テンソル補完

CPモデル＋

基底ベクトルに対する平滑

制約

48CP 分解の中身

=

=

・・・

・・・

すごく滑らか -------------------------- 滑らかでない

0 20 40 60 80 100 120

ランク 1 テンソルのスケール減衰

49Results: Face Filling Problem

Figure is referred from [Geng et al., 2011 ]

Data size:30 × 11 × 21 × 1024peoples, poses, illuminations, pixels

50Results: MRI completion

HaLRTC [Liu et al. 2013] STDC [Chen et al. 2014] Proposed (SV)

95% missing -- Signal to Distortion Ratio [dB] --

51拡大

未完 MRI (4 スライス ) 補完結果 (4 スライス )

テンソル補完の技術を医用画像へ導入，応用することでどんなことができそうか？おそらく，そのまま使うだけは得策ではない．

Low-rank, TV は一般的すぎる．医用画像に適した事前情報 (prior) を積極的に使うべき．

応用１：超解像信号空間の穴埋めではなく，周波数空間の高周波成分の穴埋め問題として定式化できる．適切な Prior を用いて高周波成分を復元．

応用 2 ：圧縮センシングMRI の測定時間の削減など

応用 3 ：アーチファクトの除去 (手動 )除去領域の復元

52医用画像への応用について