View
46
Download
2
Category
Preview:
DESCRIPTION
Principal Components Analysis and Neural Network Implementation of Photometric Stereo. Yuji Iwahori, Robert J. Woodham, Ardeshir Bagheri (1995). 1 Introduction. Photometric Stereo( 照度差ステレオ ) の実装. Principal Components Analysis ( 主成分分析 ). - PowerPoint PPT Presentation
Citation preview
Principal Components Analysis and Neural Network Implementation of Photometric Stereo
Yuji Iwahori, Robert J. Woodham, Ardeshir Bagheri (1995)
1 IntroductionPhotometric Stereo( 照度差ステレオ ) の実装
Principal Components Analysis ( 主成分分析 )
Neural Network
ある空間から、次元を落として部分空間を抽出するための線形処理テクニック。計算能力の問題 (ill-conditioned) を解決するために用いる。
非パラメットリック関数を近似する特性を利用して、入力空間とそれに対応する表面配向のマッピングを学習する。データは校正球面から得る。影や相互反射の影響による信頼性の評価に用いる。
2 Photometric Stereo (1)物体の表面
),( yxfz : Z 方向は観察者への方向
]3,2,1[ nnn
表面法線ベクトル
画像照度方程式
),,(),( 321 nnnRyxE ),( yxE
),,( 321 nnnR:画像照度
:反射率マップ
正射影によって、2次元画像に投影される
:ベクトル長は1とする
2 Photometric Stereo (2)p 方向からの光源によって、 p 画像を使用する時の画像照度方程式
),,(),(
),,(),(
),,(),(
321
32122
32111
nnnRyxE
nnnRyxE
nnnRyxE
pp
全ての照明の方向がほぼ同一線上にあった場合
問題発生 (ill-conditioned)
Principal Components Analysis (主成分分析)
3 Principal Components Analysis (1)PCA は多変量解析の手法の一つ。もとの変数間の類似性に基づいて、新たな少数の変数へと集約する。
新たな変数 主成分
主成分は対象データの「分散」を最大化するように設定される。また、主成分同士は互いに独立である。
最終的に変数を集約するために、もとの変数よりも少ないだけの主成分を抽出する。
3 Principal Components Analysis (2)主成分を求めるために、共分散行列の固有方程式を解き、固有値と固有ベクトルを求める。
221
22
212
1122
1
ppp
p
p
sss
sss
sss
S
共分散行列は、対角要素が各変量の分散 、それ以外の第 ij 要素は i 番目の変量と j 番目の変量の共分散 となっている行列のこと。
2is
ijs
3 Principal Components Analysis (3)1. p 入力画像から p×p の共分散行列 を計算する。
2. 固有ベクトル と固有値 を求める。
K
kk ),...,2,1( pk
列が である p×p 行列を とする。
画像照度を とする。
k ],...,3,2,1[ EpEEE
],...,3,2,1[: ApAAA主成分
p
T
p E
E
E
A
A
A
2
1
2
1
p
i i
k
1
全体に占める割合の分散の主成分 kA
4 NN Functional Approximation4.1 RBF Networks and OLS Learning (1)
Radial Basis Function neural network
多次元解析に用いられる非関数近似の方法の一つ。学習によってフィードフォワードネットワークを構成する。 基底関数 ガウス関
数基底関数の出力を線形結合することによってネットワークの出力とする。
Orthogonal Least Squares ( 直交最小2乗法 )
近似値と観測値との残差の2乗を求め、それを最小とするような近似関数を求める方法。基底関数の中心を選択するのに適用される。十分なネットワークが構成されるまで、その手続きは繰り返される。
4 NN Functional Approximation4.1 RBF Networks and OLS Learning (2)
図 : Radial Basis Function Neural Network
RBF ネットワークは2層から成る ( 図は P の隠れ層と、3つの出力層から成る ) 。
],,[ 321 AAA ],,[ 321 nnn
第1のネットワークは入力から表面配向を予測
1度の学習手続きによって、ニューロンが1つずつネットワークに追加される。2乗和誤差が目標値に達するか、またはニューロンの数が最大になるまで繰り返される。本手法では2つの RBF ネットワークを構成
4 NN Functional Approximation4.2 A 2nd Network Estimates Confidenceさらに入力を逆に予測するようなネットワークを
生成
],,[ 321 AAA],,[ 321 nnn
第2のネットワークは出力された表面配向から入力を予測
実際の入力と逆予測された入力を比較し、信頼評価を行う(影や相互反射に影響される領域)。
1NN
RBF
2NN
RBF1A
2A
3A
'1A'
2A'
3A
1n
2n
3n
2'33
2'22
2'11 )()()( AAAAAAd
5 Experiments5.1 Experimental Setting 5.2 Calibration陶器の球体(キャリブレーション用)と陶器の男性の顔を使用する。ともに同じ物質であり、同じ反射特性を持つ。光学台に対象物を取り付け、光源の角度を約2度ずつずらしながら7方向からの画像を撮影する。
5 Experiments5.3 Results (1)
4073.13874.13336.13329.13423.13731.14288.1
3874.13862.13403.13412.13462.13795.14372.1
3336.13403.13531.13303.12664.13224.14003.1
3329.13412.13303.13209.12887.13337.14009.1
3423.13462.12664.12887.13687.13712.14006.1
3731.13795.13224.13337.13712.13937.14394.1
4288.14372.14003.14009.14006.14394.15058.1
103K
1168.01671.03179.00459.08426.00355.03796.0
2228.03521.07745.01699.02307.00056.03801.0
4120.02233.02612.04020.01592.06235.03693.0
6913.03555.02822.01585.02213.03248.03694.0
1728.03658.01362.04604.02223.06472.03709.0
4875.06855.00331.00893.02344.02899.03799.0
1470.02608.03628.07499.02414.00392.03597.0
0009.00012.00024.00084.00398.01166.05662.910371
共分散行列 、固有ベクトル 、固有値 は以下となる。
kK
固有値の大きい順に3つの主成分を用いる
5 Experiments5.3 Results (2)
図 (a) Plot of (E1,E2,E3) 図 (b) Plot of (A1,A2,A3)
キャリブレーションによって得られた値をプロット
照度 (E1,E2,E3) は直線に沿って集中し高い相関がある。一方、主成分 (A1,A2,A3) は相関が低くなっている。
5 Experiments5.3 Results (3)
図 (a) (A1,A2,A3) to (n1,n2,n3) 図 (b) (n1,n2,n3) to (A1,A2,A3)
RBF ネットワークの学習キャリブレーションによって得た、 (A1,A2,A3) と (n1,n2,n3) の対応を各ネットワークに学習させる。第1のネットワー
ク50世代まで学
習一般化
第2のネットワーク
100世代まで学習
妥当評価
5 Experiments5.3 Results (4)
(a) Boy-1 image (b) Boy-1 slope (c) Boy-1 aspect (d) Boy-1 confidence
観察者(カメラ)の方向を向いた像の画像の場合(a)7つの入力画像の一つ
(b) 勾配角度(表面法線ベクトルと観察方向のベクトル間の角度)(c) アスペクト(表面法線ベクトルの XY平面上への射影)(d) 信頼評価 d (明るい領域は信頼が低い、影や相互反射)
5 Experiments5.3 Results (5)
(a) Boy-2 image (b) Boy-2 slope (c) Boy-2 aspect (d) Boy-2 confidence
位置を変更した像の画像の場合
(a)7つの入力画像の一つ(b) 勾配角度(表面法線ベクトルと観察方向のベクトル間の
角度)(c) アスペクト(表面法線ベクトルの XY平面上への射影)(d) 信頼評価 d (明るい領域は信頼が低い、影や相互反射)
6 Conclusion
•主成分分析によって対象データの次元を減少させる。
•RBF ニューラルネットワークと OLS によって、入力空間と表面法線ベクトルとの対応マッピングを生成。
•RBF ニューラルネットワークによって、影や相互反射の影響を受けている領域の信頼評価。この実装方法は、経験的な手法によってのみ行われ、光源方向や反射率等の条件を必要としない。対象物体と同じ物質(同じ反射率)からなる物体の校正によるデータさえあればよい。
照度差ステレオの新しい実装方法を提案
Recommended