カラーチャートを用いた複数の再撮モニタとカメラの最適色補正スライド

カラーチャートを用いた複数の再撮モニタとカメラの最適色補正

Optimal Color Correction for Multiple On-set Monitors or Cameras by Using Color Checker Chart

松永力趙延軍和田雅徳Chikara Matsunaga, Yanjun Zhao and Masanori Wada

株式会社朋栄佐倉研究開発センターFOR-A Co., Ltd. Sakura R&D Center

E-mail: [email protected]

SSII2010 IS2-04:

SSII2010 第16回画像センシングシンポジウム

再撮モニタの例再撮モニタの例


再撮モニタの例再撮モニタの例

色補正装置① 色補正装置から色校正用カラーチャート画像を発生

マスタモニタ（カメラ映像）

スタジオ内再撮モニタ

カメラ

再撮モニタの色補正再撮モニタの色補正





カメラ



② カメラ映像をキャプチャする．




カメラ



② カメラ映像をキャプチャする．

③ 自動色校正処理（オートカラーキャリブレーション）カメラ映像のカラーチャートを認識して色補正パラメータを計算

カラーイコライザ

（仮称）

色補正装置



カメラ

④ 色校正処理の結果により再撮モニタ映像を色補正する．VTR

再撮モニタの色補正（続き）再撮モニタの色補正（続き）


ビデオスイッチャ

複数カメラの色補正複数カメラの色補正

色補正装置



カラーチャートによる色補正カラーチャートによる色補正


カラーチャートによる色補正カラーチャートによる色補正

何が問題か？何が問題か？


・カラーチャートから抽出した色レベルには観測誤差が含まれている．

・色空間にはレベル制限があり，レベルを越えるとガマット誤差になる．





⇒ 色補正パラメータの推定に影響を及ぼす．





⇒ 色補正パラメータの推定に影響を及ぼす．

⇒ 金谷の統計的最適化の理論を用いて，観測誤差，ガマット誤差を考慮した最適な色補正パラメータを推定する．


T3x3 +

β3x1

x=(r g b)Tx=(r g b)T

色変換モデル（３次元アフィン変換）色変換モデル（３次元アフィン変換）


T3x3 +

β3x1




T3x3 +

β3x1



“逆変換”である色補正パラメータを推定する．⇒ 入力と出力を入れ替える（入力誤差モデル）．


３次元アフィン変換３次元アフィン変換

色データを４次元同次ベクトルで表す．

は４次元ベクトルの第４成分を１とする正規化作用素である．


３次元アフィン変換（続き）３次元アフィン変換（続き）

１３次元ベクトル


３次元アフィン変換の最適計算３次元アフィン変換の最適計算

次の目的関数を最小化するパラメータを最適推定する．

最適化には多拘束FNS法を用いる．

組の色データ

期待値0，標準偏差の正規分布に従う誤差が加わる．

基準画像観測画像


数値シミュレーション数値シミュレーション

0

0.02

0.04

0.06

0.08

0.1

0.12

0 2 4 6 8 10 12σ

計算した3次元アフィン変換のRMS誤差

KCRLBFNSLS

E


数値シミュレーション結果数値シミュレーション結果


色変換モデル（３次元アフィン変換＋クリップ処理）色変換モデル（３次元アフィン変換＋クリップ処理）

T3x3 +

β3x1


色空間における色変換処理であることから，厳密にはレベルに関する制限であるクリップ処理が付く．


Clipx=(r g b)T

色変換モデル（３次元アフィン変換＋クリップ処理）色変換モデル（３次元アフィン変換＋クリップ処理）

T3x3 +

β3x1

x=(r g b)T

⇒ 色空間のレベルに関する制限であるクリップ処理によって生じるガマット誤差は，色補正パラメータの推定に影響を及ぼす．

色空間における色変換処理であることから，厳密にはレベルに関する制限であるクリップ処理が付く


レベル制約付き最適推定とモデル選択レベル制約付き最適推定とモデル選択

素朴な方法 ⇒ 色空間の上限下限近傍の色データを用いない ⇒ 色空間の上限下限の色レベルにおいて，正しい色補正の結果が得られない．

色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する．最適化の手法には，拡張FNS法を用いる．

ガマット誤差が含まれている場合，


レベル制約付き最適推定とモデル選択レベル制約付き最適推定とモデル選択

素朴な方法 ⇒ 色空間の上限下限近傍の色データを用いない ⇒ 色空間の上限下限の色レベルにおいて，正しい色補正の結果が得られない．

色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する．最適化の手法には，拡張FNS法を用いる．

ガマット誤差が含まれている場合，

十分な色補正を行うためには，，⇒ 線形の色変換であっても，逆変換としては高次の色補正モデルが必要⇒ ガマット誤差が含まれているか未知，色補正モデルも未知一般に高次項を含む色補正モデルによる色補正は不安定

複数の色補正モデルを当てはめた結果から，モデル選択によって現実的な色補正モデルを選択する．


数値シミュレーション（２）数値シミュレーション（２）

多項式モデルによる色補正パラメータのレベル制約付き最適推定とモデル選択

【２次多項式モデル】

【内部拘束】ある特定の色レベルが特定の色レベルに補正される．

【目的関数】

(a) 理想画像と波形表示

0

50

100

150

200

250

300

0 50 100 150 200 250

Ideal


(b) 色変換画像と波形表示

0

50

100

150

200

250

300

0 50 100 150 200 250

IdealTransformedData


(c) クリップされたデータを除外した場合の１次式による色補正モデル

0

50

100

150

200

250

300

0 50 100 150 200 250

Ideal1st CorrectionData


(d) 色補正モデル(c)による補正画像と波形表示

0

50

100

150

200

250

300

0 50 100 150 200 250

IdealCorrected


0

50

100

150

200

250

300

0 50 100 150 200 250

(e) レベル制約を課した多項式色補正モデル

Ideal1st Correction

Data


0

50

100

150

200

250

300

0 50 100 150 200 250

Ideal1st Correction 2nd Correction

Data



0

50

100

150

200

250

300

0 50 100 150 200 250

Ideal1st Correction 2nd Correction 3rd Correction

Data



0

50

100

150

200

250

300

0 50 100 150 200 250

Ideal1st Correction 2nd Correction 3rd Correction 4th Correction Data




色補正モデルのモデル選択色補正モデルのモデル選択

未知パラメータの自由度

基準長．データがになるように選ぶ．

【幾何学的AIC】

【幾何学的MDL】

【二乗ノイズレベル】一般モデル（最も自由度の高いモデル）から計算する．１次元４次多項式モデルを一般モデルとすると，

⇒ 幾何学的AICあるいはMDLが最小になるモデルを選択する．

(f) 色補正モデル(e)の４次多項式による補正画像と波形表示

0

50

100

150

200

250

300

0 50 100 150 200 250

IdealCorrected


モニタ撮影画像


実画像実験実画像実験

理想カラーチャート



レベル制約なしの最適推定による色補正画像



理想カラーチャート



レベル制約付き最適推定による色補正画像



レベル制約なしの最適推定による色補正画像SSII2010 第16回画像センシングシンポジウム



まとめと今後の課題まとめと今後の課題

再撮モニタの色補正を行うために，既知の色レベルからなるカラーチャートをモニタに表示したものをカメラで撮影して，撮影画像中のカラーチャートの色レベルを自動的に検出した．観測誤差やガマット誤差を考慮した最適なパラメータ推定による色補正を行った．

ビデオ信号において標準的に用いられる輝度色差色空間における色補正モデルによる色補正も検討することである．色補正モデルとして，３次元アフィン変換モデル，１次元多項式モデルを用いたが，その他のモデルも検討したい．

立体視映像の撮影への適用も検討したい．

Technology

カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正スライド

カラーチャートを用いた複数の再撮モニタとカメラの最適色補正スライド