Upload
doboncho
View
660
Download
7
Embed Size (px)
Citation preview
カラーチャートを用いた複数の再撮モニタとカメラの最適色補正
Optimal Color Correction for Multiple On-set Monitors or Cameras by Using Color Checker Chart
松永 力 趙 延軍 和田 雅徳Chikara Matsunaga, Yanjun Zhao and Masanori Wada
株式会社朋栄 佐倉研究開発センターFOR-A Co., Ltd. Sakura R&D Center
E-mail: [email protected]
SSII2010 IS2-04:
SSII2010 第16回画像センシングシンポジウム
再撮モニタの例再撮モニタの例
SSII2010 第16回画像センシングシンポジウム
再撮モニタの例再撮モニタの例
色補正装置① 色補正装置から色校正用カラーチャート 画像を発生
マスタモニタ(カメラ映像)
スタジオ内再撮モニタ
カメラ
再撮モニタの色補正再撮モニタの色補正
SSII2010 第16回画像センシングシンポジウム
色補正装置① 色補正装置から色校正用カラーチャート 画像を発生
マスタモニタ(カメラ映像)
スタジオ内再撮モニタ
カメラ
再撮モニタの色補正再撮モニタの色補正
SSII2010 第16回画像センシングシンポジウム
② カメラ映像を キャプチャする.
色補正装置① 色補正装置から色校正用カラーチャート 画像を発生
マスタモニタ(カメラ映像)
スタジオ内再撮モニタ
カメラ
再撮モニタの色補正再撮モニタの色補正
SSII2010 第16回画像センシングシンポジウム
② カメラ映像を キャプチャする.
③ 自動色校正処理 (オートカラーキャリブレーション) カメラ映像のカラーチャートを 認識して色補正パラメータを計算
カラーイコライザ
(仮称)
色補正装置
マスタモニタ(カメラ映像)
スタジオ内再撮モニタ
カメラ
④ 色校正処理の結果により 再撮モニタ映像を色補正する.VTR
再撮モニタの色補正(続き)再撮モニタの色補正(続き)
SSII2010 第16回画像センシングシンポジウム
ビデオスイッチャ
複数カメラの色補正複数カメラの色補正
色補正装置
SSII2010 第16回画像センシングシンポジウム
SSII2010 第16回画像センシングシンポジウム
カラーチャートによる色補正カラーチャートによる色補正
SSII2010 第16回画像センシングシンポジウム
カラーチャートによる色補正カラーチャートによる色補正
何が問題か?何が問題か?
SSII2010 第16回画像センシングシンポジウム
・ カラーチャートから抽出した色レベルには 観測誤差が含まれている.
・ 色空間にはレベル制限があり,レベルを越えると ガマット誤差になる.
何が問題か?何が問題か?
SSII2010 第16回画像センシングシンポジウム
・ カラーチャートから抽出した色レベルには 観測誤差が含まれている.
・ 色空間にはレベル制限があり,レベルを越えると ガマット誤差になる.
⇒ 色補正パラメータの推定に影響を及ぼす.
何が問題か?何が問題か?
SSII2010 第16回画像センシングシンポジウム
・ カラーチャートから抽出した色レベルには 観測誤差が含まれている.
・ 色空間にはレベル制限があり,レベルを越えると ガマット誤差になる.
⇒ 色補正パラメータの推定に影響を及ぼす.
⇒ 金谷の統計的最適化の理論を用いて, 観測誤差,ガマット誤差を考慮した 最適な色補正パラメータを推定する.
SSII2010 第16回画像センシングシンポジウム
T3x3 +
β3x1
x=(r g b)Tx=(r g b)T
色変換モデル(3次元アフィン変換)色変換モデル(3次元アフィン変換)
SSII2010 第16回画像センシングシンポジウム
T3x3 +
β3x1
x=(r g b)Tx=(r g b)T
色変換モデル(3次元アフィン変換)色変換モデル(3次元アフィン変換)
SSII2010 第16回画像センシングシンポジウム
T3x3 +
β3x1
x=(r g b)Tx=(r g b)T
色変換モデル(3次元アフィン変換)色変換モデル(3次元アフィン変換)
“逆変換”である色補正パラメータを推定する.⇒ 入力と出力を入れ替える(入力誤差モデル).
SSII2010 第16回画像センシングシンポジウム
3次元アフィン変換3次元アフィン変換
色データを4次元同次ベクトルで表す.
は4次元ベクトルの第4成分を1とする正規化作用素である.
SSII2010 第16回画像センシングシンポジウム
3次元アフィン変換(続き)3次元アフィン変換(続き)
13次元ベクトル
SSII2010 第16回画像センシングシンポジウム
3次元アフィン変換の最適計算3次元アフィン変換の最適計算
次の目的関数を最小化するパラメータ を最適推定する.
最適化には多拘束FNS法を用いる.
組の色データ
期待値0,標準偏差 の正規分布に従う誤差が加わる.
基準画像 観測画像
SSII2010 第16回画像センシングシンポジウム
数値シミュレーション数値シミュレーション
0
0.02
0.04
0.06
0.08
0.1
0.12
0 2 4 6 8 10 12σ
計算した3次元アフィン変換のRMS誤差
KCRLBFNSLS
E
SSII2010 第16回画像センシングシンポジウム
数値シミュレーション結果数値シミュレーション結果
SSII2010 第16回画像センシングシンポジウム
色変換モデル(3次元アフィン変換+クリップ処理)色変換モデル(3次元アフィン変換+クリップ処理)
T3x3 +
β3x1
x=(r g b)Tx=(r g b)T
色空間における色変換処理であることから,厳密にはレベルに関する制限であるクリップ処理が付く.
SSII2010 第16回画像センシングシンポジウム
Clipx=(r g b)T
色変換モデル(3次元アフィン変換+クリップ処理)色変換モデル(3次元アフィン変換+クリップ処理)
T3x3 +
β3x1
x=(r g b)T
⇒ 色空間のレベルに関する制限であるクリップ処理によって生じる ガマット誤差は,色補正パラメータの推定に影響を及ぼす.
色空間における色変換処理であることから,厳密にはレベルに関する制限であるクリップ処理が付く
SSII2010 第16回画像センシングシンポジウム
レベル制約付き最適推定とモデル選択レベル制約付き最適推定とモデル選択
素朴な方法 ⇒ 色空間の上限下限近傍の色データを用いない ⇒ 色空間の上限下限の色レベルにおいて, 正しい色補正の結果が得られない.
色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する.最適化の手法には,拡張FNS法を用いる.
ガマット誤差が含まれている場合,
SSII2010 第16回画像センシングシンポジウム
レベル制約付き最適推定とモデル選択レベル制約付き最適推定とモデル選択
素朴な方法 ⇒ 色空間の上限下限近傍の色データを用いない ⇒ 色空間の上限下限の色レベルにおいて, 正しい色補正の結果が得られない.
色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する.最適化の手法には,拡張FNS法を用いる.
ガマット誤差が含まれている場合,
十分な色補正を行うためには,,⇒ 線形の色変換であっても,逆変換としては高次の色補正モデルが 必要⇒ ガマット誤差が含まれているか未知,色補正モデルも未知 一般に高次項を含む色補正モデルによる色補正は不安定
複数の色補正モデルを当てはめた結果から,モデル選択によって現実的な色補正モデルを選択する.
SSII2010 第16回画像センシングシンポジウム
数値シミュレーション(2)数値シミュレーション(2)
多項式モデルによる色補正パラメータのレベル制約付き最適推定とモデル選択
【2次多項式モデル】
【内部拘束】ある特定の色レベル が特定の色レベル に補正される.
【目的関数】
(a) 理想画像と波形表示
0
50
100
150
200
250
300
0 50 100 150 200 250
Ideal
SSII2010 第16回画像センシングシンポジウム
(b) 色変換画像と波形表示
0
50
100
150
200
250
300
0 50 100 150 200 250
IdealTransformedData
SSII2010 第16回画像センシングシンポジウム
(c) クリップされたデータを除外した場合の1次式による色補正モデル
0
50
100
150
200
250
300
0 50 100 150 200 250
Ideal1st CorrectionData
SSII2010 第16回画像センシングシンポジウム
(d) 色補正モデル(c)による補正画像と波形表示
0
50
100
150
200
250
300
0 50 100 150 200 250
IdealCorrected
SSII2010 第16回画像センシングシンポジウム
0
50
100
150
200
250
300
0 50 100 150 200 250
(e) レベル制約を課した多項式色補正モデル
Ideal1st Correction
Data
SSII2010 第16回画像センシングシンポジウム
0
50
100
150
200
250
300
0 50 100 150 200 250
Ideal1st Correction 2nd Correction
Data
SSII2010 第16回画像センシングシンポジウム
(e) レベル制約を課した多項式色補正モデル
0
50
100
150
200
250
300
0 50 100 150 200 250
Ideal1st Correction 2nd Correction 3rd Correction
Data
SSII2010 第16回画像センシングシンポジウム
(e) レベル制約を課した多項式色補正モデル
0
50
100
150
200
250
300
0 50 100 150 200 250
Ideal1st Correction 2nd Correction 3rd Correction 4th Correction Data
SSII2010 第16回画像センシングシンポジウム
(e) レベル制約を課した多項式色補正モデル
SSII2010 第16回画像センシングシンポジウム
色補正モデルのモデル選択色補正モデルのモデル選択
未知パラメータの自由度
基準長.データが になるように選ぶ.
【幾何学的AIC】
【幾何学的MDL】
【二乗ノイズレベル】一般モデル(最も自由度の高いモデル)から計算する.1次元4次多項式モデルを一般モデルとすると,
⇒ 幾何学的AICあるいはMDLが最小になるモデルを選択する.
(f) 色補正モデル(e)の4次多項式による補正画像と波形表示
0
50
100
150
200
250
300
0 50 100 150 200 250
IdealCorrected
SSII2010 第16回画像センシングシンポジウム
モニタ撮影画像
SSII2010 第16回画像センシングシンポジウム
実画像実験実画像実験
理想カラーチャート
SSII2010 第16回画像センシングシンポジウム
実画像実験実画像実験
レベル制約なしの最適推定による色補正画像
SSII2010 第16回画像センシングシンポジウム
実画像実験実画像実験
理想カラーチャート
SSII2010 第16回画像センシングシンポジウム
実画像実験実画像実験
レベル制約付き最適推定による色補正画像
SSII2010 第16回画像センシングシンポジウム
実画像実験実画像実験
レベル制約なしの最適推定による色補正画像SSII2010 第16回画像センシングシンポジウム
実画像実験実画像実験
SSII2010 第16回画像センシングシンポジウム
まとめと今後の課題まとめと今後の課題
再撮モニタの色補正を行うために,既知の色レベルからなるカラーチャートをモニタに表示したものをカメラで撮影して,撮影画像中のカラーチャートの色レベルを自動的に検出した.観測誤差やガマット誤差を考慮した最適なパラメータ推定による色補正を行った.
ビデオ信号において標準的に用いられる輝度色差色空間における色補正モデルによる色補正も検討することである.色補正モデルとして,3次元アフィン変換モデル,1次元多項式モデルを用いたが,その他のモデルも検討したい.
立体視映像の撮影への適用も検討したい.