1

フォトニック結晶を用いたワンショット分光偏光カメラ

宇都宮大学 大学院工学研究科

情報システム科学専攻

助教 篠田 一馬

2

背景: 分光画像とは

RGB画像 分光画像（マルチスペクトル画像）

実物体

3

• リモートセンシング[1]、医用画像[2]、異物検出等

背景: 分光画像の応用例

[1] X. Lu, J. Zhang, T. Li, Y. Zhang, Remote Sens. 9(9), 2017.[2] E. Hashimoto et al., SPIE Medical imaging, 101400Z, Feb. 2017.

4

従来技術: 分光カメラ

• 回転フィルタによる複数回撮影，グレーティングによるラインスキャン撮影等

回転フィルタ型カメラ[3]

[3] M. Yamaguchi et al., J. Imaging Sci. Technol., Vol. 52, No. 1, Jan. 2008.[4] JFEテクノリサーチ株式会社, http://www.jfe-tec.co.jp/product/hikari/imspector.html, 2014.

ラインスキャン型カメラ [4]

5

従来技術: 分光フィルタアレイ

• 分光画像のワンショット撮影

– RGB + Cyan, Orangeの5band

[5] Y. Monno et al., IEEE Trans. on Imag. Process., vol.24, no.10, pp.3048-3059, Oct. 2015.

6

背景: 偏光（画像）とその応用例

• 形状推定[6]，霧や水中の見えの改善[7]

実物体 無偏光

直線偏光板直線偏光

[6] A. Kadambi et al., IEEE ICCV, pp. 3370-3378, 2015.[7] T. W. CroninPhilos et al., Trans. R. Soc. Lond. B. Biol. Sci., vol. 366, pp.619-626, 2011.

7

従来技術: 偏光フィルタアレイ

• 偏光分布のワンショット撮影

– 0, 45, 90, 135度の直線偏光子を配置

–撮影波長帯域が限定される

偏光カメラ用フィルタアレイ（画素ごとに直線偏光板の向きを変更）

1 pixel

4D Technology, PolarCam[8]

[8] 4D Technology, http://www.optoscience.com/maker/4dtechnology/, 2018.

8

提案技術: 分光偏光フィルタアレイ

• 画素毎に分光偏光特性が異なるフィルタ作成

• 分光，偏光，RGB画像を一度に復元

フォトニック結晶型フィルタアレイ搭載カメラ

ワンショット撮影

デモザイク撮影画像

分光偏光画像

分光画像 RGB画像 偏光強度画像

1pixel

9

フォトニック結晶

• 波状構造を持つ酸化物多層膜

• 格子間隔で分光，格子方向で偏光を制御

透過光

入射光

格子間隔

格子方向

ガラス基板

多層膜

水平・垂直偏光の透過感度

格子間隔を変えた水平透過感度

10

フォトニック結晶型分光偏光フィルタアレイ

• 多層膜の微細構造を画素単位で変えることで，分光偏光フィルタアレイを製作

Filter 1 (265nm) Filter 2 (280nm)

Filter 3 (290nm) Filter 4 (305nm)

1pixel

1pixel

11

フィルタアレイの製造方法

• 石英基板を微細加工し，自己クローニング法による多層膜を形成

電子線リソグラフィによるガラス基板加工

成膜表面のSEM像

12

分光偏光カメラの試作

• 成膜したフィルタアレイをモノクロカメラのイメージャに接着

多層膜をCCD表面に貼り付ける

使用カメラ: ARTRAY社製モノクロカメラARTCAM-150P5-BW-WOM-UU

白色板を撮影した画像フィルタアレイ境界，赤枠が4x4pixel

13

画像撮影・復元の流れ

• ワンショットでグレイスケール画像を取得

撮影

グレイスケール画像フィルタアレイ搭載カメラ

注意: フィルタアレイの分光感度は画素ごとに異なるだけでなく，偏光角度によっても異なる

0度偏光に対する感度 90度偏光に対する感度

実物体1pixel

14

画像撮影・復元の流れ

• ワンショットでグレイスケール画像を取得

𝒙

𝚽 𝒚 = 𝚽𝒙

画像復元（デモザイク）は，撮影画像 およびフィルタアレイ感度情報 から実物体の光情報 を推定する問題と等価

𝚽𝒚𝒙

グレイスケール画像フィルタアレイ搭載カメラ

撮影実物体

1pixel

15

画像撮影・復元の流れ

• 撮影画像 から実物体の光情報 を推定

𝒙𝒚

グレイスケール画像

画像復元（デモザイク）実物体

𝒚 𝒙

ෝ𝒙 = 𝑾𝒚

: の疑似逆行列 （他にもWiener推定行列など適用可能）𝚽𝑾

16

画像撮影・復元の流れ

• 1回の行列積で様々な画像を復元可能

• リアルタイム処理に有利

グレイスケール画像

𝒚 分光偏光画像

-45°45°

0° 90°

ෝ𝒙 = 𝑾𝒚分光画像

ෝ𝒙𝑴𝑺𝑰 = 𝑴ෝ𝒙RGB画像

ෝ𝒙𝑹𝑮𝑩 = 𝑻ෝ𝒙𝑴𝑺𝑰

: の疑似逆行列 （他にもWiener推定行列など適用可能）: 第一ストークスパラメータの抽出行列: XYZ-RGB変換，XYZ等色関数，再現照明を含む行列

𝚽𝑾𝑴𝑻

17

実験と評価

• テストチャートと携帯端末を試作カメラで撮影

–液晶画面からの光は0度偏光のみ

–復元波長: 420nm-720nm@10nm, 31 bands

–復元偏光: 0, 90度直線偏光

Captured area

18

撮影画像および復元結果

撮影画像

デモザイク後の画像

500nm,0度 600nm,90度RGB

RGB,0度 RGB,90度 DOLP,500nm DOLP,600nm

19

想定用途

• RGBカメラとして利用可

–デジカメ，携帯端末向けの汎用用途

• 分光カメラとして利用可

–成分分析，異物検出，色補正，医療応用

• 偏光カメラとして利用可

–反射光除去，形状推定

• 波長依存の偏光特性も可視化できる

• 動画も撮影できるため，応用は多岐

20

用途の一例: 車載カメラ

• RGB成分

– ドライブレコーダー，歩行者・危険物検知，道路標識認識

• 分光成分

–近赤外線による夜間の歩行者・危険物検知

–異なる日照下でのRGB画像の色補正

• 偏光成分

–濃霧除去，フロントガラス等の反射除去，雨天時夜間の水面反射除去

21

実用化に向けた課題

• 画像の復元精度向上

–フィルタアレイの感度設計およびデモザイク手法の改良が不可欠

• クロストーク

–デバイスの改良

22

企業への期待

• 分光偏光カメラの開発に関する共同研究

–フォトニック結晶の成膜工程の改良

– （フォトニック結晶に限らず）同等の機能を有するデバイスの共同開発

• 応用・評価に関する共同研究

–従来の分光カメラや偏光カメラでは検出・可視化できない課題の探索

–分光偏光“動”画像のニーズ探索

23

本技術に関する知的財産権

• 発明の名称 ：フィルタ、画像撮影装置および画像撮影システム

• 出願番号 ：特願2016-175460

• 出願人 ：宇都宮大学

• 発明者 ：篠田一馬、大寺康夫

24

問い合わせ先

宇都宮大学 地域共生研究開発センター

産学連携・知的財産部門 濱地 正成

ＴＥＬ 028-689-6316

ＦＡＸ 028-689-6320

e-mail chiiki＠miya.jm.utsunomiya-u.ac.jp