修士論文

アウトフォーカス画像に対する新しい鮮鋭化処理について

岡山理科大学大学院

総合情報研究科

情報科学専攻 情報システム学研究室

Ｉ１０ＩＭ０１ 朝倉 裕貴

1．はじめに ............................................................................................................................................... 1

2．一般的に用いられるフィルタ処理 ...................................................................................................... 2

2．1．平滑化フィルタ .......................................................................................................................... 2

2．1．1．移動平均フィルタ ............................................................................................................. 2

2．1．2．ガウシアンフィルタ ......................................................................................................... 3

2．1．3．メディアンフィルタ ......................................................................................................... 4

2．2．鮮鋭化フィルタ .......................................................................................................................... 5

2．2．1．ラプラシアンフィルタ ...................................................................................................... 6

2．2．2．アンシャープマスクフィルタ........................................................................................... 6

3．インパルス応答によるフィルタ処理 ................................................................................................... 8

3．1．FIR フィルタ .............................................................................................................................. 8

3．2．IIR フィルタ ............................................................................................................................... 9

3．3．FIR フィルタと IIR フィルタによる信号の復元 .................................................................... 10

3．4．FIR フィルタと IIR フィルタでの問題点 ............................................................................... 10

3．4．1．フィルタ処理の問題点(1 次元信号) ............................................................................... 10

3．4．2．フィルタ処理の問題点(2 次元信号) ............................................................................... 15

4．フィルタの実際の流れ ....................................................................................................................... 17

4．1．FIR フィルタのテンプレート表現(1 次元) ............................................................................. 17

4．2．IIR フィルタテンプレート表現(1 次元) .................................................................................. 17

4．3．FIR フィルタのテンプレート表現(2 次元) ............................................................................. 18

4．4．IIR フィルタのテンプレート表現(2 次元) .............................................................................. 18

5．実際の画像による実験 ....................................................................................................................... 20

5．1．復元処理の実験方法 ................................................................................................................. 20

5．2．評価方法 .................................................................................................................................... 21

5．3．比較方法 .................................................................................................................................... 21

5．4．FIR 処理による実験 ................................................................................................................. 21

5．5．FIR フィルタ処理画像に対して IIR フィルタ処理による実験.............................................. 23

6．近似による復元実験 ........................................................................................................................... 25

7．実際の大きい画像に対しての実験結果 ............................................................................................. 27

7．1．大きい画像に対する FIR フィルタ処理による実験 ............................................................... 27

7．2．FIR フィルタ処理を行った大きい画像に対して IIR フィルタ処理による実験 ................... 29

8．部分的に焦点ずれを起こしている画像に対する実験....................................................................... 32

8．1．画像に部分的に FIR フィルタ処理を行う実験 ....................................................................... 32

8．2．FIR フィルタ処理を部分的に行う画像に対して IIR フィルタによる逆処理の実験 ............ 32

9．実際の画像に対して鮮鋭化の実験 .................................................................................................... 34

9．1．原画像に対する IIR フィルタ処理による鮮鋭化の実験方法 ................................................. 34

9．2．原画像に対して IIR フィルタ処理による鮮鋭化の比較方法 ................................................. 35

9．3．IIR フィルタ処理と従来の方法による実験 ............................................................................ 35

10．部分的に鮮鋭化を行う実験 ............................................................................................................. 39

10．1．画像に部分的に IIR フィルタ処理よる鮮鋭化実験 .............................................................. 39

11．まとめ ............................................................................................................................................... 41

謝辞 .......................................................................................................................................................... 42

参考文献 ................................................................................................................................................... 43

1

1．はじめに

近年のデジタルカメラは，手ぶれ補正やノイズ性能など高機能になっていることから，撮影した画

像に関し画質劣化を生じにくくなっている．しかし，撮影時の対象物相互の位置関係によっては焦点

がずれてしまうため，画像内のどこかで画質劣化が起きてしまう．

この主としてレンズの焦点ずれによる画質劣化は，フーリエ変換係数の高周波成分により表すこと

が可能である．したがって焦点の合った画像として復元するには，対象となる画像のフーリエ係数を

焦点ずれ以前の値に戻し，この係数を逆フーリエ変換すればよい．一方，画像処理のため一般に用い

られる平滑化フィルタ処理や鮮鋭化フィルタ処理はフーリエ変換係数の特定周波数成分を零にするも

のが多いことから，このような零点を含むフィルタに関する上記のような逆操作は困難となる．しか

し本研究により，フィルタ処理を畳み込み操作で表し，条件を満たすよう変形することにより，焦点

ずれの原因となったフィルタおよび零点を含む周波数特性のフィルタ共にフーリエ変換係数に関する

復元操作の可能であることが明らかになった．すなわち，零点を含まないフィルタ処理にとどまらず

零点を含むフィルタに関しても，条件を満たした逆操作により完全な復元の可能な汎用性の高い方法

を構成することが可能となる．この零点を含む周波数特性にも関わらず画像の復元が可能な手法を用

いて，画像のサイズが大きい場合，部分的な処理を行うことにより復元できることを実験により明ら

かにする．また，焦点ずれ画像に関するフーリエ変換係数値の変化を FIR フィルタで近似し，その逆

操作を IIR フィルタにより実現することで，フーリエ変換係数を増減することができ，画像の鮮鋭化

が可能であることを示す．これにより，一般的な焦点ずれ画像に対する，IIR フィルタを用いた鮮鋭

化処理の結果が従来の方法よりも優れた結果の得られることを明らかにする．

2

2．一般的に用いられるフィルタ処理

ローパスフィルタとして使用されている平滑化フィルタとローパスフィルタ処理された画像に対す

る鮮鋭化フィルタについて示す．

2．1．平滑化フィルタ

平滑化フィルタとして一般的によく用いられるものに，移動平均フィルタ，ガウシアンフィルタ，

メディアンフィルタの 3 種類がある．平滑化フィルタは，画像にあるランダムなノイズを除去し，画

素ごとの濃度値の細かい変化を少なくし，見やすい画像を得るために滑らかな画像またはぼやけがか

かった画像にする平滑化フィルタ処理として使われている．しかし，この手法は，エッジ(輪郭)もぼ

やけてしまい画質の劣化が起きるという欠点がある．以下では，これらフィルタの特徴を述べる．

2．1．1．移動平均フィルタ

移動平均フィルタ(別名:平均化フィルタ)では，注目画素と周辺画素の輝度値を用いた平均処理より，

処理画像の輝度値を得る手法である．画像全体の輝度値がこの処理により大きく変化することのない

ようにフィルタの係数の重みを合計した値が 1 になるように設定するのが一般的である．

例として，フィルタサイズ 5×5 の移動平均フィルタを示す．

11111

11111

11111

11111

11111

25

1

(a) 25 点移動平均フィルタ

nnnn

n

n

aaa

aa

aa

aaa

aaaaaa

aaaaaa

n

21

5251

4241

333231

22524232221

11514131211

1

(b) n 点移動平均フィルタ

図 1 移動平均フィルタ

フィルタサイズが 5×5の 25点移動平均フィルタ(図 1(a))はフィルタサイズ n×nの移動平均フィル

タのひとつとして扱うことができる(図 1(b))．画像(図 2(a))に 25 点移動平均フィルタ処理を行った結

果を示す(図 2(b))．全体的にぼけており焦点ずれを起こしているように見えることがわかる．

3

(a) 原画像

(b) 25 点移動平均処理画像

図 2 移動平均フィルタによる実験

2．1．2．ガウシアンフィルタ

移動平均フィルタでは注目画素周辺の濃度値から単なる平均値を求めていたが，一般的な画像では

注目画素に近い画素の輝度値は注目画素の輝度値との差が小さい場合が多く，注目画素から遠くなれ

ばなるほど，注目画素の輝度値とは差が大きくなる場合が多い．この事を考慮し，注目画素に近いほ

ど平均値を計算するときの重みを大きくし，遠くなればなる程重みを小さくするよう，ガウス分布関

数を利用して平均値を求める手法がガウシアンフィルタである．

2

22

2 2exp

2

1,

yxyxf (1)

このとき標準偏差 の値が小さくなれば平滑化の効果は小さくなり，大きくなれば効果は大きく

なる．例として，フィルタサイズが 5×5 1 のときのガウシアンフィルタを示す(図 3)．

14641

41624164

62436246

41624164

14641

256

1

図 3 ガウシアンフィルタ

原画像(図4(a))にガウシアンフィルタ処理を行った結果を以下に示す(図4(b))．移動平均フィルタ(図

2(b))と比較すると，ガウシアンフィルタのほうが焦点ずれは少なく見え，画質の良いことがわかる．

4

(a) 原画像

(b) ガウシアンフィルタ処理画像

図 4 ガウシアンフィルタによる実験

2．1．3．メディアンフィルタ

平滑化フィルタでは注目画素の周辺画素の濃度値を平均し，ノイズを除去していた．しかし，画像

が焦点ずれを起こしたように見える欠点があった．それに対し，メディアンフィルタでは周辺濃度値

を数値の大きさに従って並べ，メディアン(中央値)を選びこの値と注目画素とを置き換えることでノ

イズを除去するようにしている．このフィルタは，周辺要素の濃度値とは大きく異なるノイズ(別名ゴ

マ塩ノイズ，スパイクノイズ)を除去するときに効果が発揮される．しかし，メディアンフィルタは非

線型処理なので処理画像から元の画像を復元することは難しい．

例としてフィルタサイズ 5×5 のメディアンフィルタ処理について説明する．

123933110120

7980299948

42511703575

5431204044

59551181050

図 5 フィルタ画像の画素の輝度値

画像から合計 25 個の，注目画素(この例では中央にある 170)と周辺濃度値を取得する．取得した濃

度値を順番(昇順または降順)に並び変えると以下のようになる(図 6)．

1701201181109979755959555451

50484442403935333129201210

図 6 並び変えた画素の輝度値

5

こうして並べた濃度値の中からメディアン(中央値)である50を取り出し元の注目画素の170と置き

換えることにより以下の結果が得られる(図 7)．このようなフィルタ処理を画像全体に対して行うこと

で濃度値の変化が大きいゴマ塩状ノイズやスパイク状のノイズを除去することが可能となる．

123933110120

7980299948

4251503575

5431204044

59551181050

図 7 画像の画素の輝度値

メディアンフィルタを用い画面全体に対して繰り返し処理することにより，濃度値の大きな変化と

してあらわれるゴマ塩状ノイズや，スパイクノイズを除去することが可能である．例として，白と黒

のノイズを混入させた画像(図 8(a))にメディアンフィルタ処理を行った結果を示す(図 8(b))．

メディアンフィルタ処理により，ゴマ塩型ノイズを除去でき，画質の劣化は比較的少なくて済むこ

とがわかる．しかし，メディアンフィルタの処理は非線型処理なので，復元や鮮鋭化には向かない．

(a) ノイズ混入画像

(b) メディアンフィルタ処理画像

図 8 メディアンフィルタによる実験

2．2．鮮鋭化フィルタ

画像の濃度値が本来は急変しているべき輪郭の部分などで濃度値の変化が緩やかになっている場合，

図形の輪郭がぼやけた画像に見えてしまう．このような画像に対して，濃度値の変化を強調(微分)す

ることにより，鮮明な画像を得ることを鮮鋭化フィルタ処理と言う．デジタル画像にこの処理を施す

場合は，ラプラシアンフィルタを用いたアンシャープマスク処理が一般では良く使用されている．ア

ンシャープマスク処理の例を次に示す．

6

2．2．1．ラプラシアンフィルタ

ラプラシアンフィルタは，2 次元の 2 次微分の近似数値を求め，輪郭を検出するフィルタである．

このフィルタ処理により，輝度の差分の変化量が極端に大きくなっている部分を抽出できるだけでは

なく，緩やかな濃度変化からエッジ検出を行うことが可能であることから，輪郭線のみの画像を作成

することも可能となる．

例として，フィルタサイズ 5×5 のラプラシアンフィルタを以下に示す(図 9)．

ラプラシアンフィルタ

11111

11111

112411

11111

11111

図 9 ラプラシアンフィルタ処理

原画像(図 10(a))にラプラシアンフィルタ処理を行った結果(図 10(b))，輪郭部分がきれいに抽出さ

れ，明瞭な白黒の線画像になっていることがわかる．

(a) 原画像

(b) ラプラシアンフィルタ処理画像

図 10 ラプラシアンフィルタによる実験

2．2．2．アンシャープマスクフィルタ

アンシャープマスクフィルタとは焦点ずれをしている画像に対して，画像のエッジ沿いにコントラ

ストを強調することで，画像を鮮鋭化する手法である，画像を意図的に平滑化し，原画像との差分画

像を作成することで鮮鋭化部分を取り出し，その差分像を原画像に加算することで画像の鮮鋭化を行

うことができる．アンシャープマスクフィルタを直訳した場合 “鮮鋭では無くす” 狭いという意味に

とらえられるが本来は “ずれた部分を隠す” 意味合いで使わるためアンシャープマスクフィルタと呼

ばれている．実際にどのような計算が行われているか図示すると次のようになる (図 11)．

7

平滑化原画像原画像　　原画像

k

11111

11111

11111

11111

11111

25

1

00000

00000

00100

00000

00000

00000

00000

00100

00000

00000

図 11 アンシャープマスクフィルタ処理

これらの処理を一つにまとめると以下のようなマスクとして表すことができる(図 12)．

kkkkk

kkkkk

kkkkk

kkkkk

kkkkk

24125

1

図 12 アンシャープマスクフィルタ

このときの k はしきい値としての役割を持っており，この値が大きくなればなるほど鮮明になる

効果が得られるが，鮮鋭にしすぎるとエッジの周りにハロー効果が生じてしまうので注意が必要とな

る．原画像(図 13(a))にアンシャープマスクフィルタ処理を行うと，輪郭部分の強調されている画像に

なっている事がわかる(図 13(b))．

(a) 原画像

(b) アンシャープマスク処理画像

図 13 アンシャープマスクによる実験

これらの手法は単純な加算減算で行われている手法であり，因子 k を使うだけなどの単純なフィ

ルタの設計しか行えず周波数特性に零点を含むものが多い．これに対し，画像の画質劣化をフーリエ

変換係数の高周波成分に対する操作として表し，この逆処理により復元または鮮鋭化を目指す新しい

手法を導出する．

8

3．インパルス応答によるフィルタ処理

一般に，インパルス応答に基づきフィルタを設計することが可能である．有限長のインパルス応答

に基づき設計されたフィルタを FIR フィルタと呼び，無限長のインパルス応答に基づいて設計された

フィルタを IIR フィルタと呼ぶ．ここでは有限インパルス応答フィルタの逆特性のものを IIR フィル

タにより実現できることを明らかにする．また，2 次元に拡張したフィルタについて説明する．

3．1．FIRフィルタ

長さがNの有限インパルス応答(Finite Impulse Response 以下 FIRと表記)を有するフィルタであ

る．入力 nx と出力 ny を用いて，以下のような畳み込み処理により表すことができる(式 2)．

N

0k

k knxany 　 (2)

係数 ka は時刻 k でのインパルス応答を表している．この式の両辺に z 変換を施すと以下の関係が得

られる(式 3)．ここで， zH1 はインパルス応答の z 変換を表している．

zXzH

zXza

knxZa

knxaZ

nyZzY

k

k

k

k

k

k

k

1

N

0

N

0

N

0

)(

　

　

　

　

(3)

同様にして，フィルタサイズ N M の 2 次元インパルス応答を得ることができる(式 4)．

21211

21

N

0

21

M

0

N

0

M

0

N

0

M

0

N

0

M

0

,,

,),(

,),(

,),(,

,),(),(

zzXzzH

zzXzznma

nhmvXZnma

nhmvXnmaZhvYZ

nhmvXnmahvY

n

nm

m

nm

nm

nm

　

　

　

　

　

(4)

9

3．2．IIRフィルタ

IIR フィルタの入力を ny とし，出力を nt により表す．これにより再帰型の IIR フィルタは以

下のように入出力関係を入れ替えることにより，FIR を用いた畳み込み処理として表すことが可能と

なる．これを入力 ny 対する出力 nt に関した無限インパルス応答(Infinite Impulse Response

以下 IIR と表記)と呼ぶ(式 5)．

M

0k

k kntbny 　 (5)

係数 kb は FIR フィルタのインパルス応答を表している．式の両辺に z 変換を施し，書き直すと

以下の関係が得られる(式 6)．また， zH 2 は無限インパルス応答の z 変換を表している．

)()(

1)(

)()()(

)()()()(

)()()(

)()()(

2

M

0

M

0

M

1

0

M

1

0

M

1

0

zYzH

zY

zb

zT

zYzTzb

zTzbzYzTb

kntbnyntb

kntbnyntb

k

k

k

k

k

k

k

k

k

k

k

k

k

(6)

zH2 は無限インパルス応答の z 変換なので， zH2 はこれから得ようとしている出力 ny

に対する有限長の畳み込み処理を表しているとみなせる．これに対し，入力 nx に対応した有限長

の畳みこみ処理は有限インパルス応答になることを注記しておく．これをフィルタサイズ NM の

2 次元のフィルタに拡張すると以下の結果が得られる(式 7)．

),(,

),(

),(

),(

1,

),(),(,

),(

,),(,)0,0(

,),(),(,)0,0(

,),(),({)0,0(

1,

21212

21

21N

0

21

M

0

21

21

N

0

21

M

0

21

N

0

M

0

N

0

M

0

N

0

M

0

zzXzzH

zzX

zzY

zznmb

zzT

zzTzznmbzzY

hvY

nhmvTnmbhvTb

nhmvTnmbhvYhvTb

nhmvTnmbhvYb

hvT

m

nm

m

m

nm

m

nm

nm

nm

　　　　

　　　　

　　　　　　 (7)

10

3．3．FIRフィルタと IIRフィルタによる信号の復元

以上の結果(式 3，6)より FIR およびと IIR フィルタにより順次信号処理をすると，次の結果が得ら

れる(式 8)．

zXzHzH

zX

zb

za

zY

k

k

k

k

k

k

21

1M

0

1N

0

　

(8)

2 次元信号の場合は先に求めた結果(式 4，7)より以下のような関係が得られる(式 9)．

21212211

21N

0

21

M

0

N

0

21

M

021

,,,

,

),(

),(

,

zzXzzHzzH

zzX

zznmb

zznma

zzY

n

nm

m

n

nm

m

　

(9)

NM のとき FIR フィルタ zH1 で処理した入力信号を，IIR フィルタ zH2 で処理する際

に ),(),( nmbnma 1N,2,1,0,, 　　　　nm とすれば， 121 zHzH となる．これにより

zXzT となることから入力信号を再現することが可能となる．以降，この関係を用い実際の画

像に対する復元処理や鮮鋭化を行う．

3．4．FIRフィルタと IIRフィルタでの問題点

zH1 で z je と置き範囲を または 20 のどちらかに置くことによ

り周波数特性を求めることができる．この伝達関数に関し，振幅の周波数特性に零点がある場合，こ

のようなフィルタでは信号を正確には復元できない問題が生じてしまう．その例を以下に示す．

3．4．1．フィルタ処理の問題点(1次元信号)

1 次元の入力信号 nx に 3 点移動平均フィルタを適用した場合，伝達関数に零点が生じる． 3 点

移動平均フィルタと，周波数特性の求め方を以下に示す(図 14，式 10，11，12，13)．

1113

1

図 14 3 点移動平均フィルタ

213

1 nxnxnxny (10)

このフィルタ(式 10)に対するインパルス応答は以下のように表すことができる(式 11)．

11

213

1 nnnny (11)

z 変換により得られる伝達関数 zH は次のようになる(式 12)．

2113

1 zzzH (12)

これより，周波数特性(振幅，位相)は以下のようになる(式 13)．

j

jjj

jjj

e

eee

eeeH

3

cos21

13

1

13

1 2

　

　 (13)

これにより 3 点移動平均フィルタ(図 14)の周波数特性を求めることができる．ここで，項

3

cos21 は虚数部を含まない振幅特性，項

je は位相特性 を表している．

3 点移動平均フィルタの場合，振幅に関する周波数特性 3

cos21 に関する零点が問題と

なる．上記に示した周波数特性(式 13)の伝達関数が 0 となる，零点を求めることができる(式 14)．

3

2

cos2

1

cos210

3

cos210

　　 (14)

これにより の値が 3

2のとき出力 ny の値は零となることが分かる．この 3 点移動平均フ

ィルタの振幅に関する周波数特性と逆周波数特性は以下のようになる(図 15) ．

(a) 1 次元 3 点移動平均フィルタの

周波数特性(零点を含む)

(b) 1 次元 3 点移動平均フィルタの

逆周波数特性(発散する)

図 15 フィルタの周波数特性(零点を含む)

12

3 点移動平均フィルタの振幅に関する周波数特性に零点を含んでいるのがわかる(図 15(a))．この周

波数特性の逆周波数特性を求めると，零点に近くになるにつれて値が大きくなり，零点で無限大にな

ることから，不連続で荒れた形になる(図 15(b))．すなわち，不安定になる．一方，ガウシアンフィル

タを用いることができる．ガウシアンフィルタの周波数特性は以下のようになる(図 16(a)，(b))．

(a) 1 次元ガウシアンフィルタの

周波数特性(零点を含まない)

(d) 1 次元ガウシアンフィルタの

逆周波数特性の拡大(発散しない)

図 16 フィルタの周波数特性(零点を含まない)

零点を含まない場合はフィルタの周波数特性(図 16(a))も逆周波数特性も滑らかである(図 16(b))．

このような零点を含まないフィルタに関しては，逆処理による誤差の影響が少なくなるものと考えら

れる．この特性をもとに従来よりも優れた鮮鋭化法の構成を試みる．ところで，零点を含むフィルタ

で逆処理を行うと画像が劣化すると記したが，焦点ずれ処理が行われ始める場所での数値が分かれば

零点を含んでいても逆処理による復元は可能であることがわかった．零点を含む 3 点移動平均フィル

タを用いて復元が不可能である場合と復元が可能である場合の例を，座標 N ，入力信号 Nx ，

中間信号 Ny ，復元信号 Nt ，関係(式 8)より，以下に示す(図 17)．

27328273000Nt

333.4333.4667.311000Ny

2382100Nx

4321012N

図 17 復元が不可能である例(零点を含む)

原点を 0N とし，入力に対し 3 点移動平均フィルタを用い処理した結果である．ここで，本来

0N のとき，出力の数値は約 0.333 であるが，この数値を 10 に変更し以降計算をしている．これ

は焦点ずれ処理が行われて始める場所 0N で，復元に必要となる数値が残っていないことを表し

ている．復元信号 Nt は入力信号 Nx とは違う数値である．すなわち，焦点ずれを起こしてい

る点 0 N に対して，原点の中間信号 Ny の数値が残っておらず，周波数特性に零点を含む場合，

復元は不可能であることがわかる(図 17)．

13

2382100Nt

333.4333.4667.31333.000Ny

2382100Nx

4321012N

図 18 信号が可能である例(零点を含む)

原点を 0N とし，入力に対し 3 点移動平均フィルタを用い処理した別の結果を示す (図 18)．

先程の復元が不可能である例(図 17)では原点の数値を 10 に変更し計算を行った．ここでは焦点ずれ

を起こしている原点を変更せずに計算を行っている．これは焦点ずれの始まる場所に復元に必要な数

値が残っていることを意味している．その結果，復元信号 Nt は入力信号 Nx と同じ数値にな

ることがわかる．すなわち，焦点ずれを起こし始める原点に対して，原点の中間信号 Ny の，復

元に必要な数値が残っており，焦点ずれを起こしている点から始めることにより，周波数成分に零点

を含む場合でも復元できることがわかる．一方，周波数特性に零点を含んでいないフィルタの逆周波

数特性は滑らかであり復元が可能であるかに見える．しかし，周波数特性に零点を含んでいない場合

でも不具合がある．その例を以下に示す(図 19，20)．

11954428.26934407.1371444.3016667.6600Nt

6.977.445.11000Ny

15975100Nx

4321012N

図 19 復元が可能でない例(零点を含まない)

15.07.015.0

図 20 フィルタ(零点を含まない)

零点を含まないときについても原点の中間出力 Ny の始点に関する数値が残っていない場合，

焦点ずれを起こしている点から始めていないときは復元が不可能である．しかし，原点の中間出力

Ny の数値がわかり，焦点ずれを起こしている点から始めることにより復元が可能となる(図 21)．

15975100Nt

6.977.445.115.000Ny

15975100Nx

4321012N

図 21 復元が可能できる例(零点を含まない)

このように原点の中間出力に始点に関する数値が残っていると，焦点ずれを起こしている点から始

めることにより復元が可能となる．この考え方を用いて，入力信号 Nx に用いたフィルタと違う

フィルタを用いて復元や鮮鋭化の可能性がある．入力信号 Nx にフィルタを用い，中間信号

Ny に違うフィルタを用いて，復元信号 Nt を求めた結果を以下に表す(図 22，23)．

14

171965957354125300Nt

6.977.445.115.000Ny

15975100Nx

4321012N

図 22 鮮鋭化ができない例(零点を含まない)

05.09.005.0

図 23 入力 Nx に用いたのとは異なるフィルタ(零点を含まない)

このように(図 22)数値が大きくなってしまい，鮮鋭化ができていない．周波数特性は無限長のイン

パルス応答により表現されるため，ここで用いた 3点のフィルタでは不十分ではないかと考えられる．

しかし，実際の画像から焦点ずれを起こしている点を見つけることや値を求めることは，フィルタの

計算量が莫大となることから難しい．そこで位相をずらした鮮鋭化を試みる(図 24，25)．

970662.9404121.7123971.5601852.116667.000Nt

6.977.445.115.000Ny

15975100Nx

4321012N

図 24 鮮鋭化が可能できる例(零点を含まない)

09.005.005.0

図 25 位相をずらしたフィルタ

入力信号 Nx にフィルタ(図 20)を適用し，求まった中間信号 Ny に対し係数の対称性を崩

すことで位相をずらしたフィルタ(図 25)を適用し，鮮鋭化信号 Nt を計算する(図 24)．このよう

にフィルタの位相をずらす(図 25)ことにより，入力信号 Nx に対し鮮鋭化ができなかった例(図

22)と違い，鮮鋭化信号 Nt の数値が定数 N が 1 ずれ，鮮鋭化信号 Nt の数値が少し大きく

なっていることがわかる(図 24)．しかし，この方法を用いても零点を含むフィルタでは鮮鋭化を行う

ことができない．なぜならば，一般のカメラで撮影した画像において，特定の周波数成分を零にする

ことはないからである．すなわち，一般のカメラで撮影した画像の場合，零点を含むフィルタでの逆

処理では対応できないことから，零点を含むフィルタで逆処理を行うと数値が荒くなり，画質が大き

く劣化することになる．

15

3．4．2．フィルタ処理の問題点(2次元信号)

先に述べた 1 次元信号を 2 次元信号拡張した移動平均フィルタとガウシアンフィルタに関し，2 次

元フィルタにつて周波数特性を調べ，零点が存在している移動平均フィルタ A(図 26(a))，零点を含ま

ないガウシアンフィルタ B(図 26(b))の逆周波数特性を調べてみる(図 27，28)．

11111

11111

11111

11111

11111

25

1

(a) フィルタ A(零点を含む)

05.015.00

5.01215.0

121621

5.01215.0

05.015.00

36

1

(b) フィルタ B(零点を含まない)

図 26 各種フィルタ

零点を含む移動平均フィルタ A(図 26(a))について 1 次元のときと同様にして周波数特性が求まり，

以下のようになる(式 17)．

)2cos(2)cos(21(

)2cos(2)cos(21(

)2cos(2)cos(21)(cos(2

)2cos(2)cos(21)(cos(2

)2cos(2)cos(21(),(

22

11251

112

112

11251

21

A

(17)

この結果(式 17)を表すと以下のようになる(図 27)．

(a) フィルタ A の周波数特性(零点を含む)

(b) フィルタ A の逆周波数特性(発散する)

図 27 フィルタ A の逆周波数特性(零点を含む)

1 次元のときと同様，2 次元でも零点を含むフィルタ(図 26(a))周波数特性は滑らかに見える(図

27(a))．しかし，この逆周波数特性を求めると零点に近くになるにつて値が大きくなり，零点では無

限大になることから，滑らかにはならない(図 27(b))．ところで，一般のカメラで撮影した場合には特

定の周波数成分を零にすることはまず無いものと考えられる．すなわち，この零点を含む周波数特性

を有するフィルタで逆処理を行うと，画質が大きく劣化することになる．零点を含まない場合のフィ

ルタ B(図 26(b))は以下のようになる(式 18)．

16

))2cos()cos(2

)2cos()cos(2)2cos(

)2cos(2)2cos()cos(2

)2cos(4)cos(416(),(

2121

212121

1212

12361

21

A

(18)

先程と同様にしてこの結果(式 18)を図に表すと以下のようになる(図 28)．

(a) フィルタ Bの周波数特性(零点を含まない)

(b) フィルタ B の逆周波数特性(発散しない)

図 28 フィルタ B の周波数特性(零点を含まない)

零点を含まない場合はフィルタの周波数特性(図 28(a))も逆周波数特性も滑らかである(図 28(b))．

このような零点を含まないフィルタに関しては，逆処理における誤差の影響も少なくなるものと考え

られる．しかし完全な復元，焦点ずれを起こしている起点と数値を一致させることにより可能なこと

であり，実際の画像に対しては難しい．また，零点を含まないガウシアンフィルタを用いて実際の画

像に関する焦点すれを再現するためには膨大なサイズのフィルタを用意しなくてはならず，そのため

の計算誤差が増えてしまい，その結果発散してしまう可能性がある．そこで，1 次元のときに示した

ように位相をずらした方法により，フィルタのサイズを小さいままにして，従来よりも優れた鮮鋭化

方法を構成することを考える．

17

4．フィルタの実際の流れ

有限インパルス応答(FIR フィルタ)によるフィルタ処理により，画像のアウトフォーカス処理を近

似することができる．有限インパルス応答により表現される画像のアウトフォーカス処理の復元には

無限インパルス応答(IIR フィルタ)を用いた逆処理を行うことで可能となることがわかった．この有限

インパルス応答，無限インパルス応答はテンプレートにより表現することができる．有限インパルス

応答と無限インパルス応答を用いたフィルタ処理を以下に示す．

4．1．FIRフィルタのテンプレート表現(1次元)

前に述べたように(式 2，3)，入力信号 nx に FIR フィルタを順次適用することにより中間出力

ny が得られる．FIR フィルタ処理をテンプレートを用い表すことができる(式 19，図 29)．

,2,1,0,N

0

nknxanyk

k 　 (19)

110

k210

nxnxxx

aaaa

　　　　　　　　

　

　　 　

図 29 FIR フィルタ処理(1 次元)

求めたい中間信号を 0y とする．入力信号 0x と FIR フィルタの係数 0a を用い，順次計

算することにより中間信号 0y を求めることができる．これを全ての入力信号 nx に対して適

用することにより全ての中間信号 ny が求まる．

4．2．IIRフィルタテンプレート表現(1次元)

FIR フィルタにより求められた中間信号 ny と復元信号 nt から，IIR フィルタの式を順次適

用することにより復元信号 nt が得られる．この IIR フィルタ処理をテンプレートを用いて表すこ

とができる (式 20，図 30)．

N

10

N

1

0

N

0

1

,2,1,0,

k

k

k

k

k

k

kntbnyb

nt

kntbnyntb

nknybnt

　

　

　

(20)

)(1)2(1)0(

21)0(1

1210

ntntttt

bbbbb

yyynyny

kk

図 30 IIR フィルタ処理(1 次元)

18

求めたい点を 0t とする．中間信号 0y と IIR フィルタの係数 0b を用いる．中間信号 0y

から既に求めている復元信号 nt と IIR フィルタの係数 nkbk 21，　 で乗算したものを減算

し最後に IIR フィルタの係数 0b で除算することにより復元信号 0t を求めることができる．この

処理を全ての中間信号 ny に対して行うことにより復元信号 nt を求めることができる．

4．3．FIRフィルタのテンプレート表現(2次元)

1 次元信号 nx と同様に，2 次元の入力信号 hvx , に FIR フィルタを順次適用することによ

り中間出力 hvy , を得ることができる．この FIR フィルタ 211 , zzH をテンプレートを用いて表す

ことができる．丸の部分が求めたい点である(図 31)．角の欠けた四角はフィルタのサイズと内にある

残りの求めたい点を表している．これを順次処理することにより求めたい中間信号 hvt , を得るこ

とができる(式 21，図 31)．

1-N

0

1-M

0

,),(,nm

nhmvxnmahvy 　 (21)

図 31 FIR フィルタの実際処理(2 次元)

4．4．IIRフィルタのテンプレート表現(2次元)

中間信号 hvy , に対し FIR フィルタに基づいた逆処理を行うことで復元信号 hvt , を求める

ことができる．IIR フィルタをテンプレートにより表すことができる(式 22，図 32)．

),(

,),(,)0,0(

,),(),(,)0,0(

,),(),({)0,0(

1,

1-N

0

1-M

0

1-N

0

1-M

0

1-N

0

1-M

0

hvy

nhmvtnmahvta

nhmvtnmahvyhvta

nhmvtnmahvya

hvt

nm

nm

nm

　　　　　　

(22)

19

図 32 IIR フィルタの実際の流れ

FIR のときと同様，右下図の丸の部分を求めたい点とすると，まず求めたい点と中間信号 hvy ,

とフィルタの点を合わせる．残りの点は中間信号 hvy , ではなく，復元信号 hvt , に合わせる．

合わしている復元信号 hvt , と丸部分以外の IIR フィルタの数値を乗算し，求めた値と中間信号

hvy , から減算を行う．減算を行い求まった値から丸部分の IIR フィルタ係数で除算することによ

り，復元信号 hvt , の値を求めることができる．残りの点に対しても順次計算を行うことで中間信

号 hvy , と既に求まっている復元信号 hvt , から新しい復元信号 hvt , が得られる．

20

5．実際の画像による実験

提案した FIR フィルタ処理と IIR フィルタによる逆処理の性能を調べるために，実際の画像を用い

た実験を行い，主観評価による比較をする．用いた画像の実験方法，比較方法を以下に示す．

5．1．復元処理の実験方法

実験に用いた画像は SIDBA(Standard Image Data Base:SIDBA)，CIPR Still Images にある標準

画像で，画像サイズ 256×256pixel，8bit×3ch(RGB) = 24bit(カラー)の Lenna，Aerial，Pepper(図

33)である．これらを原画像とし，FIR フィルタによる処理を行い焦点ずれ相当の画像を生成し，IIR

フィルタによる逆処理を行って得た復元画像と原画像とを比較する．ここで，実験に用いたフィルタ

は 25 点移動平均フィルタ A とガウシアンフィルタ B である(図 34)．

(a) Lenna

(b) Aerial

(c) Pepper

図 33 実験に用いた画像

実験に用いたフィルタはフィルタの周波数特性に零点を含む移動平均フィルタA(図34(a))とフィル

タの周波数特性に零点を含まないガウシアンフィルタ B(図 34(b))の二つである．これらフィルタ特性

を比較するため，原画像(図 33(a)，(b)，(c))を用いて数値実験を行った(図 34，図 35)．

11111

11111

11111

11111

11111

25

1

(a) 移動平均フィルタ A(零点を含む)

05.015.00

5.01215.0

12521

5.01215.0

05.015.00

25

1

(b) ガウシアンフィルタ B(零点を含まない)

図 34 各種フィルタ

21

図 35 実験方法

5．2．評価方法

評価方法には様々なものがあるが大まかには 2種類である．一つ目は人の目による主観評価である．

二つ目は数値を使用した客観評価である．主観評価は人間の目による評価なので個人によるばらつき

がでる．しかし，鮮鋭化の評価はエッジ検出などに関する人間の目による比較が主になるのでここで

はそのような主観評価を主とし用い比較をする．

5．3．比較方法

移動平均フィルタ A(図 34(a))とガウシアンフィルタ B(図 33(b))を用いた．FIR フィルタ処理により

アウトフォーカス画像相当にしたものに対し，IIR フィルタによる逆処理を順次適用する．復元した

画像と原画像，復元画像同士を並べ，フィルタの違いによる画質を比較する．以下にその実験結果を

示す．

5．4．FIR処理による実験

比較に用いたのは先に述べたように SIDBA 標準画像には人物画像の Lenna(図 33(a))，風景画像の

Aerial(図 33(b))，CIPR にある標準画像で物体画像の PEPPER(図 33(c))である．原画像のサイズは

256×256 pixel であり，画素値は 8bit×3ch(RGB) = 24bit(カラー)である．この画像に対し零点を含む

移動平均フィルタA(図34(a))と零点を含まないガウシアンフィルタB(図34(b))を適用して得た画像に

対し，比較実験を行う(図 36，図 37，図 38)．

22

(a) 原画像(Lenna)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 36 原画像に各種 FIR フィルタを適用(Lenna)

(a) 原画像(Aerial)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 37 原画像に各種 FIR フィルタを適用(Aerial)

(a) 原画像(Pepper)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 38 原画像に各種 FIR フィルタを適用(Pepper)

23

3 枚のそれぞれ特徴のある原画像に対し，FIR フィルタによる処理を行う実験を行った．零点を含

まないガウシアンフィルタB(図34(b))よりも零点を含む移動平均フィルタA(図34(a))が焦点ずれをよ

り強く起こしているように見える．これは上記で述べたように移動平均フィルタ A は周波数特性に零

点を含み，周辺の数値を用いて単純に平均しているだけなのでガウシアンフィルタ B よりも焦点ずれ

が目立ち，荒れた画像に見えるもの考えられる(図 36(b)，図 37(b)，図 38(b))．零点を含まないガウシ

アンフィルタ B は周波数特性に零点を含まず，どの周波数成分も残るように計算を行っているので移

動平均フィルタ A よりも焦点ずれが少ない画像のように見える(図 36(c)，図 37(c)，図 38(c))．

5．5．FIRフィルタ処理画像に対して IIRフィルタ処理による実験

FIR フィルタ処理により焦点ずれ画像を生成する(図 36，37，38)．この焦点ずれ画像に対し，IIR

フィルタを用い逆処理による復元を行う(図 39，40，41)．

(a) 原画像(Lenna)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 39 IIR フィルタ処理による復元画像(Lenna)

(a) 原画像(Aerial)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 40 IIR フィルタ処理による復元画像(Aerial)

24

(a) 原画像(Pepper)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 41 IIR フィルタ処理による復元画像(Pepper)

FIR フィルタ処理を行った画像に対して，IIR フィルタ処理を用いて逆処理による復元を試みた結

果(図 39(b)，(c)，40(b)，(c)，41(b)，(c))，先に述べたように，ほぼ原画像と同じように復元できてい

ることがわかる．周波数特性に零点を含む，含まないにかかわらず，焦点ずれを起こしているところ

から逆処理を行い，周波数特性を合わせることにより復元が可能であることがわかった．

25

6．近似による復元実験

実験に用いた原画像は SIDBA にある標準画像で人物画像の Lenna(図 33(a))，サイズは 256×

256pixl，画素値は 8bit×3ch(RGB) = 24bit(カラー)である．FIR フィルタ処理には，零点を含む移動

平均フィルタ A(図 43(a))，零点を含まないガウシアンフィルタ B(図 43(b))，零点を含まないガウシア

ンフィルタ C(図 43(c))を用いた．FIR 処理による平滑化を行い(図 44)，IIR フィルタ処理ではフィル

タ C の位相をずらしたフィルタ D(図 43(d))を用いた近似による復元を行い比較した(図 45)．

11111

11111

11111

11111

11111

25

1

(a) 移動平均フィルタ A

(零点を含む)

05.015.00

5.01215.0

12521

5.01215.0

05.015.00

25

1

(b) ガウシアンフィルタ B

(零点を含まない)

05.015.00

5.01215.0

121621

5.01215.0

05.015.00

36

1

(c) ガウシアンフィルタ C

(零点を含まない)

01615.00

5.01215.0

125.021

5.01215.0

05.015.00

36

1

(d) 位相をずらした

フィルタ D

図 43 各種フィルタ

(a) 原画像(Lenna)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

(d) ガウシアンフィルタ C

(零点を含まない)

図 44 FIR フィルタ処理による平滑化画像(Lenna)

26

(a) 移動平均フィルタ A 復元

(b) ガウシアンフィルタ B 復元

(c) ガウシアンフィルタ C 復元

図 45 FIR フィルタ画像に位相をずらした IIR フィルタによる復元(Lenna)

(a) 原画像

(b) 移動平均フィルタ A

部分拡大

(c) ガウシアンフィルタ B

部分拡大

(d) ガウシアンフィルタ C

部分拡大

図 46 位相をずらした IIR フィルタによる復元部分拡大(Lenna)

FIRフィルタ処理を行った平滑化画像に対し位相をずらした IIRフィルタ処理を用いて逆処理によ

る復元を行った(図 45，図 46)．位相をずらした IIR フィルタ処理と比較し，移動平均フィルタ A は

周波数特性に零点を含んでいるのに対し，位相をずらしたフィルタ D は零点を含んでいないため逆処

理にならず，復元が十分ではない結果となった(図 45(a)，図 46(b))．ガウシアンフィルタ B は周波数

特性に零点を含んでいないため逆処理が可能となることから，若干焦点ずれが残っているもののある

程度の復元はできている(図 45(b)，図 46(c))．ガウシアンフィルタ C は周波数特性に零点を含んでい

ないため逆処理が可能であり，フィルタ C の位相をずらしたフィルタ Dを用いているため，フィルタ

B よりは原画像に近い復元ができているが，若干の荒さはあるが線が強くなって見える(図 45(c)，図

46(c))．このことから，位相をずらしたフィルタ D はでの近似的な復元のできていることから，この

方法を用いて鮮鋭化を行うことにする．

27

7．実際の大きい画像に対しての実験結果

提案したFIRフィルタ処理と IIRフィルタによる逆処理を大きい画像に対し適用する実験を行い主

観評価をする．

7．1．大きい画像に対する FIRフィルタ処理による実験

ここで実験に用いた原画像は一般のデジタルカメラで撮影をした．画像のサイズは 888×666 pixel

であり，中心に猫がいる画像，8bit×3ch(RGB) = 24bit(カラー)である(図 47(a))．フィルタ係数，実

験の手順，比較方法は以前と同じである(図 34，35，章 5.3)．実験結果を以下に示す(図 46)．

(a) 原画像

28

(b) 移動平均フィルタ A(零点を含む)

(c) ガウシアンフィルタ B(零点を含まない)

図 47 大きい画像に対して FIR フィルタ処理(cat)

29

原画像(図 47(a))に FIR フィルタによる処理を施す実験を行った．大きい画像を用いた場合でも，

零点を含まないガウシアンフィルタB(図47(b))よりも零点を含む移動平均フィルタA(図47(a))のほう

が焦点ずれを起こしているように見える．移動平均フィルタ A は周波数特性に零点を含み，周辺の数

値を用いて単純に平均しているだけなのでガウシアンフィルタBよりも不自然な荒れた画像となった

(図 47(b))．零点を含まないガウシアンフィルタ B は周波数特性に零点を含まず，特定の周波数成分を

消去せずに計算を行っているので移動平均フィルタ A よりも自然な画像となっている(図 47(c))．大き

い画像に対してもフィルタ比較結果は同じであることがわかる．

7．2．FIRフィルタ処理を行った大きい画像に対して IIRフィルタ処理による実験

FIR フィルタ処理により焦点ずれを起こしたように見える画像が得られる(図 47(b)，(c))．この焦点

ずれを起こしたような画像に対し，IIR フィルタを用いた逆処理による復元を行う (図 48)．

(a) 原画像

30

(b) 移動平均フィルタ A(零点を含む)

(c) ガウシアンフィルタ B(零点を含まない)

図 48 大きい画像を用いた IIR フィルタによる復元処理(cat)

31

FIR フィルタ処理を行った画像に対して，IIR フィルタ処理を用いた逆処理による復元処理をした

(図 48(b)，(c))．原画像と IIR フィルタによる逆処理を行った結果を比較し，大きい画像でもほぼ原画

像と同じように復元できていることがわかる．すなわち，周波数特性に零点を含む，含まないにかか

わらず，焦点ずれを起こしているところから逆処理を行うと，周波数特性を合わせ，焦点ずれを起こ

している場所の値が利用できる画像に対しては，大きい画像であっても復元が可能であることがわか

った．しかし，画像サイズが大きくなるにつれて計算量が増えるので処理にかかる時間も増えてしま

うことを注記しておく．以下に拡大による比較画像を示す(図 49)．

(a) 原画像

(b) 移動平均フィルタ

(零点を含む)

(c) ガウシアンフィルタ

(零点を含まない)

図 49 復元画像部分拡大(cat)

それぞれのフィルタ処理により，復元画像を部分拡大し比較した(図 49)．原画像と復元処理を部分

拡大したものとを比較した結果，双方ともほぼ同じに見える．このことから周波数特性に零点を含む

移動平均フィルタ，零点を含まないガウシアンフィルタによる復元処理は画像が大きい場合でも使用

できることがわかった．

32

8．部分的に焦点ずれを起こしている画像に対する実験

提案した FIR フィルタ処理と IIR フィルタによる逆処理は，部分的に焦点ずれを起こしている画像

に対してどの程度効果があるのかを画像を用いた実験を行い主観評価する．

8．1．画像に部分的に FIRフィルタ処理を行う実験

画像に対して部分的に FIR フィルタ処理を行う．実験に用いた原画像には CIPR Still Images の標

準画像 Pepper を用いた．サイズは 256×256 pixel，画像内で部分的に焦点ずれを起こしているのがわ

かりやすい野菜の画像，8bit×RGB(3ch) = 24bit(カラー)画像である(図 50)．実験では座標(50，50)

から座標(100，100)までの範囲に FIR フィルタ処理を行った．フィルタ係数，実験の手順，比較方法

は先の実験と同じである(図 34，図 35，章 5.3)．実験結果を以下に示す(図 50)．

(a) 原画像(Pepper)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 50 FIR フィルタ処理を部分的に行った画像(Pepper)

原画像を FIR フィルタにより部分的に処理した(図 50(b)，(c))．零点を含む移動平均フィルタ A は

周波数特性に零点を含み，周辺の数値を用いて単純に平均化しているだけなので原画像と比較して焦

点ずれを起こしているように見え，荒れた画像になっているのが見られる(図 50(b))．零点を含まない

ガウシアンフィルタ B は周波数特性に零点を含まず，全ての周波数成分に対して計算を行っているの

で移動平均フィルタ A よりも焦点ずれが少なく原画像に近いように見える．原画像と比較して，部分

的にフィルタ処理を行った画像では焦点ずれが起きているように見える(図 50(c))．

8．2．FIRフィルタ処理を部分的に行う画像に対して IIRフィルタによる逆処理の実験

FIR フィルタ処理を部分的に行うことにより焦点ずれ画像ができた(図 50(b)，(c))．この焦点ずれ画

像に，IIR フィルタを用い部分的な逆処理を行い復元する．その結果を以下に示す(図 51)．

33

(a) 原画像(Pepper)

(b) 移動平均フィルタ A

(零点を含む)

(c) ガウシアンフィルタ B

(零点を含まない)

図 51 IIR フィルタ処理を部分的に行い復元した画像(Pepper)

部分的に FIR フィルタ処理を行った画像に対して，IIR フィルタ処理を用いた逆処理による復元を

試みた(図 51(b)，(c))．原画像と IIR フィルタによる逆処理を行った 2 枚の画像(図 51(b)，(c))を比較

すると，部分的に焦点ずれを起こしている画像に対しても復元できていることがわかる．すなわち，

周波数特性に零点を含む時，含まない時でも，焦点ずれを起こしているところから逆処理を行い，周

波数特性を合わせると，焦点ずれを起こしている場所の値が残っている画像に対しては復元が可能で

あることがわかった．これにより，部分的に鮮鋭化を行いたい場所に対する局所的な処理が行えるこ

とがわかった．

34

9．実際の画像に対して鮮鋭化の実験

原画像に対して FIR フィルタ処理によりアウトフォーカス画像を作り出し，その FIR フィルタ処

理を行った画像に対して，上記で示した条件で IIRフィルタによる逆処理を行い，復元を行ってきた．

しかし，一般のカメラで撮影した原画像には焦点ずれを起こしている点や復元に必要となる値を見つ

けだすことは難しいことから，IIR フィルタ処理による復元や鮮鋭化は困難である．そこで，このよ

うな FIR フィルタの数値がわからないときでも使えるよう，上記に示した位相をずらした IIR フィル

タ処理による鮮鋭化を検討する．ここでは一般のカメラで撮影した FIR フィルタの数値がわからない

原画像に対し IIR フィルタによる逆処理による鮮鋭化を行い，従来の方法より優れた結果の得られる

ことを示す．

9．1．原画像に対する IIRフィルタ処理による鮮鋭化の実験方法

実験に用いた原画像は一般のデジタルカメラで撮影したものである．原画像のサイズは 444×333

pixel，中心に桜の花弁が多くあり背景が少しぼやけている，8bit×3ch(RGB) = 24bit(カラー) 画像で

ある(図 52(a))．原画像中に示した枠は，以降の比較に用いる場所を示している(図 52(b))

(a) 原画像

(b) 原画像部分拡大

図 52 原画像とその拡大画像

この原画像に対し 6 種類の特徴的なフィルタを用い実験を行う．用いたのは，零点を含む移動平均

フィルタ(図 53(a))，零点を含まないが周波数特性の広がりが狭いフィルタ(図 53(b))，周波数特性が

広範であるが凹凸しておりフィルタ係数の合計値が 1より小さく，位相をずらしたフィルタ(図 53(c))，

周波数特性の広がりが広範かつ位相をずらしたフィルタ(図 53(d))，従来からの代表的方法アンシャー

プマスクフィルタ(図 53(e)，(f))である．これらのフィルタを用い鮮鋭化処理を行い，比較をする．

35

11111

11111

11111

11111

11111

25

1

(a) 移動動平均フィルタ A(零点を含む)

05.015.00

5.01215.0

12521

5.01215.0

05.015.00

25

1

(b) ガウシアンフィルタ B(零点を含まない)

05.1225.15.00

25.05.025.05.025.0

25.125.05.025.025.1

25.05.025.05.025.0

05.025.15.00

25

1

(c) ガウシアンフィルタ C

01615.00

5.01215.0

125.021

5.01215.0

05.015.00

36

1

(d) ガウシアンフィルタ D

05.3725.15.00

25.05.025.05.025.0

25.125.05.025.025.1

25.05.025.05.025.0

05.025.15.00

25

1

(e) アンシャープマスク(C に対応)

05215.00

5.01215.0

125.021

5.01215.0

05.015.00

36

1

(f)アンシャープマスク(D に対応)

図 53 各種フィルタ

9．2．原画像に対して IIRフィルタ処理による鮮鋭化の比較方法

原画像を拡大した画像(図 47(b))と IIR フィルタによる鮮鋭化処理を行った画像(図 54(a-2)，(b-2)，

(c-2)，(d-2))との比較をした．IIR フィルタによる鮮鋭化処理を行い部分的に拡大した画像(図 54 (a-2)，

(b-2)，(c-2)，(d-2))と従来からの代表的方法で行った画像を部分的に拡大した画像(図 54 (e-2)，(f-2))

とを並べて表示し用意に確認できるよう工夫した．

9．3．IIRフィルタ処理と従来の方法による実験

原画像(図 52(a))に対し，IIR フィルタ処理と従来の方法による鮮鋭化を行った．鮮鋭化画像全体と

部分的に拡大した画像を以下に示す(図 54(a-1，2)，(b-1，2) ，(c-1，2)，(d-1，2)，(e-1，2)，(f-1，

2))．この鮮鋭化された画像に対し，簡単な比較を行う．

36

(a-1) フィルタ A

(a-2) フィルタ A 部分拡大

(b-1) フィルタ B

(b-2) フィルタ B 部分拡大

(c-1) フィルタ C

(c-2) フィルタ C 部分拡大

37

(d-1) フィルタ D

(d-2) フィルタ D部分拡大

(e-1) フィルタ E

(e-2) フィルタ E 部分拡大

(f-1) フィルタ F

(f-2) フィルタ F 部分拡大

図 54 各種フィルタによる鮮鋭化画像と鮮鋭化画像の部分拡大

38

比較の結果，原画像の焦点ずれを表すサイズの大きなフィルタの周波数特性には零点が含まれてい

ないことから，周波数特性に零点を含むフィルタ A(図 53(a))では逆処理にならず，焦点ずれを起こし

ている場所や値が不明であり，フィルタのサイズが 25 点では復元するには少ないことなどから，荒

れた画像となった(図 54(a-1，2))．フィルタ B(図 53(b))は周波数特性に零点が含まれておらず，原画

像の焦点すれを表すフィルタにも零点が含まれていないため，逆処理に対応させることが可能と考え

られる．しかし，焦点ずれを起こしている点から始められないこと，値も不明であり，フィルタのサ

イズが 25 点では復元するには少ないことから，荒れた画像となった(図 54(b-1，2))．フィルタ C(図

53(c))は位相をずらしているため，逆処理に近い形で対応させ易くなっている．さらにフィルタ C の

周波数特性は滑らかであるため，逆特性フィルタの値の変化が比較的少なくなることから，フィルタ

A，B と比べ，高画質で鮮鋭化されているもののフィルタ係数の合計が 1 ではないため画像が，少し

明るくなっている(図 54(c-1，2))．フィルタ D(図 53(d))は位相をずらしているため逆処理に近い形で

対応しているように見える．さらに，フィルタ C の周波数特性と比較しフィルタ D の周波数特性は凸

凹がより少なくなっており，より滑らかになっていることから，逆特性フィルタの値の変化がさらに

少なくなるので，フィルタ A，B，C と比べ，高画質に鮮鋭化されている(図 54(d-1，2))．従来の方法

のフィルタ E(図 53(e-1，2)とフィルタ F(図 53(f-1，2))をそれぞれ対応しているフィルタ C とフィル

タ D と比較すると，より鮮鋭な画像の得られたのは例えば花弁の模様からフィルタ C(図 54(c-1，2))

とフィルタ D(図 54(d-1，2))であることがわかる．

39

10．部分的に鮮鋭化を行う実験

フィルタ係数の値に偏りを与えることにより位相をずらすことで，原画像の FIR フィルタの数値が

わからない場合でも鮮鋭化が可能でありそれは従来の方法よりもすぐれていることが明らかになった．

以降ではこの方法を用いて部分的に鮮鋭化することが可能であるかを調べる．

10．1．画像に部分的に IIRフィルタ処理よる鮮鋭化実験

不鮮明にする処理を表す FIR フィルタの数値がわからない原画像に対して，部分的に IIR フィルタ

処理による鮮鋭化を行う．実験に用いた原画像のサイズは 444×333 pixel，中心に桜の花弁があり背

景が少しぼやけている画像，8bit×3ch(RGB) = 24bit(カラー)画像である(図 55(a))．原画像中の座標

(56，101)から座標(135，198)のまでの範囲，花弁の部分に IIR フィルタ処理による部分的な鮮鋭化を

行う．比較が容易となるよう原画像を部分的に拡大した画像(図 55(b))と IIR フィルタ処理で部分的に

鮮鋭化を行った画像(図 56(a))を部分的に拡大した画像(図 56(b))，全体を鮮鋭化した画像(図 53(d-1，

2))を用いている．実験に用いるフィルタは周波数特性の広がりが広範であり位相をずらしているフィ

ルタ D(図 52(d))を用いる．以下に実験結果を示す．

(a) 原画像

(b) 原画像部分拡大

図 55 原画像とその拡大画像

(a) IIR フィルタ処理後

(b) 鮮鋭化画像部分拡大

図 56 鮮鋭化画像とその拡大画像

40

IIR フィルタによる逆処理を用いて部分的に鮮鋭化を行った結果である(図 56)．原画像を部分拡大

したものと IIR フィルタによる逆処理を用いて部分的に鮮鋭化を行った画像を比較し，部分的に鮮鋭

化を行った画像は原画像と比べ鮮鋭化されているのが見て取れる(図 56)．これにより，部分的に鮮鋭

化したい場所に IIR フィルタによる逆処理を行えることがわかった．また，鮮鋭化を行った画像(図

54(d-2))と部分的に鮮鋭化を行った画像(図 56(b))との比較では，線の強さや，色などは同じに見られ

る．このことから，IIR フィルタによる逆処理を用いた鮮鋭化は起点にとらわれることはなく，フィ

ルタ係数が重要である事が考えられる．

41

11．まとめ

原画像に関する焦点ずれの周波数特性を近似した FIR フィルタにより処理を行った焦点ずれ画像

に対し，焦点ずれ処理の起点から初めて，順次 IIR フィルタによる逆処理を行うことにより，FIR フ

ィルタに零点を含む，含まないに関係なく原画像を復元できることが明らかになった．また，原画像

に見られる焦点ずれの周波数特性を考慮した FIR フィルタを適切に選ぶことにより， FIR フィルタ

の係数値がわからない画像に対しても，位相をずらした IIR フィルタによる逆処理を用いた鮮鋭化は

可能であり，従来の方法より優れていることが明らかになった．また，これらの手法は大きい画像に

関し，部分的処理として選択的に使えることも明らかになった．

ここでは IIR フィルタを 1 回だけ用いる鮮鋭化処理を示している．一方，IIR フィルタによる逆処

理を数回用いることによる復元処理または鮮鋭化処理も可能である．しかし，零点を含む場合の復元

処理は特別扱いとなり，注意を要する．それでも，IIR フィルタによる逆処理を 1 回だけ用いて行う

場合と区別することなく複数回の逆処理による復元が可能であることがわかった．これは複数回で行

うことで近似解を得るのと，1 回の計算で正確な数値を求める程度の差とみなすことができる．双方

に利点はあるが，ここでは従来の方法との比較をするため，処理を 1 回だけ行っていることを注記し

ておく．

起点を考慮することにより位相をずらしたフィルタ係数を用いて鮮鋭化を試みたが，それでも実用

的な鮮鋭化はできることが明らかになった．しかし，位相をずらしたことによる，周波数特性の変化

に起因する画質劣化の詳しい原因は一部不明瞭のままである．この FIR フィルタの数値とは異なる

IIR フィルタを用いた逆処理による鮮鋭化は，フィルタサイズを 5×5 として比較実験をした．このと

き，フィルタサイズと同じぐらいの範囲では鮮鋭化が行われていたが以降の処理を続け範囲が広がる

につれ画素値は発散する傾向にあった．これは，実際の周波数特性は多くの周波数成分により表すも

のであるのに対し，フィルタサイズを小さくしたことで取り扱うことのできる周波数成分が減ること

から誤差が大きくなったと考えられる．これの解決のためフィルタサイズ 5×5 ではなく例えば画像サ

イズが 256×256 であればフィルタサイズを 128×128 にすると画素値の発散は少なくて済むものと考

えられる．これに対し部分的に行った復元または鮮鋭化では長方形や正方形の狭い範囲でしか行って

いないため，画像中の対象物，例えば花弁だけといった部分に限定した処理であることから，優れた

結果が得られるのではないかと考えられる．ここで示した FIR フィルタと IIR フィルタの関係式は，

実装する上での注意を幾つか要するものである．しかし，IIR フィルタ処理を近似し，FIR フィルタ

処理にて表すようにできるのであればこの手法はさらに一般化，汎用化されるではないかと考えられ

る．

42

謝辞

修士課程の 2 年間において，本研究，本論文を執筆するにあたり，多くの御指導，御助言を下さい

ました岡山理科大学大学院総合情報研究科情報科学専攻，澤見英男教授，中村忠教授，岡山理科大学

大学院総合情報研究科情報科学専攻，名越裕晃氏．また，日常，有益な議論をして頂いた岡山理科大

学総合情報学部情報科学科，澤見研究室ゼミ生の皆様に心から御礼申し上げます．

43

参考文献

[1] 『ローパスフィルタに適した鮮鋭化処理』名越裕晃，岡山理科大学大学院修士論文(2010)

[2] 『デジタル信号処理』貴家仁志，昭晃堂(1997)

[3] 『デジタル画像処理入門』酒井幸市，CQ 出版(2002)

[4] 『CIPR Still Images』 http://www.cipr.rpi.edu/resource/stills/

[5] 『Standard Image Data BAse』 http://vision.kuee.kyoto-u.ac.jp/IUE//