Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
6 November, 20086 November, 2008 IEICEIEICE--MIH (SendaiMIH (Sendai)) 11
確率モデルによる画像処理における確率モデルによる画像処理における統計的学習理論統計的学習理論
東北大学東北大学 大学院情報科学研究科大学院情報科学研究科
田中田中 和之和之
[email protected]@smapip.is.tohoku.ac.jp
http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/~kazu/
6 November, 20086 November, 2008 IEICEIEICE--MIH (SendaiMIH (Sendai)) 22
ContentsContents
1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. 確率伝搬法確率伝搬法4.4. まとめまとめ
6 November, 2008 IEICE-MIH (Sendai) 3
情報処理の守備範囲の推移
理詰めの情報処理理詰めの情報処理法則・命題群からの予測法則・命題群からの予測
コンピュータの発達により現実化コンピュータの発達により現実化
現実世界の現実世界の情報処理情報処理現象の起こる要因の多様性現象の起こる要因の多様性必要なデータが完全に得られるわけではない.必要なデータが完全に得られるわけではない.大量のデータは得られるが必要な情報の抽出が難しい.大量のデータは得られるが必要な情報の抽出が難しい.
「すぐ分かること」と「本当に知りたいこと」のギャップからくる「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性→何とかして克服したい不確実性→何とかして克服したい!!!!
数値計算のための情報処理作業手順が与えられている.
確率的情報処理
6 November, 2008 IEICE-MIH (Sendai) 4
確率的情報処理における計算の壁
不確実性を確率・統計を用いて表現することの代償
起こりやすいことも起こりづらいこともまじめに考慮して計算
計算量的困難
統計的計算技法の改良による計算困難の打破
6 November, 2008 IEICE-MIH (Sendai) 5
たくさんが関連して集まり構成されたシステム:情報と物理が扱う対象に共通する概念
モノ(物質)分子
0,1 101101110001
010011101110101000111110000110000101000000111010101110101010ビット
コト(データ)
分子が集まって物質を形成し,モノになる.
ビットが集まってデータを形成し,コトとなる.
共通点:たくさんが関連
分子同士は引っ張り合っている.
並びをきちんと決めることによって意味のある文章になる.
主な研究対象
情報工学:コトデータ
物理:モノ物質・自然現象
More is different in More is different in informatics as wellinformatics as well
6 November, 2008 IEICE-MIH (Sendai) 6
More is Different
原子
電子
原子核
陽子
中性子
クォーク
分子化合物
物質
生命材料
社会 宇宙
素粒子物理学
物性物理学
More is differentP. W. Anderson
6 November, 2008 IEICE-MIH (Sendai) 7
確率的画像処理確率的画像処理
確率的画像処理手法によるノイズ除去
173110218100120219202190202192
Average =⎪⎭
⎪⎬
⎫
⎪⎩
⎪⎨
⎧
192 202 190
202 219 120
100 218 110
192 202 190
202 173 120
100 218 110
信号処理の知見をもとにした画像処理の確率モデル化
マルコフ確率場モデル 確率的画像処理
基本単位は画素
画素上の数字はディスプレイの光の強度
アルゴリズム化
最も簡単な既存のフィルター
6 November, 20086 November, 2008 IEICEIEICE--MIH (SendaiMIH (Sendai)) 88
ContentsContents
1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. 確率伝搬法確率伝搬法4.4. まとめまとめ
6 November, 2008 IEICE-MIH (Sendai) 9
画像修復の確率モデル
原画像 劣化画像
通信路
雑音
{ } { } { }{ }
43421
48476444 8444 76444 8444 76
周辺尤度
事前確率尤度事後確率
劣化画像
原画像原画像劣化画像劣化画像原画像
PrPr|Pr|Pr =
白色ガウス雑音原画像劣化画像 +=
6 November, 2008 IEICE-MIH (Sendai) 10
2値画像の事前確率(Prior Probability)
赤い線が少ないほど確率が高くなるように確率モデルを設計
問題設定画素の周辺の状態が固定されているとき着目画素の状態は?
?
>
== >p p
周りが白ければ着目画素も白くあるべき
6 November, 2008 IEICE-MIH (Sendai) 11
2値画像の事前確率(Prior Probability)2値画像の事前確率(Prior Probability)
赤い線が少ないほど確率が高くなるように確率モデルを設計
画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなる もっとたくさん集まったらどうなるか?
問題設定画素の周辺の状態が固定されているとき着目画素の状態は?
?-?== >
p p
> >=
6 November, 2008 IEICE-MIH (Sendai) 12
ゆらぎが大きいときに何が実際に起こっているのか? p
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.2 0.4 0.6 0.8 1.0lnp
無秩序状態 秩序状態ゆらぎが大きく点の近くのパターン
p が小さい p が大きい
最近接画素間の共分散
マルコフ連鎖モンテカルロ法によるサンプリング
Markov Network
6 November, 2008 IEICE-MIH (Sendai) 13
ゆらぎが大きいときのパターンを画像処理に使えるか?
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.2 0.4 0.6 0.8 1.0ln p
最近接画素間の共分散
p
似ている
Markov Network大小
6 November, 2008 IEICE-MIH (Sendai) 14
強磁性体と確率モデル強磁性体と確率モデル
p p
p p
>
=
=
>
=
=
x
y
画像は各画素ごとの強さの異なる光であらわされる.
0 255
共通点:まわりと同じ状態をとろうとする
Ising モデル
Markov Random Field (MRF) モデル
6 November, 2008 IEICE-MIH (Sendai) 15
Prior Probability in Probabilistic Image Processing
{ } ( ) ( ) ⎟⎟⎠
⎞⎜⎜⎝
⎛−−== ∑
∈Nijji ff
ZfF 2
211Pr α
αexp
Prior
rr
0005.0=α 0030.0=α0001.0=α
Samples are generated by MCMC.
Markov Chain Monte Carlo Method
{ }Ω=Ω ,,2,1 L
links the all of Set:N
6 November, 2008 IEICE-MIH (Sendai) 16
Additive White Gaussian Noise
( )2,0~ σNfg ii −
{ } ( )∏Ω∈
⎟⎟⎠
⎞⎜⎜⎝
⎛−−===
iii gffFgG 2
22 21exp
2
1Prσπσ
rrrr
Histogram of Gaussian Random Numbers
nr Noise Gaussianfr
Image Original gr Image Degraded
Degradation Process
6 November, 2008 IEICE-MIH (Sendai) 17
ベイズ統計と画像処理
{ } { } { }{ }
( ) ( ) ⎟⎟
⎠
⎞
⎜⎜
⎝
⎛−−−−∝
=
======
∑∑∈Ω∈ Bij
jii
ii ffgf 2221
21exp
PrPrPr
Pr
αβ
gGfFfFgG
gGfF
fg
{ }fF =Pr { }fFgG ==Pr g原画像 劣化画像事前確率
事後確率
加法的白色ガウス雑音または2元対称通信路
計算困難
画像処理は平均,分散,共分散の計算に帰着
B:すべての最近接画
素対の集合
Ω:すべての画素の集合
6 November, 2008 IEICE-MIH (Sendai) 18
Statistical Estimation of Hyperparameters
∑ =====z
zFzFgGgG }|Pr{},|Pr{},|Pr{ αββα
( )},|Pr{max arg)ˆ,ˆ(
,βαβα
βαgG ==
f g
Marginalized with respect to F
}|Pr{ αfF = },|Pr{ βfFgG == gOriginal Image
Marginal Likelihood
Degraded ImageΩy
x
},|Pr{ βαgG =
Hyperparameters α, β are determined so as to maximize the marginal likelihood Pr{G=g|α,β} with respect to α, β.
6 November, 2008 IEICE-MIH (Sendai) 19
Maximization of Marginal Likelihood by EM Algorithm
∑ =====z
zFzFgGgG }|Pr{},|Pr{},|Pr{ αββαMarginal Likelihood
( ) },|,Pr{ln}',',|Pr{
,',',
∑ =====z
gGzFgGzF
g
βαβα
βαβαQ
( ) ( )( )
( ) ( )( )( )
( ) ( )( ).,,maxarg1,1 :Step-M
},|,Pr{ln)}(),(,|Pr{
,, :Step-E
,ttQtt
tt
ttQ
βαβαβα
βαβα
βαβα
βα←++
====← ∑z
gGzFgGzF
E-step and M-Step are iterated until convergence:EM (Expectation Maximization) Algorithm
Q-Function
6 November, 20086 November, 2008 IEICEIEICE--MIH (SendaiMIH (Sendai)) 2020
ContentsContents
1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. 確率伝搬法確率伝搬法4.4. まとめまとめ
6 November, 2008 IEICE-MIH (Sendai) 21
計算困難のポイントは何か
2L 通りの和が計算できるか?
( )∑ ∑ ∑= = =FT, FT, FT,
211 2
,,,x x x
LL
xxxf LL
( )
}}
} ;,,,
F){or Tfor(
F){or Tfor( F){or Tfor(
;0
21
2
1
M
L
M
L
Lxxxfaa
x
xx
a
+←=
==
←
L 重ループ
このプログラムではL=10個のノードで1秒かかるとしたらL=20個で約17分,L=30個で約12日,L=40個で約34年かかる.
厳密に計算するのは一部の特殊な例を除いて難しい.
マルコフ連鎖モンテカルロ法確率伝搬法 今回
6 November, 2008 IEICE-MIH (Sendai) 22
扱いやすい確率モデルのグラフ表現
扱いやすい確率モデルの数理構造
⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎟⎠
⎞⎜⎜⎝
⎛= ∑∑∑
∑ ∑ ∑
===
= = =
FT,FT,FT,
FT, FT, FT,
),(),(),(
),(),(),(
CBA
A B C
DChDBgDAf
DChDBgDAf
A
B CD∑ ∑ ∑
= = =FT, FT, FT,A B C
扱いやすくない確率モデルの数理構造
∑ ∑ ∑= = =FT, FT, FT,
),(),(),(A B C
AChCBgBAf
A
B C
∑ ∑ ∑= = =FT, FT, FT,A B C
木構造をもつグラフ表現
閉路を含むグラフ表現
別々に和を計算できる
別々に和を計算することが難しい
6 November, 2008 IEICE-MIH (Sendai) 23
転送行列法=確率伝搬法(1)
1次元鎖
{ } ( )∏−
=++==
1
111, ,1Pr
N
iiiii xxW
ZxX rr
( ) ( )∑∑ ∑ ∏−
⎟⎟⎠
⎞⎜⎜⎝
⎛≡
−
=++→−
1 2 1
1
111,1 ,
x x x
k
iiiiikkk
k
xxWxL L
( )kkk xL →−1
( )kkk xR →+1
k
k( ) ( )∑ ∑ ∑ ∏
+ + −⎟⎟⎠
⎞⎜⎜⎝
⎛≡
−
=++→+
1 2 1
111,1 ,
k k Nx x x
N
kiiiiikkk xxWxR L
6 November, 2008 IEICE-MIH (Sendai) 24
転送行列法=確率伝搬法(2)
漸化式
( ) ( ) ( )∑ ++→−++→ =kx
kkkkkkkkkk xxWxLxL 11,111 ,
( )kkk xL →−1
k
( )11 ++→ kkk xL
1+k
{ } { }
( ) ( )( ) ( )∑
∑∑ ∑ ∑ ∑ ∑
→+→−
→+→−=
===− + + −
m
m m m N
xmmmmmm
mmmmmm
x x x x x xmm
xRxLxRxL
xXxX
11
11
1 2 1 1 2 1
PrPr rrLL
( )kkk xR →+1k
( )11 −−→ kkk xR1−k
( ) ( ) ( )kkkx
kkkkkkk xRxxWxRk
→+−−−−→ ∑= 11,111 ,
パスはひとつ
6 November, 2008 IEICE-MIH (Sendai) 25
閉路のないグラフ上の確率伝搬法
{ } ( )∏−
=++==
1
111, ,1Pr
N
iiiii xxW
ZxX rr
( ) ( )
( ) ( ) ( ) ( )∑
∑∑ ∑ ∏
++→−→−→−
=++++→
=
⎟⎟⎠
⎞⎜⎜⎝
⎛=
k
k
xkkkkkkkkkkkkk
x x x
k
iiiiikkk
xxWxMxMxM
xxWxM
11,321
111,11
,
,1 2
L
閉路が無いことが重要!!
同じノードは2度通らない
1X
2X 3X
1−kX
kX
2−kX
3−kX
1+kX
6 November, 2008 IEICE-MIH (Sendai) 26
確率的画像処理における確率伝搬法(Belief Propagation)
着目画素とその近傍画素だけを残すと木構造になる.
確率伝搬法(Belief Propagation)の統計的近似アルゴ
リズムとしての転用
6 November, 2008 IEICE-MIH (Sendai) 27
閉路のあるグラフ上の確率モデルの確率伝搬法(Belief Propagation)
( )MMrrr
Ψ= メッセージに対する固定点方程式
閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能.ただし,得られる結果は厳密ではなく近似アルゴリズム
( )( ) ( ) ( ) ( )
( ) ( ) ( ) ( )∑∑∑
→→→
→→→
→ Φ
Φ=
1 2
1
1151141132112
1151141132112
221 ,
,
z z
z
zMzMzMzz
zMzMzMfzfM
21
3
4
5
平均,分散,共分散はこのメッセージを使ってあらわされる
6 November, 2008 IEICE-MIH (Sendai) 28
確率的画像処理における確率伝搬アルゴリズムの基本構造
ひとつの画素ごとに4種類の更新パターン
4近傍の場合は3入力1出力の更新式
画素上での動作の様子の一例
6 November, 2008 IEICE-MIH (Sendai) 29
Belief Propagation
Input
Output
BP EM
Update Rule of BP
21
3
4
5
6 November, 2008 IEICE-MIH (Sendai) 30
Maximization of Marginal Likelihood by EM Algorithm
( ) ( )( )( )
( ) ( )( ).,,,maxarg1,1,
gttQtt rσασασασα
←++
gr
( )gmf rrr,ˆ,ˆˆ σα=
0
0.0002
0.0004
0.0006
0.0008
0.001
0 20 40 60 80 100
Loopy Belief Propagation
Exact
0006000ˆ335.36ˆ
.==
LBP
LBP
ασ
0007130ˆ624.37ˆ
.==
Exact
Exact
ασ
6 November, 2008 IEICE-MIH (Sendai) 31
Image Restoration by MRF and Conventional Filters
( )2ˆ||
1MSE ∑Ω∈
−Ω
=i
ii ff
327Statistical Method
445(5x5)
486(3x3)Median Filter
413(5x5)388(3x3)Lowpass
Filter
MSE
(3x3) (3x3) LowpassLowpass (5x5) Median(5x5) MedianMRFMRF
Original ImageOriginal Image Degraded ImageDegraded Image
RestoredRestoredImageImage
6 November, 2008 IEICE-MIH (Sendai) 32
Digital Images Inpaintingbased on MRF
Inpu
t
Out
put
MarkovRandom
FieldM. Yasuda, J. Ohkubo and K. Tanaka: Proceedings ofCIMCA&IAWTIC2005.
6 November, 2008 IEICE-MIH (Sendai) 33
結合ガウス・マルコフ確率場モデル
0 2.7 1.8 0.9 1.8 2.7:0 :1
ライン場についての事前情報
6 November, 2008 IEICE-MIH (Sendai) 34
結合ガウス・マルコフ確率場モデル
原画像 劣化画像 ライン場のない確率場モデル
ライン場を導入した確率場モデル
量子力学的に拡張されたライン場を導入した確率場モデル
6 November, 20086 November, 2008 IEICEIEICE--MIH (SendaiMIH (Sendai)) 3535
ContentsContents
1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. 確率伝搬法確率伝搬法4.4. まとめまとめ
6 November, 2008 IEICE-MIH (Sendai) 36
確率モデルによる画像処理技術入門確率モデルによる画像処理技術入門
ベイズ統計をつかった画像処理ベイズ統計をつかった画像処理画像処理の事前分布画像処理の事前分布磁性体の物理モデルとの類似性磁性体の物理モデルとの類似性確率伝搬法(確率伝搬法(Belief PropagationBelief Propagation))
6 November, 2008 IEICE-MIH (Sendai) 37
脳の物理モデルの記憶容量,パーセプトロンの容量の評価に類似の議論
標本平均による統計的性能
11→gr
Prio
r Pr
obab
ility
1fr
2fr
3fr
21→gr
12→gr
22→gr
13→gr
23→grN
oise
11→mr
12→mr
21→mr
22→mr
31→mr
32→mr
Mar
kov
Net
wor
k
推定画像劣化画像
Mean Square Error の標本平均
原画像
スピングラス理論による解析的評価が可能
Nishimori and Wong (1999): Physical Review ENishimori and Wong (1999): Physical Review E
マルコフ連鎖モンテカルロ法
6 November, 2008 IEICE-MIH (Sendai) 38
統計的性能評価
( ) { }
( ) { } { } fdgdfFfFgGfgh
fdgdgGfFfghM
rrrrrrrrrrr
rrrrrrrrr
PrPr1
,Pr1
2
2
===−Ω
=
==−Ω
≡
∫
∫
( )gh rr
g( )fPr gr事前確率
劣化過程
( )fgPrrf
r
( )gfP rr
事後確率修復画像
原画像劣化画像
6 November, 20086 November, 2008 IEICEIEICE--MIH (SendaiMIH (Sendai)) 3939
ReferencesReferencesK. Tanaka: StatisticalK. Tanaka: Statistical--Mechanical Approach to Mechanical Approach to
Image Processing (Topical Review), J. Phys. A, Image Processing (Topical Review), J. Phys. A, 3535 (2002).(2002).
A. S. Willsky: Multiresolution Markov Models for A. S. Willsky: Multiresolution Markov Models for Signal and Image Processing, Proceedings of Signal and Image Processing, Proceedings of IEEE, IEEE, 9090 (2002).(2002).