PRML 読書会第 10 回8.2 条件付き独立性

2010-01-09SUHARA YOSHIHIKO

(id:sleepy_yoshi)

2

目次

• 8.2 条件付き独立性– 8.2.1 3 つのグラフの例

• 8.2.2 有向分離 (d 分離 )

3

8.2 条件付き独立性

4

条件付き独立性 (1)• 変数 a, b, c を考える． b と c が与えられたときに， a

の条件付き分布が b の値に依存しない

⇒ c が与えられた下で， a は b に対して条件付き独立

)|(),|( capcbap

5

条件付き独立性 (2)• c で条件付けられた a および b の同時分布を考える

⇒ c が与えられたとき， a および b が統計的に独立である

)|,( cbap

)|()|(

)|(),|(

cbpcap

cbpcbap

cba |記法：

c が与えられた際に， a が b に対して条件付き独立

p(a,b)=p(a|b)p(b)

6

演習 8.8

• 　　　　　　ならば dba |dcba |,

)|,()|()|,,( dcbpdapdcbap

c について周辺化

)|()|()|,( dbpdapdbap

dba |

解 )

7

8.2.1 3 つのグラフの例

8

8.2.1 3 ノードから成るグラフ

• ３つの構造– (1) tail-to-tail– (2) head-to-tail– (3) head-to-head

• 「弁明」現象

9

(1) tail-to-tail

10

(1) tail-to-tail

どの変数も観測されていない場合にa と b の独立を確かめる ( 両辺を c に関して周辺化 )

)()|()|(),,( cpcbpcapcbap

c

a b

c

cpcbpcapbap )()|()|(),(

⇒ p(a)p(b) に分解不可能 ( )|ba

tail-to-tail tail

head

11

tail-to-tail: 変数 c の観測

• 前頁の例を変数 c で条件付ける

)|,( cbap

)|()|(

)(

),,(

cbpcap

cp

cbap

p(a,b,c)

= p(a,b|c)p(c)

cba |

よって条件付き独立が導かれる

12

tail-to-tail: 経路の遮断

• c を観測することにより，経路を遮断 (block) し， a と b とを条件付き独立にする

)|()|()|,( cbpcapcbap

c

a b

tail-to-tailのノードを観測すれば，ふたつのノードの経路を遮断できる

ポイント１

13

(2) head-to-tail

14

(2) head-to-tail

どの変数も観測されていない場合に a と b の独立を確かめる

)|()|)((),,( cbpacapcbap

ca b

c

abpapcbpacpapbap )|()()|()|()(),(

⇒ p(a)p(b) に分解不可能 ( )|ba

head-to-tail

15

head-to-tail: 変数 c の観測

• 前頁の例を変数 c で条件付ける

)|,( cbap

)|()|(

)(

)|()|()(

)(

),,(

cbpcap

cp

cbpacpap

cp

cbap

ベイズの定理

cba |

よって条件付き独立が導かれる

16

head-to-tail: 経路の遮断

• c を観測することにより，経路を遮断 (block) し， a と b とを条件付き独立にする

)|)(|(),,( cbcapcbap

ca b

head-to-tailのノードを観測すれば，ふたつのノードの経路を遮断できる

ポイント２

17

(3) head-to-head

18

(3) ead-to-head

どの変数も観測されていない場合に a と b の独立を確かめる

),|()()(),,( bacpbpapcbap c

a b

)()(),( bpapbap

⇒ p(a)p(b) に分解可能 ( )|ba

head-to-head

19

head-to-head: 変数 c の観測

• 前頁の例を変数 c で条件付ける

)|,( cbap

)(

),|)(()(

)(

),,(

cp

bacbpap

cp

cbap

p(a|c)p(b|c) に因数分解できないため，条件付き独立ではない

cba |

20

head-to-head: 経路の遮断解除

)(

),|()()()|,(

cp

bacpbpapcbap

c

a b

head-to-headのノードを観測すると，ふたつのノードの経路の遮断が解かれる

ポイント３

21

head-to-head の子孫の観測

c

a b

d

依存関係の発生

ポイント４

head-to-head かその子孫のうちいずれかを観測すると，経路の遮断が解かれる

( ⇒ 演習 8.10)

22

演習 8.10 (1/2)

c

a b

d

)|(),|()()(),,,( cdpbacpbpapdcbap

d c

cdpbacpbpapbap )|(),|()()(),(

)()(),|()()( bpapbadpbpapd

変数 c, d について周辺化

|ba の確認

23

演習 8.10 (2/2)

d で条件づける

)(

)|(),|()()(

)(

),,,()|,,(

dp

cdpbacpbpap

dp

dcbapdcbap

)(

)|(),|()()()|,(

dp

cdpbacpbpapdbap c

)|()|()(

),|()()(dbpdap

dp

badpbpap

変数 c に関して周辺化

dba | の確認

24

演習 8.10 の考察• head-to-head ノードの子孫である変数 z を観測しても，

変数の周辺化によって変数 c の観測と同じ効果が発生

c

a b

z

…

)(

),|()()()|,(

zp

bazpbpapzbap

)|,...,,( zcbap

)(

...)|()...,|()()(

zp

zpbacpbpap

周辺化

周辺化

25

「弁明」現象

26

車の燃料タンクモデル• 車の燃料装置のモデル

– バッテリの状態 B {1, 0}– 燃料タンクの状態 F {1, 0}– 電動燃料計 G {1, 0} G

B F

9.0)1( Bp

9.0)1( Fp8.0)1,1|1( FBGp2.0)0,1|1( FBGp

2.0)1,0|1( FBGp

1.0)0,0|1( FBGp

バッテリと燃料タンクが満タンである事前確率

燃料タンクとバッテリの状態が与えられた際の燃料系が満タンを指す確率

何も観測していないとき，燃料タンクが空である確率 p(F=0) = 0.1

27

燃料計観測による確率の変化

観測によってタンクが空である可能性が高くなる

G

B F

)0(

)0()0|0()0|0(

Gp

FpFGpGFp

ベイズの定理より

315.0)()(),|0()0(}1,0{ }1,0{

B F

FpBpFBGpGp

}1,0{

81.0)()0,|0()0|0(B

BpFBGpFGp

257.0315.0

1.081.0

)0()0|0( FpGFp

燃料計が空を指している事実を観測

28

「弁明」現象つづいてバッテリが切れていること (B=0) を観測

G

B F )0,0|0( BGFp

111.0)(),0|0(

)0()0,0|0(

}1,0{

F

FpFBGp

FpBFGP

バッテリの観測によってタンクが空である確率が0.257 から 0.111 に下がった

バッテリが切れているという事実が，燃料計が空を指していることを「弁明」している

※1 燃料計 G の代わりに G の子孫を観測しても起こる※2 バッテリが切れていても，燃料計が 0 を指しているという事実が証拠となり，事前確率 p(F=0) よりも大きい

29

補足 :B, G 観測後の事後確率計算

}1,0{

)()0(),0|0(

)0()0()0,0|0()0,0|0(

F

FpBpFBGp

FpBpFBGpBGFp

111.0)(),0|0(

)0()0,0|0(

}1,0{

F

FpFBGp

FpBFGp

Σ の外に出て打ち消す

)()|(),|()()|,(),,( BpBGpBGFpBpBGFpBGFp

)()|(),|()()|,( FpFBpBFGpFpFBGp

p(B)

30

突然ですが

31

アンケート

• “explain away” あなたならどう訳す ?– (1) 弁明 ( 現象 ) 1 名– (2) 釈明 ( 現象 ) 1 名– (3) 言い逃れ ( 現象 ) 1 名– (4) 説明を加えて明らかにする現象 5 名– (5) ( 他人がフォローするので ) 弁護 ( 現象 ) 7名– (6) 真犯人が現れました現象– ( その他自由回答 )

PRML 読書会的には「弁護」現象となりました

32

8.2.1 のポイントまとめ

33

tail-to-tailのノードを観測すれば，ふたつのノードの経路を遮断できる

ポイント１

ポイント４

head-to-head かその子孫のうちいずれかを観測すると，経路の遮断が解かれる

head-to-tailのノードを観測すれば，ふたつのノードの経路を遮断できる

ポイント２

head-to-headのノードを観測すると，ふたつのノードの経路の遮断が解かれる

ポイント３

34

8.2.2 有向分離 (D分離 )今までの話を一般化

35

有向分離

• グラフの有向分離– A, B, Cを重複のないノード集合とする– 条件付き独立性 A 　 B | C を調べたい⇒ A の任意のノードから B の任意のノードまで全ての

経路が遮断されていることを確認する

A

C

B

36

経路の遮断条件• 以下の条件のいずれかを満たすノードを含む経

路は遮断されている

集合 C に含まれるノードであって，経路に含まれる矢印がそこで head-to-tail あるいは tail-to-tail であ

る

(a)

(b) 経路に含まれる矢印がそのノードで head-to-headであり，自身あるいはそのすべての子孫いずれもが集合 C に含まれない

• 全ての経路が遮断されていれば， A は Cによって B から有向分離され， A 　 B | C を満たす

37

例 1)• a から b の経路を調べる a f

e b

c1. f によって遮断されない

2. e によって遮断されない

⇒ tail-to-tail かつ観測されていないため

⇒ head-to-headだが，子孫の c が観測されているため

有向分離できないか ?

このグラフからでは条件付き独立性は導けない

38

例 2)• a から b の経路を調べる a f

e b

c

1. f によって遮断される

2. e によっても遮断される

⇒ tail-to-tail かつ観測されているため

⇒ head-to-head かつ，いずれの子孫が観測されていないため

条件付き独立 a 　 b | f が成立する

39

独立同分布データの場合

• 1 変量ガウス分布の平均事後分布を得る問題– 下記のグラフより p(μ,x) = p(x|μ)p(μ)

…

μ

x1 xN

μ

xn

N

または

1.2.4節の独立同分布 (i.i.d.) の例

μ を条件付け変数と見なすと，任意の xi と xi≠j の経路が tail-to-tail の観測済みノード μ のため，すべての経路が遮断される

N

nnxpDp

1

)|()|(

⇒ μ が与えられた下で観測値 D = {x1, ..., xN} は独立である

40

図 8.7の例• \hat{t} から tn に対する任意の経路において， w は tail-to

-tail であるため，以下の条件付き独立性が成立する

w|ˆntt

つまり多項式係数 w で条件つけられた下で， \hat{t} の予測分布は訓練データ tn に対して独立

一旦訓練データを利用して係数 w上の事後分布を決めてしまえば，訓練データを捨ててしまってよい

41

ナイーブベイズモデル• ナイーブベイズモデルのグラフ構造

– 観測変数 x = (x1,...xD)T

– クラスベクトル z = (z1, ..., zK)

クラス zで条件付けると入力変数 x1, ...xD が互いに独立

ナイーブベイズ仮説

zを観測すると， xi と xj (j≠i) との間の経路が遮断される

zを観測せずに zに関して周辺化すると，xi と xj (j≠i) への経路の遮断は解かれる

p(x) を各成分 x1,...,xD に関して分解できないことを意味する

D

iixpp )()(x

i.e.,

42

ナイーブベイズモデルの特長• 入力ベクトル x に離散変数と連続変数が混在するような

場合にも使える⇒ 変数それぞれに対して適切なモデルを採用する

2 値観測値にはベルヌーイ分布

実数値にはガウス分布

D

ii

Yyyxpypyp )|()(maxarg)|( x

様々な分布の組み合わせが可能

43

有向分離定理

44

有向分離定理

(1) 有向分解 (directed factorization)– 同時分布の因数分解から得られる分布の集合

K

kkkxpp

1

)pa|()(x (8.5)

(2) 有向分離 (directed separation)– グラフの経路遮断を調べて得られる分布の集合

2 つの方法によって得られる分布の集合は等価である

45

マルコフブランケット

46

マルコフブランケット (1/2)• D個のノードを持つグラフで表現される同時分布 p(x1,

..., xD) と，変数 xi に対応するノード上の，他ノード xj≠i

で条件付けられた条件付き分布を考える

iD

Diji

dp

pp

xxx

xxxx

),...,(

),...,()|(

1

1}{

i

kkk

kkk

dp

p

xx

x

)pa|(

)pa|(

p(a|b,c) = p(a,b,c) / p(b,c)

xi に依存しないノードは積分の外に出て分子と打ち消しあう

ki paxikx

)pa|( iip x

)pa|( kkp x

xi の親ノードに依存

xi ( の子 ) と共同親に依存 (誤植 ? 下巻 p.95, 原書 p.382)

47

マルコフブランケット (2/2)• xi をグラフから条件付き独立にするためのノード最小集合 (⇒ 演習 8.9)

共同親(co-parent)

• 共同親が必要な理由⇒ 子の観測により遮断が解かれるため

xi

共同親

head-to-head ノードが観測 ( ポイント 3)

48

演習 8.9• マルコフブランケットを条件付けることにより， xi が全てのノードから条件付き独立

親ノード集合 :tail-to-tail or head-to-railかつ観測 ⇒ 遮断

子ノード集合 :(1) head-to-tailかつ観測 ⇒ 遮断(2) head-to-headかつ観測 + 共同親も観測⇒ 遮断

49

本節のまとめ

50

本節のまとめ• 3 ノードのグラフ

– tail-to-tail– head-to-tail– head-to-head

• 「弁明」現象

• 有向分離基準– 3 ノードグラフの性質を一般化

• 有向分離定理– 有向分解 (8.5) と有向分離基準で得られる条件付き独立性は一緒

• マルコフブランケット

51

おしまい