PRML復々習レーン#3 前回までのあらすじ

2012-07-16

Yoshihiko Suhara

@sleepy_yoshi

v.1.1

前回のおさらい

• 復々習レーンの復習を15分程度でやります

–得られた結論にポイントを絞る

– 「よーするに」な内容

• 目的

–前回の復習

–不参加の方に流れを伝えるため

–自分自身の勉強のため

ポイントだよ

2

前回の範囲

• 2.3 ガウス分布 – 2.3.1 条件付きガウス分布 – 2.3.2 周辺ガウス分布 – 2.3.3 ガウス変数に対するベイズの定理 – 2.3.4 ガウス分布の最尤推定 – 2.3.5 逐次推定 – 2.3.6 ガウス分布に対するベイズ推論 – 2.3.7 スチューデントのt分布 – 2.3.8 周期変数 – 2.3.9 混合ガウス分布

• 2.4 指数型分布族 – 2.4.1 最尤推定と十分推定量 – 2.4.2 共役事前分布 – 2.4.3 無情報事前分布

ここまで

3

2.3 ガウス分布

4

2.3 ガウス分布

ガウス分布は全ての基本 平均パラメータ𝝁，共分散パラメータ𝚺 (精度𝚲 = 𝚺−1)の

ガウス分布の確率密度関数は以下のとおり

ポイントだよ

• 𝒩 𝑥 𝜇, Σ =1

2𝜋𝐷2

1

𝚺12

exp −1

2𝒙 − 𝝁 𝑇𝚺−1 𝒙 − 𝝁

• 注意点 – 単峰性であること

– パラメータ数は𝐷+1 𝐷

2+ 𝐷個であるため，計算が困難

• 共分散行列に制限を設ける (a: 一般，b: 対角, c: 等分散)

5

2.3.1 条件付きガウス分布

𝑝 𝒙𝑎, 𝒙𝑏 がガウス分布のとき， 条件付き分布𝑝 𝒙𝒂|𝒙𝑏 もガウス分布

ポイントだよ

コレ

6

2.3.2 周辺ガウス分布

𝑝 𝒙𝑎, 𝒙𝑏 がガウス分布のとき， 周辺分布𝑝 𝒙𝒂 = 𝑝 𝒙𝑎, 𝒙𝑏 d𝒙𝑏もガウス分布

ポイントだよ

コレ

7

2.3.3 ガウス分布に対するベイズ推定

𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙)が 以下で与えられたとき

𝒚の周辺分布と𝒙の条件付き分布は以下で表現できる

ポイントだよ

• 𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙) – 𝑝 𝒙 = 𝒩 𝒙 𝝁, 𝚲−1

– 𝑝 𝒚|𝒙 = 𝒩 𝒚 𝑨𝒙 + 𝒃, 𝑳−1

• 𝒚の周辺分布と𝒙の条件付き分布 – 𝑝 𝒚 = 𝒩 𝒚 𝑨𝝁 + 𝒃, 𝑳−1 + 𝑨𝚲−1𝑨𝑇

– 𝑝 𝒙 𝒚 = 𝒩 𝒙 𝚺 𝑨𝑇𝑳 𝒚 − 𝒃 + 𝑨𝝁 , 𝚺 – ただし 𝚺 = 𝚲 + 𝑨𝑇𝑳𝑨 −1

• 同時確率 𝑝 𝒛 = 𝑝 𝒙 𝑝 𝒚 𝒙 = 𝑝 𝒚 𝑝 𝒙 𝒚

8

2.3.4 ガウス分布の最尤推定

平均と分散の最尤推定量は以下のとおり なお分散の最尤推定量 ≠ 不偏推定量

ポイントだよ

• 十分統計量 – 𝒙𝑛𝑁𝑛=1 と 𝒙𝑛𝒙𝑛

𝑇𝑁𝑛=1

• 最尤推定量

– 平均: 𝝁ML =1

𝑁 𝒙𝑛𝑁𝑛=1

– 分散: 𝚺𝑀𝐿 =1

𝑁 𝒙𝑛 − 𝝁ML 𝒙𝑛 − 𝝁ML

𝑇𝑁𝑛=1

9

2.3.5 逐次推定

データを逐次的に用いて分布のパラメータを推定する場合にはRobbins-Monroアルゴリズムを利用できる

ポイントだよ

• Robbins-Monroアルゴリズム – 𝑓 𝜃∗ = 0の根𝜃∗を求めるアルゴリズム

𝜃 𝑁 = 𝜃 𝑁−1 − 𝑎𝑁−1𝑧 𝜃𝑁−1

• 最尤推定解は対数尤度関数の停留点 – 最尤推定解を求めることは，回帰関数の根を求めることに相当

– 他にも3.1.3の確率的勾配法でも利用

10

2.3.6 ガウス分布に対するベイズ推論

ガウス分布における各パラメータの事後分布と 共役事前分布は以下の通り

ポイントだよ

事後分布 1変量 多変量

平均パラメータ（分散既知） ガウス分布 ガウス分布

精度パラメータ（平均既知） ガンマ分布 ウィシャート分布

分散パラメータ（平均既知） 逆ガンマ分布 逆ウィシャート分布

平均，精度パラメータ ガウス―ガンマ分布 ガウス―ウィシャート分布

• パラメータの事後分布∝尤度×事前分布

• ベイズ推定で求めるのはパラメータの分布

11

2.3.7 スチューデントのt分布

t分布は，平均は同じで精度が異なるような ガウス分布を無限個足し合わせたもの

ポイントだよ

• 最尤推定解は解析的には求まらない (⇒ EM法)

t分布 t分布 vs. ガウス分布

• t分布の頑健性

12

2.3.8 周期変数

周期性を持つ確率変数を扱う場合には 極座標とフォン・ミーゼス分布を用いる

ポイントだよ

• フォン・ミーゼス分布

𝑝 𝜃 𝜃0, 𝑚 =1

2𝜋𝐼0(𝑚)exp 𝑚 cos 𝜃 − 𝜃0

Fritz Von Erich (1929-1997)

極座標 直交座標

Richard von Mises (1883-1953)

赤の単位円で条件づけられた 2次元ガウス分布という解釈 13

2.3.9 混合ガウス分布

単一のガウス分布では表現が難しい場合には 混合ガウス分布を用いる

ポイントだよ

• 混合ガウス分布: 𝑝 𝒙 = 𝜋𝑘 𝒩 𝒙 𝝁𝑘 , 𝚺𝑘𝐾𝑘=1

• 対数尤度関数 – 解析的には最尤解を求められることができないため，EMアルゴリズムを用いる

14

2.4 指数型分布族

15

2.4 指数型分布族

これまでの話題を一般化するため， 指数型分布族という単位で考える

ポイントだよ

• 指数型分布族の例

–ベルヌーイ分布，多項分布，正規分布，ポアソン分布など

• 指数型分布族の一般形 𝑝 𝒙 𝜼 = ℎ 𝒙 𝑔 𝜼 exp 𝜼𝑇𝒖 𝒙

16

2.4.1 最尤推定量と十分統計量

指数型分布族の関数形から 最尤推定量と十分統計量を求めることができる

ポイントだよ

• 以下の式を解けば最尤推定量を得ることができる

−𝛻 ln 𝑔 𝜼𝑀𝐿 =1

𝑁 𝒖 𝒙𝑛

𝑁

𝑛=1

十分統計量

17

つづく さぁ今日も一日 がんばるぞ

18