PRML復々習レーン#13 前回までのあらすじ

2013-08-24

Yoshihiko Suhara

@sleepy_yoshi

v.1.0

前回のおさらい

• 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容

• 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください

• 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため

ポイントだよ

2

ポイント小僧の向きに意味はありません

ポイントだよ

前回の範囲 • 8章 グラフィカルモデル

– 8.1 ベイジアンネットワーク • 8.1.1 例：多項式曲線フィッティング • 8.1.2 生成モデル • 8.1.3 離散変数 • 8.1.4 線形ガウスモデル

– 8.2 条件付き独立性 • 8.2.1 3つのグラフの例 • 8.2.2 有効分離 (D分離)

– 8.3 マルコフ確率場 • 8.3.1 条件付き独立性 • 8.3.2 分解特性 • 8.3.3 例: 画像のノイズ除去 • 8.3.4 有向グラフとの関係

– 8.4 グラフィカルモデルにおける推論 • 8.4.1 連鎖における推論 • 8.4.2 木 • 8.4.3 因子グラフ • 8.4.4 積和アルゴリズム • 8.4.5 max-sum アルゴリズム • 8.4.6 一般のグラフにおける厳密推論 • 8.4.7 ループあり確率伝播 • 8.4.8 グラフ構造の学習

3

前回の範囲

8.2 条件付き独立性

4

8.2 条件付き独立性

確率変数が観測された際に その他の確率変数同士の独立性が成立することを

条件付き独立性と呼ぶ

• 𝑐が与えられた下で𝑎は𝑏に対して条件付き独立 𝑝 𝑎 𝑏, 𝑐 = 𝑝 𝑎 𝑐

• これは特定の𝑐の値に限らず，𝑐が取りうる可能な値すべてにおいて成立する

– 参考: @shuyo さんのブログ http://d.hatena.ne.jp/n_shuyo/20130722/prml

ポイントだよ

5

8.2.1 3つのグラフの例

tail-to-tail, head-to-tail, head-to-head の3パターンがある

• 観測されると条件付き独立: tail-to-tail, head-to-tail • 観測されないと条件付き独立: head-to-head

• 覚え方: 観測されたノードに矢印の頭 (head) がついているか，矢印のおしり (tail) がついているか

ポイントだよ

6

条件付き独立 条件付き独立 条件付き独立じゃない!

補足: ナイーブベイズ

tail-to-tailのノードを観測することによって 他のノードが条件付き独立となる性質を利用した

ベイズ識別器

• クラスが与えられたもとで特徴ベクトルの各要素が条件付き独立 – e.g., テキストの場合には単語

argmax𝐶𝑃 𝐶 𝑿 = argmax𝐶𝑃 𝑿 𝐶 𝑃 𝐶 = argmax𝐶𝑃(𝐶) 𝑃(𝑋𝑖|𝐶)

𝑖

ポイントだよ

7 ⋯

単語

クラス

𝑃(𝑋𝑖|𝐶)には，よく多項分布が用いられるが 連続分布 (たとえばガウス分布) も利用可能

8.2.2 有向分離 (D分離)

一般のグラフにおいてもさきほどの例から 得られた結果を用いて条件付き独立性を論じられる

• 排他的なノード集合A, B, Cを考える．以下の条件のうちいずれかを満たす経路は遮断されている – 集合Cに含まれるノードであって，経路に含まれる矢印がそこでhead-to-tailあるいはtail-to-tailである

– 経路に含まれる矢印がそのノードでhead-to-headであり，自身あるいはそのすべての子孫のいずれもが集合Cに含まれない

• マルコフブランケット – あるノードをネットワークから孤立させるために観測が必要なノード集合

ポイントだよ

8

𝑎 ⊥ 𝑏|𝑓?

𝑎 ⊥ 𝑏|𝑒? 𝑎 ⊥ 𝑏|𝑓?

𝑎 ⊥ 𝑏|𝑒?

8.3 マルコフ確率場

9

8.3 マルコフ確率場

リンクが方向性を持たない無向グラフに おいても因数分解や条件付き独立性を

論じることができる

• 変数に対応するノード集合とノード対を接続するリンク集合から成る

–ただしリンクは方向性を持たない

ポイントだよ

10

8.3.1 条件付き独立性

無向グラフにおいてはノード間の経路が 遮断されているかで確認すればよい

• ノード集合Aとノード集合Bの任意のノード間の経路はノード集合Cによって遮断されている例

• 無向グラフのマルコフブランケットは簡単

ポイントだよ

11

8.3.2 分解特性

無向グラフを極大クリークに分解し， 同時確率を複数のポテンシャル関数で表現する

• 無向グラフの同時確率を極大クリークのノードで構成されたポテンシャル関数𝜓𝐶 𝒙𝐶 の積で表現する

𝑝 𝒙 =1

𝑍 𝜓𝐶 𝒙𝐶𝐶

• ポテンシャル関数は正であるとしたので，たとえばエネルギー関数𝐸(⋅)を用いて以下のように計算できる

𝜓𝐶 𝒙𝐶 = exp{−𝐸 𝒙𝐶 }

ポイントだよ

12

極大クリーク

極大でないクリーク

8.3.3 例: 画像のノイズ除去

無向グラフを用いた簡単な例

• 以下をモデル化 – 隣接したノードが同じ値を持つ方が低いエネルギーを持つ – 潜在ノードと観測ノードが同じ値を持つ方が低いエネルギーを持つ

• 反復条件付きモード (ICM) で解く – 他の潜在変数を固定して対象とする潜在変数の値がエネルギーが小さい方に更新 – グリーディな探索であるため，大域的最適解が得られない

• ほんとうは．．．

– 全ノードの確率変数の組み合わせ 2#𝑛𝑜𝑑𝑒の中からエネルギー関数が最小（＝同時確率が最大）になるものを見つけたい

– グラフカットアルゴリズムならばそれが可能

ポイントだよ

13

8.3.4 有向グラフとの関係

任意の有向グラフは無向グラフに変換可能

• 共通親にリンクを張ることをモラル化と呼ぶ

• ただし，無向グラフに変換することで条件付き独立性が失われる

• グラフは，ある条件付き独立性を持つ確率分布を表現するための手段

ポイントだよ

14

8.4 グラフィカルモデルによる推論

15

8.4 グラフィカルモデルにおける推論

グラフのいくつかのノードの値が観測された場合に 残りのノードに関する事後分布を計算する

• 局所的なメッセージがグラフ全体にわたる伝播として表現できる

–本節では厳密推論の方法について論じる

ポイントだよ

16

8.4.1 連鎖における推論

連鎖グラフにおいては，あるノードを中心として 前向きに伝えるメッセージと後ろ向きに伝わるメッセージの

和で計算可能

𝑝 𝑥𝑛 = … … 𝑝(𝒙)

𝑁𝑥𝑛+1𝑥𝑛−1𝑥1

=1

𝑍 𝜓𝑛−1,𝑛 𝑥𝑛−1, 𝑥𝑛 … 𝜓2,3 𝑥2, 𝑥3 𝜓1,2 𝑥1, 𝑥2

𝑥1𝑥2𝑥𝑛−1

𝜓𝑛,𝑛+1 𝑥𝑛, 𝑥𝑛+1 … 𝜓𝑁−1,𝑁 𝑥𝑁−1, 𝑥𝑁𝑥𝑁𝑥𝑛+1

⋯

ポイントだよ

17

𝜇𝛼 𝑥𝑛

𝜇𝛽 𝑥𝑛

つづく さぁ今日も一日 がんばるぞ

18