1

確率計算のための漸化式と動的プログラミング（１）

統計数理研究所

伊庭幸人

講義の計画

A.確率計算のための漸化式と動的プログラミング　転送行列，backward-forward, sum-product, viterbiなどの逐次的な　アルゴリズムのまとめとさまざまな一般化，応用について述べる．

B. 情報理論再入門　情報理論のうち最も基本となる可逆な情報源圧縮について，

　初歩から，MDL原理，ベイズ統計との関連まで．　今年の中央大学での講義３日目の再編集版．

C.大数の法則，大偏差，カノニカル分布　確率論の初歩から統計力学との関連まで．

全体のテーマ

学んだはず？のこと，これから学ぶはずのこと，

をより高度かつ総合的な立場からみなおす

⇒　ほぼ独立な３テーマを選んだ

ＭＣＭＣ

モンテカルロ関係の講義は今年度は

ここではやらない

総合研究大学院大学　「計算推論科学ＩＩ」

統計数理研究所（広尾）　聴講希望は伊庭まで

１月１５日（月）　２２日（月）　２９日（月）

２月５日（月）

今日のテーマ

A.確率計算のための漸化式と動的プログラミング　転送行列，backward-forward, sum-product, viterbiなどの逐次的な　アルゴリズムのまとめとさまざまな一般化，応用について述べる．

絵で考えたのと，式で考えたのが，ぴったり対応させられるようになればよい

はじめて聞くひとはやさしいところだけ理解すればよい

大体知っているひとは全体のつながりを再確認しよう

参考書（１）

C M BishopPattern Recognition and Machine LearningSpringer-Verlag　主に Chap.8とChap.13

グラフィカルモデル（Chap.8）はサンプルとして著者のサイトからダウンロード可能．おすすめ．

2

参考書（２）

S M Aji and R J McEliece (2000)　一般化分配則による統一的視点The generalized distributive lawIEEE Transactions on Information Theory, 46 pp. 325-343.

北川源四郎　　　連続値変数，逐次モンテカルロ法

時系列解析入門　岩波書店

樺島・上田　BPからloopy BPへ統計科学のフロンティア１１　計算統計１

伊庭ほか　逐次モンテカルロ法，マルコフ連鎖モンテカルロ法

統計科学のフロンティア１２　計算統計２

浅井　ＨＭＭによるゲノム解析，確率文脈自由文法（ＰＣＦＧ）

統計科学のフロンティア９　生物配列の統計

ベイズ統計＝生成過程からのモデル化

↓

ベイズの公式でひっくりかえす

好きな変数に既知の値（データ）を入れて，残りを確率変数だと思ってよい

ＭＣＭＣなどの位置づけ

xとyを反転

ベイズの公式でひっくり返す計算のためにＭＣＭＣ，逐次モンテカルロ，変分ベイズビリーフプロパゲーション viterbi　などが使われる

ＨＭＭ（隠れマルコフ模型）

X i X i+1

HMMを式で書くと

同時確率

事後分布

A. データ全体を与えたときの状態推定

Smoothing（平滑化）

3

B. 時刻nまでのデータを与えたときの状態推定

Filtering（フィルタリング）

オンライン推定として重要

C.周辺尤度の計算

これから，遷移確率などのパラメータを推定する

likelihood（尤度）

問題C（尤度の計算）から考える

計算の量～　(状態の数）のＮ乗

計算の量～　(状態の数）掛けるＮ

漸化式（前向き）

1　　2 1　　2　　3 1　　2　　3　 4

1　 2　 3　 4 5 6

行列記法

状態数をD　⇒　D次元行列をベクトルに演算

D=2転送行列法　（統計物理の用語）

4

問題Ｂも同時に解けている

1　　2　　3 4 5 6

問題Ａをどうするか

1　　2　　3　 4 4 5 6 前と同じ 新しい部分

漸化式（後向き）

↑時系列から入った人は注意 赤丸は共通

グラフと式で説明すると・・

後向き漸化式の別表現 時系列解析で好まれる書き方

北川　「時系列解析入門」　岩波書店

5

統計物理

１次元スピン系（１次元イジング鎖など）

1　　2　　3　 4 4 5 6

対応

人間の目と蛸の目（並行進化）

タコには盲点が無い

1 2

無向グラフの描き方１

1 2 3

4

各因子（ファクター）

ごとに出てくる変数を全部繋いで完全グラフ（クリーク）にする

3

54

確率分布に限定しない

規格化を考えないほうが便利

無向グラフの描き方2

赤の対が独立でない

緑を全部固定したとき

赤の対が独立

描き方２　⇒　描き方１　　Hammersley Cliffordの定理

描き方１　⇒　描き方２　　ほぼ自明

条件が必要：　任意の状態について確率の値＞０

参考：　ファクターグラフ

1 2 3

4

1 2 3

4

1 2 3

4

一意に因子分解の形を決めない

⇒　アルゴリズムを論じるためには　　　より正確な表現が必要

この講義では普通の無向グラフだけですますのでやや怪しいところも出てくるかも

6

グラフ表現の意味

ある種の条件を満たす

　　「式の集合」「分布の集合」「モデルの集合」

を抜き出すフィルター

条件式のようなもの

メタモデル

高次マルコフ，第２隣接以上の相互作用

Q 次マルコフQ 隣接

状態数 D↓状態数

マルコフ場，２次元イジング 計算の手間：　「帯」が有利

断面の大きさ　K　次数　D

家系図

母父 母父

子 子

確率　⇒　メンデルの法則 詳細は「ベイズ統計と統計物理」伊庭幸人　岩波書店 2003 参照

家系図(ループなし）：　ツリー

7

root

root

sum-product algorithmroot root葉から根 根から葉

行ったり来たり

「帰り」で「行き」の結果を再利用する所は似ているけれど，★★とは違うと思う．sum-productはＨＭＭで普通使われる★の型に近い

★

★★

8

家系図（ループあり）

他の方法との関係

漸化式の方法（この講義）

変分的手法平均場近似

loopy belief prop.

ある値に収束収束しても近似

マルコフ連鎖モンテカルロ（MCMC）

動き続ける無限回平均で厳密

漸化式の方法⇒　近似分布

漸化式の方法条件付き分布からのサンプリングに使う

ループが多くても使える

有限回で終わる厳密（数値誤差以外）

Ｄ. 全部のデータを与えたときの状態のサンプリング

のサンプルを生成

宿題

状態が連続値をとる場合

一般化状態空間モデル

システム方程式　　　　　　　システム雑音

観測方程式　　　　　　　　　　観測雑音

9

状態が連続値をとる場合の漸化式

　和を積分で　確率を確率密度でおきかえる 積分の計算がたいへん積分を近似するより「モデル全体をHMMで近似する」と考えたほうがよいが，いずれにせよ大変

２変数　 ∞×∞状態　⇒　２重積分２変数，２次マルコフ　 ∞×∞ ×∞×∞状態　⇒　４重積分１２次マルコフ　⇒　１２重積分

４重を１００状態ずつ　１００の４乗　⇒　１憶状態

２変数　or　１変数で２次マルコフ　くらいまでなら可能　北川　「時系列解析入門」　岩波書店

問題点

１変数

２変数

or１変数２次

がとれる状態を離散化

がとれる状態を離散化より実際的な方法

　１．ガウス and 線形　　　解析的に積分（ガウス積分）

　　　⇒平均と共分散行列の漸化式　カルマンフィルタ

　２．非ガウス or 非線形　　　逐次モンテカルロ法

　　　　（パーティクル・フィルタ， GAの特殊形）　　　マルコフ連鎖モンテカルロ法　などを使う

　　　統計科学のフロンティア１２　計算統計II 岩波書店

線形ガウス状態空間モデル

を状態変数に使うなどでARモデルなどさまざまなモデルを表現できる．

注意１

カルマンフィルタにも

　B.フィルタリングのほかに，

　A.平滑化，C.尤度計算，D.サンプリングが全部揃っている（原理同じ，A,Dは導出面倒）

オンラインでBを使うことが一番多いので「カルマンフィルタ」で全部を代表することが多い

カルマンサンプラー

10

注意２

２変数の線形ガウス状態空間モデル，

　　　　それを解く カルマンフィルタ各式は，２つの式を連立させたものになる

２状態の隠れマルコフモデル

各式は２変数の線形の式

まったく違うので注意！　２変数 ⇔ ∞×∞状態！　（たとえば共分散の時間発展は非線形）