Upload
nguyenkien
View
222
Download
8
Embed Size (px)
Citation preview
ベイズ統計学̶ ベイズの定理からベイズ的推論へ ̶
三中 信宏MINAKA Nobuhiro
独立行政法人 農業環境技術研究所 生態系計測研究領域 上席研究員
東京大学大学院 農学生命科学研究科 生物・環境工学専攻 教授[生態系計測学]
東京農業大学大学院 農学研究科 客員教授[応用昆虫学]
mailto:[email protected]
http://twitter.com/leeswijzer
http://cse.niaes.affrc.go.jp/minaka/
http://d.hatena.ne.jp/leeswijzer/
ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)
全事象条件付き事象の確率
事象 B 事象 A
事象 R
事象 A
事象 B
R
R積事象の確率 ���� � ��
�
���� � ��
�
������� ����� � ��
�����
�
������� ����� � ��
�����
�
ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)
条件付き確率の定義より:
���� � �� � ������������
�
���� � �� � ������������
�
������� �������������
�����
�
����� � ������ � �� ����� � �� � ���
���� � ��
�
� ���� � �� � ���� � ��
�
� ������������ � ������������
�
右辺の分母について:
} 事後確率事前確率尤度
ベイズの定理
全事象 = 1となる
(∵Aと Bは排反事象)
基準化定数
ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)
尤度
仮説 B 仮説 A
データR
仮説 A
仮説 B
R
R事象 Rを「データ」,事象 Aと Bを対立する「仮説」とみなすと,条件付き確率は,それぞれの仮説がデータに対して与える「尤度」を意味する.
尤度
ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)
仮説 B 仮説 A
データR
ベイズの定理の「事後確率」はデータ Rによる仮説 AとBの条件付き確率である.
仮説 B 仮説 A
データR
事後確率
ベイズの定理の「事前確率」はデータ Rがないときの仮説 Aと Bの確率である.
データR
ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)
一般に,全事象が互いに排反な n事象H1~Hnに分割されるとき:
�������� �������������������� ��������������
�
事後確率事前確率尤度
ベイズの定理(一般)全事象
H1 Hn
事象 R
H2
Rをデータ,H1~Hnを対立仮説とすると,ベイズの定理から,データによって各仮説が支持される程度を事後確率の値で示すことができる.仮説の事後確率は仮説の事前確率と尤度に比例する.
基準化定数
ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)
大学全体条件付き確率の仮定
男性 =2/3 女性 =1/3
長髪
女性
男性
長髪
長髪
Pr( 長髪|女性 )=3/4
Pr( 長髪|男性 )=1/2
[数値例]
事前確率
尤度
尤度
ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)
[問題]「長髪の人がいた」というデータ Rがあるとき,仮説H1「その人は女性である」と仮説H2「その人は男性である」の事後確率はそれぞれどうなるか?
事前確率
������ ���
�
������ ���
�
�������
� ��
�
�
�������
� ��
�
�
尤度
����� ���� �
��
��� �
��
���
�
�������� ���������������
� ����
��� �
�� ��
��
��
�
�������� ���������������
� ����
��� �
�� ��
��
��
�
事後確率
基準化定数
ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準
�������� ���������������
� ����
��� �
�� ��
��
��
�
�������� ���������������
� ����
��� �
�� ��
��
��
�
事前確率尤度事後確率 事後確率の大小からは,「長
髪の人がいた」というデー
タ Rのもとで,仮説 H2「そ
の人は男性である」が選択
される.尤度の大小からは,同じデータ Rであっても,対立仮説H1「その人は女性である」が選択される.
ベイズ推定
最尤推定
<<
ベイズ法と最尤法のいずれを用いればいいのか?
ベイズ法をめぐる論争あれこれ主観的確率と計算複雑性
【哲学的問題】
伝統的にベイズ主義者は,「主観的確率概念」を信奉する統計学者が多
く,「頻度的確率概念」を支持する他の統計学者との間で,激しい論争
が長年にわたって続いている.現在もなお進行中(かな).
【実践的問題】
事前確率をどのように与えるのか,また,事後確率の算出にともなう計
算量の増大にどのように対処すればいいのかという問題が未解決だっ
たので,つい最近までベイズ法は実践的な統計ツールではなかった.
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
�������� �������������������� ��������������
�
事後確率事前確率尤度
ベイズの定理をパラメトリック確率分布にあてはめる:
������ ���������������� ����������
�
事後分布事前分布尤度
データ xに関する確率密度関数のパラメータθがある事前確
率分布πに従うと仮定する.xの尤度をfとするとき,パラメー
タθの事後確率分布はベイズの定理により与えられる.
説明仮説はデータに関す
る統計モデルのパラメー
タによって決定される.
基準化定数
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
[例]ベータ事前分布をもつ二項分布パラメータの事後分布
������ ��
�
�
����� � �����
�
���� �� �� ������� � �����
� �
������� � �������
�
二項分布(期待値 np)
ベータ分布(期待値 a/(a+b))
二項分布を決めるパラメータ pがベータ分布に従う事前分布をすると考える.そのココロは,pに関する事前情報(または背景仮定)を推定に組み込もうとするベイズ主義の精神の発露である.
例)オモテの出る確率が pであるコインを n回投げたときに,オモテの x回出る確率は,この二項分布に従う.
ベータ分布の二つのパラメータ aと bを変えると,二項分布のパラメータ pの分布が変化する.a=b=1 のとき一様分布(無情報事前分布)となる.
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
[例]ベータ事前分布をもつ二項分布パラメータの事後分布
������ ���
��
�
�
����� � ����� � ������ � �����
� �
������� � �������
�
� �� �
�
��
�
����� � ����� � ������ � �����
� �
������� � �������
��
�
事後分布
尤度(二項分布) 事前分布(ベータ分布)
基準化定数
事後分布 ������ � � � � �������� � ���������
�
データ xのもとでの pの事後分布はベータ分布であり,そのパラメータは x+a, n-x+b である.
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
[例]ベータ事前分布をもつ二項分布パラメータの事後分布
事前分布 事前分布
事後分布 事後分布
事前分布が a=b=1 のとき 事前分布が a=b=2 のとき
n=10, x=6
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.
������ ��
���
����� � ���
�
���������
� ������� � ����� � ��� � �
�
�� �����
���
�
�
1) 尤度関数 をパラメータ pで微分する.
2)尤度方程式 を解く.
3) 最尤推定値 が得られる.
0 13/5p
p̂最尤推定値
������������
��������
�����
��
�� � �����
����
�
その標本分散は近似的に:標本誤差3/125
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
[例]正規事前分布をもつ正規分布の平均パラメータの事後分布
������� ��� ������
���
���
�
��� � �
�
���
�
正規分布
μの正規事前分布
��� ��� � � � � �� � ���� ���
�
� � ����� ����
�
���� ���
����
���
���
�
�� � ��
��
���
�
ある正規分布に従う母集団から n個の独立な標本を取ると仮定する.
その正規分布の平均μは別のある正規分布を事前分布としてもつと仮定する。
得られた標本データのもとで,μの事後分布はどうなるか?
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
[例]正規事前分布をもつ正規分布の平均パラメータの事後分布
������ ���
���
�����
���
���
�
��� � �
�
���� ��
����
���
���
�
�� � ��
��
���
�
������ � ������
���
���
�
�� � ��
��
���
�
� � ����� ����
�
���� � � � ���
� � �� � ����
��
���
�� � ���� ���
�
μの事後分布
事後分布の確率密度関数
事前分布尤度
ただし∴
μの事後分布もまた正規分布となることがわかる.
ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える
[例]正規事前分布をもつ正規分布の平均パラメータの事後分布
μの事前分布N(0,10)
平均パラメータμ
標本平均 5.132
μの事後分布N(5.08, 0.099)
μの事前分布N(0,10)
平均パラメータμ
標本データ={4.348, 5,461, 4.609, 4,351, 4.347, 5.754, 6.088, 5.998, 5.572, 4.792}
標本データ
ベイズ事後分布を求めるモデルが複雑になると計算量が膨大になる
[例]分子系統樹のベイズ推定
v1
v2
v3v4
v5 v6
パラメータ群 樹形:τ 枝長:v 置換遷移確率:θ サイト間変異:α
������� ���������������
��� ������������
�
������� ��
��
�
�
�
�
������������ ����������������������
�
樹形の事後分布
推定対象
対象外(撹乱母数)
撹乱母数は期待値計算で消去
樹形の尤度
樹形の事前分布
配列データ X
多重積分の重荷
組合せ論的爆発
ベイズ事後分布を求めるマルコフ連鎖モンテカルロ法(MCMC)という最終兵器
������� ���������������
��� ������������
�
事後確率分布
事後確率
パラメータ 1
パラメータ2
パラメータ初期値を無作為に与え,マルコフ過程を用いて事後確率分布を系統的にサンプリングし,定常状態になるまで探索させる.
マルコフ連鎖モンテカルロ法(Markov chain Monte Carlo: MCMC)
初期値
定常状態
酔歩状態
慣らし過程(burn-in)
事後確率分布計算
ベイズ事後分布を求めるマルコフ連鎖モンテカルロ法(MCMC)という最終兵器
100ステップ 1,000 ステップ 10,000 ステップ
ベイズ事後分布を求めるマルコフ連鎖モンテカルロ法(MCMC)という最終兵器
事後確率分布
事後確率
マルコフ連鎖ステップ数 二項分布パラメータ p
[例]ベータ事前分布をもつ二項分布パラメータの事後分布
MCMCは福音か,それとも災厄かベイジアン最終兵器の光と影
【光】「ベイジアンMCMC」が登場して,まだ 10年ほどしか経っていない.にも
かかわらず,その実用性はすでに生物学・医学の広い領域に浸透しつつある.生
物統計学はもちろん,これから進化学・生態学・バイオインフォマティクスなど
を学ぶとき,たいへん有効なツールである.とくに,現実に即した複雑なモデル
を用いるとき,ベイジアンMCMCは現時点でほとんど唯一の計算手段である.
【影】以下の問題点が指摘される:1)事前分布をどのように設定するのか,そ
の妥当性あるいは結果への影響はどのようにして評価されるのか;2)マルコフ
連鎖が収束したかどうかはいつどのようにして判定すればいいのか;3)ベイズ
主義をめぐる“哲学的”な問題点は何一つ解決していない.ユーザーは眼前の問
題解決に役立つ分析ツールのひとつとして使っているだけだから.