ベイズの識別規則

曽和 修平

ベイズの識別規則

観測データ x と所属するクラスの間に確率分布が仮定される識別問題に適応される例えば、医療検査。検査項目の値と健康状態には相関があるが、その影響は確率的。

ベイズの定理

事後確率・・観測データ x が与えられた下でそれがクラス Ci に属する条件付き確率事前確率・・クラス Ci の生起確率尤度・・クラスが与えられた下での観測データｘの確率分布周辺確率・・観測データｘの生起確率

事後確率

尤度 事前確率

周辺確率

最大事後確率基準

観測データを x, 識別クラスを Ci(i=1…K ）とするとベイズの識別規則は次式で定義される事後確率が最も大きなクラスに分類される

事後確率

尤度 事前確率

周辺確率ベイズの定理

ベイズの識別規則

クラス Ci とクラス Cj の識別境界は、事後確率が等しくなる所

識別クラス =

周辺確率 p(x) はどちらのクラスにも現れるので必要ない。

ベイズの識別規則の例ある町 1000 人をランダムにサンプルした仮想的なデータ

サンプル数 喫煙する人 (S=1) 飲酒する人 (T=1)健康な人（ G=1) 800 人 320 人 640 人健康でない（ G=0) 200 人 160 人 40 人

喫煙と飲酒の有無から、健康状態を予測するためのベイズの識別規則を導くすなわち、事後確率を特徴（ S,T ）の全ての組合せについて求める

ベイズの識別規則の例各クラスの事前確率

クラス条件付き確率 P(S,T|G ）については、 S と T の間に条件付き独立が成り立っていると仮定する

ベイズの識別規則の例 (2)

喫煙に関するクラス条件付き確率 P(S|G ）

飲酒に関するクラス条件付き確率 P(T|G)

ベイズの識別規則の例 (3)

これらより、クラス条件付き確率、同時確率、周辺確率は以下となる(S,T)

(1,1) (0,1) (1,0) (0,0)P(S,T|G=1) 8/25 12/25 2/25 3/25P(S,T|G=0) 4/25 1/25 16/25 4/25

P(S,T,G=1) 32/125 48/125 8/125 12/125

P(S,T,G=0) 4/125 1/125 16/125 4/125

P(S,T) 26/125 49/125 24/125 16/125

ベイズの識別規則の例 (4)

先の図の値を用いて、事後確率を計算する

(S,T)(1,1) (0,1) (1,0) (0,0)

P(G=1|S,T) 8/9 48/49 1/3 3/4

P(G=0|S,T) 1/9 1/49 2/3 3/4

判断 G=1 G=1 G=0 G=1

尤度比ベイズの識別規則の識別境界は事後確率の等しくなる所周辺確率 p(x) はどちらのクラスの識別規則にも共通で存在よって、 P(x|Ci)P(Ci) と P(x|Cj)P(Cj) の大きさを比べて比較可

><

><

この式を変形して、尤度比の形で識別規則を構成すれば

尤度比が事前確率の比よりも大きければクラス i に識別すれば良いことがわかる

ベイズの識別規則は誤り率最小ベイズの識別規則のもとで、誤り率 ε(x) は事後確率の小さい方になるので

これを条件付きベイズの誤り率というベイズ誤り率は領域 R1( クラス C1 に識別される領域）と R2( クラス C2 に識別される領域）における条件付きベイズ誤り率の期待値として表される

（途中式略）

ベイズの識別規則は誤り率最小 (2)

この積分に対応する面積は教科書図 3.1 の薄い網掛け部分識別境界が少しでも左右にずれるとこの面積は増加する

ベイズの識別規則は誤り率最小

最小損失基準に基づくベイズの識別規則これまでの識別規則では、誤りを犯すことによる危険度がクラス間で対称であったしかし、実際はそうではない場合が多い。例えば、健康な人を病気と判断するより、病気の人を健康と判断する方が危険である

損失という考え方を導入する

最小損失基準に基づくベイズの識別規則 (2)

損失 Lij ・・真のクラスが Cj の時、 Ci と判断することによって被る損失クラス数が K 個だと、 Lij を要素とする KxK の行列（＝損失行列）が出来る観測データ x をクラス Ci と判断した時に被る損失は

識別規則は損失の最も小さいクラスに識別することなので識別クラス＝

最小損失基準に基づくベイズの識別規則 (3)

2 クラスの場合について、損失の期待値が最小となる識別規則を求める入力データ x が与えられた時に被る損失は

損失の期待値は

( 途中式略）

最小損失基準に基づくベイズの識別規則 (4)

損失の期待値が最小となる識別境界は、被積分項の小さい方に判断されるよう領域 R1 と R2 を定めることにより得ることができる従って、識別規則は

<>

最小損失基準に基づくベイズの識別規則 (5)損失は間違える場合の方が大きいので、一般に　　　　　　　　　　　 が成り立つ従って、識別規則は以下のように書き換えることが出来る>

<

尤度比を用いれば以下のように表せる><

リジェクト条件付きベイズ誤り率は事後確率の小さい方で与えられた

従って、事後確率が等しいベイズ境界での誤り率は 1/2 である

このように誤り率が大きい時に判断を避けることをリジェクトという

リジェクト (2)閾値 t を定め、 ε(x)≧t の場合にリジェクトする例を示すクラス 1 側では、が成り立っているので

より、 p(x) =を代入して整理すれば

を満たす領域がクラス１側のリジェクト領域である

リジェクト (3)

一般に K 個のクラスがある場合、リジェクトを含めた識別規則は

識別クラス = リジェクト 全てのクラスについての場合

閾値 t を下げればリジェクト率は増加し、誤って認識する確率も減少するこの様子を示したのが教科書図 3.4 リジェクト - 誤認識別曲線

受動者動作特性曲線（ ROC 曲線）識別性能の指標として用いられるベイズ誤り率では事前確率、尤度、識別境界を知る必要があるROC 曲線はこれらの情報を知らなくても性能を評価できる

ROC 曲線の求め方

2 クラス問題は、対象 x が 1 つのあるクラスに属しているか、否かの問題と等価なので、属している場合を p 、属していないと判断する場合を n とするこの識別の様子は混合行列にとして表すことが出来る

受動者動作特性曲線（ ROC 曲線） (2)識別クラス 行和

p n

真のクラスp True Positive 真陽

性 (TP)False Negative偽

陰性 (FN) P = TP+FN

n False Positive偽陽性 (FP)

True Negative 真陰性 (TN) N = FP+TN

偽陽性率 = FP / N真陽性率 = TP / P適合率 = TP/(TP+FP)再現率 = TP/P正確度 = (TP + TN)/(P+N)F- 値 = 2 / (1/ 適合率 + 1/再現率）

受動者動作特性曲線（ ROC 曲線） (3)

ROC 曲線は偽陽性率と真陽性率の関係をグラフにしたもの偽陽性率は本来偽であるものの中で、真陽性率は本来真であるものの中で計算される従って、真のクラスのデータと偽のクラスのデータに大きく差があっても ROC 曲線は影響を受けない

受動者動作特性曲線（ ROC 曲線） (4)

以下に 2 つのクラスの尤度と識別境界の例を示すp(x|p*) が陽性クラスの尤度、 p(x|n*) が陰性クラスの尤度

受動者動作特性曲線（ ROC 曲線） (5)

識別境界が B にある時、境界の左側の R1 の領域が陽性、右側 R2 の領域が陰性陽性クラスのうち薄い網掛け部 ε1 が陰性と誤って判断される（偽陽性）＝＞第 1種の誤り濃い網掛け部 ε2 が陽性と誤って判断される＝＞第 2種の誤り陽性クラスのうち陽性と判断される割合は 1-ε1

受動者動作特性曲線（ ROC 曲線） (6)識別境界を A から C まで動かす事で 1-ε1 と ε2 の値が変化ROC 曲線はその様子を描いている

識別境界を A にするとすべて陰性と判断される識別境界を C にすると全て陽性と判断される

ROC 曲線による性能評価ROC 曲線はクラス間の重なりが少ないほど左上にシフトROC 曲線の下側の面積＝＞ ROC 曲線下面積 (AUC)AUC は識別器の性能を表す評価尺度として使われている

完全な識別器は AUC が 1.0ランダムな識別器は AUC が 0.5

ROC 曲線による性能評価 (2)

先の図のような ROC 曲線が得られたとして、動作点（真陽性率と偽陽性率の組合せ）をどこに選択すべきか？そこで、最小損失識別規則を導く損失を L11=L22=0 と仮定すれば

><

損失の期待値を r とすれば

ROC 曲線による性能評価 (3)

この式を ROC空間の定義に合わせて書きなおすと

事前確率と損失が既知であれば直線の傾き α が決まり、損失 r により切片が変化する直線群が得られる1 つの直線上では損失は一定ROC 曲線と等損失直線群が接している部分が選択すべき最適な動作点となる（図 3.6 ）

ROC 曲線の構成

識別器のスコアから ROC 曲線を構成する場合、普通階段状になる。そのため ,ROC 曲線は ROCグラフとよばれることもある

ROC 曲線の便利な点はクラスの分布がわからなくても構成できることである