付 録A 確率と統計の基本概念ap.basic.stats

この付録ではまず確率，次に統計の基本概念を整理し，本文の理解の一助としたい．

参考文献：山本，付録Ａ・Ｂや森村英典や豊田編著．

この冒頭では，確率・統計に共通したキーワード 2つ，母集団と標本，について整理しておく．

1. 母集団：分析の対象となっている (根元)要素すべての集まり；母集団を代表するもので要素の内容を表す記号としてX を用いる (X の持つ意味は―5―ページ第 A.1.2節冒頭をみよ)．

N=要素の総数 (母集団の大きさ)；N < ∞であれば有限母集団，N → ∞であれば無限母集団．

(a) 例 1(横断面)：(ある年度に限定して)日本の中小企業すべて (例えばN=5000社)の売上高から成る母集団；X=日本の中小企業の売上高．

(b) 例 2(横断面)：(ある年度に限定して)海外進出している日本企業すべて (例えばN=1000社)の進出形態 (「完全所有子会社」形態か「合弁事業」形態)から成る母集団；X=海外進出している日本企業の進出形態．

(c) 例 3(時系列)：キヤノンの創業以降現在までの全期間 (例えば T=50年間)の年次売上高から成る母集団；X=キヤノン年次売上高．

(d) 母集団分布 (母集団の分布)：X が従う確率分布 (X は確率変数と呼ばれる)．母集団分布の平均 (期待値)，分散，標準偏差をそれぞれ母平均，母分散，母標準偏差；これらを母集団のパラメータ又は母数と呼び，ギリシャ文字 ( µ ，等)で表記．(これらの詳細は―5―ページの第 A.1.2節，―13―ページの第 A.1.5節みよ.)

2. しかし，母集団全体についての測定はかなり困難．実際にはその一部を測定の対象として選ぶ．この選び出す操作が標本抽出；母集団の各要素が同様の確からしさ (―3―ページの第 A.1.1節みよ)で抽出された要素の集合を無作為標本；標本抽出された数 n が標本の大きさ；i番目の標本を表す記号としてXi 又は xi

を用いる (2つの違いは下述)．

(a) 例 1(横断面)：ある年度に限定して，日本の中小企業 100社 (n = 100 << N)の売上高から成る無作為標本；Xi 又は xi=標本中，日本の中小企業 iの売上高．

(b) 例 2(横断面)：ある年度に限定して，海外進出している日本企業 250社 (n = 250 << N)の進出形態(「完全所有子会社」形態か「合弁事業」形態)から成る無作為標本；Xi又は xi=標本中，海外進出している日本企業 iの進出形態．

(c) 例 3(時系列)：最近の 1986年から 1995年迄 10年間 (<< T )に限定して，キヤノンの年次売上高から成る無作為標本；Xt又は xt=標本中，キヤノンの t年度売上高．

3. 本付録では，有限母集団について，無作為抽出の一つの方法「復元抽出」を想定：各回の抽出は独立試行(従って，互いに独立な n個の理論観測値を抽出することになり，独立な標本抽出，独立な標本が可能と

なる)．

4. 無作為標本において，標本抽出前はどの要素 (例えば，どの企業の売上高)が選ばれるかは偶然事象であることに留意したい．そこで，標本抽出前・後に対応して観測値と標本が持つ二つの異なる意味に注意 (山本 pp.318-319)：

― ― 確率と統計の基本概念

(a) 標本抽出前：

i. i番目の理論観測値：確率変数Xi (大文字で)；どの iについても，Xiが従う確率分布は母集団分布

であり i番目独自の分布はない(これは無作為抽出の特色となっている；詳細は―13―ページの第A.1.5節みよ)．

ii. 理論標本：理論観測値の集合 X1, X2, ...,Xn．iii. 確率・統計論では，これらを用いて標本の確率的・統計的性質を分析し (―2―ページの第 A.1節で)，統計的推測のところで，それらの性質を利用した母集団のパラメータ (母数)の推定を行うことになる (―15―ページの第A.2節で)．

(b) 標本抽出後：

i. i番目の実現された観測値=理論観測値Xi の実現値：xi (小文字で)．

ii. 実現された標本=理論標本 X1,X2, ..., Xnの実現：実現された観測値の集合 x1, x2, ..., xn．iii. 一般に，「標本」と言えば，この標本抽出後の「実現された標本」の意味で使われ，例えば標本平

均は実現された (計算された)値，1n(x1 + x2 + ...+ xn)，を指していることから，数値計算の問題

と考えられがち．

iv. しかし，確率・統計論では，そのような数値計算は分析の第 1歩にすぎず，主題は上の理論標本に関してである (山本 pp.325-326)；即ち，n個の実現された観測値を無作為抽出によって選ぶ手

続きは，その背景に n個の理論観測値を考えることであり，理論標本 X1,X2, ..., Xnが想定されるのである (山本 p.320)．

A.1 演繹的推論：確率，確率変数，確率分布，期待値，独立，二項分布，正

規分布，標本抽出と標本分布 ap.basic.stats1

W&W訳 pp.5-6, 95．この節では，母集団は既知，標本が未知として，演繹的推論を行う．確率論は演繹法に対応している．

演繹的推論では，「母集団が与えられているときに (真理が与件)，ある標本がどのような振る舞いをするか，その標本は目標 (真理)に的中しているか？」なる問題を考察する．一般から特殊へ，母集団から標本へと議論を進める．特に，―13―ページ第 A.1.5節 (標本抽出と標本分布)では，統計学における基本的な演繹的問題「既知の母集団から抽出された無作為標本から何を期待できるか？」に答える．

この演繹的問題が解明された後に初めて次の帰納的推論に移れる．―15―ページの第 A.2節の統計的推測は帰納法に対応．そこでは標本は既知，母集団が未知として，「所与の観測された標本から未知母集団についてどんな

結論が引き出せるか？」と問う．特殊から一般へ，標本から母集団へと議論を進める．

A.1.1 偶然現象；時間平均と空間平均；確率の定義 ap.basic.stats2

森村英典 1984,chs.1—3

偶然現象，規則性，偶然変動，モデルの利用 ap.basic.stats2a

われわれが観察する現象 (あるいは情報・データ)には大きく二種類ある：偶然現象 (天候，ある製品の需要)，確定的現象 (偶然要素が含まれないもの)．前者に何らかの対処を試みようとする際，その起こりやすさの程度を知りたいと思であろう．このとき，偶然現象の「過去の起こり方・実績」を大量に観察できれば，そこに規則性

が見つかるかも知れない；もしそうであれば，「その過去の起こり方は将来にも引き継がれる」との仮定の下で，

この，いわば予期可能な規則性を利用して偶然現象の起こりやすさの程度を測ることができよう．

確率と統計の基本概念 ― ―

ここで注意すべきは，偶然現象には，予期できない (unanticipated)偶然変動が「雑音」として含まれていること．従って偶然現象に規則性を見出すには，この雑音を如何に除去するかに注意を払わなければならない．

そこで (雑音としての)偶然変動が何らかの形で組み込まれているモデル (回帰モデル，時系列モデルなど)を作成し，それに基づいた偶然現象の分析が必要となる．

事象の観測方法ふたつ，エルゴード性 ap.basic.stats2b

いま，注目している偶然現象を単に事象と呼ぶことにしよう．先述のように，事象の過去の起こり方・実績を

もって，将来における事象の起こりやすさを測ることはごく自然である．

それでは事象 (換言すればデータ)自体はどのようにして大量に観測すればよいか？その方法には二つあるが，「サイコロの目が 1とでる」事象E (これは確かに偶然現象である)について例示すると [他の事象例としては「日本について電気機器産業の輸出量がある一定額を越える」]：

1. 第一の方法：1個のサイコロを時間をずらしながら何回も振って実験・観測する．[日本について電気機器産業全体の輸出量を 1973年から 1996年まで観察する.]

(a) 例えば T 回振って出た目 (X1, X2, ...,XT )を記録・プロットすると??ページ図??のようになろう．

(b) そのなかで事象 E が観察された回数を eT とすると，相対頻度 eT /T が得られる．相対頻度は一種の

平均 (厳密には加重平均)とみなせるが，それはこの方法では時間平均となっている．

2. 第二の方法：大量のサイコロを，いわば空間的にずらしながら，1度だけ (即ち，ある特定時点だけに)振って実験・観測する．[日本について電気機器産業の企業 100社の各輸出量を 1996年時点で観察する.]

(a) 例えばN 個のサイコロを振って出た目 (Y1, Y2, ...YN)を記録・プロットすると??ページ図??のように

なろう．

(b) そのなかで事象E が観察された個数を eN とすると，相対頻度 eN/N が得られる．上と同様に相対頻

度は加重平均とみなせるが，それはこの方法では空間平均となっている．

この相対頻度によって同種の事象の将来の起こりやすさを測りたいとしよう．その前提として，(i)将来の起こり方と過去の起こり方との間に何の変化もない，(ii)過去のデータの間の均一性，が仮定されなければならない．こられの仮定が満たされているとして，それでは，eT/T = eN/N (時間平均と空間平均が一致する)と考えてよいであろうか？

時間平均と空間平均が一致することをエルゴード性とよぶ．エルゴード性の下では時間平均と空間平均を自由

に取り替えが可能．但し，日常の現象のモデル化において，エルゴード性が成立している現象とそうでないもの

とがあるであろう；エルゴード性が成立しない現象のモデル化に当たって，不用意に時間平均を空間平均の代用

とすることは避けるべき．

時間・コスト等の面から，いずれの方法 (時間平均または空間平均のどちら)がより優れているか？これは事象の内容に依るであろう．事象によっては，一方のみ可能であろう．

確率の定義：古典的；相対頻度に基づく；公理論的；主観的 (直観，ベイズ流)ap.basic.stats2c

確率は，(T が現時点として)将来時点 T + 1において空間的な拡がりの中で考えられる可能性 (事象)の一つひとつに対して与えられる (―5―ページ図A.2，―5―ページの第A.1.2節をみよ)；従って，確率は，相対頻度で置き換えるときには本来空間平均であるべき．しかし，エルゴード性を仮定して，確率をこれまでの時点 1からT までの時間的平均によることも多い．

― ― 確率と統計の基本概念

図 A.1: 情将来時点 T + 1で空間的拡がりをみせる事象

確率の古典的定義 (ラプラス流，先験的，理論的)ap.basic.stats2c1 それ以上細分して考える必要のない事象を

根元事象という．起こり方が同様に確からしい (同等に起こりやすい)根元事象がN 個あって，ある事象 Aに含

まれる根元事象が a個であるとき (n(A) = aとも表現)，事象 Aの生ずる確率 P (A)は

P (A) =a

N又は

n(A)N

. (A.1)

確率の公理論的定義 (コルモゴロフの確率公理)ap.basic.stats2c3 事象 Aの確率 P (A)は次の三つの公理を満たす尺度として定義される (確率の公理論的定義は，公理を満たすものは全て確率とよぶ，というものである；偶然現象の解析に都合のよいように自由に定めることができる)：

1. 公理 1 任意の確率 P (A)は必ず非負である：

P (A) ≥ 0. (A.2)

2. 公理 2 必ず起こる事象の確率は 1である：P (Ω) = 1. (A.3)

ここで Ωは標本空間または全事象 (根元事象の全体集合)である；n(Ω) = N．

3. 公理 3 事象 Aと事象 Bが互いに排反であるならば，事象 Aと事象 B のいずれか又は両方が起こるという

事象 A ∪Bの確率は：

P (A ∪B) = P (A) + P (B). (A.4)

確率と統計の基本概念 ― ―

Xt

XT−1

XT

X2

X1

t1 2 · · · T−1 T

(現時点)T + 1(将来時点)

••

•• •

• ••

••

•

空間的な拡がり

(i = 1)

(i = 2) (i = 3)

(i = 4 = m)

図 A.2: 将来時点 T + 1で空間的拡がりをみせる事象

ここで，事象Aと事象Bが互いに排反とは，事象Aと事象Bが同時に起こる事象A∩BについてP (A∩B) = φ．

ここで φは根元事象が含まれない空事象．一般に

P (A ∪B) = P (A) + P (B) − P (A ∩B). (A.5)

厳密な議論には測度が必要となる (森村英典 1984,pp.40-49)．

相対頻度に基づく確率の定義 (経験的)ap.basic.stats2c2 森村英典 1984,pp.21-25

確率の主観的定義 (直観確率，ベイズ流接近)ap.basic.stats2c4 森村英典 1984,pp.28-30

A.1.2 確率変数，確率分布，期待値，結合分布，独立 ap.basic.stats3

森村英典 1984,chs.5,4試行とは，注目している偶然現象の観測，実験，調査など (「サイコロを振る」「コインを投げる」など)．試行の結果として生ずることがらが事象である．

確率変数と確率分布 ap.basic.stats3a

試行を実行する前は (即ち将来において)，実現する値自体は不確定であるものの，とりうる値一つひとつに対する確率は定まっているような変数を確率変数という．(確率の種々の定義は―3―ページ第 A.1.1節をみよ.)確率変数のとりうる全ての値に対してその確率を対応させたものを確率分布という．確率変数には必ず確率分

布が対応しており，「確率変数が従う確率分布」などと表現する．

本節から―11―ページ第 A.1.4節までは，(X,Y 等と記される)確率変数は母集団を代表し要素の内容を表すものとしての役割を果たす (本付録冒頭をみよ)．

離散型確率変数，離散型確率分布 ap.basic.stats3a1 離散的な値だけをとりうる確率変数を離散型確率変数と呼

び，それが従う確率分布を離散型確率分布と呼ぶ．又，離散型確率変数X が実現値 xi をとる，という事象の確

率 P (X = xi)又は fX(xi)は確率変数X の確率関数と呼ばれる；i = 1, ..., mで，mはある将来時点における空間

的な拡がりを示す (―3―ページの第 A.1.1節みよ)．いま確率を pi と表記し，確率分布を

pi = fX(xi), i = 1, 2, ..., m (A.6)

― ― 確率と統計の基本概念

とすると，確率関数 fX(xi)は―4―ページ第 A.1.1節の 3つの公理を満たしているものである．離散型確率分布を表にまとめると次の離散型確率分布表が得られる：

表 A.1: 離散型確率分布表

xi x1 x2 · · · xm

pi p1 p2 · · · pm

更に，X が xk 以下の値をとる，という事象の確率 P (X ≤ xk) =∑k

i=1 fX(xi)を (累積)分布関数とよぶ：

FX(xk) = P (X ≤ xk) =k∑

i=1

fX(xi); (A.7)

FX(−∞) = 0, FX(∞) = 1. (A.8)

上の表A.1と式 (A.7)から明らかなように，

P (X = xk) = P (X ≤ xk+1)− P (X ≤ xk−1). (A.9)

離散型確率分布の重要例：2項分布；(2項分布と深く関わる)ベルヌーイ分布，ポアソン分布，指数分布，等(―10―ページ第 A.1.3節みよ)．

連続型確率変数，連続型確率分布 ap.basic.stats3a2 連続的な値 (任意の実数値)をとりうる確率変数を連続型確率変数と呼び，それが従う確率分布を連続型確率分布と呼ぶ．

連続型確率変数X の「確率」は当然―4―ページ第A.1.1節の三つの公理を満たしていなければならないが，ここでは公理は次のように書き換えられ，その fX(x)を確率変数X の (確率)密度関数とよぶ：

fX(xk) ≥ 0 (A.10)∫ ∞

−∞fX(x)dx = 1 (A.11)

P (a < X < b) =∫ b

a

fX(x)dx (a < b). (A.12)

式 (A.12)から明らかなように，

P (X = a) = P (a ≤ X ≤ a) =∫ a

a

fX(x)dx = 0. (A.13)

従って

P (a ≤ X ≤ b) = P (a < X ≤ b) = P (a ≤ X < b) = P (a < X < b). (A.14)

連続型確率変数X の分布関数：

FX(a) = P (X ≤ a) =∫ a

−∞fX(x)dx; (A.15)

P (a < X < b) = FX(b)− FX(a); (A.16)

FX(−∞) = 0, FX(∞) = 1. (A.17)

分布関数と密度関数との関係：

fX(x) =d

dxFX(x). (A.18)

連続型確率分布の重要例：正規分布；(正規分布と深く関わる)カイ二乗分布，t布，F 布，等 (―11―ページ第A.1.4節みよ)．

確率と統計の基本概念 ― ―

期待値 (平均値)ap.basic.stats3b

確率分布の特徴 (即ち，確率変数はどの値を中心に，どのような範囲にわたって分布しているか)はどのように把握できるか？そのような確率分布の特性を示す特性値として，期待値，分散，標準偏差を定義する．

1. 試行前にはどんな値をとるか不定の確率変数X であるが，対応する確率関数または密度関数 fX(x) の大きな値は起こりやすいであろうから，その確率でウェイト付けして加えれば，全体をならした値(即ち加重平均)が求められよう．このならした値が，試行前に確率変数に対して期待される値 (期待値)E(X)と言える．

表 A.1の離散型確率変数の場合，

E(X) =n∑

i=1

fX(xi)xi; (A.19)

aから bまでの実数値をとる連続型確率変数の場合，

E(X) =∫ b

a

fX(x)xdx. (A.20)

期待値の基本公式：

E(cX) = cE(X) (A.21)

E(c) = c (A.22)

E(X + Y ) = E(X) + E(Y ). (A.23)

2. 試行前に，確率変数 X に対して期待される値 (期待値) が確率変数 Y の期待値と一致するとしよう：

E(X) = µ = E(Y )．しかし分布の散らばり具合いが異なるとしよう．分布のバラツキ (の違い)を端的に示す特性値はどんなものか？候補としては，期待値からのずれ

X − µ, Y − µ (A.24)

を織り込んだものがよいであろう．そのような候補が三つ：

(a) 式 (A.24)の (加重平均としての)期待値：E(X − µ), E(Y − µ)；しかしこれらの値は 0．

(b) そこで負の符号を付けないようにするために，式 (A.24)の絶対値の期待値：E(|X −µ|), E(|Y −µ|)；しかし絶対値は，連続型確率変数の場合，理論的な積分計算を困難にするという問題がある．

(c) 負の符号を除去するもう一つの方法：

V (X) = E[(X − µ)2], V (Y ) = E[(Y − µ)2]. (A.25)

これは分散と呼ばれる．問題点：

i. (i)2乗していることから，分散は， µ から遠く乖離したものはそれほど乖離していないものに比

べ，極端に重く考えている (絶対値の (b)と比べよ)．

ii. (ii)単位まで 2乗される：X がmm単位 (長さ)のとき分散はmm2(面積)となってしまう．

(d) 分散 (A.25)も期待値であるから，先の期待値の基本公式を用いて：

V (cX) = c2V (X) (A.26)

V (c) = 0 (A.27)

V (X + Y ) = V (X) + V (Y ) + 2E[(X − µX)(Y − µY )] (A.28)

V (X) = E(X2)− µ2X (A.29)

式 (A.28)右辺第 3項の期待値は共分散と呼ばれる量 (これは―8―ページ第 A.1.2節でみる)．

― ― 確率と統計の基本概念

(e) 分散は平均の周りの 2次の積率 (モーメント)．一般に，aの周りの k次の積率E[(X − a)k]；原点の周りの k次の積率 (単に k次の積率)E[X2]．平均の周りの k次の積率の応用として：尖度 (とがり)，歪度 (歪み)；豊田編著 p.44．

3. 依然として分散の問題点 (i i)を取り除いたもの，それが標準偏差 (単位はX のそれに同じ)：

Std(X) =√

V (X), Std(Y ) =√

V (Y ). (A.30)

(a) 分散の問題点 (i)は残る．

結合確率分布，独立 ap.basic.stats3c

―7―ページの式 (A.28)では二つの確率変数 X,Y が関わっている．共分散と呼ばれる右辺第 3項の期待値はどのような加重平均として求められるか (ウェイトは何か)？一般に n個の確率変数から成る確率変数 X = (X1,X2, ..., Xn) を結合確率変数または確率ベクトルと呼ぶ．確

率ベクトルが従う確率分布を結合確率分布と呼ぶ．以下 n = 2の場合 (W = (X, Y ))について説明する．

X,Y が離散型の場合 ap.basic.stats3c1

1. 確率 P (X = xi, Y = yj)又は fX,Y (xi, yj)をX, Y の結合確率関数と呼ぶ．いま結合確率分布を

pij = fX,Y (xi, yj), i = 1, 2, ..., m; j = 1, 2, ..., r (A.31)

とすると，結合確率関数 fX,Y (xi, yj)は―4―ページ第 A.1.1節の 3つの公理を満たしているものである．

結合確率分布表は：

表 A.2: 結合確率分布表

y1 y2 · · · yr 行の計: fX(xi)

x1 p11 p12 · · · p1r p1·x2 p21 p22 · · · p2r p2·...

...... · · ·

......

xm pm1 pm2 · · · pmr pm·列の計: fY (yj) p·1 p·2 · · · p·r 行または列の計: 1

表 A.2において

pi· =n∑

j=1

pij = fX(xi), i = 1, ..., m; (A.32)

p·j =m∑

i=1

pij = fY (yi), j = 1, ..., r. (A.33)

なる確率分布をそれぞれXの周辺分布，Y の周辺分布といい (それらは表の周辺に位置)，各 fX(xi), fY (yi)をそれぞれそれぞれX，Y の周辺確率関数と呼ぶ．

2. 結合確率分布の期待値，分散，共分散：一般に，g(X, Y )の期待値と分散，X, Y の共分散は次式に従って求

められる：

E[g(X, Y )] =m∑

i=1

r∑j=1

fX,Y (xi, yj)g(xi, yj ). (A.34)

確率と統計の基本概念 ― ―

X,Y の共分散は次にように定義される：

Cov(X, Y ) = E[(X − µX)(Y − µY )]. (A.35)

= E(XY )− E(X)E(Y ). (A.36)

従って (―7―ページ式 (A.28)みよ)，

V (X + Y ) = V (X) + V (Y ) + 2Cov(X, Y ). (A.37)

以上は 3変数以上に容易に拡張できる．

3. 表 A.2から更に，(―4―ページ第 A.1.1節の 3つの公理を満たす)確率変数X の条件付 (確率)分布

P (X = xi|Y = yj) =P (X = xi, Y = yj )

P (Y = yj), i = 1, ..., m. (A.38)

が定義される (jは固定)；ここでP (X = xi|Y = yj)を確率変数Xの条件付確率関数と呼ぶ；P (X = xi|Y = yj )は fX|Y (xi|yj )とも表記．

(a) 事象「Y = yj」がここでは標本空間となっている (それは縮小標本空間と呼ばれる；―4―ページ第A.1.1節の公理 3でみたように，全事象が標本空間と呼ばれ，全事象の下での確率はP (X = xi) = P (X = xi|Ω))．森村英典 1984,ch.4．

(b) ベイズの定理，事前確率，事後確率．森村英典 1984,pp.69-72．

4. そして条件付確率分布・条件付確率関数から更に，「事象の独立」「確率変数の独立」なる概念が定義される：

(a) 事象「X = xi」と事象「Y = yj」が独立，とは次のように定義される：

P (X = xi|Y = yj) = P (X = xi) 又は (A.39)

P (X = xi, Y = yj) = P (X = xi)P (Y = yi). (A.40)

(b) 確率変数X,Y が独立，とは次のように定義される：

P (X = xi|Y = yj ) = P (X = xi), すべての i = 1, ...,m; j = 1, ..., r 又は (A.41)

P (X = xi, Y = yj ) = P (X = xi)P (Y = yi), すべての i = 1, ..., m; j = 1, ..., r. (A.42)

5. 条件付期待値，条件付分散

E(X |Y = yj) =m∑

i=1

fX|Y (xi|yj )xi (A.43)

V (X |Y = yj) = E(X2|Y = yj) − .[E(X |Y = yj )]2 (A.44)

6. 再度，結合確率分布の期待値，分散，共分散：もしX,Y が独立ならば，

E(XY ) = E(X)E(Y ). (A.45)

Cov(X,Y ) = E(XY ) −E(X)E(Y ) = 0

但し，Cov(X,Y ) = 0であってもX,Y が独立とは限らない (A.46)

V (X + Y ) = V (X) + V (Y ). (A.47)

(A.48)

― ― 確率と統計の基本概念

式 (A.46)については，相関係数

ρX,Y =Cov(X, Y )√

V ar(X)V ar(Y )(A.49)

であることから，もしX, Y が独立ならば，ρX,Y = 0；逆は必ずしも真ではない．後者の事例「ρX,Y = 0であるがX, Y が従属しあっている」は次のとおり：いま Y = X2 (X,Y は曲線的関係にある)のように従属しあっており，X の確率分布表が

表 A.3: X の確率分布表

xi −1 0 1

pi1

3

1

3

1

3

とすると，Cov(X,Y ) = E(XY )− E(X)E(Y ) = E(X3) −E(X)E(X2) = 0，従って ρX,Y = 0．しかし仮定によりX,Y が従属しあっている (曲線的関係 Y = X2)．つまり相関係数は曲線的従属関係を測るものではない；直線的関係の程度を測るもの．

以上は 3変数以上に容易に拡張できる．

X,Y が連続型の場合 ap.basic.stats3c2∑を

∫と書き換えれば，上の離散型の結果は連続型の結果となる．

A.1.3 離散型確率分布：2項分布，ポアソン分布，指数分布 ap.basic.stats4

森村英典 1984,ch.6ベルヌイ試行 (列)とは次の三つの性質を満たす試行列で，でたらめな起こり方をする現象のモデルとなっている (あらゆる確率現象の理解のための根幹となるモデルとすら言えるほど基本的なもの)：

1. 独立試行．

2. 定常性．

3. 二値性．

2項分布 ap.basic.stats4a

一回の試行における，ある事象 E の生起確率を p，その余事象事象 Ec の生起確率を q とする (p + q = 1)；n

回のベルヌイ試行で事象 E が k回生起する (即ちX = kとなる)確率 (確率関数)P (X = k)は

b(k;n, p) =(n

k

)pkqn−k. (A.50)

これは次の二項分布の確率関数となっている：

B(n, p) :(n

k

)pkqn−k, k = 0, 1, 2, ..., n. (A.51)

ポアソン分布 ap.basic.stats4b

ベルヌイ試行の連続化 (ベルヌイ試行の極限)：二項分布において，その期待値 np = λと一定にしつつ nを無

限大にする (pは限りなく小さくなる)．つまり，充分に小さい長さ1nの時間区間に細分したとき，単位時間内に

確率と統計の基本概念 ― ―

事象 E が生起する回数をXnと表記；Xn は二項分布に従い確率関数は

b(k;n, p) =(n

k

) (λ

n

)k (1− λ

n

)n−k

; (A.52)

そこでこの極限は

limn→∞

b(k;n, p) = P (X = k) =λk

k!e−λ. (A.53)

この極限がポアソン分布の確率関数である．

nが大きく pが小さいとき，二項分布はポアソン分布によって近似できる．

A.1.4 連続型確率分布：正規分布，その派生分布 ap.basic.stats5

正規分布 ap.basic.stats5a

森村英典 1984,chs.7二項分布において，pは固定しつつ nを無限大にする．このとき式 (A.50)により b(k; n, p)は，どの kについ

ても 0に近づき，二項分布のヒストグラムは横軸にくっついてしまう．これでは極限の分布が導けない．ここではヒストグラムが形を残すような工夫が必要：そのためには次のような変数変換：

工夫 1：ヒストグラムの頂上の位置がほぼ 0にあるようにする．工夫 2：期待値からのずれが標準偏差で測ってどこに位置するかに注目する．従って次のような正規化，標準化と呼ばれる変数変換

z =k − np√

npq. (A.54)

が適切であろう；分母は二項分布の標準偏差 (zは実数値をとる)．そこで，この標準化変量について pは固定しつ

つ nを無限大にすることを考える；その極限密度関数は何か？(森村英典 1984,pp.168-170.)それは

fZ (z) =1√2π

e−z2/2. (A.55)

と導かれ，この密度関数をもつ確率分布は標準正規分布と呼ばれる；N(0, 1)と表記．

要点 ap.basic.stats5a1 二項分布に従う確率変数Xが kをとる確率は，kを式 (A.54)で正規化するとき，n → ∞の極限において，標準正規分布N(0, 1)に従う確率変数 Z がほぼ zに等しい値をとる確率に一致する．

一般の正規分布 ap.basic.stats5a2

1. 一般の正規分布は，二つのパラメータ µ,σ2 をもつN(µ,σ2):

fX(x) =1√

2πσ2e−(x−µ)2/2σ2

. (A.56)

任意のパラメータ µ,σ2についてN(µ, σ2)は正規化 (A.54)によってN(0, 1)に帰着できる：

Z =X − µ

σ. (A.57)

2. パラメータ µ, σ2 はそれぞれ正規分布の期待値，分散であることが示せる (森村英典 1984,pp.176-177)．

3. 正規分布の性質 4つ．豊田編著 p.52.

― ― 確率と統計の基本概念

正規分布についての重要な定理 ap.basic.stats5a3 山本 pp.312-313.

定理 A.1 Xi ∼ N(µi, σ2i )なる，n個の正規確率変数X1, ..., Xnの加重和

∑ni=1 wiXiは，正規分布N(

∑ni=1 wiµi,∑n

i=1

∑nj=1 σij )に従う．ここで，wi は

∑ni=1 wi = 1なる定数，

σij =

σ2

i (i = jの時)Cov(Xi,Xj) (i = jの時).

即ち，正規確率分布は再生性をもつ．

定理 A.2 (中心極限定理) n個の互いに独立な確率変数X1, ...,Xnが同じ (しかし任意の)確率分布に従い (i.i.d.

仮定)，その期待値と分散が存在するとき，算術平均 X =1n

n∑i=1

Xi の分布は，nが大きくなるとき，N

(µ,

σ2i

n

)に近づく．

ここで，「任意の確率分布」は例えば連続型，離散型を問わない．中心極限定理は正規分布を仮定する議論の理論

的根拠になる (森村英典 1984,pp.177-185)．

正規分布から作られる分布 ap.basic.stats5b

母平均，母分散を用いて作られる分布に関する定理を示す．(これらの定理は，―14―ページの第 A.1.5節において，標本平均，標本分散を用いて作られる分布の導出に適用される.)以下のカイ二乗分布，t分布，F 分布と正規分布との関係 (厳密な数理的議論)については森村 pp.195-198も

みよ．

カイ二乗分布 ap.basic.stats5b1 Z1, ...,Zn が互いに独立な標準正規確率変数 (―11―ページ式 (A.57) より

Zi =Xi − µ

σ)とする．このとき

U =n∑

i=1

Z2i (A.58)

は自由度 nのカイ二乗分布に従う：U ∼ χ2n．カイ二乗分布の密度関数とその形状：豊田編著 pp.68-69．

自由度とは，変数 U について，∑n

i=1 Z2i =

∑ni=1

(Xi − µ

σ

)2

の右辺 n項の中で自由に値を決めることができ

る (即ち，独立な)項の数で，それは n(即ち，X1, ...,Xnのすべて)．

t分布 ap.basic.stats5b2 Z が標準正規確率変数で (―11―ページ式 (A.57))，Z と独立な Y ∼ χ2n とする．この

とき

U =Z√Y/n

(A.59)

は自由度 nの t分布に従う：U ∼ tn．t分布の密度関数とその形状：豊田編著 p.71．

F 分布 ap.basic.stats5b3 X ∼ χ2nX，Y ∼ χ2

nY；両者は互いに独立．このとき

U =X/nX

Y/nY(A.60)

は自由度 nX , nY の F 分布に従う：U ∼ FnX ,nY．F 分布の密度関数とその形状：豊田編著 pp.73-74．

確率と統計の基本概念 ― ―

A.1.5 標本抽出と標本分布 ap.basic.stats6

いまや統計学における基本的な演繹的問題「既知の母集団から抽出された無作為標本から何を期待できるか？」

に答えることができる．

本付録では，有限母集団について，無作為抽出の一つの方法「復元抽出」を想定している (本付録冒頭みよ)：各回の抽出は独立試行 (従って，互いに独立な n個の理論観測値を抽出することになり，独立な標本抽出，独立な

標本が可能となる)．

理論観測値の特性値 ap.basic.stats6a

―1―ページ本付録冒頭で挙げた例 1「日本の中小企業すべて (例えばN=5000社)の売上高から成る母集団；X=日本の中小企業の売上高」「日本の中小企業 100社 (標本の大きさ n=100)の売上高から成る無作為標本；Xi

又は xi=標本中，日本の中小企業 iの売上高」で例示しよう．理論観測値 Xi ＝理論標本 X1, X2, ...,X100中，日本の中小企業 iの売上高．Xi は (i番目独自の分布を持たず)母集団分布に従う確率変数であるから (本付録冒頭をみよ)，Xi の確率関数は X に代表される母集団の分布のそれ fX(xj)である；いま離散型を仮定して，母集団分布表が―6―ページ表A.1と同様な次の表A.4としよう (この表では pj = fX(xj)，Xiがとりうる離散値の個

数がmと表記)：

表 A.4: (離散型)母集団分布表

xj x1 x2 · · · xm

pj p1 p2 · · · pm

そこで，Xi の特性値はX の特性値に等しくなる (即ち―7―ページ第A.1.2節に同じ)：すべての i = 1, ..., nについて

E(Xi) =m∑

j=1

fX(xj)xj = E(X); (A.61)

V (Xi) = V (X); (A.62)

Std(Xi) =√

V (Xi) = Std(X). (A.63)

ここで最右辺の E(X), V (X), Std(X)はそれぞれ母集団分布の平均 (母集団平均または母平均)，母集団分布の分散 (母集団分散または母分散)，母集団分布の標準偏差 (母集団標準偏差または母標準偏差)；それぞれ µ, σ2, σ と

表記する．

標本の特性 ap.basic.stats6b

ある母集団からの，独立な (理論)標本 X1, X2, ...,Xnが与えられたとき，この標本の特性値は，標本平均，標本 (不偏)分散，標本 (不偏)標準偏差：

X =1n

n∑i=1

Xi; (A.64)

S2X =

1n− 1

n∑i=1

(Xi − X)2; (A.65)

SX =√

S2X . (A.66)

― ― 確率と統計の基本概念

「不偏」については―17―ページの第 A.2.2節みよ：標本不偏分散 (A.65)で分母を nと換えたもの (これは標本平均 2乗偏差とも呼ばれる；W&W訳 p.124)は母分散の，偏りのある推定量となる．理論標本は，n個の (確率変数である)理論観測値から成る集合であるから，理論観測値の関数であるこれらの

特性値はすべて確率変数であり，従って確率分布に従うことになる．

一般に，理論観測値の関数 T = f(X1, ...,Xn) は統計量と呼ばれ，それが従う確率分布は標本分布と呼ばれる．統計理論では，母集団の様子を的確に反映するような統計量とその標本分布が不可欠である．

但し，(標本平均などの)統計量は確率変数であるが，(母平均などの)母数は定数であることをはっきり認識しておきたい．両者の違いを理解しておくことが，統計学の第一歩である (森村 p.126)．標本分布の標準偏差は標準誤差と呼ばれる．

標本平均の特性値とその分布 (標本分布)ap.basic.stats6c

以下，離散型を仮定する．

標本平均の期待値 ap.basic.stats6c1 ―7―ページ式 (A.23)と―13―ページ式 (A.61)を―13―ページ式 (A.64)に適用して

E(X) =1n

n∑i=1

E(Xi) =nµ

n= µ. (A.67)

標本平均の期待値は母平均に一致する (合わせて，―13―ページ式 (A.61)の最終等号に留意)．(有限母集団について無作為抽出の方法として「非復元抽出」を想定しても同じ結果；豊田編著 pp.62-63.)

標本平均の分散 ap.basic.stats6c2 ―7―ページ式 (A.21)，―9―ページ式 (A.47)と―13―ページ式 (A.62)を―13―ページ式 (A.64)に適用して，有限母集団について無作為抽出の方法として「復元抽出」を想定していることから，

V (X) =1n2

n∑i=1

V (Xi) =nσ2

n2=

σ2

n. (A.68)

標本平均の分散は母分散より小さい；標本の大きさ nを増やすことにより小さくできる．(有限母集団について無作為抽出の方法として「非復元抽出」を想定すると，V (X)は式 (A.68)とは異なる；豊田編著 pp.62-63.)

標本平均の標準偏差 (=標準誤差)ap.basic.stats6c2i

Std(X) =√

V (X)σ√n. (A.69)

標本平均の分布 ap.basic.stats6c3 標本平均が従う確率分布 (標本分布)は何か？二通りの求め方：

1. 標本の大きさ nが大きいと仮定．(母集団分布は何でもよい.)この場合，標本平均の標本分布は， ―11―ページの第 A.1.4節の中心極限定理 (定理A.2)で得られた (近似的に)正規分布に他ならない．

2. 母集団分布が正規分布と仮定 (正規母集団の仮定)．この場合，標本平均の標本分布は，―11―ページの第A.1.4節の定理 A.1において，µi = µ, σ2

i = σ2 (すべての i)と換えた (厳密に)正規分布に他ならない．

(a) この仮定下でのデータ分析では，手元のデータが正規分布に従うと見做してよいものか，チェックしたくなる：正規確率紙を用いる (森村英典 pp.185-192)．

確率と統計の基本概念 ― ―

正規母集団からの標本分布 ap.basic.stats6d

正規母集団の分布はN(µ, σ2)；続けて，離散型を仮定する．標本平均，標本分散を用いて作られる分布を示す．これら標本分布を導出する過程で，(―12―ページの第A.1.4節で示した)母平均，母分散に依った分布に関する定理を適用する．

カイ二乗分布と標本分散の標本分布 ap.basic.stats6d1 標本分散 (―13―ページ式 (A.65))の標本分布は―12―ページの第 A.1.4節のカイ二乗分布を用いて表現される：

U =n− 1σ2

S2 =n∑

i=1

(Xi − X

σ

)2

i

(A.70)

は自由度 n− 1のカイ二乗分布に従う：U ∼ χ2n−1．―11―ページ式 (A.57)と異なり， µ ではなく X が使われて

いることから，―12―ページ式 (A.58)の U に比べて自由度が 1だけ小さくなっている：自由度とは，変数 U につ

いて，∑n

i=1

(Xi − X

σ

)2

の n項の中で自由に値を決めることができる (即ち，独立な)項の数で，それは n− 1(即

ち，X =1n(X1 + ...+ Xn)そして X は既知，であるので，X1, ...,Xn の内 n − 1個の値は自由に決められるが，

残りの 1つは自由ではない)．

標本標準偏差が関わる t分布 ap.basic.stats6d2 母標準偏差 σ が関わる Z を用いた t分布は―12―ページの第A.1.4節の t分布である．

いま確率変数として (―11―ページ式 (A.57)のように X 自体ではなく)標本平均 X を考える．その平均，標

準偏差はそれぞれ µ,σ

nであるから，標準正規確率変数は

Z =X − µ

σ/√

n. (A.71)

しかし母標準偏差 σが未知のとき，代わりに―13―ページ式 (A.63の標本標準偏差 S を用いた

T =X − µ

S/√n

(A.72)

が従う確率分布は何か？―12―ページの第A.1.4節の t分布を用いて求めることができる (豊田編著p.72)：―15―ペー

ジ式 (A.70)と―15―ページ式 (A.71)を用いて，それらU,Zは互いに独立が示せるので，Z√

U/(n− 1)=

X − µ

S/√

n(右

辺は―15―ページ式 (A.72)右辺そのもの)は自由度 n− 1の t分布に従う．

標本分散の比率の分布：標本分散が関わる F 分布 ap.basic.stats6d3 母分散 σ2 が関わるX, Y を用いた F 分布

は―12―ページの第 A.1.4節の F 分布である．

いま 1つの正規母集団から 2つの独立な無作為標本 (大きさ nX, nY )を考える．上でみたように，標本分散S2

X , S2Y を含む

UX =nX − 1

σ2S2

X ; (A.73)

UY =nY − 1

σ2S2

Y (A.74)

はそれぞれ UX ∼ χ2nX−1, UY ∼ χ2

nY −1．これら 2つのカイ二乗分布は独立．従って，

U =UX/(nX − 1)UY /(nY − 1)

=S2

X

S2Y

(A.75)

(これは標本分散の比率)は：U ∼ FnX−1,nY −1．

― ― 確率と統計の基本概念

A.2 帰納的推論：統計的推測 ap.basic.stats7

W&W訳 pp.5-6．母集団，標本，それらの事例について本付録冒頭をみよ．

前節までの演繹的推論では，「母集団が与えられているときに (真理が与件)，ある標本がどのような振る舞いをするか，その標本は目標 (真理)に的中しているか」なる問題を考察した．一般から特殊へ，母集団から標本へと議論を進めた．

本節では，この演繹的推論を基にして，統計的推測 (帰納法)を行う (演繹的問題が解明された後に初めて次の帰納的推論に移れる)．そこでは標本は既知，母集団が未知として，「所与の観測された標本から，未知母集団についてどんな結論が引き出せるか，どんな知識が得られるか」と問う．特殊から一般へ，標本から母集団へと議論

を進める．

この統計的推測の方法は二つ (豊田編著 p.94)：

1. 推定 (―16―ページ第 A.2.1節から―19―ページ第 A.2.3節)：標本に含まれている情報を基に，母数を 1つの値または 2つの値の区間に対応づけることを主旨とする．

2. 仮説検定 (―19―ページ第 A.2.4節)：標本に基づいて，母数について先験的に持っている知識・判断など(経済理論，経営理論)を検証する；つまり，観察されるデータが，先験的に立てられた仮説を支持する (と整合している)ものかどうかを調べる．

(a) 仮説検定と区間推定の同等性についてはW&W 訳本 ps.155,172-176，類似性については森棟 p.185みよ．

(b) 理論仮説から統計仮説を立て，後者を検定するという一連の統計的関係分析の流れについては??ページ第??節冒頭をみよ．

A.2.1 母数の点推定と区間推定 ap.basic.stats7a

山本，付録Ｂ

母数 (母集団のパラメータ µ等)は定まってはいる (定数である；従って確率変数ではない)ものの，しかし未知である．それを，無作為標本を基に (即ち実現された標本 (本付録冒頭)を用いて)，推定したい；二通りの推定：

1. 母数の点推定：母数をある 1つの値で推定する；即ち推定値を求める．

(a) 推定値=母数の推定量の実現値．母数の推定量=母数の推定に適していると考えられる統計量 (これは確率変数)．(統計量は―13―ページの第 A.1.5節みよ.)

(b) 勿論，よほどの幸運がなければ推定値が (未知の)母数に一致することはない．

2. 母数の区間推定：母数の値が 2つの値の間 (区間内)にあるとして推定．

(a) (区間端点の)2つの値：

推定量の実現値 ±[z×推定量の標準誤差 (標本分布の標準偏差)の実現値]; (A.76)

ここで z=標準誤差の個数で (例えば 1.96)，区間の幅を決定するもの．

3. 区間推定のプロセス：演繹的考え方から帰納的考え方へ．W&W訳 pp.117-121；豊田編著 pp.83-85．

(a) 演繹的考え方 (標本抽出前において)：推定量は確率変数であるから，区間

推定量 ±[z×推定量の標準誤差 (標本分布の標準偏差)] (A.77)

確率と統計の基本概念 ― ―

は変化する (確率的)性質をもつ変区間；そこで，この区間の確率を

P(推定量−[z×推定量の標準誤差] <母数 <推定量+[z×推定量の標準誤差]) = 1− α (A.78)

と表現するが，これはあくまでも「(確率変数である)推定量が (未知だが定数の)母数に近い」という

内容の演繹的考え方である (式 (A.78)において母数が確率変数だと勘違いしてはならない)．

i. それでもなお，式 (A.78)については「母数がその区間に含まれる確率が 1 − αである」という．

ここで再度，未知であるが定数である母数が確率変数と勘違いしてはならない．

ii. この区間を，「母数の，信頼係数 1−αの信頼区間」という；信頼区間の上限，下限をまとめて信頼

限界という．信頼係数は，推定量が確率変数である (標本抽出前である)限りにおいて，確率そのものである．

A. しかし一旦，無作為標本抽出後に推定量の実現値が代入されて信頼区間に確率変数が含まれなくなる瞬間 (即ち，信頼区間が変区間でなくなり確定ないし実現区間となる瞬間)から，信頼係数は確率ではなくなる (これは下述の帰納的考え方に変わる瞬間を指している)．

(b) 帰納的考え方ヘの移行 (標本抽出後において)：一旦，無作為標本抽出されこれで区間推定が行われると，その推定

推定量の実現値−[z×推定量の標準誤差の実現値]<母数 <推定量の実現値+[z×推定量の標準誤差の実現(A.79)

は正しいか誤りかのいずれか．即ち，「この区間が母数を含む」は成立するか否か，のいずれか．

i. いまや，「母数の，信頼係数 1− αの信頼区間」の意味するところは，「(未知であるが定数の) 母数

が，その推定量の実現値に近い」という帰納的考え方に変わることになる．

A.2.2 推定量の選択，その望ましい性質 ap.basic.stats7b

山本，付録Ｂ

母数 (母集団のパラメータ µ 等)の点推定，区間推定のいずれともその推定量は何にすべきか？推定量が満たすべき望ましい統計的性質は何か？

ある母数 θ (これは未知だが定数)に対して，その推定量として θ (これは確率変数)があるとする．以下，望ましい性質 1と 2では標本の大きさ n を固定，望ましい性質 3では増やしていく．

望ましい性質 1 (標本の大きさは固定)：不偏性 ap.basic.stats7b1

推定量 θ の期待値

E(θ) = θ (A.80)

の時 (このような性質を不偏性という)，推定量 θ を母数 θ の不偏推定量，推定量 θ は不偏性を持つといい，この

ような推定量を選択すべきである．不偏推定量の実現値を不偏推定値という．

標本の大きさ n を増やしていった時に得られる不偏性を漸近的不偏性という；これは―18―ページ第 A.2.2節で触れる．

母平均 µ の不偏推定量 ap.basic.stats7b1i 標本平均 X は母平均 µ の不偏推定量．

標本幾何平均 G は母平均 µ の不偏推定量ではない；それは母平均 µ の，偏りのある推定量；ここで

偏り = E(θ)− θ; (A.81)

― ― 確率と統計の基本概念

標本メディアンと標本モードも同様 (但し，正規母集団仮定下では標本メディアンと標本モードいずれも µ の不

偏推定量)．偏りが正 [負]であれば θ は θ を過大 [小]推定．標本平均は線型推定量，標本モードは非線型推定量．

母分散 σ2 の不偏推定量 ap.basic.stats7b1ii ―13―ページ式 (A.65)の標本分散は母分散 σ2 の不偏推定量．

標本分散で分母を nとした推定量 (これは標本平均 2乗偏差とも呼ばれる；W&W訳 p.124)は母分散 σ2 の，

偏りのある推定量となる．

望ましい性質 2 (標本の大きさは固定)：(不偏推定量について)有効性 ap.basic.stats7b2

k個の不偏推定量 θ1, θ2, ..., θk の内，分散 V (θi) が最も小さい推定量 θi を選択すべきである．

2個の不偏推定量 θ1, θ2 の内，分散 V (θ2) がより小さければ，不偏推定量 θ2 は θ1 より相対的に有効であると

いう．ここで相対的有効性は

V (θi)/V (θj). (A.82)

すべての不偏推定量 θ1, θ2, ..., θk の内，分散 V (θi) が最小であれば，不偏推定量 θi は最小分散不偏推定量，最

良不偏推定量，(単に)有効推定量という．その最小の分散は推定量の分散の下限であり，それはクラーメル・ラオの不等式によって与えられる．豊田編著 p.83.

標本平均は母平均の有効推定量である．ap.basic.stats7b2ii

正規母集団について ap.basic.stats7b2i 標本平均は標本モードより相対的に有効である．

平均 2乗誤差：(分散より広義の)散らばりの尺度；偏りのある推定量についても適用可 ap.basic.stats7b3

山本，付録Ｂ pp.331-332.偏りのある推定量についても適用できる散らばりの尺度を示す．これまで通り，ある母数 θ の推定量として θ

があるとする．(―17―ページ式 (A.81)の「偏り」を含むという意味で)分散より広義の散らばりの尺度として，次の平均 2乗誤差 (Mean Squared Errors)

MSE(θ) = E[(θ − θ)2] (A.83)

= V (θ) + (偏り)2 (A.84)

がある (平均 2乗誤差の平方根 (Root Mean Squared Errors)が??ページの第??節，??ページの第??節で応用されている；そこでは推定量として l 年期先予測値，母数として現実値を用いている)．但し，θ が θ の不偏推定量

ならばMSE(θ) = V (θ)．偏りのある推定量 θ でも，その分散 V (θ)が小さいとき，分散 V (θ) の大きな不偏推定量 θ より小さな MSE(θ)をもつことがある．山本 p.332.

望ましい性質 3 (標本の大きさを増やす)：一致性 ap.basic.stats7b4

山本，付録Ｂ pp.333-334.大標本理論：標本の大きさ n を増やしていく時に満たすべき性質を明らかにする．例えば，標本平均 (これは

確率変数)の数列

X1 =11

1∑i=1

Xi, X2 =12

2∑i=1

Xi, X3 =13

3∑i=1

Xi, ..., Xn =1n

n∑i=1

Xi, ... (A.85)

確率と統計の基本概念 ― ―

について，n を大きくしたとき Xn は収束するか？どんな値に？一般に，ある母数 θ の推定量 θn が確率的に θ

に収束するなら (この性質を一致性という)，θn は θ の一致推定量であるといい，大標本ではこのような推定量

を選択すべき；この確率収束は

limn→∞

P (|θ − θ| ≥ ε) = 0, ε > 0 (A.86)

又は単に

plimn→∞

θ = θ (A.87)

と表現される；nが大きくなったとき，θの分布 (標本分布)が母数 θの周辺に集中してくる (n が小さいとき，θ の分布が

θ から乖離していても構わない，即ち偏りのある推定量でもよい)．偏ってはいるが一致性をもつという推定量の概念は重要 (下の「標本平均 2乗偏差」によって例示)．一致推定量の十分条件：

定理 A.3 ある母数 θ の推定量 θ について

n → ∞であるとき MSE(θ) → 0ならば，plim θ = θである． (A.88)

標本平均は母平均の一致推定量である．ap.basic.stats7b4i

標本モードは正規母集団平均の一致推定量である．ap.basic.stats7b4ii W&W訳 p.128．

標本平均 2乗偏差は母分散の一致推定量である．ap.basic.stats7b4iii W&W訳 ps.124,128．標本平均 2乗偏差=―13―ページ式 (A.65)の標本分散で分母を nとした推定量 (これは，先述のように，母分散 σ2 の，偏りのある

推定量)．偏ってはいるが一致性をもつという推定量の概念は重要．

漸近的不偏性 ap.basic.stats7b4iv 大標本理論において，

limn→∞

E(θ) = θ (A.89)

の時，θ は θ の漸近的不偏推定量であるといい，大標本ではこのような推定量を選択すべきであろう．

A.2.3 母数の推定：実際 ap.basic.stats7c

豊田編著 pp.83-90．W&W訳 ch.8．

A.2.4 仮説検定 ap.basic.stats7d

豊田編著 ch.8．W&W訳 ch.9．―15―ページ第 A.2節冒頭をみよ；特に母集団，標本，それらの事例について本付録冒頭をみよ；仮説検定と

区間推定の同等性についてはW&W訳本 ps.155,172-176，類似性については森棟 p.185みよ．

仮説とは；仮説検定とは ap.basic.stats7d1

W&W訳 pp.166-167．??ページ第??節冒頭もみよ．

1. (本付録冒頭に例示されているような)母集団なしは経済・経営現象について，先験的に持っている知識・判断などを，理論仮説として立てる：母集団について経済理論ないし経営理論の構築．

― ― 確率と統計の基本概念

2. 続いて，この理論仮説の統計的検定の目的で，母集団分布の特性を表す (定数であるが未知の)母数 (例えば，母平均=平均売上高，母分散=売上高分散など)について統計仮説を立てる：

(a) 帰無仮説, H0 ＝検定すべき統計仮説．これはしかし時として興味が薄く，又信じてもいず，不都合な

結果であったりして立証したいとも願っていない；ただ単純であるが故に選ばれるだけのことが多い；

文字どおり，「無に帰すべき」仮説 (この場合，立証したいのはむしろ次の仮説であることに注意)．

i. (棄却したい)帰無仮説は比較的単純な命題が基になっている．

ii. 従って，帰無仮説を「採択する」とは言わず，「棄却できない」と言うべき (判断を保留すべき)．

iii. 但し，帰無仮説を「(残差の)自己相関なし」とするような場合は，これが棄却できないことを望んでいる (ここでは「採択する」と表現したいであろう)．

(b) 対立仮説, H1 ＝望ましいと思っている，立証したいと願っている，信じる根拠を持っていることが多

い仮説．この仮説の立証はしかし帰無仮説を反証 (棄却)することによってのみ達成される(「統計学は反証の学問」とも言われる)．

i. 立証したいと願う対立仮説は比較的複雑な命題が基になっている．

3. そして検定を行う：H0を棄却するか否か，という二者択一的な (binary)判定を行う．仮説検定に当たって直面する 2種類の誤り：

表 A.5: 仮説検定の様々な結果

(母集団の)真の状態 \決定 H0 は棄却できない H0 を棄却H0 正しい決定 第 1種の誤り (その確率＝ α: 検定の有意水準)H1 第 2種の誤り (その確率＝ β) 正しい決定 (その確率＝ 1−β: 検定の検出力)

仮説検定の実際・詳細 ap.basic.stats7d2

豊田編著 pp.96-97.

1. 理論仮説の統計的検定の目的で，母集団分布の特性を表す母数 (例えば，母平均=平均売上高，母分散=売上高分散など)について統計仮説 H0,H1 を立てる．

(a) 例えば，H0：母平均=0．

2. 仮説検定に適していると考えられる統計量，検定統計量 (これも確率変数)，を選択する．(母数の推定量=母数の推定に適していると考えられる統計量；―16―ページの第 A.2.1節冒頭みよ.)

(a) 推定と同様 (例えば母平均について種々の推定量として標本平均，標本モードなど)，一つの検定には種々の検定統計量が考えられる．どれを選択すべきか？一つに絞る必要はなく，複数の検定統計量を

使ってもよい (森棟 pp.179-180)．(勿論，異なる仮説検定には異なる統計量が選ばれるであろう.)

(b) 選択の一助とするために，各検定統計量の性質を調べる：H0 (例えば，H0：母平均=0)が正しいと仮定して，各検定統計量が従う確率分布を導出する；それは―11―ページ第A.1.4節の内 (標準正規分布，カイ二乗分布，t 分布，F 分布)のどれかになることが望ましい．

3. 標本の無作為抽出後，その標本 (データ)を使って，(選択された一つ又は複数の)検定統計量の実現値およびその実現値の確率値を計算する．ここで確率値とは，H0 が正しいことを条件とした検定統計量確率分布

確率と統計の基本概念 ― ―

(条件付分布)を用いて，

両側確率値 = P (検定統計量がその実現値以上の値を，その分布の左右にわたってとる |H0が正しい)(A.90)

片側確率値 = P (検定統計量がその実現値以上の値を，その分布の右側か左側のみでとる |H0が正しい)(A.91)

(a) 対立仮説が例えば，H1：母平均 =0，のとき両側確率値が適切 (両側検定の場合)；H1：母平均≥0，H1：

母平均 >0，H1：母平均≤0，等のとき片側確率値が適切 (片側検定の場合)．W&W訳 pp.158-159．

(b) 確率値が 0[1]に近いほど帰無仮説の真実性が小さい [大きい]．但し，それは「帰無仮説が正しい確率」

ではない (S.L.Chow1996,p.6)！

i. しかし，確率値が 0.004から 0.26ぐらいの範囲内のとき，それは 0に近いのか，1に近いと見做せるのか (帰無仮説の真実性が小さいのか，大きいと見做せるのか)？

A. このような場合，その確率値が，仮説検定前に分析家自身が任意に選んでおいた (又は読者が任意に定めた)表 A.5の第 1種の誤りを犯す確率 (有意水準) α より更に小さければ [大きければ]，帰無仮説の真実性が小さい [大きい]，つまりその有意水準で帰無仮説が棄却される [できない] と意思決定する．

B. 有意水準 α は通常，0.5%, 1%, 5%又は 10%，まれに 25%：与確率値について，有意水準が大きい [小さい]ほど，帰無仮説が棄却され易く[難く]なり (帰無仮説の真実性が小さい [大きい]と見做され)，緩やかな又は弱い[厳しい又は強い]有意水準ということになる．

C. 仮説検定前において，(第 1種の誤りを犯す確率である)有意水準 α は出来るだけ小さく設定

しておきたい．

平均値の検定 (分散が未知の場合)：t検定 森棟 pp.183-185．豊田編著 Section8.5．

平均値の差の検定 森棟 pp.186-189．豊田編著 Section8.6．

比率の検定；成功確率の差の検定 森棟 Section6.6．豊田編著 Section8.7．

独立性の検定 森棟 Section6.7．

尤度比検定法 森棟 Section6.8．

A.2.5 単回帰理論 ap.basic.stats7e

W&W訳 ch.12．田中 pp.181-183．刈屋ほか『統計学』p.236．豊田編著 ch.10．森棟 ch.7．

一般的な (不規則な)状況 ap.basic.stats7e1

母集団の (統計的)推測を引き続き行う．母集団の例 (本付録冒頭の例 1)：(ある年度に限定して)日本の中小企業すべて (例えばN=5000社)の売上高から成る母集団；この母集団を代表するもので要素の内容を表す記号として，Y =日本の中小企業の売上高 (確率変数)．以下では，Y と宣伝広告費 (又は研究開発費) X がどのように関

連しているか，という問題を考察しよう (両変数とも連続型と仮定)．いま，2次元確率ベクトルを (X,Y )について，x=宣伝広告費X の実現値とする．このとき，所与の (固定された) x

に対して，確率変数 Y がとりうるであろう多数の値 (実数値)の集合を一つの母集団としよう；そしてその条件付確率分布 (これは母分布)の条件付密度関数を fY |X(y|x) としよう．この母集団 (そして母分布の密度関数)は異なる x 毎に異なったものとなる．

― ― 確率と統計の基本概念

この点を図解するために，いま，i 番目の組の確率ベクトルを (Xi, Yi) とし，その同時確率分布 (その同時確率密度関数)と条件付分布 (その密度関数)があるとする；ここで「i 番目の組」とは (上例については)「i 番目の中

小企業」と解釈してよい．いま，(中小企業 i の宣伝広告費) Xi が一つの値 xi をとるとき (これを，―5―ページ第A.1.2節のような「離散型確率変数 X が i 番目の値をとるとき (i = 1, 2, ...,m)」と誤解してはならない；異なる (中小企業 j の宣伝広告費) Xj は値 xj をとる)，この所与の (固定された) xi に対して，確率変数 Yi がとり

うるであろう多数の値の集合が一つの母集団となる；そしてその条件付確率分布 (これは母分布)を

fYi|Xi(yi|xi), −∞ < yi < ∞; (A.92)

ここで fYi|Xi(yi|xi) は条件付密度関数である (―5―ページ式 A.6をみよ)．このような母集団 (そして母分布の密

度関数)は各企業 i = 1, ...,N によって異なり，企業の総数 N 個だけあることになる．そのような異なる母分布

をいくつかの i について図解すると―22―ページ図 A.3のようになる (W&W訳 p.220図 12-1(a)みよ)：

Yi

xi

xN · · · x1 xN−1

fYN |XN

(yN |xN)

µN

fY1|X1(y1|x1)

µ1

fYN−1|XN−1(yN−1|xN−1)

µN−1

図 A.3: 異なる i毎に異なる母分布 (その期待値は µi)

特殊な (規則的な)状況を想定 ap.basic.stats7e2

しかし，異なる i毎に異なる母分布とする―22―ページ図 A.3の一般的な (不規則な)場合の母集団の分析は数学的には困難となる．そこで母集団分析を容易にするために，―23―ページ図 A.4のような規則的な母分布を仮定し (W&W訳 p.220図 12-1(b)みよ；刈屋ほか p.237も)，ここで規則性とは―22―ページの母分布 (A.92)について次の仮定を設けることである：

1. (母)平均 µi は直線上にある．

(a) (X, Y ) について，母集団の関係式として母集団 (真の)確率モデル

Yi = α + βXi + ui, i = 1, ..., N (A.93)

を想定するは (ui 誤差項)．従って，この母集団 (真の)確率モデルから実際のデータ (例えば大きさn << N) (x1, y1), (x2, y2), ..., (xn, yn) は生成される，と仮定するのである．

(b) そこで Xi が一つの値 xi をとるときの条件付モデル

Yi = α + βxi + ui, i = 1, ...,N (A.94)

について Yi の期待値 µi を考えるとする；これはつまり式 (A.93)について Xi が与えられたときの Yi

の条件付期待値を考えることであるので，

µi = E(Yi|Xi = xi) = α + βxi +E(ui｜Xi = xi) (A.95)

確率と統計の基本概念 ― ―

となる．二つの確率変数 ui,Xi が独立であると仮定すれば，―9―ページ式 (A.41)により

E(ui｜Xi = xi) = E(ui). (A.96)

i. E(ui)はどんな値をとるべきか？(Xi = xi なる条件の下で)確率変数 Yi の確率分布 (即ち―22―ページの母分布 (A.92))は α + βxi の近くに集中し，従ってその分布の平均 (即ち Yi の条件付期

待値 E(Yi|Xi = xi) )は α + βxi そのもの，と考えるのが合理的であろう (刈屋ほか p.236)

ii. 従って，E(ui) = 0と仮定し，

µi = E(Yi|Xi = xi) = α + βxi. (A.97)

これが真の (未知の母集団)回帰直線と呼ばれものであり，―23―ページ図 A.4に描かれている点線．回帰係数 (パラメータ，母数) α, β はこの直線を規定するが未知であることから，標本情報か

ら推定される (推定については―23―ページ第 A.2.5節みよ)．

2. (母)分散 ( Yi の分散)はどの i についても同じ (σと表記)である．

(a) この仮定は誤差項 ui の振る舞いにどんな意味を持つか？―22―ページの条件付モデル (A.94)と―23―ページの条件付モデル (A.97)より，ui = Yi − (α + βxi) = Yi −E(Yi|Xi = xi) の分散はどの i につ

いても同じ，σ，であることを意味する．

3. 確率変数 Yi, i = 1, ...,N は統計的に独立である (従って Yi, Yj, i = j は 無相関)．

(a) この仮定は誤差項 ui の振る舞いにどんな意味を持つか？―22―ページの条件付モデル (A.94)と―23―ページの条件付モデル (A.97)より，ui = Yi − (α + βxi) = Yi − E(Yi|Xi = xi) が独立 (従ってui, uj, i = j は 無相関)であることを意味する．

Yi, ui の確率分布は，平均以外は型も含めて同一であることに留意したい．又，その分布の型が一切特定されて

いない点も重要である．(―23―ページ第 A.2.5節のガウス-マルコフの定理に集約されている最小二乗推定量の性質の議論には分布型は不要；しかし最小二乗推定量の標本分布の導出時には型を正規分布と特定することになる.)

Yi

xi

xN · · · x1 xN−1

fYN |XN

(yN |xN)

µN

fY1|X1(y1|x1)

µ1

fYN−1|XN−1(yN−1|xN−1)

µN−1

図 A.4: 分散と型は共通の母分布 (但し期待値は i毎に異なり µi)

規則的な状況下における回帰係数 (β と定数項 α)の推定 ap.basic.stats7e3

前節の規則的な状況下で―23―ページ未知の母集団回帰直線 (A.97)の αと β を x,Y の標本情報から推定し

たい．いまそれらの最小二乗推定量をそれぞれ α, β とすると，µi の推定量 µi は推定された (標本)回帰直線と

― ― 確率と統計の基本概念

なる：

µi = E(Yi|Xi = xi) = α + βxi. (A.98)

更に，誤差項の推定量は上式を用いて

ui = Yi − E(Yi|Xi = xi) = Yi − (α + βxi). (A.99)

最小二乗推定法 いま標本の大きさを n とすると，最小二乗推定量 α, β は誤差項の推定量 (A.99)の二乗和が最小になるように求められる：

n∑i=1

ui2 =

n∑i=1

Yi − E(Yi|Xi = xi)2

=n∑

i=1

Yi − (α + βxi)2. (A.100)

―24―ページ 図A.5において，点線は (未知の)母集団回帰直線 (A.97)と ui についてであり，実線は (推定された)標本回帰直線 (A.98)と ui (A.99)についてである，との違い明確にしておくことが肝要である．

Yi

xi

xN · · · x1 xN−1

fYN |XN

(yN |xN)

µN

fY1|X1(y1|x1)

µ1

fYN−1|XN−1(yN−1|xN−1)

µN−1

図 A.5: (未知の)母集団回帰直線と (推定された)標本回帰直線)

最小二乗推定量の性質 1：ガウス-マルコフの定理 勿論，最小二乗推定量 α, β, µi がそれぞれ目標である α, β, µi

に完全に一致することはないだろう．しかしどれくらい目標 (未知の母集団)に近いだろうか？具体的には，目標の周辺にどのように分布しているだろうか？最小二乗推定量がもっている性質は何か (一般に推定量が持つべき望ましい三つの性質は―17―ページ第 A.2.2節でまとめた)？ガウス-マルコフの定理は，線型回帰モデルの推定において最小二乗法を用いる根拠を与える；又，分布型の特定は不要となっている点が重要．

定理 A.4 (ガウス-マルコフの定理) α,β の線型不偏推定量のクラスの中で最小二乗推定量は最小の分散をもつ．

最小二乗推定量は最良線型不偏推定量 (BLUE: Best Linear Unbiased Estimator)であるという．但し，ガウス-マルコフの定理の適用には制約あり (W&W訳 p.225)：線型で且つ不偏性をもつ推定量のみに限定；非線型且つ/又は偏りのある推定量で最小二乗推定量より小さい分散を持つものが存在するかも知れないが，そのような推定量は考慮外となっている．

最小二乗推定量の性質 2 一致性をもつ．

確率と統計の基本概念 ― ―

最小二乗推定量の性質 3 最尤推定量と一致する．

最小二乗推定量の分布型は何か：標本分布の問題 標本分布は―13―ページ第 A.1.5節でまとめた．ここで初めて「 Yi (従って ui) の確率分布が正規分布である」という強い仮定を設けると，最小二乗推定量も

正規分布に従うことが証明される．正規性仮定下で，最小二乗推定量歯母数の最良不偏推定量であるという．

しかし，正規性仮定を設けなくとも，中心極限定理 (―11―ページ第 A.1.4節みよ)により，標本の大きさ n の

増加とともに最小二乗推定量の分布も正規分布に近づくことが証明される．

最小二乗推定量に関する仮説検定：最小二乗推定量に関する統計的推測を行う W&W訳 pp.227-230．本文のRATS実行結果の解説をみよ．

予測 W&W訳 pp.230-235．本文の RATS実行結果の解説をみよ．

A.2.6 重回帰理論 ap.basic.stats7f

W&W訳 ch.13．田中 pp.181-183．刈屋ほか『統計学』p.247．豊田編著 ch.10．森棟 ch.7．

序 ap.basic.stats7f1

多重共線性 ap.basic.stats7f2

A.3 参考文献ap.basic.stats20