統計學 : 應用與進階第 7 章 : 抽樣與抽樣分配

抽樣理論 統計量 抽樣分配 與抽樣分配相關的重要分配 實際分配

抽樣理論 任何一個具良好定義的特定事物所形成的集合我

們稱之為母體 舉例來說 , 所有台大學生的身高 , 全球人類的智

商 , 全台灣家計單位的所得等等 , 都可視為一個母體

母體的大小可能是有限 , 亦可能為無限。當母體包含一個正在持續進行的過程 , 以至於不可能列出或計數出所有元素時 ( 例如釀酒木桶中酵母菌的數目 ), 則母體大小為無限

抽樣理論 一般來說 , 由於經費或時間上的限制 , 或是母體

大小為無限時 , 我們無法窮究整個母體 , 僅能透過觀察母體中的部份集合來推論整個母體 , 此部份集合就稱作樣本 (sample)

將樣本由母體抽取出來的過程就稱作抽樣 而所謂的統計推論 (statistical inferences) 就

是探討如何利用樣本來獲知母體資訊

隨機樣本 (random samples)

如果一組隨機變數係由如下的聯合機率分配所抽出

則我們稱該組隨機變數 為一組樣本大小為 n 的隨機樣本

隨機樣本 隨機樣本有兩大特徵 :

{X1, X2, . . . , Xn} 來自相同的母體分配 f (·), {X1, X2, . . . , Xn} 相互獨立

因此 , 隨機樣本又可稱為 I.I.D. 樣本 (I.I.D. samples)

以下的幾種說法代表同一個概念 : 為期望值為 μ, 變異數為 2 之隨機樣本 , 為期望值為 μ, 變異數為 之 I.I.D. 樣本 , ∼i.i.d. (μ, ) 。

隨機樣本 : ∼i.i.d. (μ, )

E(X1) = E(X2) = · · · = E(Xn) = μ, Var (X1) = Var (X2) = · · · = Var (Xn) = , 且對於任一 i ≠j ,

E(XiXj ) = E(Xi )E(Xj).

注意 ! “ 隨機樣本”一詞中的“隨機”之概念來自於“事前” (ex ante)

統計量 (statistics)

統計量是隨機樣本的函數 : T = t(X1, X2, . . . , Xn), 其重要特徵為 , 統計

量不包含任何未知參數 樣本均數 (sample mean)

樣本變異數 (sample variance)

統計量 (statistics)

樣本共變數 (sample covariance)

樣本相關係數 (sample correlation coefficient)

統計量 (statistics)

樣本 r 階動差 (sample r -th moments)

抽樣分配 統計量為隨機樣本的函數 , 則統計量本身自然也

是一個隨機變數 既然是隨機變數 , 就會有其機率分配 , 而統計量 的機率分配取決於

組成該統計量之隨機樣本 {X1, X2, . . . , Xn} 所來自的母體分配 ,

統計量本身的函數形式 t(X1, X2, . . . , Xn) 統計量的機率分配稱之為抽樣分配

抽樣分配 在某些已知特定的母體分配假設下 , 我們可以找

出某些統計量的實際抽樣分配 (exact distribution)

然而 , 在大多數的情況下 , 我們無法得知隨機樣本抽自何種母體分配 , 則此時我們將借重漸近理論 (asymptotic theory) 來找出當樣本夠大時 ,統計量的漸近分配 (asymptotic distribution)

與抽樣分配相關的重要分配 : 卡方分配 給定 Z1, Z2 . . . , Zk 為 k 個獨立的標準常態隨機

變數 N(0, 1), 令 則稱 W 為具有卡方分配 (Chi-square

distribution) 之隨機變數並以

的符號示之 參數 k 稱為卡方隨機變數的自由度 (degree of

freedom)

與抽樣分配相關的重要分配 : 卡方分配 卡方隨機變數乃是由標準常態隨機變數平方後加

總而來 , 故其砥柱集合 (support) 為 supp(W) = {w|0 ≤ w < ∞}

卡方分配的機率密度函數為 :

其中 , 為 Gamma 函數

與抽樣分配相關的重要分配 : 卡方分配 卡方隨機變數的 r 階動差為

因此 ,

亦即卡方隨機變數的期望值為其自由度 , 變異數則為兩倍的自由度

與抽樣分配相關的重要分配 : 卡方分配 將 k 個獨立的 N(0, 1) 平方後加總起來 , 可得

(k) 隨機變數。 反之 , 如果我們有一個隨機變數 W 服從於

(k) 分配 , 則我們可以將 W 表達成 k 個獨立的N(0, 1) 平方後之加總。

與抽樣分配相關的重要分配 : 卡方分配 可加性 : 若 X ∼ (kX ), Y ∼ (kY ), 且 X,

Y 相互獨立 , 則 X + Y ∼ (kX + kY ) 亦即 , 兩個獨立的卡方隨機變數相加 , 所得到的

新的隨機變數仍然具有卡方分配 , 且其自由度為該兩個卡方隨機變數自由度之加總

此性質可以推廣到 n > 2, 亦即 為 n 個獨立卡方隨機變數 , 則

卡方分配 (k = 3, 7, 9)

與抽樣分配相關的重要分配 : t 分配 t 分配為 William Sealy Gosset (1876–1937)

所發現 由於 Gosset 所任職的健力士公司 (Guinness

Brewing Co.) 為了避免商業機密外洩 , 嚴令禁止員工發表論文 , 因此 , Gosset 係以 Student 之筆名發表其研究成果 , 是故 t 分配又被稱作 Student’s t 分配

與抽樣分配相關的重要分配 : t 分配 給定兩個獨立隨機變數 : Z ∼ N(0, 1), W ∼ (k), 則我們建構一個新的隨機變數

則稱 U 為具有 t 分配 (t distribution) 之隨機變 數並以以下符號示之 :

其中參數 k 稱為 t 分配的自由度

與抽樣分配相關的重要分配 : t 分配 t 分配的機率密度函數為 :

其砥柱集合為 supp(U) = {u| −∞ ≤ u < ∞}

t 分配為一對稱於零的分配 當自由度變大時 , t 分配趨近於標準常態分配 ,

t(k) → N(0, 1) as k → ∞.

當 k = 1, t(1) 為一特別的例子 , 它的期望值不存在 : E[t(1)] = ∞ , 此時 t(1) 又被稱為標準柯西分配 (standard Cauchy distribution)

t 分配 : k = 1( 實線 ), k = 300 (虛線 )

與抽樣分配相關的重要分配 : F 分配 給定 X1 與 X2 為相互獨立之卡方隨機變數 : 則

稱為自由度為 (n1, n2) 之 F 分配統計

與抽樣分配相關的重要分配 : F 分配 機率密度函數為 :

砥柱集合 (support) 則為 supp(F) = {f |0 ≤ f < ∞}

與抽樣分配相關的重要分配 : F 分配 若 X ∼ F(n1, n2) 且 Y = 1/X , 則 Y ∼ F(n2,

n1) 若 t ∼ t(k), 則 t² ∼ F(1, k)

F 分配 (n1 = 10, n2 = 10)

Critical Values of F-Test

0

0

F

0

FFLU

( / ; , )( / ; , )

22

1 22 1

1

Note!

FU ( / ; , ) 2 1 2

實際分配 在已知隨機樣本具有常態分配的條件下 , 我們可

以得到某些統計量的實際分配 (exact distribution)

令 為一組來自常態母體N(μ,σ²) 且樣本大小為 n 的隨機樣本

我們所考慮的統計量為樣本均數 樣本變異數 以及利用 與 所建構的其他統計量

重要實際抽樣分配若 則

若

則

重要實際抽樣分配若 則 與 相互獨立若 則

令 與 為兩組獨立之樣本 , 則