13
國立臺灣大學 初等統計學實習課講義 (SAS) 4.2. PROC FREQ 1 4.2. PROC FREQ PROC FREQ 可產生單一變數到多變數的次數分配表及列聯表(contingency table)。在兩變數的次數表中,PROC FREQ用來計算並檢定兩變數關聯性及檢定相等、 特定、及二項分布等各種比例。在多變數的次數表中,PROC FREQ 則可以產生分層分 析,計算統計值。而在列聯表中,PROC FREQ 能計算各種統計值,確認經各種分層變 數調整後的兩個分類變數其中的關係。雖然 SAS 中還有很多 procedure 會提供次數 表,然而只有 PROC FREQ 會計算單項至 n 項表的卡方檢定(Chi-square test),及測 量關聯表的關聯性。PROC FREQ 亦可執行費雪精確性檢定(Fisher s exact test)。費雪精 確性檢定多用於 2×2 列聯表,探討兩類別變項相關性的檢定方法,常用於樣本數過小 以致卡方檢定不能適用的情況。 在這章節裡我們會介紹卡方檢定及費雪精確性檢定,而卡方檢定又可分為適合度 檢定(test of goodness of fit)、獨立性檢定(test of independence)及一致性檢定(test of homogeneity)三種。我們會先討論卡方分配的三種檢定方式,再介紹費雪精確性檢定。 請注意,PROC FREQ 可對應兩種資料型態讀入程序執行,第一種是未經整理過的原 始資料,而另一種則是經過整理的次數分配表,本節將各使用範例說明。 卡方適合度檢定 在適合度檢定(test of goodness of fit)中,所要檢定的假設經常是多項母體各類別 的比例是否為一特定比例。我們用一個例子來說明,設紅色及白色金魚草雜交後,第 二代之分離現象如下,檢定後代的各顏色的金魚草株數是否符合 red : pink : white = 1:2:1 的比例: r=red, p=pink, w=white r p p p r p p r p p w p r p w p p p w w p p w r p p r p w p r r p w p w p r p p r p p r w p r p w r w p p p w p r p p r r p w w p p r p r w p w p r r w p w p p w p p p r p p r p p w p r p p r w p w w p p p p w p w p p p w p p p p

4.2. PROC FREQ - Welcome SEC:國立臺灣大學統計教學 … PROC FREQ.pdf · 國立臺灣大學 初等統計學實習課講義 (SAS) 4.2. PROC FREQ 3 Log 視窗 Output 視窗

Embed Size (px)

Citation preview

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 1

4.2. PROC FREQ

PROC FREQ 可產生單一變數到多變數的次數分配表及列聯表(contingency

table)。在兩變數的次數表中,PROC FREQ用來計算並檢定兩變數關聯性及檢定相等、

特定、及二項分布等各種比例。在多變數的次數表中,PROC FREQ則可以產生分層分

析,計算統計值。而在列聯表中,PROC FREQ能計算各種統計值,確認經各種分層變

數調整後的兩個分類變數其中的關係。雖然 SAS 中還有很多 procedure 會提供次數

表,然而只有 PROC FREQ 會計算單項至 n 項表的卡方檢定(Chi-square test),及測

量關聯表的關聯性。PROC FREQ亦可執行費雪精確性檢定(Fisher’s exact test)。費雪精

確性檢定多用於 2×2 列聯表,探討兩類別變項相關性的檢定方法,常用於樣本數過小

以致卡方檢定不能適用的情況。

在這章節裡我們會介紹卡方檢定及費雪精確性檢定,而卡方檢定又可分為適合度

檢定(test of goodness of fit)、獨立性檢定(test of independence)及一致性檢定(test of

homogeneity)三種。我們會先討論卡方分配的三種檢定方式,再介紹費雪精確性檢定。

請注意,PROC FREQ 可對應兩種資料型態讀入程序執行,第一種是未經整理過的原

始資料,而另一種則是經過整理的次數分配表,本節將各使用範例說明。

卡方適合度檢定

在適合度檢定(test of goodness of fit)中,所要檢定的假設經常是多項母體各類別

的比例是否為一特定比例。我們用一個例子來說明,設紅色及白色金魚草雜交後,第

二代之分離現象如下,檢定後代的各顏色的金魚草株數是否符合 red : pink : white =

1:2:1 的比例:

r=red, p=pink, w=white

r p p p r p p r p p w p r p w p p p w w p p w r p p r p w p r r p w p w p r p p r p p r w p r p w

r w p p p w p r p p r r p w w p p r p r w p w p r r w p w p p w p p p r p p r p p w p r p p r w

p w w p p p p w p w p p p w p p p p

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 2

程式碼

DATA plant;

INPUT color $ @@;

CARDS;

r p p p r p p r p p w p r p w p

p p w w p p w r p p r p w p r r

p w p w p r p p r p p r w p r p

w r w p p p w p r p p r r p w w

p p r p r w p w p r r w p w p p

w p p p r p p r p p w p r p p r

w p w w p p p p w p w p p p w p

p p p

;

PROC FREQ DATA=plant;

TABLE color /CHISQ TESTP=(50 25 25);

RUN;

程式碼說明

PROC FREQ敘述句:

使用 procedure freq 來分析資料。後面要加上欲分析資料集名稱。

DATA=資料集名稱

TABLE敘述句:

輸入欲計次的變數,後面可在加上「/選項名稱」,選擇檢定方式。如果想進行卡方

適合度檢定,則在斜線後輸入 CHISQ,並在 TESTP後輸入欲檢定比例。

注意:TESTP後的比例為百分比制(括號內和須為 100),且括號內數字比例須按

變數的字母次序填入。因此

TESTP=(50 25 25)

可解釋為「檢定粉紅色:紅色:白色是否為 2:1:1的比例」。

另有 TESTF選項可以設定檢定次數,如本例則為 TESTF=(57.5 28.75 28.75)

RUN敘述句:

執行程式的敘述句,指示 SAS執行上面的程式碼。

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 3

Log 視窗

Output 視窗

報表中的 Test Percent 即為 TESTP所設定之比例。從 OUTPUT 的結果 p-value =

0.3631,基於 95%顯著水準下,無法拒絕虛無假說。可推測此雜交後代族群符合 1:2:

1 的比例。

卡方獨立性檢定

PROC FREQ可以用來檢定資料的獨立性(test of independence),這是該程序最主要

的功能之一,通常在檢定資料的兩類別是否獨立,其想法為,若 A 與 B 兩個變數為

獨立,則 AB 事件發生的機率為 A 事件發生的機率乘以 B 事件發生的機率。以下用

一個例子作介紹,調查某一地區市民對「在公共場所抽菸」所持的意見:

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 4

性別 同意 反對 沒意見 總計

男 262 231 10 503

女 302 205 5 512

總計 564 436 15 1015

程式碼

DATA smoking;

INPUT gender $ opinion $ counts @@;

CARDS;

male favor 262 male oppose 231

male no_opinion 10 female favor 302

female oppose 205 female no_opinion 5

;

PROC FREQ DATA=smoking;

WEIGHT counts;

TABLE gender*opinion/CHISQ;

RUN;

程式碼說明

PROC FREQ 敘述句:

使用 procedure freq 來分析資料。後面要加上欲分析資料集名稱。

DATA=資料集名稱

WEIGHT敘述句:

宣告次數分配表中每細格次數之變數。請注意,前例讀入的資料為原始資料,而本

例中讀入的資料則是已經過整理的次數分配表,兩者在 PROC FREQ中有不同的讀

入方式,故使用 WEIGHT宣告次數分配表每細格的次數之變數。

TABLE列變數*行變數 / 選項 :

將資料繪製成表格,輸入方式為「列變數*行變數」,後面可在加上「/選項名稱」,

選擇檢定方式。在這裡我們選用的是卡方檢定。因此

TABLE gender*opinion/ CHISQ

可解釋為「以 gender為列,以 opinion為行繪製圖表,而細格的次數則來自 WEIGHT

中宣告的變數,再用卡方檢定分析資料」,請注意,如列聯表為 2×2,則 CHISQ選

項會額外輸出 Fisher's exact test 與 continuity-adjusted chi-square。

RUN敘述句:

執行程式的敘述句,指示 SAS執行上面的程式碼。

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 5

Log視窗的訊息

Output結果 1

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 6

Output 結果 1 中紅色框框內為選項 CHISQ 之產出結果,除最常使用的 Chi-Square

檢定之外,還列了很多統計量,我們將於本節後面補充說明。其中 Chi-Square 項顯

示 p-value = 0.0504 > α=0.05,無法拒絕虛無假說。可得結論:市民之「性別」

並不影響其對「公共場所吸菸的看法」。

卡方一致性檢定

卡方一致性檢定(test of homogeneity)是用來檢定兩個或兩個以上母體的某一

特性的比例是否一致,其檢定統計量雖與獨立性檢定之檢定統計量完全相同,但在模

型的假設上卻有差異。在這裡以「血型與潰瘍發生比例」的例子來說明,下表為 2800

位病患其血型與潰瘍的次數分配表,欲檢定胃潰瘍及十二指腸潰瘍在血型上發生的比

例是否相同:

血型

疾病 O A B AB Total

胃潰瘍 400 400 75 25 900

十二指腸潰瘍 1000 700 150 50 1900

total 1400 1100 225 75 2800

在計算卡方一致性檢定中每一細格的期望次數,比如說 O型血且罹患胃潰瘍的期望次

數為總人數乘以所有人罹患胃潰瘍比例乘以所有人中 O型血的比例,會與計算卡方獨

立性檢定中每一細格的期望次數相同,然而一致性檢定中,胃潰瘍各血型的次數是被

視為一多項分配,十二指腸潰瘍各血型的次數亦為一多項分配,我們所檢定的是兩個

多項分配是否相同,也因此兩種潰瘍各自總人數會在試驗之前就決定好。如果檢定的

是「病患發生潰瘍種類與其血型是否獨立」之獨立性檢定,則試驗尚未執行之前無法

得知兩種潰瘍各自總人數會是多少,亦即,各自總人數不固定。

程式碼

DATA disease;

INPUT blood_type $ disease $ count;

CARDS;

O stomach 400

A stomach 400

B stomach 75

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 7

AB stomach 25

O intestine 1000

A intestine 700

B intestine 150

AB intestine 50

;

PROC FREQ DATA=disease;

WEIGHT count;

TABLE disease*blood_type /CHISQ;

RUN;

程式碼說明 請見獨立性檢定之程式碼說明

Log視窗

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 8

Output結果 2

從 output結果 2的 Chi-Square項,可發現 p-value小於 0.05,故基於 95%信

心水準下,我們可以拒絕虛無假說。推測胃潰瘍與十二指腸潰瘍在血型上病患的比例

不同。

補充:其他重要卡方統計值

除了 Chi-square統計值外,SAS另外顯示了許多其他統計值,在這裡做一個簡單的介

紹。若想進一步了解,可參考 SAS內建 Help的路徑:

SAS Products/Base SAS/

Base SAS 9.2 Procedures Guide: Statistical Procedures/

The FREQ Procedure/Details: FREQ Procedure/

Statistical Computations/Chi-square Tests and Statistics

Continuity-Adjusted Chi-Square 連續性校正之卡方檢定,在 2×2 列聯表時與卡方

檢定相似,但多了一步驟將原資料不連續的分布校正為卡方的連續性,在樣本數小的

時候更加實用。事實上連續性校正的使用時機是較受爭議的,在樣本數小的時候保守

性較高(與費雪精確性檢定相似)。但在樣本數越大時,連續性校正的卡方檢定會越接

近皮爾森卡方檢定。

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 9

連續性校正卡方檢定的計算公式為

i j ij

ijij

Ce

enQ

2

5.0,0max

在獨立的虛無假說下, CQ 會漸近自由度為 11R C 的卡方分布。

Likelihood Ratio Chi-square Test 概度比的卡方值,概度是用來計算資料的隨機

變數落在指定統計母數θ的概似度。其中包含觀測次數及期望次數的比例。計算此統

計值的公式為

2 2 lnij

ij

i j ij

nG n

e

其中 ijn 及 ije 分別為表細格 ji, 的觀測次數及期望次數。在列變數及行變數獨立時,

會漸近一個自由度為 11 CR 的卡方分布。

Mantel-Haenszel Chi-square Test 此方法之對立假說為列變量與行變量間具有線性

相關性,行變量與列變量會被轉換為有序變量,然後計算 Pearson相關係數 2r ,則檢

定統計值公式為

21 rnQMH ,

若虛無假設為真,則此統計量會漸進卡方分佈,其自由度為 1。

Phi Coefficient 由卡方分布演變而來的統計方法。在 2×2的表下 phi 係數會介在

11 之間,若為行或列大於 2×2的表時,phi係數會介在

1,1min0 CR 之間。Phi係數的計算方法為

2×2表時, 212121122211 / nnnnnnnn

其他條件下為 nQP /

Contingency Coefficient 由卡方分布演變而來的統計方法,其範圍在

mmP /10 之間,其中 CRm ,min 。列聯係數的計算公式為

nQQP PP /

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 10

Cramer's V 為卡方分布演變而來的統計方法,上限恆為 1。在 2×2列聯表下其值會介

在 11 V 之間,若為行或列大於 2×2的表時,範圍在 10 V 。Cramer’s V之計

算公式為

2×2表時, V

其他條件下, 1,1min

CR

nQV P

費雪精確性檢定(Fisher’s Exact Test)

在檢定 2×2 列聯表時有卡方檢定與費雪精確性檢定兩種方法,卡方檢定為一大樣

本漸進的方法,因此在樣本數過小時並不適用。費雪精確性檢定計算觀測表的概度,

實際上為一個超幾何分布,利用此概度檢定兩類別變項的相關性,相較於卡方檢定精

確許多,但因為計算繁雜,通常我們還是以卡方檢定為主,只有在超過 20%細格的期

望次數小於 5時,才會改用費雪精確性檢定。

SAS會自動判斷觀測表示否符合上面的條件,若期望次數過小,使用卡方檢定可

能會造成誤差時,SAS 會在 output視窗出現 WARNING,此時我們應改用費雪精確性

檢定。在此我們同樣將卡方獨立性檢定的例子修改一下數據以凸顯此問題。

程式碼

DATA smoking;

INPUT gender $ opinion $ counts @@;

CARDS;

0 0 6

0 1 2

1 0 4

1 1 11

;

PROC FREQ DATA=smoking;

TABLE gender*opinion / EXACT;

WEIGHT counts;

RUN;

程式碼說明

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 11

TABLE敘述句:

同卡方檢定的輸入方式,僅將斜線後的選項 CHISQ改為 EXACT即可,請注意使用

該指令亦會產生 chi-square test,雖然如此,因為計算 Fisher's exact test 需要

較複雜的計算,如果符合漸進卡方分佈的狀況,建議使用 CHISQ,以節省計算時間

與電腦資源。

Output結果 3

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 12

可發現在卡方檢定報表底下出現警告,有 50%細格其期望次數小於 5,此時可能

不適合用卡方檢定,而 Fisher’s exact test 結果顯示 p-value = 0.0393 < α = 0.05,拒

絕虛無假說。可得結論:「市民對在公共場所吸菸的看法」與「性別」有關。

補充:Fisher’s exact test 下的 p-value

分析 2×2列聯表時,SAS的 output會提供以下費雪精確性檢定的 p-value:table

probability、two-sided p-value、left-sided p-value、right-sided p-value等,

在此節會做一個簡單的介紹。若想進一步了解,可參考 SAS內建 Help 的路徑:

SAS Products/Base SAS/

Base SAS 9.2 Procedures Guide: Statistical Procedures/

The FREQ Procedure/Details: FREQ Procedure/Statistical Computations/

Chi-square Tests and Statistics

Table Probability 觀測表的超幾何機率,也就是固定邊際總和下觀測表發生的機

率。此為費雪精確性檢定的統計量,其假設 p為指定邊際總和下某觀測表的超幾何機

率,則 p-value的計算方式為將所有指定表的機率 p相加

A

pPROB

Two-sided p-value 將固定邊際總和下所有機率小於或等於觀測表的機率相加。在雙

尾的 p-value下,A 集合包含所有超幾何機率小於或等於觀測表的列聯表。若資料有

一個較小的雙尾 p-value,表示列變量與行變量相關,支持對立假說。

Left-sided p-value 在 2×2 列聯表下,費雪精確性的單尾 p-value 決定於表第一行

第一列的觀測次數,也就是細格 1,1 ,表示為 11n 。因此左尾費雪精確性檢定的 p-value

為所有 1,1 細格小於或等於 11n 的表發生的機率。在左尾的 p-value下,A集合包含與

觀測表相同邊際總和下,所有細格 1,1 小於或等於次數 11n 的列聯表。若有一個較小的

左尾 p-value則表示支持對立假說,可推測在列變量與行變量獨立的虛無假說下,觀

測表的第一細格應該是小於期望次數的。

Right-sided P-value與左尾之狀況相似,右尾費雪精確性檢定的 p-value為所有 1,1

細格大於或等於 11n 的表發生的機率。A集合為與觀測表相同邊際總和下,所有細格 1,1

大於或等於次數 11n 的列聯表。越小的 p-value 越支持對立假說,表示在虛無假說下

第一細格應該是大於其望次數的。

國立臺灣大學 初等統計學實習課講義 (SAS)

4.2. PROC FREQ 13

以上的計算方法均假設在 2×2 的列聯表下,若為大於 2×2 的列聯表,雙尾 p-value 的

計算方法同上,但無法計算單尾 p-value。