彭佳玲 典通股份有限公司 副總經理

Carly@statinc.om.tw

02-29601266#801

Oct. 19, 2016

問卷設計、施測、與統計分析

演講主題

彭佳玲 Carly

典通股份有限公司 副總經理 浚鴻數據開發股份有限公司 顧問 銘傳大學應用統計資訊學系 兼任講師 中華R軟體研發暨應用協會常務監事

現職

13年執業 130個案例

民意 調查

市場 調查

行銷 研究

數據 分析

2

處於轉變期要獲得民意

多元調查方法整合是不可避免的趨勢

01

02

03

問卷測試規劃

統計分析

問卷設計概念 今日大綱

3

問卷設計須考量的重要因素

研究

目的

對象

調查

方法

抽樣

方法 分析

方法

經費

受訪

者承

受力

4

決定問卷的內容及形式

決定問卷長度

決定問卷形式

決定問卷問法

決定一切

決定問卷長度

問卷設計，最大的弱點就是：缺少理論的支持

其實，沒有科學理論能保證什麼樣的設計，

就是最理想、最棒的。調查對象、方法、議題千百種，設計題型也有百百款

問卷設計，除了基本原則、知識、理論外，

與其他技術相比，更像是一門藝術。

5

開始設計一份問卷

6

Step 1

Step 2

Step 3

Step 4

Step 5

Step 6

Step 7

Step 8

Step 9

Step 10

問卷修改、定稿，編寫使用說明

專家檢視、問卷測試，計算信效度

決定問卷版面

題目及選項編碼

決定題目順序

決定題目內容及形式

設計開場白

擬定研究架構

決定研究目的

決定調查對象、方式

問卷設計，最大的弱點就是：缺少理論的支持

設計研究架構

我國社區大學學員學習動機與學習滿意度之研究

7

由專家文獻或理論，建立問卷型式、用詞及整個問卷的呈現

黃玉湘（2002）。我國社區大學學員學習動機與學習滿意度之研究(碩士論文)。 取自http://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi?o=dnclcdr&s=id=%22090CCU00142014%22.&searchmode=basic

Q：我可以直接引用單一的架構嗎？ A：若為學術論文最好不要照抄，但若為解決問題導向之調查，引用文獻架構是好的。

問卷的基本架構 開場白

目的及主題

調查主辦單位

執行單位

對受訪者的保證與承諾

事後查詢管道

合格受訪者的篩選題

問卷內容

基本問項

致謝

開場白

問卷主體

基本資料

封閉

開放

結構式

題型

是非 選擇

比較

排序 ……

甄別、過濾

了解事實

題目用意

行為

動機

態度

……

8

開場說明，是成功訪問的第一步

9

您好，我們是銘傳大學○ ○ ○ ○系，我們正在進行一項有關畢業生就業狀況

的電話訪問，您所提供的意見僅作為整體分析使用，個人資料絕對保密，請您

安心作答，打擾您幾分鐘的時間，請您接受我們的訪問，謝謝！

如果您有疑問可上網至本系網頁查證或打電話0800-018111查詢。

1.執行單位 2.目的及主題

3.對受訪者的保證與承諾

4.查詢管道

篩選題範例 開場白

合格受訪者的篩選題

問卷內容

基本問項

性別、年齡、教育程度、個人平均月收入、職業…

致謝

謝謝您接受我們的訪問，祝您有愉快的週末／夜晚

10

封閉式問項

將答題範圍限制在問卷設計者提供的範圍中，給受訪者一組答案，要求他們從中選擇一個最接近本身觀點的答案。

優點：容易回答且節省時間

缺點：限制受訪者的思考範圍、不具彈性

開放式問項

受訪者可以自由地用自己的語言來回答、解釋

適用：問題答案研究者無法預料；為了瞭解受訪者對某件事情的態度、觀點； 需要在報告中原文引用 (半質化分析)

優點：自由、自主的表達意見；能夠蒐集到大量的訊息；能作為解釋封閉選項的工具

缺點：整理困難，語句、用語各不相同，表達時有自己主觀意見或省略前因後果；容易造成訊息偏誤。

結構式問項 = 封閉式+開放式的組合

問項的種類

11

封閉試問項：二分法問題 (dichotomous question)

12

提供受訪者一組答案，要求他們從中選擇一個最接近本身觀點的答案

主要適用於事實、態度、意見的測量；只列舉2種答案，略帶有強迫性質

思考：

如果意見有不同程度呢？

普通、有時候有有時候沒有的人該怎麼辦？

模糊、不明確、中庸、不好意思說出口的意見，可以呈現

強迫程度更高的範例：

Q1：請問您是否有在控制體重？(包括減輕、增加、維持體重等) □1.有 □2.沒有

Q2：請問您喜不喜歡樂事洋芋片的廣告？ □1.喜歡 □2.不喜歡

Q1：下列兩種說法，您更傾向哪一種

□1. 某牌口香糖吃起來有迷人的香味 □2. 某牌口香糖吃起來感覺不錯

封閉式問項：多項選擇問題(multiple choice question)

13

最常用的一種題型，可以了解人們在所問問題上面的態度、頻率、行為。

思考：

所有可能的選項都列上去就是最好嗎?

選項間的關係?

Q 1：請問您是採取哪一種方式控制體重？

□1.參加體重控制班 □2.多運動 □3.減少熱量攝取 □4.跳過幾餐不吃

□5.服用減肥藥 □6.針灸 □7.服用瀉藥 □8.催吐

Q 2：您對於政府簽訂貿易協定的想法是？

□1.貿易協定對社會發展有阻礙作用

□2.貿易協定對社會發展以副作用居多

□3.貿易協定對社會發展正負面效果差不多

□4.貿易協定對社會發展有一定副作用，但主要是正面效果

□5.貿易協定對社會發展有促進效果

開放式問項

Q：請問您的職業是什麼(請受訪者具體說明)？

公司名稱

職稱

工作內容的描述

優點：可收集到許多原來沒有設想到的答案 。

缺點：1.極易產生偏差

2.受訪者對問題無深入了解時難以作答

3.資料整理與分析是令人頭痛的難題。

14

半封閉式問項

半開放半封閉

15

Q：請問您的宗教信仰為何？

□1.基督教 □2.天主教

□3.佛教 □4.回教

□5.印度教 □6.道教

□7.無宗教信仰 □8.其他(請說明)_________

16

選項原則

答案具有窮盡性、互斥性

窮盡性

選項要包含了所有可能的情況

互斥性

選項之間不能互相重疊或包容，對受訪者而言，最多只能有一個選項來代表他的答案。

17

Q ：您平均每天花多少時間看報紙？ □(1) 1小時 □(2) 2小時 □(3) 3小時 □(4) 4小時

Q ：您平均每天花多少時間看報紙？

□(1) 1小時 □(2) 1小時到2小時 □(3)2小時到3小時 □(4) 3小時到4小時 □(5)4小時到5小時 □(6) 5小時以上

根據研究需要，確定測量層次

選項是具有不同的測量層次。高層次的選項，可以轉化為低層次的選項使用。

設計的時候，可以視研究的需要，決定採用哪一種層次的選項。

18

例如：想測量就業者每月平均薪資

A. 如果需要明確知道金額，就可以用填空型態

B. 如果想知道民眾的薪資等級分布，就可以用順序尺度(Ordinal data)方式測量

C. 如果想知道民眾的薪資在基本薪資之上下比例， 就可以用類別尺度(Nominal data)方式測量

對稱 vs 不對稱選項

對稱選項

19

不對稱選項

購買可能性

• 肯定會買

• 可能會買

• 可能會，也可能不會

• 可能不會買

• 肯定不會買

喜歡的程度

• 非常喜歡

• 很喜歡

• 還算喜歡

• 有些喜歡

• 完全不喜歡

一般建議使用對稱選項

不對稱有時會誤導受訪者

不對稱選項使用時機

• 剔除不喜歡的群體，了解喜歡的程度

• 經驗法則

• 與資料庫比對

要不要有無意見的選項？

要不要有未回答的選項？

無反應選項設計的必要性？

20

21

選擇方式

順位法

22

順位法常見應用為：複選題、排序題

A. 最重要順位：

請問工作的意義，對您來講最重要的是什麼？

□1.經濟來源

□2.為國家、社會貢獻

□3.與社會保持聯繫

□4.成就自我、展現自我的地方

□5.獲得社會認同的地方

□6.開創事業的基地

思考：

雖然只選一項，但是跟單選題有什麼不同？

順位法- 限制性複選 vs. 無限複選 簡化的複選題

限制受訪者可選答案的最多數目

23

B. 請問工作的意義，對您來講最重要的是什麼？（最多選３項）

□1.經濟來源

□2.為國家、社會貢獻

□3.與社會保持聯繫

□4.成就自我、展現自我的地方

□5.獲得社會認同的地方

□6.開創事業的基地

思考：

是受限？還是強迫選出真正重要的？

限制選擇數與真正的複選，結果有差嗎？

C. 請問工作的意義，對您來講最重要的是什麼？（可複選）

□1.經濟來源

□2.為國家、社會貢獻

□3.與社會保持聯繫

□4.成就自我、展現自我的地方

□5.獲得社會認同的地方

□6.開創事業的基地

複選題最常見的形式，不限制答項數目

順位法- 排序 vs. 重要程度順位填空 排序題，是為了解決複選題看不出選項層次，而出現的題型設計，主要的特點是，

使受訪者呈現所選答案的順序與程度。

受訪者自行排序

依研究需要，列出需排序的順位

24

D.您認為決定個人收入高低的因素是什麼? 請依下列選項排序

E. 您認為決定個人收入高低的因素是什麼? 請依重要程度，依序填入代碼

(1).工作年資 (2).學歷 (3).擔任職務

(4).個性 (5).工作態度 (6).工作成就與貢獻

(7).加班 (8).與管理階層的關係

(9).身家背景

最重要：_____； 次重要：______；再次重要：________ 思考：

對受訪者作答會造成什麼影響？

對研究者獲取答案有什麼影響？

問卷設計大原則

25

用字簡單、定義清楚，避免一般性或不具體的問題

26

Q ：請問您吃不吃素？

• 排不排斥吃素 • 長年素 • 初一、十五吃素

Q： 請問您是否曾經吃素(全日素食)達半年以上？

不夠明確的題目，就算問到答案也不能形成決策

Q. 請問您對本餐廳的滿意度如何？

□1. 滿意 □2. 不滿意 □3. 沒意見

試想：餐廳裡面有什麼？ （依循脈絡設計）

27

• 滿意度為 65%，然後呢？

• 不滿意的比例高達90%，那怎麼辦？

避免用多語意字眼

28

Q ： 請問您通常看什麼電視節目？

一般人對通常、常常、一般…等字眼很難界定程度

避免一題多問

29

Q： 請問你滿不滿意政府在廉能及效率方面的施政表現？ 滿意政府廉能，但不滿意政府效率該怎麼辦？

Q： 請問您是否抽菸或喝酒？

考量受訪者的能力

一些問題可能超過受訪者的能力範圍，或是平常不會注意的事情。

這些問題所獲得的答案，是不穩定、也不精確的

30

Q：【受訪者為青少年】請問您家中食用油是下列哪一種? □(1) 植物油 □(2) 動物油 □(3) 其他油品 □(4) 沒有用油

Q ：請問您今年的生活費用是多少？_______________元

小心假設性、預測問題

有些研究者，先假設一種情境，然後詢問受訪者對這種情形會如何反應。

31

Ｑ：請問電價每度調漲幾%會讓您改變用電習慣？ 容易導致無意見增加

Q：您是否贊成公司一周上四天班？ □(1) 贊成 □(2) 反對

Q：您是否贊成公司在一天工作１２小時的情況下，改成一周上四天班 □(1) 贊成 □(2) 反對

考量敏威性或具有威脅性的問題

32

Ｑ：請問您是否曾遭受家暴？

Ｑ：請問您有偷竊他人東西的記錄嗎？

Q：請問您支持哪個政黨？ 容易導致拒訪增加

敏感性的問題，受訪者一般不願意回答

如果有更好的設計、匿名性，能夠有效鼓勵受訪者回答

避免讓自己的調查變成公民與道德考題

遇到道德性問題，可以採用迂迴的問法，探測受訪者真正的想法

33

Q：有些人經常逃漏稅，您認為他們主要逃漏稅的原因是什麼? (單選)

□(1) 認為目前稅法不公

□(2) 心存僥倖

□(3) 抗議國家沒有妥善處理稅款

□(4) ……

Q ：請問您贊同他們的想法嗎?

□(1) 贊同

□(2) 不贊同

問項越短越好

問題越簡短越好，除非你要詢問依些複雜的概念，才用比較長的句子。

一般而言，以簡單清晰的問題，詢問受訪者，受訪者容易回答較佳

34

第6題：現有的科學園區因應環境改變，已逐漸轉型，朝向高附加價值產業發展方向。請問若以2020年為政策目標年，您接不接受在考量產業需求、區域及地方平衡發展、兼顧生態保育以及永續環境，以不超過既有園區核定環評排放總量為前提來適度新設或擴建新的科學園區；且若擬新設或擴建園區所在之區域已超出該區域環境涵容能力時，需經該區域地方主管機關承諾，於一定期間內減少與新設或擴建園區等量之排放量，始得適度新設或擴建園區。

□(1) 非常能接受 □(2) 還算能接受

□(3) 普通 □(4) 不太能接受

□(5) 普通 □(4) 不太能接受

避免雙重否定問題、選項

35

負面表述的用語，會讓受訪者誤解題意，或是略過某個選項

也讓受訪者在作答的時候，必須花更多時間釐清題意

也容易回答與心裡真正想法【相反】的答案

Q：請問您同不同意政府不應該不重視弱勢族群的權益？

Q：請問您反對學生放學後，學校不能強制留校自習嗎？

Q：您不認為搭捷運不排隊是不正確的嗎? □(1) 是 □(2) 不是

避免用引導性問題 、推銷性字眼

思考：對訪問會造成什麼影響？ 對受訪者會造成什麼影響？

36

Ｑ：光纖具有速率快、頻寬高、無電磁干擾、保密性高等多項優點， 請問您是否會使用光纖網路？

Ｑ：過去一年台灣失業率節節攀升，萬物皆漲，勞工薪資卻沒有調高許多家庭都為了孩子的學費、營養午餐費貸款，學子畢業就背負學貸青年人買不起房子。我們想請教您，請問您認為在台灣生活您滿不滿意？

避免倒裝句

37

Q：電費折扣獎勵節能措施，請問您知道嗎？

Q：請問您是滿意還是不滿意電費折扣獎勵節能措施？

Q：政府調漲夏季電費，請問您贊不贊成？

Q：請問您知不知道電費折扣獎勵節能措施？

Q：請問您對電費折扣獎勵節能措施滿不滿意？

Q：請問您贊不贊成政府調漲夏季電費？

Ｑ：請問您們夫妻吵架時，會冷戰多久？

題目主觀認定

1. 夫妻一定吵架

2. 夫妻吵架一定會冷戰

避免斷定性問題

38

39

問卷測試規劃

問卷信度與問卷效度

信度：是否打到靶？

利用同種測量工具不斷重複測量，測量結果穩定的程度稱為信度

效度：是否打對靶？

是否真可以反應研究者所想要測量的現象或行為

40

低信度、低效度 高信度、低效度 高信度、高校度

提高信效度的方法

邀請專家學者檢視問卷

預定受訪對象的建議

小型抽樣測試

1. 記下預試時的所有狀況，以便進行檢討修正

2. 預試問卷的受訪者特徵應與正式訪問時的受訪者特徵一致

41

• 與正式調查方法相同 • 取樣重點不在隨機 而是多元

• 調查過程記錄

42

統計分析

使用錯誤的統計量 應該宣導民眾走步行靠右走嗎？

據市警局發布 之數據顯示，過去一年發生的車禍中，有55件靠右走，29件靠左走。這個數據顯示政策有需要改變？

(靠右走車禍件數較多，很可能是因為大部分的人都靠右走所致)

(改以發生率比較才能正確判斷靠右、靠左走與車禍發生間的正確關係)

http://letitbe.ncue.edu.tw/ibl/general/abuse.htm

錯誤的因果關係

調查發現吸菸者的大學成績比不吸菸者差。一定是抽菸把腦袋變鈍了！

調查發現3~6歲小孩的腳越大，閱讀能力就越強。所以小孩的腦袋應該長在腳上！

某樹林72%的烏鴉在松樹上築巢，因此可得結論為「烏鴉喜歡在松樹上築巢」。可是此樹林95%都是松樹……

關聯性≠因果關係

橫斷面調查無法確認因果關係

誇大的統計圖

統計圖表有意、無意的誤用，極容易誤導讀者

以下，讓我們來試試自己的眼力！

當你想說「國中生近視率急速上升」時……

64.0

66.0

68.0

70.0

72.0

74.0

76.0

93年 94年 95年 96年 97年 98年 99年 100年

國中生近視 (%)

資料來源：教育部

當你想說「國中生近視率很高」時……

0.0

10.0

20.0

30.0

40.0

50.0

60.0

70.0

93年 94年 95年 96年 97年 98年 99年 100年

國中生近視 (%)

資料來源：教育部

當你想說「國中生近視率持平」時……

0.0

10.0

20.0

30.0

40.0

50.0

60.0

70.0

80.0

90.0

100.0

93年 94年 95年 96年 97年 98年 99年 100年

國中生近視 (%)

資料來源：教育部

看出差別了嗎？

結論：神啊，請賜予我神奇的力量！

以下，我們用慢動作來拆解圖形操弄的技巧……

結果呈現-統計表

51

單位：人；%

總計 3,079 80.0 20.0 76.3 23.7

性別

男 1,533 81.5 18.5 78.0 22.0

女 1,546 78.5 21.5 74.6 25.4

年齡

12-14歲 124 100.0 - 99.4 0.6

15-19歲 237 98.6 1.4 97.8 2.2

20-29歲 486 98.1 1.9 97.0 3.0

30-39歲 580 97.9 2.1 97.1 2.9

40-49歲 546 89.1 10.9 84.3 15.7

50-59歲 519 70.6 29.4 62.9 37.1

60-64歲 196 53.6 46.4 47.9 52.1

65歲以上 393 26.6 73.4 20.5 79.5

家中是否有身心障礙者

有 427 78.9 21.1 74.5 25.5

沒有 2,612 81.0 19.0 77.3 22.7

不知道/拒答 40 25.5 74.5 25.5 74.5

註：1. 此為依22縣市人口比?及各縣市性別、?齡母體加權後樣本? , 故與實際訪問樣本??同。

2. 12歲以上民眾樣本數=3,079。

3. 統計差?檢定時，合併樣本數小於 10者，檢定結果達顯著水準者 (p

結果呈現-統計圖

52

76.3% 80.0%

66.8 70.1 71.073.4 72.6 75.6 77.4

78.0 80.0

62.7 64.4 65.668.5 67.6 70.9 72.0

73.0 76.3

0.0

20.0

40.0

60.0

80.0

100.0

94年 95年 96年 97年 98年 99年 100年 101年 102年

電腦使用率 網路使用率(%)

(+3.3%) (+0.9%)(+2.4%) (-0.8%) (+3.0%)

(+1.8%) (+0.6%) (+2.0%)

(+1.7%) (+1.2%) (+2.9%) (-0.9%)(+3.3%) (+1.1%) (+1.0%)

(+3.3%)

12 歲以上 80% （1,664 萬人）曾使用過電腦

12 歲以上 76% （1,587 萬人）曾經使用網路

12 歲以上 58% 曾體驗無線或行動上網

12 歲以上 53% 擁有智慧型手機

12 歲以上 27% 擁有平板電腦

資料來源：原行政院研考會，102年數字機會調查報告。 53

Computer Usage Rate

Internet Usage Rate

Laptop Ownership

Smartphone Ownership

Mobile Internet

Usage Rate

結果呈現-示意圖

Statinc Company

Carly Tel:+886-02-29601266#801

carly@statinc.com.tw

+886-02-29601277

謝謝聆聽