[轉貼] 社群大數據 - 輿情觀測及分析應用

社群大數據 : 輿情觀測及分析應用

楊立偉教授 / 台灣大學工商管理系暨商學研究所

意藍資訊董事總經理

2015 Spring

Copyright © eLand Information. Proprietary and Confidential. All rights reserved.

社群口碑資料庫

1

Copyright © Proprietary and Confidential. All rights reserved.

研究領域為資料庫及語意分析技術、知識管理、數位行銷

講者介紹楊立偉博士

現任台大工管系暨商研所兼任助理教授 2006~

台科大資管系兼任助理教授 2008~

資訊及通信國家標準技術委員

意藍資訊董事總經理（創辦人） 1999~

國內規模最大的網路情報與社群口碑自動分析平台

龍捲風科技董事總經理

國內企業搜尋引擎市佔率最高；國際檢索競賽第一名

經歷智威湯遜數位行銷首席顧問、尚藍互動行銷共同創辦人

2009年獲選100 MVP最有價值經理人，擁有超過20項語意分析專利

2012年榮獲國家雲端創新獎、數位時代「創業之星」首獎

2


團隊介紹 – 意藍資訊

國內最強的搜尋 / 語意分析技術團隊

15年研發經驗，60多項國內外專利，兩岸三地超過上千家客戶

擅長巨量、多樣之非結構化資料整合分析

國內搜尋引擎及知識管理廠商票選冠軍，市占率最高

NTCIR 國際資訊檢索評估會議第一名

榮獲國家雲端創新獎及創業之星首獎

3

1分鐘產生

的資料量

Facebook

每日產生

500TB 的資料

Youtube

每日產生

11 年的影片

4

哈佛 : 資料科學家是21世紀最迷人的工作

"Data Scientist : The sexist job of the 21st century"

5

Big Data 的應用方式

運用資料與演算，達成智慧決策

需要快速、大量、各式資料的處理分析能力

Data

• Structured

• Unstructured

• Historic

Information &

Insights

• Modeling 模型

• Deduction 演繹

• Inference 推理

• Prediction 預測

Decisions &

Actions

• Results 結果

• Options 選項

• Prevention 預防

• Suggestion 建議

"turning data into action"

6

國內最大的雲端網路輿情觀測中心

上百台雲端主機，涵蓋台灣九成以上社群流量

每日60億字，自2011年起累積的社群大數據

多項Social media分析技術專利與獲獎

監測分析涵蓋千大品牌、50多個產業

眾多知名媒體及研究機構引用

OpView 輿情觀測平台及社群口碑資料庫

7

創新應用範例

消費預測

疾病預測

民意預測

8


Social Listening : bottom-up, data-driven approach

社群輿情研究方法

社群聆聽新方法傳統調查

原理非干擾式的內容觀察法

大數據下觀察母體

設計問卷後抽樣調查

存在抽樣及干擾誤差

準確性高高

時效性高低

資料量龐大 1068份樣本

觀點形成意見可深入分析量化成選項

執行難易自動化工具，易執行多道作業程序

周變小時快100倍

千到千萬份大1萬倍

9

運用社群聆聽了解民意

民眾當兵最關心的事反對核四的原因

青年畢業最擔心的事勞工議題關鍵字上班族抱怨的原因

10

案例 : 用大數據計算網路溫度

1111

可應用的產業

金融 Banking

通信與媒體 Telecom & media

建築 Construction

製造 Manufacturing

生技醫療 Life sciences

and healthcare

專業服務 Professional services

政府 Public sector

零售 Retail

運輸 Transportation

航空 Airlines

汽車 Automotive

高科技 High-tech

能源 Energy

製藥 Pharmacy

公共事業 utilities

12

Copyright © OpView & eLand Information. Proprietary and Confidential. All rights reserved.

Social Big Data

社群大數據分析方法介紹

使用《OpView社群口碑資料庫》內容觀察和自動語意技術

自2011年起，有效討論量超過 6 億則，逐篇即時處理

涵蓋台灣流量 9 成以上的社群、討論區、部落格、BBS、粉絲團等

超過上萬個網站頻道，及數百萬帳號公開留言

1313


關聯計算

企業搜尋引擎與語意分析平台

Tornado Search / ENLP Platform

關聯圖（知識地圖）

曾雅妮

LPGA

高球

妮妮

球后

詞彙擷取

風暴圖分類導覽

結果呈現

斷詞 / 新詞地址人名/組織名電話帳號自訂詞庫

查詢輔助智慧提示自動摘要情緒分析口碑評價相關文件形似相關

分類引擎語意解析內容分析

非結構資料整合檢索龍捲風知識檢索平台

1414


自動標記重要字詞及人事物

15


1 中央社社會新聞阿帕契風波勞乃成認錯恐面臨刑責 0.85

2 聯合新聞網最新報導阿帕契風波勞乃成認錯恐面臨刑責 0.85

3 中央社社會新聞阿帕契案桃檢不排除傳外傭到案說明 0.80

4 中時電子報焦點要聞勞乃成涉洩密最重判十五年 0.78

5 中時電子報產業情報勞乃成涉洩密最重判十五年 0.78

6 蘋果日報要聞總覽勞妻：玩阿帕契很多次了 0.77

檢方表示，勞乃成涉案程度重大，涉及要塞堡壘地帶法、國家機密保護法、陸海空軍刑法及刑法中的洩密罪，考量他的身分背景及涉案手法，裁定50萬元交保。

內容最相近的文章

機器自動摘要結果

16


案例：刑事警察局資訊中心

累積整理多年之刑案資訊，含多種來源與多種資料格式

進行資料整備、匯入、分析，導入知識工程之成熟技術

準確率可達 95% 以上

17


產生主題、詞彙庫、網路圖，協助防治偵查

18


19

行銷廣告

簡訊

通話品質

行動上網

客戶服務

連線速度

客戶服務

行銷廣告

帳務費率

帳務費率

客戶服務

行動上網

連線速度

加值

簡訊

ADSL

4G

機器自動標記分類

內容情緒判別

19


文字探勘案例： 1999 市民熱線

新進案件採自動化分類，降低所需之人力，並提升加值

找出需求議題、熱點趨勢、分布區域描繪、協辦單位分析等

20

transcript

Tagged data

Semantic analysis

Dept. prediction

語意分析

Keyword extraction

pro

ce

ssin

ga

pp

lic

ati

on

Topic detection

dispatching

improvement

環保局

環保局

國發會計畫

Copyright © eLand Information Co., Ltd. Proprietary and Confidential.

98 7

65

4

3

2

1

10

若關鍵詞符合下列規則，則主辦單位會被分類至「建築管理工程處」，驗證之分類正確率如附表：1.有違建2.無違建，但有防火巷3.無違建，無防火巷，但有室內裝修4.無違建，無防火巷，無室內裝修，但有樓梯間5.無違建，無防火巷，無室內裝修，無樓梯間，但有管委會6.無違建，無防火巷，無室內裝修，無樓梯間，無管委會，但有建築工地7.無違建，無防火巷，無室內裝修，無樓梯間，無管委會，無建築工地，但有外牆8.無違建，無防火巷，無室內裝修，無樓梯間，無管委會，無建築工地，無外牆，但至少有2次工地9.無違建，無防火巷，無室內裝修，無樓梯間，無管委會，無建築工地，無外牆，但至少有2次工地與招牌10.無違建，無防火巷，無室內裝修，無樓梯間，無管委會，無建築工地，無外牆，至少有2次工地與招牌，有建管處，並且無都發局

自動分案 - 建築管理工程處為例 2731件

資料集分類正確率

train 95.89%

test 96.23%

21


10

自動分案 - 環保局為例 2796件

22

若關鍵詞符合下列規則，則主辦單位會被分類至「環保局」，驗證之分類正確率如附表：1.有環境與都發局，公園至少有2次，且無警察局2.無環境但有無牌，且無警察局3.無環境，無無牌，但有垃圾車4.無環境，無無牌，無垃圾車，但有環境髒亂5.無環境，無無牌，無垃圾車，無環境髒亂，但有清潔隊6.無環境，無無牌，無垃圾車，無環境髒亂，

無清潔隊，噪音至少有2次，且無警察局7.無環境，無無牌，無垃圾車，無環境髒亂，

無清潔隊，噪音少於2次，但有亂丟垃圾

8.無環境，無無牌，無垃圾車，無環境髒亂，無清潔隊，噪音少於2次，無亂丟垃圾，有清潔人員，且有公園9.無環境，無無牌，無垃圾車，無環境髒亂，無清潔隊，噪音少於2次，無亂丟垃圾，無清潔人員，且有汙染

10.無環境，無無牌，無垃圾車，無環境髒亂，無清潔隊，噪音少於2次，無亂丟垃圾，無清潔人員，無汙染，垃圾桶至少有2次

資料集分類正確率

train 97.59%

test 97.60%

98

76

5

4

3

21


分群探索議題結果 : 衛生局為例

23

議題案件量

食品安全衛生問題 457

菸害防制問題 130

公立醫院問題 83

共同關鍵詞

共同出現群數

獨特關鍵詞

衛生局 3衛生

健檢 2食品

網路 2食材

山區 3廚房

醫院 3攤販

食品安全衛生問題菸害防治問題

共同關鍵詞

共同出現群數

獨特關鍵詞

吸菸 2 抽菸

山區 3 菸害

衛生局 3 公園

住戶 3 運動中心

學生 3 標誌

共同關鍵詞

共同出現群數

獨特關鍵詞

醫院 3 病房

醫生 2 警察

醫師 2 急診室

病患 3 輪椅

就診 2 車輛

公立醫院問題

• 排序在「共同關鍵詞」及「獨特關鍵詞」的越上方代表關鍵詞在該群中越重要

依內容及主旨關鍵詞分群


議題地圖 – 流浪動物

多分布於河濱、近山區

中山區、松山區顯著無流浪動物通報

24

取1月份資料

單位：動物保護處議題：流浪動物


議題地圖 – 廢氣排放

相較集中分布於市區：如大安、信義、松山區

多屬油煙空污及汽機車廢氣

25

取1~3月份資料

單位：環保局議題：廢氣排放


運用語意技術分析網路口碑

從內容對使用者及商品進行側寫

26

性別? 婚姻狀況? 子女狀況?

價值觀?

Life Stage?

Life Style?


近年來的技術突破

27

演算法及模型、

計算複雜度及規模、巨量資料


OpView Insight 系統平台

檢視統計分析管理

文章列表

追蹤

來源分布

頻道

排行

維度分析

趨勢

競爭風暴圖

關鍵字風暴圖

社群活躍度

正負情緒比

情緒分析

日報通知

維度

設定

成員

成員

主題下載

關鍵領袖

傳播趨勢

OpView Insight v3.4進階版，共四大服務模組，21大功能項目

28


OpView 輿情觀測平台畫面範例

2929

Copyright © Proprietary and Confidential. All rights reserved. 30

連勝文柯文哲

30日情緒線圖及正負情緒比 ~11/28


網站頻道及意見領袖 15日分析

31


案例 : 年度流行話題商品排行榜

名次年度十大話題商品

1 清玉茶飲

2 雷神巧克力

3 超商霜淇淋

4 嘉義福義軒

5 薯條三兄弟

6 Krispy Kream甜甜圈

7 屏東心之和蛋糕

8 南門市場快車肉乾

9 Laduree馬卡龍

10 樂天小熊餅

爆紅最快商品竄升度

蜂巢冰淇淋 3.40

屏東心之和蛋糕 3.39

雷神巧克力 2.89

台中嘉味軒太陽餅 1.62

清玉茶飲 1.23

資料期間為 2013/4~2014/3

以討論聲量做排名，以變異係數表示竄升度

全部是由社群發動

進而影響傳統媒體

32


0

2000

4000

6000

8000

10000

12000

14000

201304 201305 201306 201307 201308 201309 201310 201311 201312 201401 201402 201403

屏東蛋糕

雷神巧克力

小熊餅

超商霜淇淋

案例 : 年度流行話題商品排行榜

社群帶動性強，效果較傳統媒體持久

兩者交互作用，產生爆炸成長

33


熱門餐飲年度代表 – 日式拉麵來台

排名餐廳名稱熱門度好感度綜合得分

1 一風堂 ★★★★★ 1.7 693

2 花月嵐 ★★★★☆ 1.6 357

3 麵屋武藏 ★★★★☆ 1.4 270

4 山頭火 ★★★★☆ 1.4 243

5 豚王拉麵 ★★★★ 1.5 162

6 屯京 ★★★★ 1.4 157

7 樂麵屋 ★★★☆ 1.4 126

8 三田製麵所 ★★★☆ 1.7 122

9 博多拉麵 ★★★ 1.8 111

10 壽賀喜屋 ★★★ 3.3 108

11 麵屋輝 ★★★☆ 1.4 107

12 梅光軒 ★★★☆ 1.2 99

涵蓋本地連鎖及日本來台拉麵店超過70家；好感度為P/N值，與聲量加權後為綜合得分

34


日式拉麵來台 – 對先進者的威脅

風暴圖分析 : 一同提及比較的競爭者

35


日式拉麵來台 – 分析市場位置

2%

7%

12%

-8.0% -4.0% 0.0% 4.0% 8.0%

一風堂花月嵐

麵屋武藏

山頭火

麵屋輝

豚王拉麵

樂麵屋屯京拉麵

梅光軒博多拉麵

湯頭偏重

麵偏軟麵偏勁

36


熱門餐飲年度代表 – 王品集團

熱門度好感度綜合得分

1 西堤牛排 ★★★★★ 1.5 2449

2 陶板屋 ★★★★☆ 1.9 2003

3 原燒 ★★★★☆ 1.2 1241

4 王品牛排 ★★★ 1.4 820

5 石二鍋 ★★★ 1.6 750

旗下五大品牌各品牌滿意度

37


北部 1.4

西堤牛排 1.3

陶板屋 1.6

原燒 1.3

王品牛排 1.3

石二鍋 1.6

桃竹苗 1.6

西堤牛排 1.6

陶板屋 2.0

原燒 1.5

王品牛排 1.6

石二鍋 2.0

南部 1.5

西堤牛排 1.4

陶板屋 2.2

原燒 1.3

王品牛排 1.3

石二鍋 1.8

中部 1.4

西堤牛排 1.3

陶板屋 1.6

原燒 1.2

王品牛排 1.5

石二鍋 1.6

東部 1.4

西堤牛排 1.4

陶板屋 1.7

原燒 1.1

王品牛排 1.2

石二鍋 1.7

!

好感度

分區分析

38


案例 : 年度熱門營養保健品

名次下半年升降

1 雞精（含滴雞精） ▲3

2 人蔘 ▲1

3 益生菌 ▼1

4 靈芝及樟芝 ▼3

5 葉黃素 -

6 韭菜籽或南瓜籽 ▲1

7 薑黃 ▼1

8 大豆異黃酮 ▲1

9 葡萄糖胺 ▲1

10 冬蟲夏草 new

11 蜆精或蜆錠 ▼3

12 五味子 new

名次上半年

1 靈芝及樟芝

2 益生菌

3 人蔘

4 雞精（含滴雞精）

5 葉黃素

6 薑黃

7 韭菜籽或南瓜籽

8 蜆精或蜆錠

9 大豆異黃酮

10 葡萄糖胺

11 啤酒酵母 X

12 四物飲 X

資料期間為 2013/4~2014/3，依成份討論聲量做排名，涵蓋超過30種熱門成份39


熱門營養保健品年度代表 – 滴雞精

討論雞精時，每百篇有56篇提及滴雞精，成長快速

滴雞精前四個品牌佔51%，其它或未提及品牌佔49%

懷孕、助孕、坐月子及寶寶營養補充相關

田原香 27%

老協珍 15%

原淬 7%金牌大師 1%

其它或未提49%

0%

10%

20%

30%

40%

50%

營養口味價格方便熱量

滴雞精

一般雞精

40


熱門營養保健品 – 功效分析

以薑黃為例，傳統媒體與網友自發討論大不同

薑黃功效

保健、抗氧化

減肥及改善代謝

預防心血管疾病/降血脂

抗癌

護肝-預防性

幫助消化

解酒

護肝-治療性

抗菌

預防失智

養顏美容

止痛消炎

熱度排名

1

2

3

4

5

6

7

8

9

10

11

12

熱度排名

1

3

6

5

2

10

16

9

11

4

12

7

網友自發討論

傳統媒體宣傳

!!

41


0

1,000

2,000

3,000

4,000

5,000

5月1日 6月1日 7月1日 8月1日 9月1日 10月1日 11月1日 12月1日

案例 : 代言名人外遇醜聞，影響品牌

形象背離越大，民眾反彈越大

42

彎彎，持續20日總量 x12倍好感 1.8→0.6

柯震東，持續45日總量 x18倍好感 1.3→0.5

九把刀，持續18日總量 x7.5倍好感 0.8→0.6

僅正評率略降

阿基師，持續20日總量 x51倍好感 1.6→0.4

房祖名

王世堅

13,000

12,000:


「阿基師事件」社群傳播路徑圖

43


「阿基師事件」對消費品牌的影響

44

前五大討論區好評度變化

1 mobile01 1.0→0.4 ▼0.6

2 伊莉討論區 2.3→0.3 ▼2.0

3 巴哈姆特 2.0→0.4 ▼1.6

4 PTT 1.1→0.6 ▼0.5

5 Babyhome 3.0→0.5 ▼2.5

媽媽們的破滅

相關代言商品受影響

提及程度

整體品牌

好評度變化

福容大飯店 54% 2.3→1.1 ▼1.2

桂格 / 得意的一天 7% 無變化

福樂 / 一番鮮 6% 無變化

牛頭牌 11% 1.7→1.3 ▼0.4

型男大主廚 73% 1.7→0.7 ▼1.0

五月花 12% 1.5→1.2 ▼0.3

7-Eleven 年菜 38% 1.9→1.5 ▼0.4

百略醫學 17% 無變化

義廚寶 52% 2.9→1.2 ▼1.7


負評輿情內容探索 – 關鍵字風暴圖

比較不同期間之關鍵字變化

45


法規與政府機關

認證標準

經濟發展

政治操作

資訊平台

資源分配

產品安全評價

食品鏈管控

產業別

價格

台灣食品形象

危機處理

廠商賠償

行為改變

心理/生理反應

4-5

3-4

2-3

1-2

0-1

-1-0

-2--1

案例 : 劣油事件衝擊政策、產業、消費

社群聲量標準分數

高峰期次高峰期延燒期

46


劣油事件衝擊產業 – 影響品牌地圖

47

強冠味全

大統

奇美犁記

盛香珍

統一

牛頭牌

美食達人

頂新

李鵠餅店五花馬

黑橋牌

憶霖

維力

玉珍齋

乖乖

吳記

陸仕

劉媽媽

摩斯

美芝城

八方雲集

呷七碗

老克明

龍鳳

康師傅億元

聯華

興霖

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

品牌平均聲量排名

討論天數排名


劣油事件衝擊消費行為 – 影響類型

網友提及行為變化，最多為伸張消費主權，次為醫療保健

謹慎消費、替代性行為較過去食安事件相比有所提升

討論中提及無影響類型字眼的占比亦有7%

48

無影響7%謹慎消費1%

替代性行為12%

醫療保健

28%

申張消費主權

52%

影響重大


食安事件創造的商機

哪些在網路上最為熱烈討論 ? (領先指標)

49

天然有機

(39%)

手工料理

(13%)

料理器具

(7%)

食譜料理書

(6%)

歐洲 (11%)

澳洲 (7%)

美國 (5)

日本 (5%)

在地 (4%)

未指名 (67%)

進口認證食品

13%養身健康

11%DIY料理

76%

養生料理

(62%)

運動排毒

(20%)

保健食品

(18%)


結語 : 運用社群大數據新方法

用聆聽與觀測踏出第一步

各種量化與質化指標

探索輿情、了解民意

輿情觀測

社群危機風險管理

產業趨勢消費者研究

產品開發行銷管理

匯流

分析

預警

管理

50


應用 : 社群空中預警

建立多重預警指標

5/27 5/30 6/2 6/5 6/8 6/11 6/14 6/17 6/20 6/23

總聲量

負面情緒

正面情緒重新上架

討論高峰

食安事件

品牌聲量 5 . 9 x 1 2 . 6 x

負評率 7 0 . 1 % 3 2 . 0 % ▼

P / N 比 0 . 3 7 0 . 9 4 ▲

5151


危機預警 : 以越南反華事件為例

越南和台商之社群聲量及均值線圖5/8 中越海上對峙

爭端擴大，美日發表談話

5/11 越南國內發起大規模反中活動

5/13 活動失序波及台商，情況危急

突破均線

52


自 5月8日起一周內

P/N 值由 1.04 跌至 0.43

越南和台商之社群聲量■ 負評線 ■ 正評線

正負反轉

53


Big Data Economics

挑戰 : 整合碎裂、角色分工、及規模經濟

54

Data

Producer

Data

Processor

Data

Consumer

Data

Aggregator

Technology

Enabler

Data

Operator

Domain

Expert

Source : W.Yang, 2014

Thank you

更多資訊請搜尋《OpView社群口碑資料庫》

http://www.opview.com.tw

社群口碑資料庫

55


模型理論完整，規模最大，市佔率最高，成功案例眾多

新一代民意調查與市場研究的利器

附錄 : OpView 的特色

高準確率容易執行

高覆蓋率高時效性

大數據

自動語意技術

內容分析

中文語意分析第一名

上萬個網站頻道涵蓋九成流量

重要資訊1小時內更新

多種分析功能雲端服務

5656


研究機構

商業發展研究院

工業技術研究院

國家實驗研究院

中山科學研究院

政府部門

國家發展委員會

國家安全局

警政署刑事局

國家檔案管理局

金融產業

中國信託

永豐銀行

三商美邦人壽

消費產業統一企業

全家便利商店

搜尋語意分析及網路觀測客戶近千家

57

電信產業

中華電信

遠傳電信

亞太電信

台灣大哥大

內容媒體

聯合線上

春水堂

城邦媒體

科技產業台灣積體電路公司

旺宏電子

其它台塑集團

精誠資訊

近期知名代表實績


監測服務 ─ 監測平台

58

聲量趨勢頻道分佈正負評排行榜

正負情緒比競爭風暴圖

系統化呈現最即時的網路口碑情報

維度比較


分析服務 ─ 消費者研究

消費者聲量趨勢分析消費者聲量組成分析消費動機分析

意見領袖分析消費族群側寫消費話題分析

此為分析報告示意範例，詳細內容將依客戶需求再作調整

針對特定市場調查或行銷研究主題進行網路口碑的調查與分析

59

Data & Analytics

[轉貼] 社群大數據 - 輿情觀測及分析應用