OpenData的發展與應⽤

鄧東波dongpo@iis.sinica.edu.tw

中央研究院資訊科學研究所

資料Data

60秒多少資料被⽣產了

Courtesy from http://www.businessinsider.com/incredible-things-that-happen-every-60-seconds-on-the-internet-2011-12

資料是新⽯油dataisthenewoil

010011010101001110101000101010101010101001101010100111010100010101010101010100110101010011101010001010101010101001110101000101010101010100111010100010101010101010011101010001010101010101

01001101010100111010100010101010101010100110101010011101010001010101010101010011010101001110101000101010101010100111010100010101010101010011101010001010101010101001110101000101010101010110100110101010011101010001010101010101010011010101001110101000101010101010100111010100010101010101010011101010001010101010101001110101000101010101010110100110101010011101010001010101010101010011010101001110101000101010101010100111010100010101010101010011101010001010101010101001110101000101010101010111010101001110101000101010101010101001101010100111010100010101010101010011101010001010101010101001110101000101010101010100111010100010101010101011010011010101001110101000101010101010101001101010100111010100010101010101010011101010001010101010101001110101000101010101010100111010100010101010101011010011010101001110101000101010101010101001101010100111010100010101010101010011101010001010101010101001110101000101010101010100111010100010101010101010001010101010101001110101000101010101010100111010100010101010101010011101010001010101010101101001101010100111010100010101010101010100110101010011101010001010101010101001110101000101010101010100111010100010101010101010011101010001010101010101101001101010100111010100010101010101010100110101010011101010001010101010101001110101000101010101010100111010100010101010101010011101010001010101010101

Courtesy from http://www.multivu.com/assets/58095/documents/Data-is-the-new-oil-Infographic-original.pdf

解讀資料才有價值

資訊Information

知識Knowledge

智慧Intelligence

資料Data

資料是有價值的資源，如同⽯油要經過精煉後才能成為汽油，資料往往也需要經解讀、過濾或適當的處理後，才會顯⽰出價值。

2014年6⽉22⽇中午12:00在澎湖的紫外線指數為11

紫外線指數11是過量級(超過8)

這⼀天到澎湖進⾏⼾外活動，⼀定要準備防曬油、太陽眼鏡....

減少⼾外活動時間，以免曬陽並提⾼⽪膚癌發⽣

風險

可以被挖礦/擷取資料的是資訊

可以被儲存或組織的資訊是知識

可以被分享資訊的是知識

可以被利⽤知識的是智慧

可以被觀察或記錄出的現象是資料

資料、資訊、知識、智慧

收集個⼈地理資訊改善路況報導(GoogleMapTrafGic)

為什麼這些地⽅塞⾞︖

Google收集Android⼿機⽤⼾的位置資訊來改善交通狀況

Waze:群眾外包報路況

結合群眾外包的⼒量

收集關鍵詞預測流感(GoogleFluTrends)

http://geocyber.org/blog/?p=150

Google將與感冒相關的關鍵詞，與美國疾病管理局(CDC)的資料作⼀對比，其結果相當驚⼈，GoogleFluTrends所顯⽰的趨勢可以提早⼆個星期左右預測出流感的爆發。

台灣案例:「腸病毒」• 「腸病毒」關鍵詞在GoogleTrend的趨勢和台灣疾管局資料的比較

• 在2004-2008年間，腸病毒發⽣的⾼峰幾乎相符，在⾼峰發⽣前腸病毒關鍵詞在Google的查詢頻次增加

收集關鍵詞了解市場趨勢(GoogleFinance)

• 藍線為購買指數(ShoppingIndex);紅線為奢侈品購買指數(LuxuryGoodsIndex)。2007年後奢侈品購買指數開始下降，以整體平均⽽⾔，購買指數是上升的，且每年都很規律地在聖誕節達到⾼峰。

• 這告訴我們什麼︖

社群媒體中仇恨字眼(Twitter)

美國⼈的“仇恨”地理空間

http://users.humboldt.edu/mstephens/hate/hate_map.html http://geocyber.org/blog/?p=557

由Flickr照⽚了解觀光客偏好的地點

: Eric Fischer

由打卡資料(Foursquare)了解城市脈動

https://foursquare.com/infographics/pulse#tokyo

花⽣與蒜頭種植區域的空間關係

http://soilsurvey.tari.gov.tw/

花⽣與蒜頭價格的連動關係

0.0#

10.0#

20.0#

30.0#

40.0#

50.0#

60.0#

70.0#

80.0#

0.0#

20.0#

40.0#

60.0#

80.0#

100.0#

120.0#

2008�0

1�#

2008�0

3�#

2008�0

5�#

2008�0

7�#

2008�0

9�#

2008�1

1�#

2009�0

1�#

2009�0

3�#

2009�0

5�#

2009�0

7�#

2009�0

9�#

2009�1

1�#

2010�0

1�#

2010�0

3�#

2010�0

5�#

2010�0

7�#

2010�0

9�#

2010�1

1�#

2011�0

1�#

2011�0

3�#

2011�0

5�#

2011�0

7�#

2011�0

9�#

2011�1

1�#

2012�0

1�#

2012�0

3�#

2012�0

5�#

2012�0

7�#

2012�0

9�#

2012�1

1�#

2013�0

1�#

2013�0

3�#

2013�0

5�#

2013�0

7�#

2013�0

9�#

2013�1

1�#

2014�0

1�#

2014�0

3�#

��#

��#

http://apis.afa.gov.tw/pagepub/AppInquiryPage.aspx資料來源:農產品價格查詢系統

誰是開放資料⽣產者?

個⼈、非營利組織、公司、政府

Courtesy from http://www.mycustomer.com/news/uk-consumers-still-trust-government-personal-data

資料的價值不僅是商業利益• 資料本身的價值並不僅僅其在於短期的商業利益，⽽是⽂化、⽣活環境、社會...等。

• 個⼈所⽣產的資料因缺乏互動，所以⼈們並不了解資料的重要性，當愈來愈多⼯具可以提供個⼈來瀏覽他們的資料、應⽤他們的資料。

• ⼈們在這當中可以了解個⼈資料的重要性，同時也會體認到資料所有權。

Figure source: McKinsey Global Institute analysis, Open data: Unlocking innovation and performance with liquid information, 2013

開放資料OpenData

開放資料 (OpenData)

沒有技術和法律上障礙的資料

Courtesy from http://www.wired.co.uk/news/silicon-europe?page=14

• 使⽤「開放標準」和「非專屬的資料格式」讓資料能不受到技術限制⽽可以流通

• 使⽤「公眾領域」或「開放授權」條款釋出資料，使資料的使⽤不因法律或智慧財產權限制，進⽽資料可無償地被⾃由的散布、再製和修改

開放的授權條款

http://blog.okfn.org/category/okf-projects/open-data-commons/

開放v.s.資料

Adapted from http://segnalazionit.org/2012/03/26/istat-e-open-data/

政府開放

資料

開放政府資料

開放資料

開放政府

政府資料

機密隱私資料

開放政府(OpenGovernment)• 促進透明治理、增進民眾對政府的信賴

• 政府資訊公開法，第⼀條:「為建⽴政府資訊公開制度，便利⼈民共享及公平利⽤政府資訊，保障⼈民知的權利，增進⼈民對公共事務之瞭解、信賴及監督，並促進民主參與，特制定本法」

• 美國總統歐巴⾺政府起始的<開放政府倡議>(OpenGovernmentInitiative)

• 加速⾏政⾰新、有效配置⾏政資源

• 促進⼈民參與、善⽤民間⼒量

(2012) : CC Taiwan

http://spin-salad.com/open-government-diagram/

開放政府資料8個原則

• 全⾯開放(Primary)

• 資料完整(Complete)

• 即時發布(Timely)

• 便民使⽤(Accessible)

• 機器處理(Machineprocessable)

• 不作限制(Non-discriminatory)

• 公開格式(Non-proprietary)

• 不需授權(License)

2007年美國⼀場「開放政府資料」研討會的與會者意⾒。這場由美國民間組織Public.Resource.Org的CarlMalamud以及媒體公司O'ReillyMedia的TimO'Reilly所召集的兩天會議，匯集了30名關注這項議題的民間⼈⼠，會後並提出《開放政府資料的八項原則》:

https://public.resource.org/8_principles.html

開放政府資料平台

⼆個開放政府資料的案例

農委會的產銷履歷

稻⽶栽種的位置

地籍資料還不是「開放資料」但有提供便民服務

http://easymap.land.moi.gov.tw/R02/Index

環保署的⼟壤重⾦屬污染調查

28

路殺社:路死動物觀察的Facebook社群

•開始於2011年8⽉•超過9,300會員•路殺紀錄筆數：25,228筆•路殺紀錄隻次：30,819隻次•資料貢獻者：1,710位•紀錄物種數：433種

Facebook上的路殺記錄Observation Provider: ��Chuang Yu Ta

Photo: �A proof of occurrence

Observation date: ��2013/12/4

Species Identifier: �Joyce Chen

Species name: ���� (Melogale moschata)Identification Date: ��Dec. 4, 2013

Post section

Comment section

Thread

Observation location:��Geoname:���������� (Sindian)��Road kilometre:���������9�16.3K (Province Road No.9, 16.3 kilometer)��Lat:24.95149��Lon:121.57520��Lat:151m

資料分析與處理

����##�

��#'# �#&'

��%���

�#!!�"'& ���&

����##���$�"��%�$����

�%�* �%

&'%��!�"����'�

��'(%� � �"�(�����%#��&&�"���� ���'##

���"�&��&$����&��"��$ ����"�!�&

��������

����"'�������!�

��+'&��%#!�$#&'&��"���#!!�"'&

�&�

��������*�"���#�%�$������!����'���&��

�&�

��%'���$�"'& ��&��%���%&

�$����&���&'%��('�#"�!#�� &�"'��%�'�

�"������'�

��!�"'�������&�%)���

�%#*�&#(%�����# #���� ���&�%)�'�#"���'���&�

compile

query query

resultresult

InformationExtraction

DataCollection

InformationFormalization

DataReuse

路殺社官網(roadkill.tw)

結構化/視覺化資料

路殺資料再使⽤

http://geocyber.org/maps/heatmap/leaflet.html

路殺資料在政府資料開放平台(data.gov.tw)

http://data.gov.tw/node/8338

從創客(Maker)到開放資料⽣產者

maps.safecast.org

Oct,2011

Jun2015

LASSField-TryPM2.5感測器

https://www.facebook.com/groups/1607718702812067/https://lass.hackpad.com/LASS-README-DtZ5T6DXLbu

動⼿⾃造、創意無限

LASSPM2.5的資料視覺化

http://52.74.47.196:5601/app/kibana#/dashboard/demo

http://nrl.iis.sinica.edu.tw/LASS/PM25.php??site= &city= &district=&channel=61022&apikey=XZMEBWCDJQYPJ146

LASSPM2.5的資料地理視覺化

http://iot.sparkfuture.io/pm25

空氣盒⼦:從創客、開放資料到智慧城市

http://news.ltn.com.tw/news/life/breakingnews/1640471

空氣盒⼦開放資料

http://data.taipei/opendata/datalist/datasetMeta?oid=4ba06157-3854-4111-9383-3b8a188c962a

空氣盒⼦資料呈現

http://pm2.5.taipei/

Thank you for your attentions!

Questions?dongpo.deng@gmail.com

FB: dongpo.dengTwitter: dongpo

http://tinyurl.com/taoyuan-od-2016