Pyconf2014 lightening

Preview:

DESCRIPTION

 

Citation preview

窮⼈人的BigQueryPycon 2014 PAC

1

Shih-En(NNNN)

⺫⽬目前是112 ⼯工科海洋所碩⼆二⽣生

QSearch 碼農

短暫的窮短暫的

review⼀一下事實...

Python is simple

⼤大家開始參與Big DataReal-Time越來越重要最好可以視覺化

參與Data Analysis 就要⽤用Python

1.row還不少, 但整體資料不⼤大 2.我不會(想)架Spark... 3.我不會(想)實作indexing program 4.我只想趕快洞察數據(我不會D3.js)

對於新⼿手⽽而⾔言, 處理Data 時:

Google BigQuery

1.在幾秒鐘之內,便能從數 TB ⼤大⼩小的資料集中找出所需資料。 2.BigQuery 可視需要擴充且簡單易⽤用,可在短時間內提供您資料的分析數據。

Medium Data?

Google Analytics

Collection Processing Reporting

Collection Processing Reporting

Config

Querying (regex supported)

- Visualization - Alerts - Collaboration

Index field

Real-time Collector (Server-side,Client side)

CSV file

!

• 200,000 hits per user per day

• 10 million hits per month per property

• 10GB Storage per property(Non Premium).

!

• $0.005 (per GB processed)

• $0.026 (per GB/month)

Python 做了什麼?

Thank you.!!

!