ニコニコデータ ビューア・改

@shibacow

芝尾幸一郎• 株式会社Aiming所属

• データ分析を担当

• ニコニコ動画のランキングサイトを作っている

• follow me: @shibacow

ニコニコデータ ビューア

ニコニコデータセット

• ニコニコ動画の情報を配布

• 2007-2012の

• 動画情報800万件

• タグ情報40000万件

• コメント情報24億件

• 無料で公開中

ニコニコデータ ビューア

• web上で

• 手軽に無料で

• ニコニコデータセットの

• 分析

• ができる。

不満• 集計が遅い(21分)

• 土日しか開けられない(お金が高い)-土日だけで8000円

作り直し中

データセットビューア・改

• 特徴

• 集計が早い

• だいぶ安い

DEMO

早い

•23億件の集計

•21分 -> 10秒以内126倍

MySQLとの比較• 数億件だと、MySQLの集計は、厳しい。

• ３億円でオラクル買う世界

早いので

• トライアンドエラーがやりやすい

• 集中が長続きする

安い•土日だけではなく

•連日開放

•今までで6ドル

•(従量制だが、だいぶ安い)

なぜ早くて安い？

グーグル製データ分析ツール

何故早い

カラム指向

ツリー アーキテクチャ

本当の所

力技の勝利

• 3台で集計(21分)

• 5000台で集計(10秒)

力技なので

• 中間一致に強い

• 5000台使ってgrepしている。

データセット ビューア・改

改善点

• 集計が早い

• いつでも使える

• 無料

新機能

• お手軽グラフツール

• 集計結果の保存と拡散

• smidの自動展開

お願い

協力者募集:主にUI詳しくは芝尾

(@shibacow)まで

お願い2

ドワンゴさん、 そろそろデータセット

更新して

ThankYou

• @shibacow

• http://nicodata.info/