AWSとRUBYで作る ビッグデータ解析の裏側

@srockstyle / Shohei Kobayashi !

Twitter : https://twitter.com/srockstyle Facebook : https://www.facebook.com/srockstyle

Github : https://github.com/srockstyle

15 MINITE 収まるように

頑張ります

WHO ARE YOU? 「あんた誰や！？」

Shohei Kobayashi

Mind Palette.co.ltd.

Backend ServerSide Engineer

仕事はAWS,Ruby漬け

家ではPHP,Swift漬け

TODAY’S THEME スマホアプリの

データ解析インフラについて

SNAPEEEって？• 写真共有アプリから新しいメディアへと進化しているF1層の女性向けスマホアプリ。

• iOS版とAndroid版があるよ。

• この世に生を受けて四年目。

• 「カワイイを世界に届ける」がテーマ！

日本からアジアへ アジアから世界へ 世界進出のために蓄積されるビッグデータ解析は不可欠

JAPAN TAIWAN CHINA HONGKONG SINGAPOLE TAILAND ….AND MORE!

SNAPEEEのデータ解析基盤

データ解析周りの用語• データウェアハウス：集めたデータを入れておくところ

• データマート：解析結果をいれておくところ

• MapReduce：たくさんのコンピュータで巨大なデータを解析するプログラミングモデル。

見ての通りAWSばっかりだよ！ AWS万歳！ヽ(‘ ∇‘ )ノ AWS万歳！ヽ(‘ ∇‘ )ノ AWS万歳！ヽ(‘ ∇‘ )ノ

解析基盤でAWSを選んだ理由

• 解析結果の格納・検索はRedshiftが超速い

• Hadoopクラスタとジョブの追加・構築・増減がAPI経由で楽に可能

• API経由でログの送信・解析・収納まで可能

それでこうなった

AWSまみれ

AWS様々

司令塔サーバの話

○こいつ

RUBY ON RAILS AND

AWS-SDK FOR RUBY

なんでRUBYを選んだか？

• 書いてて楽しいから

• Java、PHPもみんな書けたけど、JavaとPHPは書いてて数ヶ月で飽きたから（弊社エンジニア陣の主観

• Rails使っての開発効率の高さ！

• 全社でJavaからRubyへの移行を進めており、サーバ構築にChefの導入もあって言語の統一化を進めていきたかったから

ちょっと待った！

○あれっ……

Q:HADOOPってJAVAじゃね？MAP REDUCEって

JAVA以外使えないんじゃ……

そんなあなたに！

HADOOP-STREAMING がオススメ！

AWSで

HADOOP-STREAMING！• AWS-SDKからJob-Flowスクリプト流し込めばHadoop-

Streamingでデータ解析が可能。

• S3上にログの設置→Job実行までをRails内のバッチ処理で自動化。

• 標準入力/標準出力でHadoopとやりとりすればよいのでMapper＆Reducerも全部Rubyスクリプト。

流れ

JOB FLOW設定

集計後データは……• S3の結果ファイルをRedShiftへ投入

• ダウンロードしたファイルをRで解析

• RedShift上のデータを別バッチで再利用＆フロントエンドでRailsのActive Recordで呼び出してグラフ化！

おまけ

弊社ではエンジニア募集中だよ！

Ruby、Rails、AWS、iOS、Android、グロースハック

そんなのに興味あるひとはぜひお声かけください !

Twitterで@srockstyleまで！

RAILS GIRLも大歓迎！

F1層の女性向けアプリなので

女子のハートがわかるRails Girlも大募集です！

!

!

Twitterで@srockstyleまで！

ご清聴ありがとうございました！

「“カワイイ”を世界に」