Upload
shunsuke-michii
View
8.310
Download
8
Embed Size (px)
DESCRIPTION
pixivのインフラになって2ヶ月がたったので最近の構成とかをかるく。
Citation preview
pixivのインフラになって2ヶ月がたった
はるかさん / harukasan
NSEG feat. Kosenconf-053nseg 2012-06-23
高専カンファレンスの方から来ました!
はるかさん
・久留米高専制御情報工学科43期生
・NHK高専ロボコン
・ACM/ICPC
・筑波大学大学院卒業
・pixivのインフラ3ヶ月目
はるかさん
・Kosenconf-003tokyo
・Kosenconf-005kyushu
・Kosenconf-013salesio
・Kosenconf-014tokyo
・Kosenconf-020salesio2
・Kosenconf-031sciences
・Kosenconf-038tokyo
・Kosenconf-045tokyo
・Kosenconf-053nseg ←NEW!!
http://www.pixiv.net
・イラストコミュニケーションサービス ・2007年9月10日にスタート
会員数 444400万人
作品数 2288,,000000,,000000
平均投稿数 2288,,000000//日
ページビュー 3300億PPVV//月
pixivのインフラ
2拠点のハイブリッド構成
自作サーバー群
・AthlonX2 64 505e / Athlon II X4 605e ・B-28(ベニヤ)機 ・1Gbps線 6本
データセンターサーバー群
・hp DL120G7(DB、TS、Front) ・hp DL165G7(AP、Solr) ・1Gbps線10本
旧社屋クラスタ iDCクラスタ
アプリケーションまわりの構成
・旧社屋とデータセンタの2つで捌いている ・2拠点間を1Gbpsの専用線で接続
Slave
L3 L3
Slave
Slave
Slave
AP AP
FrontFront
LVS
KVS
Internet
Slave
Slave
Slave
AP AP
FrontFront
LVS
Internet
Master
KVS
旧社屋クラスタ iDCクラスタ
画像まわりの構成
・旧社屋に画像オリジンがある ・データセンタ側でキャッシュ(95%) ・オリジナル、サムネイルの一部はiDCに
Dispatcher
Cache
Origin
L3 L3
Origin
Origin
Origin
Front
Dispatcher
Cache
Front
Dispatcher
Cache
Front
Internet
ThumbnailOriginal
iDCクラスタ
画像まわりの構成
・Front、Cache、Dispatcherを同居させて ネットワークコストを下げる ・tmpfsを利用してRAM領域にキャッシュ ・画像集約サーバーにサムネイルを集約
Front: Cache:
Dispatcher:
NGINX (RAM Cache) TrafficServer (SSD Cache) NGINXDispatcher
Cache
Origin
L3 L3
Origin
Origin
Origin
Front
Dispatcher
Cache
Front
Dispatcher
Cache
Front
Internet
ThumbnailOriginal
最近のプロダクト
・pixivでマンガの試し読みができるサービス ・2012年6月5日にスタート ・Ruby on Rails 3.2 / Unicorn ・インフラの担当をやっている
国際版
国際版
・海外向けpixiv ・日本ではプレミアム会員になれば見られる ・Rails/ActiveResource + PHP5.3/Restful API ・2011年12月末にスタート ・Ruby on Rails 3.2 / Unicorn ・PHP5.3 / Apache
PHP PHP
Rails Rails
FrontFront
Internet
pixiv.netのインフラ
まとめ
・データセンターの依存度高まってきた
・Ruby on Railsのプロダクト増えてきた
・バックアップちゃんとする