Embed Size (px)
Citation preview
Discussion on the P2P Distributed
Search SystemYusuke FUJISAKA, CyberAgent inc.
2011年6月18日土曜日
自己紹介• 藤坂 祐介(ﾌｼﾞｻｶ ﾕｳｽｹ)• 秋田県横手市生まれ
• 計算工学専攻 金子研究室• いちおう研究は符号化技術
• サイバーエイジェント内定者• 秋葉原インキュベーションオフィス所属
• 身分はアルバイト2011年6月18日土曜日
Agenda
• 検索ってなあに
• いままでの検索システム
• 自作検索システムのご紹介• 特徴
• 動作の流れ
2011年6月18日土曜日
情報検索とは
• ある語句に対して紐づけられたデータを取り出すこと
• (今回は:)ある単語が含まれる文章を取り出すこと
2011年6月18日土曜日
検索って大変
• ブログデータ2億件• 1日100万件ずつ増加→10件/sec.
• 文章だけでTBオーダ
• こんなにたくさん！
2011年6月18日土曜日
システムを作ろう• 故障対策・バックアップ
• スケールアップ・スケールアウト
• インデックス構造の作り方
• データ構造
• ...
2011年6月18日土曜日
いいシステムとは？• たくさんのデータ(～TBクラス)を一手に管理できる
• たくさんのリクエストに耐える
• 素早くリクエストに応える
• 将来拡張できる
• …
2011年6月18日土曜日
既存の検索システム• Namazu
• Senna
• Lucene
• Solr
• Hyper Estraier
• etc. ...
2011年6月18日土曜日
既存のシステム例• Solrによる検索システム(概観)
Master
Slave
Broker
Index Data
Application
Search
Index
2011年6月18日土曜日
既存のシステム例• Solrによる検索システム(概観)
Master
Slave
Broker
Index Data
Application
Search
Index
2011年6月18日土曜日
既存のシステム例• Solrによる検索システム(概観)
Master
Slave
Broker
Index Data
Application
Search
Index
2011年6月18日土曜日
既存の弱点
• マスターサーバの存在• クリティカルポイント
• ダウンするとサービスが止まる！
• マルチマスターなどの対策もあるけど
2011年6月18日土曜日
リアルタイム検索
• いまどき記事投稿→結果に反映が数分ではイケナイ
• 「すぐに検索結果に出て欲しい」というサービス的な要請
2011年6月18日土曜日
リアルタイム検索
• 既存のリアルタイム検索システム• Zoie (with Lucene)
• Caffeine (Google)
• ...
2011年6月18日土曜日
FARE system
• 自作のリアルタイム検索エンジン
• Fast Autonomous Retrieval Engine• 高速・自律・検索エンジン
2011年6月18日土曜日
特徴1.No Master-Slave
• 全ノードが横並び、同じ機能を有する
2.Peer to Peer• ノード同士で連携、制御ノードがない
3.Realtime indexing• ため込んだデータがすぐ検索できる
2011年6月18日土曜日
No Master-Slave
• 起動時…
• 1台で起動する→Primary mode
• 起動したノードにアタッチ→Secondary mode
2011年6月18日土曜日
Primary mode
• 設定を読み込んで起動
<Setting>...Content = TitleContent = BodyAppendix = PostIDAppendix = URLAppendix = PostTime
2011年6月18日土曜日
Primary mode
• 設定を読み込んで起動
<Setting>
./fare --primary SETTING
2011年6月18日土曜日
Secondary mode
./fare --secondary 10.0.1.1
10.0.1.2
10.0.1.3
10.0.1.1
2011年6月18日土曜日
Secondary mode
./fare --secondary 10.0.1.1
10.0.1.2
10.0.1.3
10.0.1.1
Setting, Data
2011年6月18日土曜日
Secondary mode
./fare --secondary 10.0.1.2
10.0.1.2
10.0.1.3
10.0.1.1
2011年6月18日土曜日
Secondary mode
./fare --secondary 10.0.1.2
10.0.1.2
10.0.1.3
10.0.1.1
Setting, Data
2011年6月18日土曜日
Secondary mode
./fare --secondary 10.0.1.2
10.0.1.2
10.0.1.3
10.0.1.1
Setting, Data
2011年6月18日土曜日
レプリケーション• 複数のノードにデータを持たせて消失を防ぐ
• レプリケーションの仕方は色々と工夫があるはず
• ここではConsistent hashingの考え方でレプリケートする
2011年6月18日土曜日
レプリケーション• Chord chain
A
F
B
C
E
D2011年6月18日土曜日
レプリケーション• Chord chain
A
F
B
C
E
D
Hash: 0xEF459AB...
2011年6月18日土曜日
レプリケーション• Chord chain
A
F
B
C
E
D
Hash: 0xEF459AB...
Hash: 0x6D137EA...
2011年6月18日土曜日
レプリケーション• Fの受け持ち範囲
A
F
B
C
E
D2011年6月18日土曜日
レプリケーションF
E
D
責任範囲(replication=3)
A
B
C
2011年6月18日土曜日
レプリケーション
• 原則的に自分の直前の範囲を受け持つ
• それと他のノードの受け持ち範囲も含める
2011年6月18日土曜日
仮想ノード
• 1台につき1個ずつハッシュを振ると偏ることがある！
2011年6月18日土曜日
仮想ノード
2
3
1Node 1: 56%
Node 3: 24%
Node 2: 20%
2011年6月18日土曜日
仮想ノード
2
3
1Node 1: 56%
Node 3: 24%
Node 2: 20%過大な負荷
2011年6月18日土曜日
2
3
1
3
1
1
2
1
2
3
121
2
Node 1 56% 42%
Node 2 20% 32%
Node 3 24% 26%
2011年6月18日土曜日
2
3
1
3
1
1
2
1
2
3
121
2
Node 1 56% 42%
Node 2 20% 32%
Node 3 24% 26%
平準化！
2011年6月18日土曜日
Indexing
• RPCを受け取ったノード(サーバ役)が形態素解析• 単語ごとにハッシュ計算→インデックス要求
• 本文情報もハッシュ計算→インデックス
2011年6月18日土曜日
Contents
インデックス構造
Queries
Invert Index
2011年6月18日土曜日
インデックス構造…Skip pointer
…Dictionary
Invert index …
…Skip pointer
Content …Appendix…
ID
2011年6月18日土曜日
Indexing
F
B
C
E
D
Content
Term
TermMessagePack-RPC
AID: 12345Title: ...Body: ...URL: ...Time:...
2011年6月18日土曜日
Indexing
A
F
B Hash
E
D
直後のノードに保存
C
Content
Term
Hash
2011年6月18日土曜日
Searching
A
F
B
C
E
D
Analyze
MessagePack-RPC
QueryTermTermTerm
2011年6月18日土曜日
Searching
A
C
E
ID: 12, 24, 35, 49, ...
ID: 12, 30, 49, 55, ...
ID: 7, 12, 30, 49, ...
IntersectionF
B
D2011年6月18日土曜日
Searching
F
C
D
ID: 12ID: 49
Output
A
B
ETitle:みんなのモーターショー
Body:...
2011年6月18日土曜日
ノード間連携
• 1000台以下の中小規模ネットワークを想定• 全ノードへのコネクションを確保
• 定期的にノードに通信を試みる
• 大規模ならこうもいかないでしょうね…
2011年6月18日土曜日
Beacon
F
B
C
E
D
beacon A
2011年6月18日土曜日
Beacon
A
F
B
C
E
D
beacon“live”
2011年6月18日土曜日
ノード不具合
A
B
C
E
D
F×
ノード不具合が起こったら…？
2011年6月18日土曜日
ノード不具合
A
B
C
E
D
F×
Suspend
Running
2011年6月18日土曜日
ノードの死亡宣告
A
B
C
E
D
F×
Node dead
Suspend dead “F”
2011年6月18日土曜日
ノードの死亡宣告
A
B
C
E
D
レプリケーション再構成
2011年6月18日土曜日
ノード復活
A
B
C
E
D
F
Running
Suspend
2011年6月18日土曜日
Beacon
F
B
C
E
D
A
未処理のレプリケートデータをコピー
2011年6月18日土曜日
Future work
•まだまだ•複数システムの協調•もっと大規模なシステムに対するアプローチ
•早期のサービス化
2011年6月18日土曜日
Source codes
• こちらからどうぞ:
• http://code.google.com/p/fujene/
2011年6月18日土曜日
Bibliography
(1) I. Stoica, et al.; Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications; SIGCOMM 2001; October 2001
(2) D. Karger, et al.; Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web; STOC ’97; 1997
2011年6月18日土曜日
Bibliography
(3) C. D. Manning, et al.; An Introduction to Information Retrieval; Cambridge UP; 2009
(4) T. Luu, et al.; ALVIS Peers: A Scalable Full-text Peer-to-Peer Retrieval Engine; P2PIR ’06; Nov. 2006
2011年6月18日土曜日
