楽天株式会社 楽天技術研究所 森正弥 2009年4月10日

ザ・パワーシフト～ サード・リアリティ ～

2

楽天グループ紹介

3

楽天市場の成長

店舗数：約26,000店

商品数：約2,800万点

会員数：4,800万人

日本最大のインターネットのショッピングモール

4

技術戦略を担う

今後大きく成長する技術のシーズから、インターネットを活用した人々の生活（リアリティ）

を豊かにする新しいサービス・事業の可能性を創出する

ミッション

More Than Web-来るべき豊かなリアリティを -

コンセプト 楽天タワー

楽天の技術戦略を担うR&D組織

5

• 未来ビジョン「サード・リアリティ」• インターネットの未来は？• どのようなテクノロジー、ビジネスが来る？

• ビジョンに基づいた研究開発を推進

Fusion

Interaction Collaboration

サード・リアリティ

6

リアリティの３ステップ

実空間 ネット空間

融合

1st 2nd

3rd区別がなくなる

（地続きとなる）

融合を通して

リアリティが変質する

長期的なビジョンであり、クラウド・コンピューティングの先を見据えたもの

本日は深く言及できませんため、「サード・リアリティ 解説」で検索ください

7

３つの研究領域

• 「サードリアリティ」の策定を通し、Webの拡大の方向性について見解をまとめている。

そこから、研究領域を、下記３つの分野として設定。

増え続ける多種多様なテキスト、データ、コンテンツ

より高度な情報、知識サービス

ユーザーエクスペリエンスの

進化

Web の拡大の方向性

企業優位性の源泉となる３つのテーマ

Power Intelligence Reality

BaseBackSupported

AdvancedFrontValued

8

【まつもとフェロー】Rubyにも大規模対応が必要だ

【楽天】大量データをより効率的・

生産的に処理したい

分散データストレージのRuby実装

分散処理フレームワークのRuby実装

Power ドメイン

9

自社レコメンデーションエンジンを開発し、

楽天スーパーDB との連携を実施。

楽天

スーパーＤＢ

自社レコメンデーション

エンジン開発

＋

レコメンデーション／パーソナライゼーションされたコンテンツ

の提供により、購買転換率を向上

Intelligence ドメイン

10

本題

11

1. クラウド2. 情報爆発3. パワーシフト

12

クラウド・コンピューティング

13

第三世代がきて、今どういう変化が起きているか

• コンピューターの世界（というざっくりとした言い方をしますが）は、

今「第三世代」に入っているというのが一般的認識ですが、

インターネットの発展を経て、新しい流れが始まっています。

それが「クラウド・コンピューティング」です。

出典：「ウィキペディア (Wikipedia): フリー百科事典」

14

クラウド

• 2006年8月9日 GoogleのCEOであるエリック・シュミットが、米国カリフォルニア州サンノゼ市(San Jose, CA)で開催された「検索エンジン戦略会議」(Search Engine Strategies Conference)の中で言及

• 2008年4月SalesForce と提携。

15

最初の発端：SaaS

• 最初の発端は、Google Docs & Spreadsheets です。

• SalesForce とあいまって、SaaS の概念を広めました。

16

SalesForce

• SaaS型CRM

17

Zimbra

• Ajax を使ったWebコラボレーションツール

18

Zoho

• オンラインオフィススイート– Zoho Writer– Zoho Sheet （表計算）– Zoho Show （プレゼンテーション）– Zoho Planner– Zoho Projects– Zoho Creator （データベース）– Zoho Wiki– Zoho Chat– Zoho CRM– Zoho Virtual Office

19

次の発端： インフラ・サービス

• 次の発端は、2年前に始まった、Amazon のサービスにあります。

– 仮想マシンの時間貸しサービス「Amazon EC2」

– ネットワーク・ストレージ・サービス「Amazon S3」

アマゾン本社出典：「ウィキペディア (Wikipedia): フリー百科事典」

20

Smugmug

• 数字

– 40万ユーザー（2007.12）

– 500TB（2008.6）、Amazon S3使用

• Smugmug というPhotoServiceの会社

• インフラは自前で用意せず、Amazon を利用

21

ANIMOTO

• Amazon EC2 を利用

• Facebook のアプリとなり、3日でユーザー数が2万5000人 → 25万人、Server 50台 → 3,500台に増強させていますが、EC2 を利用しているがゆえの拡張性

22

NewYorkTimes

• NewYorkTimes誌の過去記事アーカイブも、Amazonのインフラサービスを活用しています。

23

PaaS

• サービスのあるサーバー側でユーザーがプログラムを開発し、自分の好みのアプリケーションを動かす。

• SaaS ＝ ソフトウェアがWebに

• PaaS ＝ 開発環境がWebに

24

Salesforce

• 「Apex」というJavaベースの専用プログラム開発言語

25

Facebook platform

FBML(Facebook Markup Language)、FQL(Facebook Query Language)という独自の言語

26

PaaS ： エコシステム ： （参考）Force.com Native

• エコシステムが構築されている（その上でビジネスをやっているプレーヤーがいる）というのがポイント。

• 以下は、SalesForce のエコシステム上のプレーヤー

27

エコシステム上のプレーヤー

• 米RightScaleは，Amazon EC2の仮想マシンを管理するためのWeb管理コンソールや，EC2のクラスタリング・サービス，EC2上での「MySQL」の運用サービス等を提供。

• また米Herokuは，EC2上で「Ruby on Rails」を運用するサービスを提供。

28

大きな流れとしてのクラウドコンピューティング

（ASP） SaaS

DC ISP インフラ・サービス

NW帯域高速化

分散処理

仮想化

CPU, Memory, HDD 低価格化

Data Portability

Data Availability

Ubiquitous

mobilityAjax

PaaS エコシステム

29

Nicholas Carr 氏 の 「BIG SWITCH」

30

電力の話

• 19世紀末～20世紀初頭、多くの工場では自前で発電機運用、電力を得ていた。• が、1910年代に電力会社ができ、1930年代までにほとんどの企業がやめる。• 発電機の運用が企業にとって複雑であり、重荷であったため。• 現在のITも企業にとって重荷であり、同様のシフトが起こる。

コモディティ化され、競争力の源泉ではなくなる

31

情報爆発

32

答えの鍵は

• なぜクラウドにつながる技術群が生まれてきたのか？

• 大規模なインフラ技術がどうして生まれてきたのか？

情報爆発

33

情報爆発

2000年 6.2EB

2007年 281EB

2011年 1.8ZB

45倍

6倍

ZB（ゼッタバイト）

⇒1021

⇒1,000,000,000,000,000,000,000

34

書類で考えてみる

9年前100枚

2年前4,500枚

そして2年後27,000枚

35

デジタル化・ユビキタス化の進行

36

Webは現実を取り入れる目・耳を手にしている

• Web は、センサーによって拡大

– 今までの、ドキュメントやコンテンツのハイパーリンクだけではなくなっている

‒ センサーネットワークの接続、センサネット 2.0

• 東京アメッシュ‒ 現実解析技術、メタデータ付与技術

37

例

SenseNetworks

38

大量データの統合による「巨大知」の登場

• あらゆるものがデータになり、多段階に組織化

• 我々はそれを、「巨大知(Organic Intelligence)」と呼んでいます。‒ 従来の集合知を超えた新しい知

‒ 各種DBやセンサーネットワークの結合

‒ 産業用データ、医療、気象、交通、農業、SCM/CRM

‒ GEO Grid (産総研のデータ統合実用化研究)

• 大量の「生データ」はそれだけで「知」となる‒ 多種大量の情報からの洞察、違いを生み出す違い

‒ 断片情報の集積からの一次情報の近似

‒ いかに巨大知データベースを構築するかの戦い

39

文科省と経済産業省

40

各社技術開発

• そのような背景の中、各社・機関、大規模・分散に向けた技術群の開発を行なっている。

GoogleMapReduce, GFS,

BigTable

Yahoo他Hadoop, HDFS,

hBase AmazonDynamo

IBMObject Grid

MicrosoftVelocity, SDS

OracleCoherence

KLABrepcached

ミクシィTokyo Cabinet,Tokyo Tyrant グリー

Flare他

JBoss Cache, Skynet, Starfish

41

独自の概念

• エラー忘却型コンピューティング‒ MIT マーティン・リナード氏 （2004）‒ 想定外のエラーが出ても、とりあえずほっておいて（忘却して）、処理は継続させる

‒ 正確さより、高速性・大規模性を優先

• 結果一貫性 （Eventual Consistency）‒ キーに対してデータが二重になってもとりあえずは放置

‒ アプリケーション側で修正されるだろうから、結果的に一貫性が保たれる、という考え方

Starbacks doesn’t use 2 phase commit.

42

楽天のデータ量も増えている

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

2002年2月

2002年5月

2002年8月

2002年11月

2003年2月

2003年5月

2003年8月

2003年11月

2004年2月

2004年5月

2004年8月

2004年11月

2005年2月

2005年5月

2005年8月

2005年11月

2006年2月

2006年5月

2006年8月

2006年11月

2007年2月

2007年5月

2007年8月

175Mbps

8.6Gbpsインターネット接続回線合計トラフィック

※楽天トラベル及び、一部のInfoseek系サービスを除く

５年間で５０倍に増加

ギザギザはデータ

集計上の問題

4,600万会員

2002/5 E10K (Sun Enterprise 10000) 稼動開始。ＨＡ構成初導入。

2002/10 SF15K (Sun Fire 15000) 稼動開始。

2004/11 SF25K (Sun Fire 25000) 稼動開始。

2006/5 SF25K (現稼動系）稼動開始、SF25K 4台構成に。

流通日商30億

43

３領域

Power

Intelligence

Reality

ROMA & fairy

スーパーDB

レコメンデーション＆

パーソナライゼーション

大規模マルチメディア

対応

44

【まつもとフェロー】Rubyにも大規模対応が必要だ

【楽天】大量データをより効率的・

生産的に処理したい

分散データストレージのRuby実装

分散処理フレームワークのRuby実装

Power ドメイン

45

大規模な分析と高速処理の基盤

分散データストレージROMA分散処理

フレームワークfairy

共通APIサーバー

スーパーDB

サービスを横断して

データを分析

（各サービス）

各種DB

ユーザーに最適な

情報・サービスを提供する

永続化

DB

46

スーパーDB

楽天

スーパーＤＢ

リコメンデーション

KPIモニタリング

購買予測

パーソナライズ

データの集約 データの分析・利用

47

自社レコメンデーションエンジンを開発し、

楽天スーパーDB との連携を実施。

楽天

スーパーＤＢ

自社レコメンデーション

エンジン開発

＋

レコメンデーション／パーソナライゼーションされたコンテンツ

の提供により、購買転換率を向上

Intelligence ドメイン

48

楽天ブックス

49

レコメンド例

50

「ジャケ買い」アプリケーション

【技研技術の価値】

•色で探せる （縦横に色で配置）•ドラッグでぐりぐりと動かす•ズーム in/out でよりよく見れる

51

10万枚

52

ズーム

53

グリグリ動かせる

54

大量画像処理

55

2万施設

56

市場の商品の画像を並べてみました

57

2300万枚

58

パワーシフト

59

Web2.0

オープンソース WebAPI

マッシュアップ ロングテール

新しい情報価値の製造・流通・利用

集合知CGM・UGM

60

HousingMaps & Mint

61

Web2.0

オープンソース WebAPI

マッシュアップ ロングテール

新しい情報価値の製造・流通・利用

集合知CGM・UGM

しかし、序章、夜明前

62

大規模分散技術は誰でも手に入る

• 各社技術のほとんどは論文が公開されていたり、オープンソース

• 優秀な技術者がいれば、誰もが、大規模分散技術を手にすることが可能

GoogleMapReduce, GFS,

BigTable

Yahoo他Hadoop, HDFS,

hBase AmazonDynamo

IBMObject Grid

MicrosoftVelocity, SDS

OracleCoherence

KLABrepcached

ミクシィTokyo Cabinet,Tokyo Tyrant グリー

Flare他

JBoss Cache, Skynet, Starfish

63

ANIMOTOのようにインフラも手に入る

• Amazon EC2 を利用

• Facebook のアプリとなり、3日でユーザー数が2万5000人 → 25万人、Server 50台 → 3,500台に増強させていますが、EC2 を利用しているがゆえの拡張性

64

Amazon Elastic MapReduce

65

よって、誰もが巨大知を操る

66

フラット化する世界

世界はヒエラルキーから平らに

企業の時代は終わり、グローバルに個人同士が

つながる時代へ

いかに、個人の力を引き出させるかが今後の企業の鍵

67

ジャングル

• 自由な開発を行なうことができる社内クラウド

• 「誰でも利用可能な自由な開発環境」の企画・提供

• 一部データも利用可能

• パワーシフト、イノベーションの醸成

■内容

• 社内で自由に活用可能な開発・テスト用インフラ環境

• 社内の開発者であれば、自らのクリエイティビティに基づいて、自由に活用できる

• 楽天技術研究所の技術も利用可能

• 実際の利用例

– 学習による自己研鑽

– 新しいサービスの開発

– 社内生産性向上のためのツールのテスト開発

68

真なる夜明けはこれから来る

大規模分散技術

スケールによらないフラット化パワーシフト

情報爆発巨大知

クラウド・インフラ

69

1. クラウド2. 情報爆発3. パワーシフト

70

最後に・・・・

71

技術者としての夢

72

技術者としての夢

• 技術者としての自分の夢は、今までのコンピューターサイエンスの潮流とは全く異なる、新しい分野を創りだすことです。

何十年かかるかわかりませんが・・・

• 気恥ずかしいですが、それを通して社会や人々のお役に立てれればと思っています。

73

メッセージ

• 今はまだ夜明け前です。• Web2.0も、クラウドも、インターネットが発展していくための通過点でしかなく、本当の変化はこれから起こります。

• その変化の起こる新しい時代に、第一線で、技術者として関われることほど、素晴らしいことはないのだと思っています。

74

ご清聴いただき

ありがとうございました