Developers Summit 2012 16-E-1

Developers Summit 2012

熊澤公平

16-E-1

1 Developers Summit 2012

2015年のアーキテクチャ

マーケティングシステムを題材にして

Developers Summit 2012 （16-E-1）

Profile

2

http://www.facebook.com/kohei.kumazawa

職種： ITアーキテクト

名前：熊澤公平

1987年東北大学工学研究科機械工学専攻博士前期課程修了

同年株式会社リクルートに入社

2003年株式会社シーエーシーに転職

（ネット業界におけるビジネスおよびシステムコンサル）

2003年東京大学工学部システム創成学科非常勤講師

～2009年（Javaプログラミング基礎演習）

2008年横浜国立大学院工学府非常勤講師

～2010年（システムマネージメント）

スパコンのアーキテクチャ

大規模ＷＥＢインフラのアーキテクチャ

ビジネスとシステムのアーキテクチャ


Agenda

1. Now, marketing is exciting!

2. Past： Passive Marketing

3. Now： Pro Active Marketing

4. Future： Active Marketing

3


1. Now, marketing is exciting!

4


最近、マーケティングが面白い

http://www.shopkick.com/

http://www.scvngr.com/

http://9metis.com/2011/08/too-busy-to-shop/

http://www.mini.jp/mini_coupe/campaign/index.html

http://www.shopkick.com/














http://www.mini.jp/mini_coupe/campaign/index.html



ゲームの効果： SEGA社 “トイレッツ”

男子トイレの空間をゲームセンターに！

的を狙って、ゲームができる。

居酒屋チェーン「養老乃瀧」を展開する養老乃瀧は，セガが開発した電子POP「トイレッツ」の先行導入を，グループチェーン40店舗で開始すると発表した（2011

年10月19日）。

音センサー

（流す音との区別が難しい）

軽量化に成功！

（3kg以下でないとタイル面につけられない）

開発の涙ぐましい努力が…..。

（製作者は国内の男子小便器の形状をすべて覚えてしまったそうな。）



1.まわりがきれいになった！

酔っ払うといけませんね～～



さらに、10円硬貨を投入することでランキングに参加できる，有料コンテンツも搭載！

2. ちゃんと収入が得られた！



3. ビールの売上が増えた！？

どうも悔しいらしい～～


ネットやモバイルデバイスなどの進化により、マーケティング手段が大きく変化しています。

ここではネットマーケティングを振り返りながら、今後のマーケティングシステムのアーキテクチャを考察してみたいと思います。

11


Past: Passive Marketing

12


マーケティングとは

Marketing is the activity, set of institutions, and processes

for creating, communicating, delivering, and exchanging

offerings that have value for customers, clients, partners,

and society at large. (AMA, 2007)

顧客が真に求める製品、サービスをつくり、

その情報を的確なタイミングに顧客に届け、

顧客がその商品を効果的に利用できるようにする活動である

→ “余分なセリング（単純なる販売活動）を失くすこと”

The aim of marketing is to make selling superfluous.

Peter F. Drucker 13


ネットマーケティング

マスマーケティング

↓

ネットマーケティングターゲティングが可能に

0

5,000

10,000

15,000

20,000

25,000

30,000

2005 2006 2007 2008 2009 2010

億円

Newspaper

Magazine

Radio

TV

Internet

PR

日本の広告費推移

（電通「日本の広告費」）より

14


セグメント http://www.audiencetargeting.com/

15

ユーザーの行動（どのサイト、どのような検索、滞在時間など）で分類

届けたいユーザーに対してのみ情報を提供する

↓

行動データの収集と集計


Audience Targeting

顧客属性で分類し、効果的なセグメントを選んで、情報を提供する

反応率

（ex. CTR, CVR）

Segment Volume

該当者が多く、反応率のよい（情報を欲しがっている）セグメントから順に、情報提供

16


Facebook

DWHは、Hive+Hadoop

複数台の異なるデータセンターでクラスターを運用

最大規模のクラスターで3000台程度のマシン

累計300人の社員がこのデータに対してアドホックにクエリーを発行

Facebookは、データセンター間にまたがるHadoop

クラスター(HDFS across

data centers: HighTide)をApacheと共同開発

+

Facebook Datacenter http://opencompute.org/

17


Electronic Arts

EA Legend Campaign Insights

Suiteは、nParioのBig Data解析技術を使用。

nParioはPalo Altoに拠点を置くベンチャー企業で、キャンペーン・データを解析し顧客の意図を把握しターゲッティング広告を可能とする。

ゲーマーをEntertainment(音楽・ゲーム愛好家など)、Financial(バーゲンハンター・慈善家など)、Lifestyle(ペット・料理愛好家など)のカテゴリーに区分けし、電子メールなどでターゲッティング広告を発信。

18

http://investor.ea.com/releasedetail.cfm?ReleaseID=609593

http://www.npario.com/

http://investor.ea.com/releasedetail.cfm?ReleaseID=609593





Big Data と Big Processing

企業システム

19

Sources ETL

Data Cleaning

(Stored procedure) DWH

Site logs Hadoop

Data Cleaning

(MapReduce) DWH

Data Mart

Data Mart

Data Mart 様々な種類

大量データ

様々な分析

標準の指標で集計

ネットサービス



20

Big Data

Big Processing

Small Data

Small Analytics

CRM

Log Analytics

Deep

Insight

EXA Flops G Flops

• Unsupervised learning

• Social graph analytics

• Natural Language analysis

• Sentiment analysis

• Predictive modeling

• Image Processing

GB

EXA B

TB

PB

Zetta B

企業システム

ネットサービス



21

BigData（データ並列） BigProcessing（処理並列）

Hadoop

Vertica

MapReduce

Esper

Greenplum

ETL Neteeza

Hive

SciPy

Mahout

MATLAB

Revolution R

SPSS AMPL

Teradata ECL SAS

S4

DEDUCE


BigProcessing: Rの並列化

Hadoop/MapReduceにまかせる

RHIPE

R and Hadoop Integrated Processing

Environment

Amazon Elastic MapReduce

Revolution Analytics社

Revolution R Enterprise for Apache Hadoop

→ インフラの機能に依存する

22


BigProcessing: Rの並列化

Rで頑張る

PVM

rpvm

MPI

Rmpi（http://www.stats.uwo.ca/faculty/yu/Rmpi/）

snow, snowfall

(http://www.sfu.ca/~sblay/R/snow.html)

Revolution Analytics社

foreach

23

http://www.stats.uwo.ca/faculty/yu/Rmpi/

http://www.sfu.ca/~sblay/R/snow.html


BigProcessing : Rmpi/snow

問題

差分化

24

𝜋 = 4.0

1 + 𝑥2

1

0

ⅆ𝑥

𝜋 = 4.0

1 +𝑘𝑛

2

1.0

𝑛=

4.0 𝑛

𝑛2 + 𝑘2

𝑛

𝑘=0

𝑛

𝑘=0

𝑥 = 𝑘

𝑛, ∆𝑥 =

1

𝑛



start <- proc.time()

n <- 10000000

summ <- 0.0

for(k in 1:n-1){

x <- 1.0 / (n * n + k * k)

summ <- summ + x

}

pi <- 4.0 * n * summ

print(pi)

end <- proc.time()

print(end - start)

start <- proc.time()

n <- 10000000

k <- seq(0.0,n,1.0)

rectangle <- function(X){

Y <- 1.0 / (n * n + X * X)

return(Y)

}

pi <- 4.0 * n * sum(sapply(k,rectangle))

print(pi)

end <- proc.time()

print(end - start)

25

ベクトル変数

ベクトル要素に

同じ処理を実施

0 0.1 0.2 … 1

1

𝑛2 + 𝑥2



library("snow")

library(“Rmpi”)

cl <- makeCluster(4,"MPI")

n <- 10000000

clusterExport(cl,"n")

k <- seq(0.0,n,1.0)

pi <-0.0

rectangle <- function(X){

Y <- 1.0 / (n * n + X * X)

return(Y)

}

pi <- 4.0 * n * sum(parSapply(cl,k,rectangle))

print(pi)

stopCluster(cl)

end <- proc.time()

print(end - start) 26

ベクトル要素にクラスタ内の計算ノードを

並列に使い同じ処理を実施

計算クラスタの生成

計算ノード間で

共有の変数を指定


Passive Marketing

良好なセグメントを見つける

→ BigData + BigProcessing

→ Deep Insight

→ Send messages

立地を考え、店舗を置き、後は待つ

（静的、受動的）

27

Developers Summit 2012 （16-E-1） 28 Passive Marketing

1個100円です!


Passive Marketing

来店者の1割は購買するのに….

→ もっと効率の良い方法はないのか？

29

反応率

（ex. CTR, CVR）

Segment Volume

Mass marketing リーチは巨大だが

反応率は低い

最終アクション者は少ない？

Net marketing リーチはそれなり

反応率は微妙

数千万 x 0.01%桁

十万～数百万 x 0.01%～0.1%桁

?

いらぬ人にも情報が届く


Now: Pro Active Marketing

30


購買心理

綿密に計画しても、結構衝動買いをしてしまいますよね

31


購買心理

その時に得た情報で結構判断をしてしまう

32

事前情報

その場で得た情報

店舗内表示

店舗の雰囲気

店舗内の他の顧客

その場での値引きやオプション

店員のコメント


リアルタイムに

サイトに訪問しているその時の状況を見て情報を提供したらどうだろうか？

急いでいるのか？

迷っているのか？

商品を理解しようとしているのか？

誰の為のものを買うのか？

→ 貯めてから処理をするのでは間に合わない

33


データストリーム管理（DSMS,CEP）

データベースに蓄積したデータに対して都度クエリーを発行し検索結果を得る、という処理モデルでは対処することが難しい処理に対し、リアルタイムに流れ続ける一過性のデータ（イベント）を、データベースに格納、蓄積してからではなく、即時に処理するタイプのシステム

価格変化イベント

メッセージ受発信イベント

取引受発信イベント

イベント

ストリーム

DWH

Stream Data Management System

アプリケーション

アラーム

仕入管理

WEBシステム

会計システム

× ×

http://www.cac.co.jp/softechs/pdf/st3001_13.pdf

http://www.cac.co.jp/softechs/pdf/st3001_13.pdf


DSMS

DBMSとDSMSの違い

DATA

DATA

DATA

DATA

DATA

DATA

DATA

DATA Query

DATA

DATA

DATA

DATA

DATA

DBMS

Event

Query


CEP（複合イベント処理）

36

滞在時間が

15分以上

5種以上の商品カテゴリを閲覧

ある商品の閲覧時間が全体の半分以上

初めての来訪である

関心がありそうだ

迷っていそうだ

比較している

Yes Yes

Event Event Event

Event

CQL

CQL

CQL


最近の2つの流れ

37

C-MR http://cs.brown.edu/~backman/cmr.html

MapReduce Online http://www.usenix.org/event/nsdi10/tech/full_papers/condie.pdf

DEDUCE http://www.edbt.org/Proceedings/2010-Lausanne/edbt/papers/p0657-Kumar.pdf

Big Data

Small Data

Real time Stored

Legacy

MapReduce

DSMS,CEP

S4, C-MR, storm

MapReduce Online

DEDUCE

Esper

Streamdata

Oracle, WS

Distributed

Stream Management


• Everquest, Star Wars: Galaxies

• 電話問い合わせの50%削減

• 9割以上のユーザーの満足度向上

Pro Active Chat


Pro Active Chat

http://www.chat4support.com/live_chat.asp

接触候補のユーザー

コンタクト履歴

http://www.chat4support.com/live_chat.asp


Pro Active Marketing

40

http://www.netmining.com/en/livemarketer-demo/

縦軸のAction見込み度合いに応じて適宜接触を図る

Thresholdを指定しておいて、定型の接触を定義する

購買見込み

資料請求見込みが高い

購買見込み

資料請求見込みが低い





Orbitz

Orbitzは航空券予約を中心に事業を展開。旅行予約サービスの中のOnline Travel Agencies分野ではExpediaが市場のトップで38%のシェアを占めているExpediaはHotels.comなどの子会社を通じて、ホテル予約サービスを強みとしている

Orbitzは、MITの研究プロジェクトAURORAの成果を商用にしたStreambase systemsのCEP製品を活用

顧客の行動、各システムの状況を、同社が開発したGraphiteというリアルタイム描画ツールでモニタリングし、Dynamic Pricing, Landing Pageの最適化、表示順の最適化など、最適な顧客対応を行う

41


Event Network

42

“COMPLEX EVENT PROCESSING AT ORBITZ WORLDWIDE” javaone 2008 TS6048

イベント発生条件を複雑に組み合わせて条件を表現

該当する都度イベントを上げ、対応する


CAC Corporation

高速なベイジアンネットワーク学習

2007 年から電気通信大学植野研究室と共同研究を推進中。

高速学習アルゴリズムの TPDA を数十倍高速化（2009）。特許申請済み。

高精度な学習アルゴリズム RAI のさらなる構築精度向上（2011）。特許申請準備中。

43

変数が多くても線形に近い形でしか計算量が増加しないアルゴリズム。複雑な因果関係の分析が可能。複雑なイベント設計の省力化などの応用を期待し研究中。


Causality Map

Dashboards Alert boards Data visualization Reporting

Search

Analytics

Discovery

and Integration

Query optimization

BAM

Data stores Data warehouses Data marts

Data ETL/CDC

DSS

Time series analysis OLAP

Predict analytics

Web analytics

Data/text mining

Adapters

Architecture for ProActive

44

Delivery

Widgets Desktop Mobile Portals Voice response ATM POS

ESB BPEL

Business Application Systems

EAI/SOA

Complex Event Processing Systems

Human Business Flow

Infrastructure

Business Application sub systems CEP

BAM/CEP integration

Business Process

Business Rule Engine

Business Process

Management

3 1

2 モデル構築

4

5

5

推論

Event

Adapters


Pro Active Marketing

その時の状況に合わせて情報が提供できる

一方、店にいかないとはじまらない

45

暇だなぁ。


3. Active Marketing

46


急速に進化するモバイルCPU

ムーアの法則

ゲート幅の微細化

2010年前に限界



ポラックの法則

消費電力問題

マルチコア化

CPU CPU 面積を２倍処理能力は 2倍

（約1.4倍）

CPU CPU 面積を半分処理能力は1/ 2倍

（約3割減にしからならない）



GP-GPU

消費電力は CPUの1/100

Hybrid化

Tegra2 Hetero Architecture



１つのダイの上でのHybrid化は、消費電力にゆとりのない携帯デバイスのCPUから始まる。

50GFlops/watts in 2018

数個のCPU

数千個のGPUが

1つのダイに

NIVIDA Roadmap

http://low-powerdesign.com/sleibson/





2018年携帯デバイスの性能

モバイルデバイスの消費電力＝ 25Watts

25 Watts x 50 G Flops = 1.25T Flops

http://www-

03.ibm.com/innovation/us

/watson/index.html

CPU: 80T Flops

2880 CPUs （IBM Power7）

Memory: 15TB

Space: 10 racks（IBM Systems 750）

IBM Watson

IBM Watsonの1桁落ち程度

http://www-03.ibm.com/innovation/us/watson/index.html






52

8 Cores CPU

24 Cores GPU

2 Cores CPU

8 Cores GPU

2010年を1とした時の性能比

TEGRA2 KAL-EL

WAYNE

LOGAN

STRAK

0

10

20

30

40

50

60

70

80

90

100

2010 2011 2012 2013 2014

Moore'sの法則


2000年： CPU性能比

Mobile

PC

Vertical Portal

Portal


1m x 1m

2010年

Dual Core: 8GFlops

Mobile

PC

Vertical Portal

Public Cloud

1mm x 2mm


10m x 10m

2020年

Mobile

PC

Public Cloud

Vertical Portal

Mobileデバイスの方が性能が良くなる


2020年： 1人当たりの処理量で考えると

Mobile

PC

Public Cloud

Vertical Portal

Mobileデバイスは1人平均2台強を保有

数万人で共有

数億人で共有


Generated UX

動的な描画生成

事前に作られた動画ではなく、その場で生成した動画

57

Virtual Makeup Tool（modiface社） http://physbam.stanford.edu/

http://physbam.stanford.edu/


Context Awareness

Working

Memory

58

World Sensory Memory

Auditory

Visual

Tactile

Olfactory

Gustatory

Nine Ways to Reduce Cognitive Load in Multimedia Learning

http://www.elizabethoc.com/9ways/article.pdf

Verbal

Working

Memory

Visual

Working

Memory

Thinking:

Integrating

Organizing

Analyzing

Sense Making

Schema Making

Narration/

Sound

Text

Image

Attention/

Selection

Mobile Device

認識の支援





Personal Assistant

59

Spectacles Institut für Pervasive Computing

Johannes Kepler Universität Linz


Personal Assistant

60

http://www.pervasive.jku.at/Research/Projects/?key=468

http://www.pervasive.jku.at/Research/Projects/?key=468


Future Architecture

61

Working

Memory World

Sensory Memory

Auditory

Visual

Tactile

Olfactory

Gustatory

Verbal

Working

Memory

Visual

Working

Memory

Thinking:

Integrating

Organizing

Analyzing

Sense Making

Schema Making

Narration/

Sound

Text

Image

Attention/

Selection

Mobile Device

Long Term

Memory

Cloud

Semantic

Knowledge

Episodic

Knowledge

Storing

Inference

Model

Motivation

知識提供動的なリコメン

デーション

↑

推論

モデル構築

リアルタイムなデータは、クラウドで処理するのではない！

モバイルデバイスは、クラウドの窓ではない！


Active Marketing

ユーザーは“もの”から“こと”を重視した購買を行うようになる

提供者は、ユーザーのコンテキストに合わせて、“こと”をデバイスから動的にリコメンドするようになる

62

“余分なセリング（単純なる販売活動）を失くすこと”

Peter F. Drucker


まとめ

1. パッシブなマーケティングを離れ、プロアクティブなマーケティングにチャレンジしていこう。

2. それを通し、ユーザーモデル構築をし、リアルタイムに推論ができるソフトウエアアーキテクチャを構築しよう。

3. そして、急速に進化するスマートデバイスを積極的に利用し、ハイブリッドなアーキテクチャに移行し、動的なマーケティングができるようにしていこう。

63


Thank you.

https://www.facebook.com/kohei.kumazawa

64 Developers Summit 2012 （16-E-1）

Technology

Developers Summit 2012 16-E-1