最新事例から学ぶビッグデータの活用法 #ocif16 #hortonworks

1 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

最新事例から学ぶビッグデータの活⽤法

ホートンワークスジャパン株式会社マーケティングディレクター北瀬公彦


北瀬公彦KIMIHIKO KITAsE

http://blogs.itmedia.co.jp/kkitase @kkitase

2016年6⽉、ホートンワークスジャパンに⼊社。ビッグデータの収集、蓄積、分析基盤製品のマーケティングを担当。⼊社前、⽶Data Science Dojoが開催するデータサイエンティスト養成講座に参加するも、全く畑の違う分野で悪戦苦闘。開き直って、初⼼者に優しいデータの利活⽤術をお伝えしようと考えている。

facebook.com/kkitase


4ZBDATA

MOBILEDEVICES

HUMANCONTENT

INTERNETOFTHINGS

44ZBDATA

Source:http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm


出所：第27回産業競争⼒会議 2016.5

政府は2016年5⽉19⽇、第27回産業競争⼒会議を開催し、名⽬国内総⽣産（GDP）600兆円に向けた成⻑戦略（「⽇本再興戦略2016」）の素案を公表しました。

新たな有望成⻑市場の創出では、IoT・ビッグデータ・AI・ロボットなどによる第４次産業⾰命の実現で2020年には30兆円の付加価値創出を⽬指しています。

⽇本再興戦略2016 〜第４次産業⾰命の実現〜


現⾏のシステムで受け⽌められますか？Ã 課題• データがアプリに固定化していてる• 新しいデータの受け⼊れが難しい• スケールするとコスト⾼

ビジネスの価値

クリックストリーム

Webデータ

Internet of Things

ドキュメント、メール

サーバーログ

⾳声・画像

2013年4 Zettabytes

2020年40 Zeta bytes

1

2 新しいデータ

ERP CRM SCM

新しいデータ

既存データ

新たなデータの多くは、Internet of Anythingとしてシステムとデバイス間のやり取りとして誕⽣します


企業のIT投資動向ほぼ横ばい


ビッグデータには新しいプラットフォームが求められる

・⼤量・多種類データに対応する拡張性

・静的・動的データの⼀元管理

・リアルタイム・エッジ実装

・ガバナンス・セキュリティ

・オープンテクノロジーDATA AT REST

DATA IN MOTION

ACTIONABLEINTELLIGENCE

Modern Data Applications

流れているデータ

蓄積されたデータ


新し

いタ

イプ

のア

ナリ

ティ

クス

新しいタイプのデータ既存のデータ

既存

のア

ナリ

ティ

クス

・業

務ビッグデータ活⽤の道のり

データ統合・可視化

貯める・統合する・⾒える化する

DWH・EDWMDM

BusinessIntelligence

データエンリッチメント・多様化

増やす・作る・使わせる

IoTData Ingest

Edge Analytics

データサイエンス・予測分析

使う・発⾒する・予測する

Data Discovery

Predictive Analytics

戦略的データ活⽤の⾃動化

最適化する・利益に変える

AIReal-Time

Deep Learning


新し

いタ

イプ

のア

ナリ

ティ

クス

新しいタイプのデータ既存のデータ

既存

のア

ナリ

ティ

クス

・業

務 • EDW & ETL データのロードやバランシング

• コスト & 柔軟性• 新しいスキルセットの習得• コモディティHWを使ってスケールアウト

• お客様のプロファイルや履歴を360度から⾒るシングルビュー

• クリックストリーム分析によるお客様への最適な商品の提供

• 巨⼤な過去データに対しての⽀払い請求分析

New Historical View

IT Optimization New Data Influencers• 「使⽤ベース」保険のためのセンサーや

テレマティクスデータを収集• センチメント• ロスコントロールや予防サービスの強化• 必要ベースのカバレッジ vs. 既存のカバ

レッジ

New Analytics Applications

• テキスト分析やリンク分析による⽀払い請求の異常値発⾒や不正検地

• リンク分析によるリスク分析の強化• 新しい予測データを使⽤し、⽀払い請求

の深刻度や頻度を強化

保険業務でのデータ活⽤例


Hortonworks® の顧客は、新たなビジネス⽬標を達成する、コストを削減することのいずれかの理由で当社の技術を利⽤しています。Customer Journeyは、弊社が保持する多くのユースケースを案内する事によりお客様のニーズに応えます。

ソーシャルマッピング

リスク評価

テレマトリックス

ロスコントロー

ル

コール分析センサーデータ製品設計 M & A

デューデリジェンス

レコメンデーション

サイバーセキュリ

ティ

リスクモデリング

リスクアペタイト

ロスコントロール

Catモデル調査計画

⽀払い請求深刻度

カスタマーサポート

センチメント分析

リスク分析

広告掲載⽀払い請求分析

セグメンテーション

クロスセル顧客維持

代理店スコアカー

ド

不正調査

運⽤コスト削減

メインフレームのオフロード

履歴レコード

サービスとしてのデータ

パブリックデータ取得

不正予防

デバイスデータ

取り込み

⾼速レポーティング

デジタル保護

不正緩和

⽀払い能⼒分析


事例のご紹介


データ活⽤による新規ビジネスの展開運転傾向・⾞の使⽤環境に基づいた柔軟な保険提案の実現

Ã Snapshot plug-in デバイスは運転の詳細を収集

Ã Progressiveは、1000万マイル以上の運転データを保存 (約1600万Km）

Ã Webアプリ経由で、顧客は⾃⾝の運転詳細を⾒ることができ、安全向上に努めることが可能

Ã Snapshotとusage-based insurance は2014年には、Progressiveに2.6 億ドルの貢献（約273億円）

Innovate

Renovate

Claims Notes Mining

Individual Driving

Histories

Usage-BasedInsurance (UBI)

Web LogAnalysis

Online AdPlacement

Sensor DataIngest

PREDICTIVEANALYTICS

A C T I V EA R C H I V E

D A T AD I S C O V E R

Y


Y


Y

E T LO N B O A R D

Safe Roads

既存データの可視化

データ拡充新規基盤構築

新規モデル作成新規サービス提供



爆発するデータ容量に対応したサービス改善

Metadata Capture

Threat Predictions

Attacker Detection

Unified Security

Security LogAnalysis

Threat Archive

Device Data Ingest

Threat Detection

Legacy Offload

Data Science Speeds Time to Protection

Ã 脅威検出時間が4時間から2秒にÃ 防御回数が5000倍にÃ 10ペタバイト以上のデータを

使って機械学習した結果、脅威が可能に

Ã AmbariとCloudbreakを使ってクラスターを管理

Innovate

Renovate

Digital Security

PREDICTIVEANALYTICS

E T LO N B O A R D


Y


Y


YE T L

O N B O A R DE T L

O N B O A R D


P R E D I C T I V EA N A L Y T I C S

S I N G L EV I E W

Proactive Safeguards

増え続けるセキュリティ攻撃に対応した新規基盤及びサービスレベルの改善

既存データの⾒える化及びデータ拡充⾬

既存システムのオフロードコスト最適化

新規モデル作成新規データ活⽤

新規サービス提供


スマートメーター活⽤による新しいマーケティング・顧客サービスの導⼊

1.3 Million Smart Meters

EDW Offload

Mobile App for Customer Sites

Ingest 300 GB per Day

Product Cross-Sell

データ活⽤による新しい電⼒提供サービス

スマートメーターによるデータ量増加に対応した環境構築年数回の顧客訪問（検針）→13万個のスマートメーター数億円のDWHコスト最適化11時間かかっていたETL処理を45分に削減個客に応じた新たなサービス⾰新的サービスを主体としたビジネモデルに変⾰

Innovate

RenovateSmart,

Efficient Homes


Y

D A T AE N R I C H M E N

T


S I N G L EV I E W


E T LO N B O A R D

SINGLEVIEW

S I N G L EV I E W


On-site customer data capture

Optimized engineering

schedule

Tailored servicing

Customer sentiment

既存環境の最適化・可視化データ拡充予測分析

Data Discovery新規サービス提供


データ活⽤による製造プロセスの最適化

Scientific Search

Sensor Data

Storage

Vaccine Yield Optimization

Innovate

Renovate

The Journey to the Golden Batch10年間、550万通りの製造データ

を結合・分析最適なワクチン製造⼯程を特定初年度に40,000ダースの製造増加に成功。10億円の利益に直結マッキンゼーの調査の結果、50％の製造⼯程改善が認められる。

Epidemiology

DATADI SCOVER

Y



Y


Y The Golden Batch

数百万通りのワクチン製造プロセスから最適な⼯程を特定

既存データの結合・共有データ拡充予測分析



⾮構造化データ活⽤による鉄道の最適化Optimize

MaintenanceSchedule

Innovate

Renovate

The Journey to the Golden Batch旧来のメンテナンス履歴、時間

などの作業による膨⼤なコストが課題⾞両搭載のセンサー、GPS、画像データを⼀括管理リアルタイムに路線で起こっている問題を把握分析により、将来起こりうる問題を事前予測、Proactiveなメンテナンスを⾏う。

DATADI SCOVER

Y

Safe Rail

位置情報、センサー、画像を活⽤したメンテナンス作業の最適化

既存データの結合・共有データ拡充予測分析


New Insights from new data set

EDW Offload

Ingest sensor /

GPS data


Y

D A T AE N R I C H M E N

TA C T I V E

A R C H I V EE T L

O N B O A R D


Ingest Video Images

Optimized Maintenance

schedule

北⽶⼤⼿鉄道会社様


eBay: 毎⽇50TB以上のデータが⽣成

Source: http://www.slideshare.net/HadoopSummit/extreme-analytics-ebayhttp://www-conf.slac.stanford.edu/xldb2011/talks/xldb2011_tue_1055_TomFastner.pdf


ヘルスケア業界で、データプラットフォームの構築

PreventiveCare

OPEXEfficiency

Billing &Payments

ClinicalDocs

Vital SignMonitoring

SinglePatient Record

Medical Decision Support

Lab NotesArchive

EPIC EMRReplication

EPICEnrichment

PrivacyDatabase

DeviceData Ingest

効果払い戻し要求があった場合にも、患者の状況を把握できるようになった。患者様の情報などを、効率的テキストサーチを⾏う事が可能になった。19000の患者様の情報に対してのあるクエリが、２週間かかっていたバッチ処理が、半⽇で終わるようになった。

課題35の病院、500のクリニック、年間100万の患者主に、運営、財務、費⽤のデータを分析していた。データが増えてもスケールアウトさせられなかった。

ソリューションすべてのデータをHadoopにリプリケートした組織内のデータだけでなく、3rdパーティのデータを利⽤するようになった


Hortonworksのご紹介


HortonworksHadoop / Spark / NiFi を中核に置いたソフトウェアを開発・販売、サービスの提供

• Hortonworksについて• 100%オープンソース• 会社設⽴3年⽬で株式公開• 顧客数 800社以上（2015年Q4）

• ビジネスモデル• 1年間契約のサブスクリプション（サポートサービス）• コンサルティングサービス / プロジェクト⽀援サービ

ス

Hadoopを早くから導⼊されたお客様もHortonworksのディストリビューションを採⽤

開発 & データツール

インフラストラクチャ

オペレーションツール

RDBMSEDW MPP

データシステム

分析ツール & アプリケーションBusinessObjects BI

Microsoft Analytics Platform System

1,600を超えるエコシステムパートナーHortonworks テクノロジーパートナー

• Connected Data Platformsを提供

• Hortonworks Data Platform (HDP)• 様々なデータを蓄積する (data at rest)

• Hortonworks DataFlow (HDF)• リアルタイムのデータを扱う（data in motion）

データ収集、蓄積、分析プラットフォーム


ホートンワークスジャパン株式会社設⽴• 2014 Q3

オフィス• ⼭王パークタワー（東京都千代⽥区永⽥町2丁⽬11−1 3F）

サービス• サポートサービス: 24時間365⽇、⽇本語でサービス提供• プロフェッショナルサービス: クラスタ設計・構築⽀援等

社員数• 14名 (as of 2016/09)• Hadoop、Spark、HBase関連の書籍執筆者も在籍• ⽇本初のApache NiFi Project Committerが在籍

3F


Apache Communityへの貢献コミッターの多くがHortonworksの社員です。Apache Hadoop プロジェクトに関わるコミッターの約1/3はHortonworksの社員です。Apache NiFiの⼤半を始めとする多くの重要なプロジェクトに関わっています。

コミッターはコネクティッド・データプラットフォームを改良し、⾰新を続けています。Hadoopのロードマップに関わっています。コミュニティに対し、重要なリクワイアメントを⾔える⽴場にいます。

1,500を超えるエコシステムパートナーHortonworks テクノロジーパートナー

専⾨家集団開発に深く携わるコア・メンバーにより構成

Hortonworks はApache Communityに⾮常に深く関与しています。


100% Open Source Connected Data Platforms

Eliminates Riskオープンソースソフトウェア・最先端テクノロジーの活⽤によるデータ活⽤提案Maximizes Community Innovation全世界のコミュニティの⼒を活⽤した最先端技術の活⽤Integrates Seamlessly世界中のソリューション・IT Technologyとの親和性

M A X I M U M C O M M U N I T Y I N N O VAT I O N

T H E I N N O VAT I O N A D VA N TA G E

P R O P R I E T A R Y H A D O O P

T I M E

INN

OV

AT

ION

O P E N C O M M U N I T Y


Hortonworks: Big Data Hadoop Solutions リーダー

Hortonworks is a Leader of Big Data Hadoop SolutionsFortune 100 の40%の企業が採⽤

75% 通信業界65% 損害保険業界55% 製造業46% 卸売、⼩売業界40% ヘルスケア

“The Forrester Wave™: Big Data Hadoop Solutions”


ビッグデータを⽀える静的・動的データプラットフォームConnected Data Platforms

• HadoopはData at Rest（蓄積されたデータ）の基礎• IoTの登場により、Data in Motion（流れているデータ）の必要性• モダンデータアプリケーションはData in MotionとData at Restの両

⽅のデータを利⽤してお客様の価値を最⼤化

• 最適な保険料⾦の選定システム• 故障予測サービス• サイバーセキュリティ• その他のインダストリーアプリなど

Data Operating System

�� ! � ��

� � ��

#"��


Hortonworks Data Platformのご紹介


データの蓄積、分析プラットフォームHortonworks Data Platform (HDP)

Data Operating System

クリックストリームセンサーソーシャルモバイル位置情報サーバーログ

バッチインタラクティブサーチストリーミングマシンラーニング

既存データ

29 © Hortonworks Inc. 2011 – 2016. All Rights Reserved runson

ETL

RDBMSImport/Export

DistributedStorage&ProcessingFramework

SecureNoSQL DB

SQLonHBase

NoSQL DB

WorkflowManagement

SQL

StreamingDataIngestion

ClusterSystemOperations

SecureGateway

DistributedRegistry

ETL

Search&Indexing

EvenFasterDataProcessing

DataManagement

MachineLearning

Hadoop Ecosystem


データの蓄積、分析プラットフォームHortonworks Data Platform (HDP)


HORTONWORKSDATAPLATFORM

Hado

op&YAR

N

Flum

e

Oozie

Pig

Hive

Tez

Sqoo

p

Clou

dbreak

Ambari

Slider

Kafka

Knox

Solr

Zookeepe

r

Spark

Falco

n

Ranger

HBase

Atlas

Accumulo

Storm

Phoenix

4.10.2

DATAMGMT DATAACCESS GOVERNANCE&INTEGRATION OPERATIONS SECURITY

HDP2.2Dec2014

HDP2.1April2014

HDP2.0Oct2013

HDP2.2Dec2014

HDP2.1April2014

HDP2.0Oct2013

0.12.0 0.12.0

0.12.1 0.13.0 0.4.0

1.4.4 1.4.4 3.3.23.4.5

0.4.00.5.0

0.14.0 0.14.0 3.4.6 0.5.0 0.4.00.9.30.5.2

4.0.04.7.2

1.2.1 0.60.0 0.98.4 4.2.0 1.6.1 0.6.0 1.5.21.4.5 4.1.02.0.0

1.4.0 1.5.1 4.0.0

1.3.1

1.5.1 1.4.4 3.4.5

2.2.0

2.4.0

2.6.0

2.7.1 1.4.6 1.0.0 0.6.0 0.5.02.1.00.8.2 3.4.61.5.25.2.1 0.80.0 0.5.01.7.04.4.0 0.10.0 0.6.10.7.01.2.10.15.0HDP2.3Oct2015 4.2.0

0.96.1

0.98.0 0.9.1

0.8.1

1.4.1 1.1.2

2.7.3 1.4.6 1.3.0 0.9.0 0.6.02.4.00.10.0 3.4.61.5.25.5.1 0.91.0 0.7.01.7.04.7.0 1.0.1 0.10.00.7.01.2.1+2.1***0.16.0

HDP2.5*2H2016

4.2.01.6.2+2.0** 1.1.2

2.7.1 1.4.6 1.2.0 0.6.0 0.5.02.2.10.9.0 3.4.61.5.25.2.1 0.80.0 0.5.01.7.04.4.0 0.10.0 0.6.10.7.01.2.10.15.0HDP2.4Mar2016 4.2.01.6.0 1.1.2

Zepp

elin

OngoingInnovationinApache

0.6.0

HDP2.5– ShowscurrentApachebranchesbeingused.FinalcomponentversionsubjecttochangebasedonApachereleaseprocess.**Spark1.6.2+Spark2.0– HDP2.5supportinstallationofbothSpark1.6.2andSpark2.0.Spark2.0isTechnicalPreviewwithinHDP2.5.***Hive2.1isTechnicalPreviewwithinHDP2.5.

互換性などのテスト


Ambari（クラスタ管理）


Ambari（SQLクエリ）


Hive performance

http://hortonworks.com/blog/announcing-apache-hive-2-1-25x-faster-queries-much/LLAP: http://www.slideshare.net/techblogyahoo/hivellap


Apache Zeppelin （データサイエンティスト向けUI）


DemonstrationHortonworks Data Platform (HDP)

1. クラスタの管理 – Ambari （クラスタ管理）, Hive（Hadoop SQLエンジン）, Ranger （監査）

2. オーストラリア州の納税額を使ったデータ分析 – Zeppelin （データ分析ツール）



Hortonworks DataFlowのご紹介


Hortonworks DataFlowとHortonworks Data Platformにより、ビックデータ基盤のエンド・ツー・エンドソリューションを提供します。

Hortonworks Data Platformpowered by Apache Hadoop

EnrichContext

Store Data and Metadata

Internetof Anything

Hortonworks DataFlow powered by Apache NiFi

動的・鮮度が重要な⾒識

静的・過去データによる⾒識

Connected Data Platform

データ収集プラットフォーム


Lambda (λ) Architecture

Source: http://lambda-architecture.net/


IngestionSimple Event Processing

EngineComplex Event

Processing

Destination

Data Bus

Build Predictive ModelFrom Historical

Data

DeployPredictive Model

For Rea-time Insights

Perishable Insights

Historical Insights

Lambda (λ) Architecture


Hortonworks DataFlow


過去8年間にNSAによって開発

「NSAのイノベーターは、考えられる中で最も困難な国家安全保障の問題の⼀部に取り組んだ」「商業エンタープライズは、これを利⽤して地理的に離れたサイトからの情報フローを迅速に制御、管理、分析し、総合的な状況認識を⽣み出すことができる」

-- NSAディレクターLinda L. Burger⽒

国家安全保障局が開発したNiFi


130以上のシステムとの連携が可能

HTTP

Syslog

Email

HTML

Image

Hash Encrypt

Extract

TailMerge

Evaluate

Duplicate Execute

Scan

GeoEnrich

Replace

ConvertSplit

Translate

HL7

FTP

UDP

XML

SFTP

Route Content

Route Context

Route Text

Control Rate

Distribute LoadAMQP


DemonstrationHortonworks DataFlow (HDF)

1. Twitterのリアルタイム分析 - NiFi, Solar


デモ環境

検索エンジン

HDFS分散ストレージ

データフローコントローラー

ソーシャルデータ


クラウドでの利⽤


クラウド環境での利⽤ - Azure編


クラウド環境での利⽤ - AWS編

http://hortonworks.com/blog/quickly-launch-hortonworks-data-platform-amazon-web-services/


クラウド環境での利⽤ - OpenStack編


クラウド環境での利⽤ - Baremetal編

Zookeeper

Master Nodes * 3

Ambari * 1

YARN(RM), HDFS(NN) HA

Other master components

Hardware

Software(HDP)components

ambari-server

MySQL(master-slave)

PostgreSQL

HDFS: DataNodes

YARN: NodeManagers

Slave Nodes * 3+


Hortonworksを始める為の５ステップ

1. Hortonworksサンドボックスを試すhortonworks.com/sandbox

2. チュートリアルを試すhortonworks.com/tutorials

3. Future of Data 勉強会に参加するfutureofdata.connpass.com

4. Hortonworks Community Connect (HCC)に参加するhortonworks.com/community

5. サポートサービスを検討するhttp://hortonworks.com/support


Hadoop Summit 2016 TokyoApache Hadoop / Spark、機械学習、データサイエンス、IoT、ビッグデータなど、データ活⽤最新動向を⼀挙紹介

http://hadoopsummit.org/tokyofacebook.com/hadoopsummit@hadoopsummit

PromotionCodeAPAC2020%OFF

eBay, Yahoo Japan, Daimler Trucks Asia, Coca-Cola East Japan, 楽天, Verizon, LinkedIn, セガ, Criteoなどデータ活⽤先進企業からの登壇決定！