Upload
mapr-technologies-japan
View
1.588
Download
4
Embed Size (px)
Citation preview
®© 2015 MapR Technologies 1
®
© 2015 MapR Technologies
Anil Gadre – SVP, Product Management Will Ochandarena – Director, Product Management Nick Amato – Director, Technical Marketing Engineering
2015 年 12 月 10 日
®© 2015 MapR Technologies 2
本日のトピック • ビジネスの必須事項: Data-in-Motion と Data-at-Rest の統合
• MapR Streams の発表 • ライブデモ: MapR Streams 実際の動作
• 利用例: イベントストリーミングをビジネスに活用する
®© 2015 MapR Technologies 3
スピーカー
Steve Wooledge VP, Product Marketing
Anil Gadre SVP, Product Management
Will Ochandarena Director, Product Management Nick Amato
Director, Technical Marketing
®© 2015 MapR Technologies 4
データを行動に結びつける サイクルを加速することで
「即断可能な」ビジネスを実現する
®
®© 2015 MapR Technologies 5
主要な業種のトップ企業が採用
金融サービス 小売・消費財 セキュリティ オンラインサービス・ ソフトウェア
メディア・ エンターテイメント
製造・公益・石油・ガス 広告 医療 通信 政府・公共機関
Fortune 10 小売企業
®© 2015 MapR Technologies 6 © 2015 MapR Technologies ®
Data-in-Motion と Data-at-Rest の統合
®© 2015 MapR Technologies 7
IoT と Data in Motion の台頭
10 億 60 億
500 億
2000年代: モバイルインターネット
2020年: Internet of People および Internet of Things
1990年代: 固定線インターネット
世界全体の接続デバイス
2020年までに、「価値あるデータ」全体の21% が IoT からもたらされる
- IDC
®© 2015 MapR Technologies 8
MapR Streams の発表 グローバル Publish/Subscribe イベントストリーミング
Producer 毎秒数十億のメッセージを
トピックに送信
Consumer すべての Consumer に 即時に高信頼な配送
グローバル 世界全域の地理的に分散 したクラスタを結びつける
®© 2015 MapR Technologies 9
ビッグデータの成長に伴い新しいアプリを供給することが困難に
データの種類 の増加
データソース の増加
バッチから よりリアルタイム
な分析へ
利用アプリケー ションの増加
• 複数のテクノロジー • アプリ開発の難易度の増加 • いたるところに遅延が発生 • サイロ化の再来 • データコピーが急増 • アプリ保守の難易度も増加 • 運用管理の課題の増加 • 複数のクラスタの費用
ビジネスにおけ
る飛躍的な価
値をどのように
迅速に作り出す
か
®© 2015 MapR Technologies 10
30年に一度の変化が進行中 レ
ガシ
ー
Data-to-Action アプリケーション
ミドルウェア
高価な専用 計算機器・ストレージ
エンタープライズアプリケーション
コモディティハードウェア
RDBMS
バッチ分析
メッセージバス グローバルイベントストリーミング
ビッ
グデ
ータ
時代
単一ネームスペース
オペレーショナル分析
構造化 データ
半構造化 データ
非構造化 データ
®© 2015 MapR Technologies 11
処理
デ
ータ
Batch
Streaming
SQL
MapR Converged Data Platform
問題: データサイロのパッチワークが出現 ア
プリ
カスタマーエクスペリエンス データアーキテクチャ 最適化
セキュリティ調査・ イベント管理
オペレーショナル インテリジェンス
マネージドサービス・ カスタムアプリ
®© 2015 MapR Technologies 12
処理
デ
ータ
MapR Converged Data Platform ファイル テーブル ドキュメント ストリーム
設計ゴール: すべてのアプリ向けの共通データサービス
Batch
Streaming
SQL
MapR Converged Data Platform
アプ
リ
カスタマーエクスペリエンス データアーキテクチャ 最適化
セキュリティ調査・ イベント管理
オペレーショナル インテリジェンス
マネージドサービス・ カスタムアプリ
®© 2015 MapR Technologies 13
処理
デ
ータ
MapR Converged Data Platform ファイル テーブル ドキュメント ストリーム
設計ゴール: すべてのアプリ向けの共通データサービス
Batch
Streaming
SQL
MapR Converged Data Platform
MapR コンバージド・データ・プラットフォーム Hadoop、Spark、NoSQL データベース、SQL、イベントストリーミング、
Web スケールストレージのパワーを備えた統合プラットフォーム
アプ
リ
カスタマーエクスペリエンス データアーキテクチャ 最適化
セキュリティ調査・ イベント管理
オペレーショナル インテリジェンス
マネージドサービス・ カスタムアプリ
®© 2015 MapR Technologies 14
MapR コンバージド・データ・プラットフォーム
オープンソースエンジン・ツール 商用エンジン・アプリケーション
ユーティリティグレードデータサービス
デー
タ
処理
エンタープライズストレージ MapR-FS MapR-DB MapR Streams
データベース イベントストリーミング
グローバルネームスペース 高可用性 データ保護 自律復旧 統合セキュリティ リアルタイム マルチテナント
検索・ その他
クラウド・ マネージド サービス
カスタム アプリ
統合
運用
管理
・監
視
®© 2015 MapR Technologies 15
Hadoop + エンタープライズストレージ
Hadoop + エンタープライズストレージ + NoSQL
Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL
Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL + イベントストリーミング
2011
2013
2014
2015
トップランク Hadoop
トップランク NoSQL
トップランク SQL
統合に向けたビジョンの着実な実行
®© 2015 MapR Technologies 16
MapR プラットフォームサービス: オープン API アーキテクチャ 互換性を保証し、ロックインを避ける
MapR-FS エンタープライズストレージ
MapR-DB NoSQL データベース
MapR Streams グローバルイベントストリーミング
HDFS API
POSIX NFS
SQL, Hbase
API JSON API
Kafka API
®© 2015 MapR Technologies 17
MapR Streams により業界初にして唯一の 統合データプラットフォームを実現
「流れるデータ」と「保存されたデータ」を統合する高スループットのストリーミング
1
2
3
統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ 継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現 グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化
®© 2015 MapR Technologies 18
イベントが一件ずつ発生しビッグデータが生成される
“time” : “6:01.103”, “event” : “RETWEET”, “location” : “lat” : 40.712784, “lon” : -74.005941
“time: “5:04.120”, “severity” : “CRITICAL”, “msg” : “Service down”
“card_num” : 1234, “merchant” : ”Apple”, “amount” : 50
®© 2015 MapR Technologies 19
バッチ処理の様々な利用例
● クリックストリーム分析
● 予知保全 ● 不正検出 ● クーポン提示 ● リスクモデル
● カスタマー 360 ● センチメント分析
®© 2015 MapR Technologies 20
リアルタイム処理は補完的
● 運用管理ダッシュボード ● 障害アラート
● 侵害検知
● リアルタイム不正検出 ● リアルタイム価格提示 ● プッシュ通知
● トレンドの提示 ● ニュースフィード
®© 2015 MapR Technologies 21
データパイプラインの課題
フィルタリング・ 集計
アラート 加工
®© 2015 MapR Technologies 22
ストリームはデータの移動をシンプルにする
フィルタリング・ 集計
アラート 加工
ストリーム データソースと配信先の間をつなぐ 高信頼の Publish/Subscribe トランスポート
®© 2015 MapR Technologies 23
レガシーシステム: メッセージキュー IBM MQ, TIBCO, RabbitMQ
Orders フロントエンド
注文処理
注文処理
利用形態/要件 ● システム間の密接でトラン
ザクショナルなやり取り ● 1対1 もしくは 少数対少数 ● 低いデータレート ● ミッションクリティカル配送
アプローチ ● キュー指向デザイン
● 各メッセージは N 個の出力 キューに複製される
● 読み込みによりメッセージが 取り出される
● スケールアップ、マスター/スレーブ
できないこと ● 高いメッセージレート (>10万/秒) ● Consumer を遅らせること ● キューの再生/巻き戻し
®© 2015 MapR Technologies 24
進化する「ビッグデータ」イベントストリーム: 分散ログ Kafka, Hydra, DistributedLog
利用形態/要件 ● 切り離されたシステムから
転送される高スループット データ ● 多数→1 ● 1→多数 ● 異なる速度
アプローチ ● ログ指向デザイン
● ログファイルにメッセージを 書き込む
● Consumer はメッセージを個々のベースで引き出す
● スケールアウト
できないこと ● グローバルアプリケーション ● メッセージの永続化 ● 分析の統合
(データの移動が必要)
DB_Changes
ストリーミング処理
検索/ EDW
DB
®© 2015 MapR Technologies 25
MapR: イベントストリームプラットフォームの再検討
● 「ビッグデータ」スケール・パフォーマンス ● グローバルなアプリケーションとデータ収集 ● マルチテナント・マルチアプリケーション ● セキュリティ ● 直接分析が可能 (データ移動不要) ● 統合済み: クラスタが立ち並ぶことがない
ストリーミング処理
分析
広告インプレッション アプリケーションログ センサーデータ
®© 2015 MapR Technologies 26 © 2015 MapR Technologies ®
MapR Streams 統合、継続、グローバル
®© 2015 MapR Technologies 27
MapR Streams: ビッグデータ向けグローバル Pub-Sub イベントストリーミングシステム
Producer は毎秒数十億のメッセージをストリーム内のトピックに送信
すべての Consumer に対する保証された、
即時の配信
世界全域の地理的に分散したクラスタを結びつける
標準リアルタイム API (Kafka) による Spark Streaming、Storm、Apex、Flink と
の連携
分析フレームワークからのダイレクトデー
タアクセス (OJAI API)
Topic
ストリーム
トピック Producer Consumer
リモートのサイトとConsumer
Streaming
バッチ分析
®© 2015 MapR Technologies 28
グローバル
提供される機能 ● 数千クラスタ間での任意のトポロジー ● 自動的なループ防止 ● DNS ベースディスカバリー ● メッセージオフセットと Consumer カーソル
のグローバルな同期
実現されること ● グローバルなアプリケーションとデータ収集 ● Producer・Consumer のフェールオーバー ● エッジにおける分析/フィルタリング/集計 ● 「不定期の」接続
Producer
Consumer
®© 2015 MapR Technologies 29
主な差別化ポイント
MapR Streams
統合 グローバル
セキュリティ・マルチテナント
ファイル、テーブル、ストリームのための単一クラスタ
グローバルなフェールオーバー機能を備える IoT スケールの「ファブリック」
テナントによるストリームの所有、トピックとメッセージの論理グループ化
認証、アクセス制御、暗号化に利用される、他のプラットフォームサービスと統合されたポリシー
データ永続化とバッチ処理フレームワークのダイレクトデータアクセス
®© 2015 MapR Technologies 30 © 2015 MapR Technologies ®
MapR Streams の動作をご覧ください – デモ Nick Amato
®© 2015 MapR Technologies 31 © 2015 MapR Technologies ®
イベントストリーミング・処理の利用例 Will Ochandarena
®© 2015 MapR Technologies 32
全業種 Web 2.0 医療 通信
• ETL / データウェアハウス最適化
• メインフレーム最適化 • アプリケーション・ネットワーク監視
• セキュリティ情報・イベント管理
• レコメンデーションエンジン・ターゲティング
• カスタマー 360 • クリックストリーム分析 • ソーシャルメディア分析 • 広告最適化
• スマートホスピタル • バイトメトリクス • 患者の生体情報監視 • 不正検出
• アンテナ最適化 • 課金・請求 • 設備監視・予防保全 • スマートメーター分析
主要な業種と利用例
石油・ガス 金融サービス 小売 アドテク
• ポンプ監視・アラート発信 • 地震波トレース識別 • 設備メンテナンス • 安全性・環境 • セキュリティ
• リアルタイム不正/リスク監視 • トランザクションのモバイル通知
• リアルタイムサプライチェーン最適化
• 在庫管理 • リアルタイムクーポン
• 広告ターゲティング・最適化 • グローバルキャンペーンダッシュボード
®© 2015 MapR Technologies 33
利用例
ストリーム
アプリケーション/インフラ監視
Logs
Metrics
ビジネス上の成果 ● 障害やセキュリティ侵入
時のリアルタイム検出とアラート送信
● 利用量、稼働状況、性能
に関するグローバルダッシュボード
MapR Streams 採用の理由 ● アプリ/インフラから ETL・処理
システムに対するリアルタイム
配信 ● システムの性能低下・障害時の
信頼性の高いデータバッファリ
ング
MapR 採用の理由 ● 統合プラットフォームがすべてのコ
ンポーネントを結びつける ● グローバルイベントレプリケーショ
ンにより集中監視が可能に ● セキュアなマルチテナント機能によ
りクラスタの共有が可能に
®© 2015 MapR Technologies 34
クレジットカード処理向けデータベース変更キャプチャ
ビジネス上の成果 ● 購入者に対するリアルタイムモバイル通知で顧客満足度が向
上 ● より多くの不正をリアルタイムで検出 ● データ探索により社員の生産性が向上
MapR Streams 採用の理由 ● メインフレーム RDBMS と ETL/処理基盤間の
シームレスでリアルタイムの接続
MapR 採用の理由 ● ユーティリティグレードの信頼性によりトランザク
ションの損失を防止 ● 統合プラットフォームセキュリティによる認証、アク
セス制御、暗号化の統一
利用例
Transactions
不正検出 Streaming
1
®© 2015 MapR Technologies 35
医療・金融向けストリーム System of Record
ビジネス上の成果 ● データアジリティ - JSON、グラフ、検索の各形式での最新
データの表示 ● HIPAA、PCI への準拠 ● 国内のデータ法令の遵守
Records
JSON DB (MapR-DB)
グラフ DB (Titan on
MapR-DB)
検索エンジン (Elastic-Search)
書き込み API
読み出し API
MapR Streams 採用の理由 ● ストリームは変更不可能、巻き戻し可能な監査に適した
データ構造 ● Pub-Sub により JSON-DB、グラフ DB、ElasticSearch へ
のリアルタイムのレプリケーションが可能に
MapR 採用の理由 ● 統合プラットフォームは流れるデータ、保存されたデータ両
方を単一のクラスタ・セキュリティモデルで対応可能 ● 災害対策のための選択的で信頼性の高いグローバルレプ
リケーション
EU
利用例
®© 2015 MapR Technologies 36
アドテクにおけるグローバルな統合分析
… + アジア、欧州
ビジネス上の成果 ● 広告費とパフォーマンスのための新しいリアルタイム
顧客ダッシュボード ● グローバルな情報取得までの時間を短縮 - 時間から分単位に ● 災害復旧能力の追加
MapR Streams 採用の理由 ● 既存のログ転送方式と比較して、よりシンプルでより信頼
性の高いデータ/ETL パイプライン
MapR 採用の理由 ● 統合プラットフォームは流れるデータ、保存されたデータ
両方を単一のクラスタ・セキュリティモデルで対応可能 ● 収集、分析、災害対策を分散して行うための高信頼グ
ローバルレプリケーション
米国1
広告アプリケーション
本社
米国2
利用例
®© 2015 MapR Technologies 37
IoT データ転送と加工 利用例
ビジネス上の成果 ● 「モノ」からのデータを収集・加工することで新しい収益
の流れを創出 ● 利用者の近くに収集・加工基盤を配置することで低い
応答時間を実現
MapR Streams 採用の理由 ● IoT はイベントベースであるため、イベントスト
リーミングアーキテクチャが求められる
MapR 採用の理由 ● 統合プラットフォームは流れるデータ、保存された
データ両方を単一のクラスタ・セキュリティモデルで対応可能
● 収集、分析、災害対策を分散して行うための高信頼グローバルレプリケーション グローバルダッシュボード、アラート、加工
ローカルでの収集、フィルタリング、集計
®© 2015 MapR Technologies 38
Q & A
MapR Streams により業界初にして唯一の統合データプラットフォームを実現 1
2
3
統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ 継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現 グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化
詳細は www.mapr.com/streams にて