Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
オープンソースBI Petnahoによるビッグデータ分析
株式会社KSKアナリティクス
KSKアナリティクスについて
© 2012, Pentaho and KSK Analytics. All Rights Reserved.
2
会社名 株式会社KSKアナリティクス (KSK Analytics Inc.)
ミッション “Data to Knowledge”(データを価値ある情報へ)
事業内容
1.アナリティクス・ソフトウェア事業:オープンソースを中心としたデータ分析・情報活用ソフトウェアの販売、サポート、ローカライズ、トレーニングの提供。 2.アナリティクス・ソリューション事業:HadoopやBIツールなど複数のオープンソースを組み合わせた分析ソリューションの提供
取扱OSBI製品
BI データウェアハウス データマイニング プランニング
沿革
2006年8月 大阪市にて会社設立 2007年10月 Pentaho社とのパートナー契約を締結、国内サービスを開始 2008年1月 東京オフィスを開設 2010年6月 Infobright社とのパートナー契約を締結、国内サービスを開始 2011年1月 Pentaho Global Partner Award 2011を受賞 2011年4月 Rapid-I社とのパートナー契約を締結、国内サービスを開始 2011年9月 Pentahoプラチナリセラーに昇格 2012年2月 Jedox社とのパートナー契約を締結、国内サービスを開始
Pentahoについて
• サブスクリプションモデルによるビジネスインテリジェンスのリーダー企業
• 多くの実績:
• 1,200以上の商用ユーザー
• 10,000以上のデプロイメント
• 185か国
• BI/BAのオープンソース・プロジェクトを数多く支援
3
INDUSTRY RECOGNITION OVER 160 PARTNERS GLOBALLY
© 2012, Pentaho and KSK Analytics. All Rights Reserved.
なぜPentaho?
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 4
イノベーション & 拡張性
カスタマー サービスの 優位性
トータル価値
8週間でマーケットへ 2週間でマーケットへ
4000万円以上の コスト削減
75% ソフトウェア費用削減
20,000 ソースの音楽ファイル
1000 店舗すべての 業務レポート
1か月以下のROI
会員500万人のl購買パターンを分析
500,000人の 患者の レコードの分析
“… トップクラスのプロフェッショナルサポート”
“ソフトウェアと同じくらい サポートが充実”
“… プロジェクトを通じて、良いパートナーだった”
“…ROI はすぐに出た.”
予算内の4か月で すべてを構築
1日でマーケティングダッシュボードを作成
デプロイメントのスピード
“サポートが大変良い(回答の内容やその早さ)”
http://www.pentaho.com/customers/56/cipal/
Pentaho主要機能
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 5
アナリスト / パワー ユーザー
データマイニング
情報ユーザー/ 経営陣 ダッシュボード
アナリスト/ ビジネス ユーザー
分析
ビジネス ユーザー レポート
開発者 / DB管理者 データ統合
アドバンスドな 予測分析
セルフサービス&インタラクティブ KPI、地図、チャート
セルフサービス&インタラクティブ 非定型OLAP分析
アドホックレポート 業務レポート
高性能なデータ統合, ビッグデータ, クレンジング、プレゼンテーション
ダッシュボード
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 6
ダッシュボード
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 7
ダッシュボード
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 8
ダッシュボード
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 9
レポート – インタラクティブ, 定型, 配信
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 10
レポート – テンプレート & スタイル
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 11
アナライザー(分析)
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 12
アナライザー(分析)
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 13
ビッグデータ?
© 2012, Pentaho and KSK Analytics. All Rights Reserved.
• Volume(量):TバイトやPバイトクラスのデータ、日次で発生
• Variety(多様性):構造化で加えて非構造化データ
• Velocity(速度):ログやセンサー情報など、増加し続ける(Bigger Data)
14
シナリオ1 シナリオ2 シナリオ3
シナリオ 1
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 15
業務データベース ダッシュボード
レポート
シナリオ 2
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 16
データマート / ウェアハウス
メタデータ
ダッシュボード
レポート
アナライザー
シナリオ 3
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 17
非構造化データ
構造化データ
ビッグデータ テクノロジー
and/or
ステージングエリア
Pentaho Data Integration
ソースデータ取得
必要な初期統合
Pentaho Data Integration
クレンジング
データ変換
Change Data Capture
データウェアハウス管理
PDI PDI メタデータ
ダッシュボード
レポート
アナライザー
データマート / ウェアハウス
さらなるバリエーション
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 18
アドホックデータ
アラート Eメール & 添付
18
非構造化データ
構造化データ
ビッグデータ テクノロジー
and/or
ステージングエリア
Pentaho Data Integration
ソースデータ取得
必要な初期統合
Pentaho Data Integration
クレンジング
データ変換
Change Data Capture
データウェアハウス管理
PDI PDI メタデータ
ダッシュボード
レポート
アナライザー
データマート / ウェアハウス
OLTP 構造をスタースキーマへ
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 19
業務データベース データウェアハウス/データマート
異なるフォーマット
© 2012, Pentaho and KSK Analytics. All Rights Reserved.
20
PDIコンポーネント
© 2012, Pentaho and KSK Analytics. All Rights Reserved.
• Spoon – モデリングのためのグラフィカルな環境
– 「データ変換」は、データの流れを定義するメタデータモデル、一連のデータ処理
– 「ジョブ」は、ワークフローのようにETLのリソースや実行を定義するモデル、複数のデータ変換を実行
• Pan – Spoonでモデリングしたデータ変換を実行するコマンドラインツール
• Kitchen – Spoonでモデリングしたジョブを実行するためのコマンドラインツール
• … そして、Kettle – このエンジンそのものの総称
KDE ETTL Environment
21
Spoon Interface – Designing a Transformation
Job Example
PDIコンポーネント
© 2012, Pentaho and KSK Analytics. All Rights Reserved.
• エンタープライズ版 データ統合サーバー – リモート実行とモニタリング
– 統合スケジューリング
– エンタープライズセキュリティ
– コンテンツのバージョン管理
– リモート分散クラスター実行
22
Pentaho主要機能
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 23
アナリスト / パワー ユーザー
データマイニング
情報ユーザー/ 経営陣 ダッシュボード
アナリスト/ ビジネス ユーザー
分析
ビジネス ユーザー レポート
開発者 / DB管理者 データ統合
アドバンスドな 予測分析
セルフサービス&インタラクティブ KPI、地図、チャート
セルフサービス&インタラクティブ 非定型OLAP分析
アドホックレポート 業務レポート
高性能なデータ統合, ビッグデータ, クレンジング、プレゼンテーション
Cloud Friendly!!
外部のデータソース取込
情報配信 分析プラットフォーム
サブスクリプションモデル
“伝統的な” データベースをサポート
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 24
データ統合/分析
etc etc etc
幅広いビッグデータプラットフォームをサポート
25 © 2012, Pentaho and KSK Analytics. All Rights Reserved.
Hadoop NoSQL Analytic Databases
amongst others
ビッグデータ・アーキテクチャー
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 26
データレイク
データマート
データ ソース
データウェアハウス アドホック
その他 情報
Pentaho for Hadoop
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 27
• 容易なデータ統合 – 外部データとHadoopデータ
• 技術的な障壁を下げる - MapReduceジョブを作成・管理するグラフィカルなデザイン環境
• 簡単に高性能なデータマートを生成 – インタラクティブな分析を可能に
• 総合的なBIソリューション – レポート、アドホック(非定型)クエリー、インタラクティブ分析でビッグデータに対応
Log
Files
Hadoop
Pentaho Data Integration Jobs
DBs and
other sources
Batch Reporting
and Ad Hoc Query
Interactive Analysis
Data Marts
Agile
BI
H D F S
Hadoopオプション
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 28
Java MapReduceジョブ or
Pigスクリプト
ビジュアルMapReduce plus
Jobオーケストラ
Mix & Match
もしスクリプトで作成していたら、PDIジョブから呼び出し可能。既存資産も有効活用。
統合マネジメント
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 29
単なる処理だけではない…
確認 監視 実行 通知
Case Study
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 30
Pentahoのメリット
• Eメールやソーシャルによるキャンペーンデータ、大量のWebログ クリックストリームのデータセットを分析
• 500万人のメンバーの購買パターンを理解する
• コードを書くことなくMapReduceジョブをデザインできる簡単なETL、技術的な障壁を低くする
なぜPentaho?
• Hive経由でのHadoopデータに対するアドホックなレポート
• Hadoop, データウェアハウス, OLTPデー
タを横断的にブレンドした情報を提供できるETLツール
ビジネス課題
クラウド環境で何十億レコードものデータを追跡し、分析したい
.
“Ideeliは、Pentahoを選択しました。なぜなら、Hadoop, Hbase, MapReduceの機能が
Pentahoデータ統合にビルトインで入っていたからです。これにより私たちのビジネスの事実を把握することが可能になりました。.”
ポール・ザニス, データサービスディレクター
Case Study
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 31
Pentahoのメリット
• Hadoop統合, データ統合, レポート, ダッシュボード, 非定型分析を含む統合的なBIプラットフォームを構築
• KSK Analyticsによる24週間のPentaho-Hadoop構築サービス
• さらにInfobrightとの組み合わせにより, 本分析サービスは大量データ
を非定型分析で使用できる、複数年度にわたる詳細な顧客の利用情報を多面的に見ることが可能
Why Pentaho
• フルスイートのBIプラットフォーム
• Hadoopへの容易なアクセスにより、初めてのHadoopプロジェクトの障壁が下げられた
• HadoopやInfobrightを含めた分析基盤構築のプロフェッショナルサポート
ビジネス課題
他社との差別化のために、より長期的、多面的な顧客データの分析を行いたい。しかし、従来のデータベースでは顧客の利用状況やシステム運用状況についてのログデータが利用できなかった
某大手Webマーケティング企業様
データマート データウェアハウス
Webログデータ
PDI PDI
データレイク
ビジネスインテリジェンス
レポート
OLAP
ダッシュボード
アドホック
Case Study
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 32
Pentahoのメリット
• 大量データに対する簡単使用のビジュアライズとデータ分析
• 3倍以上に改善されたレポート発行速度と表現の柔軟性
• ビジネス部門だけでのデータアクセス、データ分析、ビジュアライズによりIT部門の負荷が軽減
なぜPentaho?
• Hadoop とHiveからのデータ取得、分析
• 分析に詳しいプロフェッショナルサポート
• ビジネス部門のためのセルフサービス分析&レポート
• コストパフォーマンス
ビジネス課題
個別の製品のレポート機能を組み合わせるレガシーシステムを使用してきたが、その結果、レポーティングが非効率で時間のかかるものになっていた
“Pentahoは私たちのビッグデータ環境に完全にフィットする製品です”
イブラハム ハッセイ, データウェアハウス ディレクター, TravelTainment
Case Study
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 33
Pentahoのメリット
• 大量のログデータに対する容易なビジュアライズ
• ビジネス部門の担当者によるセルフサービスのレポート、アドホックなピボット、集計、グルーピング
• レポートのスケジューリング、定期配信
Why Pentaho
• トレーニングの要らないドラッグ&ドロップの操作性(アナライザー)
• Hadoopを含むさまざまなデータソースのデータ統合
• コストパフォーマンス
ビジネス課題
各種マーケティング施策を立案するために必要な事実データをビジネス部門のリクエストに応じて提供。しかし個別に対応するために時間とコストがかかっていた。
某大手オンラインゲーム会社様
Pentaho主要機能
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 34
アナリスト / パワー ユーザー
データマイニング
情報ユーザー/ 経営陣 ダッシュボード
アナリスト/ ビジネス ユーザー
分析
ビジネス ユーザー レポート
開発者 / DB管理者 データ統合
アドバンスドな 予測分析
セルフサービス&インタラクティブ KPI、地図、チャート
セルフサービス&インタラクティブ 非定型OLAP分析
アドホックレポート 業務レポート
高性能なデータ統合, ビッグデータ, クレンジング、プレゼンテーション
コンポーネントとして独立
統合
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 35
Pentaho
BI Server 他の
アプリケーション
Pentaho
カスタム拡張 プログラム
独自のアプリケーション
Pentaho
コンポーネント
Thank You
© 2012, Pentaho and KSK Analytics. All Rights Reserved. 36
製品に関するお問い合わせは、下記までお気軽にご連絡ください。
株式会社 KSKアナリティクス セールス&マーケティングチーム www.ksk-anl.com [email protected]
東京オフィス: 東京都港区港南2-15-1 品川インターシティA棟 28F TEL:03-6717-4538 FAX:03-6869-0148
本社オフィス: 大阪市中央区本町1-1-3 本町橋西ビル2F TEL:06-4705-7607 FAX:06-4705-7602
Pentaho日本語サイト
Pentahoについての、最新情報やお問合せ、 体験版ダウンロードなどは以下のサイトを ご覧ください。
www.pentaho-partner.jp
http://jedox-partner.jp/http://jedox-partner.jp/http://jedox-partner.jp/