AGENDA:
© Copyright 2015 Cloudian KK. All rights reserved. P-2
CLOUDIAN の会社紹介
データの氾濫と企業が抱える課題
ストレージに課題を解決するオブジェクトストレージ
CLOUDIAN HYPERSTORE の特長
ビッグデータからスマートデータへ
CLOUDIAN HYPERSTORE のメリット
ユースケースおよび事例
CLOUDIAN プロフィール
© Copyright 2015 Cloudian KK. All rights reserved. P-3
主な拠点 東京:クラウディアン株式会社, シリコンバレー:Cloudian Inc.
創 業 2001年 7月(通信事業者向けメールシステム クラウドストレージ製品)
事 業ビッグデータ対応のクラウドストレージ製品「クラウディアン・ハイパーストア
(CLOUDIAN HyperStore®)」の開発および販売
豊富なBIG DATA経験
• EMC, NetApp, SGI, Dell, Oracle, Inktomi, Intel, Vodafone, NTT などの経験者
によって構成
• NTT東日本, NTTコミュニケーションズ, ニフティ, Vodafone, ドコモ, Nextel 等
にキャリアグレードの大規模システムを提供
投 資インテルキャピタル、産業革新機構、フィデリティー・グロースパートナーズ、
ゴールドマンサックスなど
URL http://www.cloudian.jp(日本語), http://www.cloudian.com(英語)
製品のご紹介
© Copyright 2015 Cloudian KK. All rights reserved. P-4
Hardware
Preconfigured Commodity Server Choose Your Server…
Turn Key : Hardware, HyperStoreSoftware and Solutions (option)
are all in one packaged
Software
Install on supportedRedHat and CentOS
パートナー展開
• チャネルパートナー様から製品およびサポートを提供
• 様々なアプリケーション、ソリューションおよびハードウェアベンダーと提携
© Copyright 2015 Cloudian KK. All rights reserved. P-5
チャネル
パートナー
アライアンス
パートナー
The Data Deluge:データの氾濫
© Copyright 2015 Cloudian KK. All rights reserved. P-7
0
20
40
60
80
100
120
140
2011 2012 2013 2014 2015 2016 2017
Unstractured CAGR 43%
Structured CAGR 23%
世界エンタープライズストレージ出荷容量
非構造化データが高成長
(Exabyte)
Source: IDC Japan
Source: IDC Digital Universe 2014
地球上で一年間に新たに増えるデータ量
2013年 4.4 ZB(4.4兆GB)
2020年 44 ZB(44兆GB)
20134.4 ZETTABYTES
202044 ZETTABYTESX 10
• 爆発的な勢いで増え続けるデータ Unstoppable Grows
• そのうち 80% 以上が非構造化データとよばれる多種多様なデータ
その一方で企業が陥っている課題は…
© Copyright 2015 Cloudian KK. All rights reserved. P-8
「ストレージの需要は右肩上がりだが、予算は同様には伸びない。」
「急にデータが増えたため、ストレージの増設が追いつかず、容量不足になってしまった。」
「予算取りや増設計画で苦労しないよう、期間や寿命に適したストレージの予測と常に取り組んでいる。」
「データは無秩序に増える一方だ。テラバイトのストレージを各部門へ大量に配った。」
「バックアップやDR対策は永続的な問題だ。心配はしているがいつも後回しになってしまっている。」
「『孤島』のようにバラバラに存在する様々なストレージの管理が課題だ。」
「弊社ではすべて保存する為、データのアーカイブは大変だ。」
「最大の問題はストレージの移行だ。データ移行には稼働を止めなくてはならない。」
非構造化データは企業内でサイロ状に増加中
• 定型・構造化データを扱う業務系システムと異なり、ユーザ部門の
データストレージには、非構造化データが急増しているのでは?
© Copyright 2015 Cloudian KK. All rights reserved. P-9
「事業部門のストレージ調達は、事業部門に任せています」(複数の企業IT担当者)
「事業部門からストレージ容量を制限するなと言われています」(製造業IT担当者)
「情報システム部門では既存システムの運用/保守に多くの時間が割かれている」(Japan IT Market 2015 TOP10 Predictions J15990181,December, 2014)
業務系 情報系
ユーザ部門
研究開発
情報システム部門
設計製造 営 業運 用 マーケ 管 理
•ファイル•メール•アクセスログ
• 実験データ
• 顧客情報
• 電子書類
• DBデータ •設計図面• 製造品質
ログ
•モニタ• 運用監視
ログ
•画像•動画•写真•SNSログ
個人契約クラウドを業務利用しデータを外部保存(BYOC)
• IT部門の管理が及ばない個人契約クラウド(Bring Your Own
Cloud)を業務で使用している社員が増えているのでは?
© Copyright 2015 Cloudian KK. All rights reserved. P-10
IT部門(CIO)
「社内調査をしたら、300人以上が個人契約クラウドを使い開発業務をしていました。実際にはもっといると思います」(米国大手ソフトウェア開発企業CIO)
個人契約クラウド
パブリッククラウドに全てのデータは預けられない
• 柔軟性が高く、経済的なパブリッククラウドの活用を始めたものの、
「外部には預けられない」データがあり、自社内システムと重複管
理をしているのでは?
© Copyright 2015 Cloudian KK. All rights reserved. P-11
「全てのデータをクラウドには預けません」(多数IT担当者)
「クラウドの利用は禁止されています」(官公庁関係者)
Public Cloud
複数拠点におけるデータ保護と管理の手間や費用が重荷
• 災害に備えた地域冗長の必要性は認識しているものの、複数拠点に
データ保護するコストが重荷となり、プロジェクトの優先度が下
がっているのでは?
© Copyright 2015 Cloudian KK. All rights reserved. P-12
「日本だけではなく、海外拠点も含
めて3重にバックアップする
プロジェクトの最終承認に時間がか
かっています」(機器製造IT担当者)
Backup / DR 対策
長期保管データは、実際には使わない、使えない
• テープ等の低コストの記録媒体にデータを長期保存はするものの、実際には「死蔵データ」になっているのでは?
© Copyright 2015 Cloudian KK. All rights reserved. P-13
「過去データはテープに記録してい
ます。使うことではなく、保管する
ことが目的です」(メディアIT担当者)
「過去の記録を所轄官庁に提出する
必要がありましたが、倉庫に行って、
テープからデータを読み出すのは大
変でした」(外資系金融IT担当者)
「テープが劣化するので3年毎に書き
換えています」(製造業IT担当者)
「商品売上の季節変動をビッグ
データ分析しますが、過去10年間
のデータをテープから読み出すだ
けで、かなりの時間を使いまし
た」(コンサルティング担当者)
2極化する「次世代ストレージ」
• 次世代ストレージのトレンドは、「高速」又は「大容量」に2極化
© Copyright 2015 Cloudian KK. All rights reserved. P-15
15
大容量 クール/コールドデータ
オブジェクトベース
スケールアウト (数ペタバイト)
ソフトウェア中心
クラウド互換
高速 “ホット” データ
フラッシュ活用
IOPS 中心
VM/VDI最適化
多種多様なアプローチ
ブロック&ファイル
オブジェクト
オブジェクトストレージのポジション
© Copyright 2015 Cloudian KK. All rights reserved. P-16
フラッシュ
SSD
SAN
NAS
オブジェクト
ストレージ
スケールアウト
ペタバイト拡張性 / ビッグデータスケールアップ
テラバイト
低価格ビット単価高 価
COOL, COLD遅延時間HOT
大 量同時トランザクション数限定的
遠 隔アクセスローカル
対 応堅牢性 / 災害対策限定的
テープ
光ディスク(オフライン)
オブジェクトストレージ:Software Defined 仮想ストレージ
© Copyright 2015 Cloudian KK. All rights reserved. P-17
LAN
汎用サーバー+内蔵ディスク
データセンター(東京)
データセンター(大阪)
データセンター(九州)
WANインターネット
モバイル
クライアント
クライアント
• 分散するサーバーストレージを1つの巨大なストレージに見せる仮想化ストレージ技術
• コモディティー サーバーを使用
オブジェクトストレージ
• フラットなオブジェクト構造
• ネットワーク上の移動や複製が容易 分散型ストレージ
• 階層型ファイルシステムが抱える複雑さや拡張性の問題は存在しない
オブジェクト構造
http://s3.cloudian.com/abc123def4...
オブジェクト構造(CLOUDIAN HS)
VolumeA/MyFolder/Favorite/Music VolumeB/John/Music
ファイル構造(従来)
(HTTP形式のオブジェクトID)
• オブジェクトの移動が自由で柔軟
• オブジェクト毎にメタデータを付与
• オブジェクト毎にアクセスの許可/非許可を設定
• オブジェクト数を無制限に拡張(ディレクトリサイズに制限を受けない)
• ユーザー間でオブジェクトの共有が容易
オブジェクト構造の特長
© Copyright 2015 Cloudian KK. All rights reserved. P-18
クラウドストレージ
• インターネットとの親和性が高いプロトコル(HTTP REST)を使用 遠
隔からストレージへのAccessibilityに優れている
• PCやスマートデバイスなどのモバイル対応が可能
• IoT/M2Mにも最適
リモートアクセス
InternetFixed / Mobile
クラウドストレージ
HTTP
REST API
従来のブロック/ファイルベースのプロトコルは、遅延が発生しないデータセンター内での利用に
適しているが、地理的に分散した遅延が予測不能なクラウドには向いていない
© Copyright 2015 Cloudian KK. All rights reserved. P-19
BIG DATA
• 経済的なIAサーバーによるスケールアウト 何台ものIAサーバーを仮想的に一つの巨大なストレージとして扱うことが可能
• 柔軟な拡張性 最低2台(スモールスタート)から数百台規模(Peta級のBIG DATA)へ拡張が可能
• 無停止での増設が可能
大規模・スケールアウト
ハードウェアを追加することによって無停止で簡単にクラスタサイズを拡張
論理リング
Scale Up
従来の拡張法
Scale Out
© Copyright 2015 Cloudian KK. All rights reserved. P-20
広域・分散ストレージ(DR対策)
• オブジェクトの複製を複数ノードに保存 冗長性と高可用性を実現
• いずれかのノードが故障してもサービス継続に影響なし
• 複製数は任意に設定可能
• 複製オブジェクトの地域分散
• ローカルセンターの被災時にリモートからサービス提供
リモート(遠隔地)データセンター
Remote Replica
ローカル(近傍)データセンターLocal Replicas
書き込み要求
書き込み完了通知
リモートデータセンターへのバックグラウンド書き込み
読み出し要求
読み出しオブジェクト
Object
CoordinatorNode
(仮想リング上の
任意のサーバー)
Storage Nodes
※3複製の例(複製数は設定可能)
書込完了
①
②
③①②③ 任意のタイミングで書き込み完了通知を返信することが設定可能
Network
Consistency Level
の設定が可能
Client書込要求
複製
複製
複製
© Copyright 2015 Cloudian KK. All rights reserved. P-21
Erasure Coding(イレージャーコーディング)
• ストレージ効率の大幅改善 2倍の容量 ※3複製との比較
• 2台のサーバーが故障してもデータの保障が可能
• パフォーマンスとのトレードオフ アーカイブに最適
© Copyright 2015 Cloudian KK. All rights reserved. P-22
オーバーヘッドが 1/4
Parity
1
Parity
2
Replication 方式
3複製を3台のサーバーに配置
※3複製の場合
Erasure Coding 方式
4分割+2パリティーを6台のサーバーに配置
※3複製の場合
バケット単位で選択が可能
S3 互換・ハイブリッドクラウドストレージ
• アプリケーションやツールをAWSと相互利用 クラウドの使い分け
• データ種別に応じた適正なクラウドへの保存
Public
Private
ManagedPrivate
s3fs
• パブリッククラウドの特長
• 簡単に容量を拡大・縮小
• 運用・保守のアウトソーシング
• 必要な容量だけ利用し完全な従量制課金
• プライベートクラウドの特長
• 自社(グループ)内でデータを管理
• データの所在が明確
• セキュリティーの確保が容易
クラウド間インターフェースの統一
S3 API
S3 APIS3 API
S3 API
Hybrid
Cloud
© Copyright 2015 Cloudian KK. All rights reserved. P-23
Hybrid Cloud Auto-Tiering 機能
• 企業内の CLOUDIAN HS から AWS S3/Glacier 等へ自動階層化
利用例:
1. 使用頻度または 秘匿性・機密性が 高いデータ オンプレミス Cloudian
2. バースト時(一時的に容量が足りなくなった場合) パブリック AWS S3 / Cloudian
3. 使用頻度が低い長期保存データ AWS Glacier
オンプレミス
S3
GlacierS3
S3
S3 Tiering
GlacierTiering
CloudianTiering
No Tiering(Erasure Cding) S3
S3
バケット単位で設定
S3 Client / Application
March 10, 2015 © Copyright 2010-2014 Cloudian KK. All rights reserved. P24© Copyright 2015 Cloudian KK. All rights reserved. P-24
No Tiering(Replication)
© Copyright 2015 Cloudian KK. All rights reserved. P-25
Object Object
NOSQL ReplicationOn-MemoryNOSQL
Mgmt Console
Web GUI
S3 REST API Mgmt API
S3 Client / Application
Object
ErasureCoding
S3 Server
CMC
File System
CLOUDIANHyperStore
Auth UserMgmt
Reports DataExplorer
Admin Server
Auth ReportsAccount & QoS
Browser
Auth, Report,Account & QOS
オブジェクトに最適なストレー
ジ空間を選択することが可能
管理コンソール(Web GUI)
から豊富な管理機能を利用
CLO
UD
IA
N H
yp
erS
tore
Packag
e SystemMgmt
CLOUDIAN HyperStore のアーキテクチャ
S3
Glacier
HyperStore Manager
ストレージの課題を解決するために
© Copyright 2015 Cloudian KK. All rights reserved. P-26
#1
ハイブリッドクラウド
プライベートクラウド
パブリッククラウド
#3
スマートデータ
BIG DATA ストレージ
分 析
#2
コスト効率
ソフトウェアデファインド
コモディティーサーバー
CLOUDIAN HyperStore
スマートデータストレージの概念
© Copyright 2015 Cloudian KK. All rights reserved. P-28
DATA STORAGE = problem SMART DATA STORAGE = solution
Active
Timely Insight
Meaning
Actionable
Business Value
DATA
Passive
Delayed Analytics
Static Data
OBJECT STORE
HYPERSTORE ANALYTICS
INFORMATION
BIG DATA SMART DATA
スマートデータ分析の全体像
© Copyright 2015 Cloudian KK. All rights reserved. P-29
ソーシャルメディア
INTERNET OF THINGS
<メリット>
• 効率的なバルクデータ分析
• 素早く分析結果の出力しビジネスに反映
• またより多くの分析が可能に
• データのバックアップシステムが不要
• 保存データのDR対策が可能
• データの増加に伴ってスケールアウト(ノードの追加でペタバイト級に対応)
• スマートデータをサブシステム等に転送可能スマートデータストレージ
大規模データ分析基盤
非構造化データの蓄積
Big Data Analytics
各種分析
O2OM2M分析結果
素早く、効率的にビジネスに反映デバイストラッキング
ログの収集
消費者の行動情報(Events, GPS, WiFi, Beacon)
データを賢く(スマート)に活用
• メタデータによる対象分析データの絞り込み(フィルタリング)によって、分析システムのリソースおよび時間を大幅に節約
© Copyright 2015 Cloudian KK. All rights reserved. P-30
大規模データ分析基盤
Big Data Analytics
各種分析BLOB
(Object)
Metadata
オブジェクトストレージのデータ構造
メタデータ+BLOB
1対1
システム領域
ユーザ領域
メタデータのユーザ領域に分析対象にしたいデータを絞り込むための、任意情報を予め付加することが可能
・データ取得期間
・データ種別
・ロケーション
などの任意情報
分析結果
Smart Data – Hortonworks Certified
© Copyright 2015 Cloudian KK. All rights reserved. P-31
AP
PL
ICA
TIO
NS
DA
TA
S
YS
TE
MS
OU
RC
ES
OLTP, ERP,CRM
Systems
Documents, Emails
Web Logs,Click
Streams
Social Networks
Machine Generated
SensorData
Geolocation Data
Go
vern
an
ce
& In
teg
rati
on
Secu
rity
Op
era
tio
ns
Data Access
Data Management
StatisticalAnalysis
BI / Reporting,Ad Hoc Analysis
Interactive Web& Mobile
Applications
EnterpriseApplications
Enterprise Hybrid Cloud
Storage for Big Data
Reference : http://hortonworks.com/partner/cloudian/
応用例:スマートサポート
© Copyright 2015 Cloudian KK. All rights reserved. P-32
Cloudian Support
HyperStoreAppliances
HadoopCluster
HyperStoreAppliances
S3n://bucket/…
Smart SupportAnalytics
CUSTOMER CLOUDIAN
Telemetric Data
Smart Support
• 暗号化
• アクセス・コントロール
• 利用容量/流量 制限
• レポート/アラート機能
• ユーザ・グループ別課金
• 各種監視・管理機能
• CMC/SNMP & JMX
• オンプレミス/オフプレミス
• シングル/マルチリージョン
• オープン S3 エコシステム
• S3/Glacier 自動階層化
• マルチテナント
• コモディティ・サーバー
• スケールアウト
• 安全性・堅牢性
• マルチストレージ方式
• レプリケーション
• イレージャーコーディング
• データ圧縮
スマートデータストレージのコンセプト
© Copyright 2015 Cloudian KK. All rights reserved. P-33
at WebscaleEconomics
Your Data
with HybridFlexibility
Your Cloud
with EnterpriseControl
Your Way
HyperStore: Software Defined Storage
代表的なユースケース
© Copyright 2015 Cloudian KK. All rights reserved. P-36
バックアップDR/BCP
アーカイブ(eメール等)
ファイル検索共有・同期
クラウド統合型ストレージ
ゲートウェイ
S3
S3 S3
S3
オンラインストレージ
STaaS
クラウドコンピューティングの2次ストレージ
Public Cloud
Private Cloud
Hybrid Cloud
with S3 Ecosystem
Cloud Computing
DC1 DC2
BIG DTA分析
エンタープライズ向けバックアップ / アーカイブ
© Copyright 2015 Cloudian KK. All rights reserved. P-37
バックアップ アーカイブ
データベースメインフレームIBM iビッグデータ
ファイル/EメールVMwareNASROBO
バックアップ利用例
ファイル/Eメール
ビッグデータ
仮想マシーン
アーカイブ利用例
コンテンツ管理
ストレージ階層化
データベース
コンテンツ管理ファイルシェア/サーバー
仮想マシーンデータベース 企業向けアプリケーションデータソース Eメールサーバー
顧客の事例:バックアップ用プライベートクラウド・ストレージ
• 顧 客
• 大手メディア・コンテンツ企業
• 課 題
• 最大30PBのメディア・コンテンツをバックアップしたい
• データの価値や性能により、パブリッククラウドとプライベートクラウドを使い分けられるハイブリッドストアが欲しい
• ソリューション
• Cloudian HyperStoreにより、バックアップ用に経済的なプライベートストレージを構築
• パブリッククラウドとティアリング
• 社内のデザイナーやクリエーター向けにプライベートクラウドでのコンピューティングサービスやクラウドストレージをHyperStoreで提供
© Copyright 2015 Cloudian KK. All rights reserved. P-38
※ 提案中の案件
S3アプリケーション
Glacier Amazon S3
パブリッククラウド
ハイブリッドクラウド
プライベートクラウド
バックアップサービス
クラウドサービス
顧客の事例:安全なリモートアクセスとバックアップ
• 顧 客
• スイスの化学薬品会社
• 課 題
• 多数のコンサルタントの端末からファイルへ遠隔アクセスさせる
• DR対策として、複数のデータセンターの仮想サーバーへのバックアップが必要
• ソリューション
• 自社のDCとSwisscomのDCにCloudian HyperStoreを展開
• HyperStoreによるファイル同期や、アプリケーション共有を実現
• 「Veeam」(Vmwareバックアップ・アプリケーション)をHyperStoreと共に実装
• 未使用だったサーバーを有効活用
© Copyright 2015 Cloudian KK. All rights reserved. P-39
顧客の事例:20箇所のDCにまたがるプライベートクラウド
• 顧 客
• コンテンツ配信のグローバル企業
• 課 題
• 世界20箇所のデータセンターに数十PBのデータを持つ
• 2年でデータ量が倍増し、既存のストレージシステムを費用対効果をもたせて置き換えたい
• ソリューション
• Cloudian HyperStoreによるスケールアウト型オブジェクトストレージを展開することで、毎回ストレージを置換えなくて済む
• 20箇所のDCにデータを分散し、各地のデータ量を均等化できる
• S3準拠 – プライベートクラウドとパブリッククラウドの両方で、同じアプリケーションを利用できる
© Copyright 2015 Cloudian KK. All rights reserved. P-40
※ 提案中の案件
プライベートクラウドで結ぶ世界各地のデータセンター
顧客の事例:複数のデータセンター間の同期
• 顧 客
• グローバルなソフトウェアベンダー
• シリコンバレーとインドでソフトウェアを開発
• 課 題
• 地域間でデータを同期したい
• セルフサービス式のストレージを備えた、拡張性や効率性が高いプラットフォームを提供したい
• ソリューション
• 両データセンターにCloudianHyperStoreを展開(単一のジオクラスター)
• 異なる一貫性ポリシーを設定した複数の仮想ストレージ・プールを提供
• 拠点間の協働作業向けに、マルチ・データセンター間の複製を活用
© Copyright 2015 Cloudian KK. All rights reserved. P-41
協働作業グループ
広域共通ストレージ基盤による統合
• あらゆるデータに効率よく対応しなければならない時代
• 統合バックアップ・DR は現状の延長線では対応できない
• Cloudian で「広域共通ストレージ基盤」を構築し、全てを同時解決
仮想サーバ
VDI BYOD監視
カメラ拠点統合
BI/DWH
HPC/メディア
ビッグデータ
オンラインストレージ
March 10, 2015 © Copyright 2010-2014 Cloudian KK. All rights reserved. P42© Copyright 2015 Cloudian KK. All rights reserved. P-42
垂直型アプリケーション/クライアント 群
BIG DATA 分析CEP, Hadoop 等
広域共通プラットフォーム/アプリケーション
SAN / NAS
ストレージゲートウェイキャッシュ・暗号化・重複排除・圧縮
エントリーNAS
Windows仮想 NAS
同時解決
クラウディアンで構築する広域共通ストレージ基盤
• 統 合
• バックアップ
• DR / BCP
• アーカイブ
• ハイブリッド化
Multi-Region / Multi-DC
CIFS統合
参考情報
ホームページ(日) http://cloudian.jp/
ホームページ(英) http://www.cloudian.com/
ブログ: http://www.cloudian-blog.com/
Facebook: https://www.facebook.com/cloudian.cloudstorage.S3
Twitter: https://twitter.com/Cloudian_KK
Slideshare http://www.slideshare.net/geminimobile
CLOUDIAN HyperStoreに関するお問い合わせ
電話: 03-6418-6466
メール: [email protected]