Datacore SANsymphony-V + Dell NVMe SSD - benchmark report

Copyright © 2015 DataCore Software Corp. – All Rights Reserved.


SANsymphony-V+DELL NVMe SSD検証レポートデータコア・ソフトウェア株式会社


昨年ついに NVMe 規格が標準化されました。そこで業界でいち早く市場投入した DELL 社から機材をお借りし、 NVMe PCIe SSD と当社の SDS(Software Defined Storage) 製品である SANsymphony-V を組み合わせて様々な検証を実施しました。

今回お借りしたサーバは、昨年末に発売された 13 世代 PowerEdge R630 です。 1U サーバながら 2.5” NVMe SSD を最大 4 台、 2.5” ドライブを計 10 台もしくは 1.8” ドライブを 24 台も収容することができます。小規模仮想環境や高性能小容量のシステムであれば、十分な性能と搭載容量を誇っています。

はじめに

2

Copyright © 2015 DataCore Software Corp. – All Rights Reserved. 3

製品紹介DELL PowerEdge R630

製品 URLhttp://www.dell.com/jp/business/p/poweredge-r630/pd

参考文献http://cloud.watch.impress.co.jp/docs/column/virtual/20150312_692328.html

（クラウド Watch 記事 http://cloud.watch.impress.co.jp/docs/column/virtual/20150312_692328.html より引用）

http://cloud.watch.impress.co.jp/docs/column/virtual/20150312_692328.html




製品紹介DataCoreSoftware SANsymphony-V

Hyper Converged ＋ Storage Virtualization による総合ストレージソリューション

1ハイパーコンバージドストレージ Virtual SAN Model は、サーバのローカルリ

ソースを仮想 SAN として共有する専用パッケージ

外部アレイなしに安価に共有ストレージを構成

あらゆるハイパーバイザー上で動作 PCIe Flash カードを最も簡単に安価に複数の

アプリケーションサーバから共有 Virtual SAN ノードあたり最大 1PB 、 64 台の

Virtual SAN ノードを統合管理 PCIe Flash 、 SSD 、 SAS 、 SATA 間で自動階

層化 Sync Mirroring による I/O 無停止、 Snapshot

や CDP によるデータ保護、 Remote Replication による災害対策など、ハイエンドなストレージ機能をローカルリソースで提供

2ストレージ仮想化単一のソフトウェアプラットフォームストレージの容量、 I/O 性能、コストを最適化ハードウェア（リソース）とソフトウェア

（管理・機能）の分離ハードウェアライフサイクルの影響を受けな

い、継続的なデータ運用メーカ、機種、ライフサイクルを超えたデー

タ管理 SPOF を排除した完全な二重化

Virtual SANHyper-converged Storage

ストレージ仮想化High-end

Arrays

MidrangeAppliances

CloudStorage

Flash Arrays

4x容量の使用効率を向上

90%ストレージ運用に関する時

間を減少

75%ストレージコストを削

減

10xパフォーマン

スを増加

100%ストレージ起

因のダウンタイ

ムを縮小


ハードウェア構成ホスト 1 ホスト 2

コンピュータ名 ssv1 ssv2

型番 DELL PowerEdge R630 DELL PowerEdge R630

CPU Intel Xeon E5-2695v3 x214c 2.3GHz

Intel Xeon E5-2630v3 x28c 2.4GHz

RAM 32GB 128GB

HDD 300GB SAS 15K x6 1.2TB SAS 10K x4

SSD NVMe MLC 400GB x2 NVMe MLC 400GB x2

FC HBA QLogic QLE2662 16Gb 2P QLogic QLE2662 16Gb 2P

ソフトウェア構成名称バージョンOS Microsoft Windows 2012 R2 Standard

Storage Software SANsymphony-V 10 PSP1 Update1※2015年 4月現在最新版


システム構成

管理コンソール

同期ミラー NVMeNVMe

① HBA1 ポートをミラーポートとして使用② もう 1 ポートの一方のホストをターゲット、他方をイニシエータとして使用③ ホスト 2 側でマウントし、ベンチマークソフトを実行

Dell PowerEdge R630Pool

Windows 2012R2 Windows 2012R2

Dell PowerEdge R630① ミラーポート

ターゲットイニシエータ

② 計測用


機能検証


NVMe SSD を挿入しドライバが正常に読み込まれると [Physical Disks] に表示されました。これを既存のディスクプールに追加します。

ホスト 2 も同様に追加できました。グラフの黄色は初期化中を表しています。

最終的にプール内の各ディスクがほぼ同じだけ使用されていることが分かります。

NVMe のホットアドとディスクプールへの追加

結果 DELL PowerEdge と組み合わせることで、サーバを停止することなく高可

用性を維持したまま、必要に応じて高性能な NVMe SSD を既存のディスクプールに追加できることが確認できました。

結論ビジネスの成長に合わせて安心して動的に容量と性能が向上させられます。


以下の 2 パターンを想定して動的に取り外せることを確認します。1.予防交換 :　 NVMe SSD に障害予兆を検知した時、再同期（ ※ RAID1 のリビルド相当）を発生させることなくディスクプールから削除できること。

2.障害交換とリカバリの局所化 :　 NVMe SSD に障害が発生した時、 OS 停止を伴わず交換できること、またディスクプール全体の再同期ではなく故障した箇所のログリカバリで復旧すること。

9

ＮＶＭｅのホットリムーブとパージディスク


交換時点で対象 SSD は正常に稼働しており、 SSD 上にはまだデータが入っています。この状態で交換対象の NVMe を右クリックし[Remove from Disk Pool] を選択します。

このドライブに書かれているデータが同一プール内の他のディスクに移動します。移動が完了すると該当ドライブがディスクプールから [Physical Disks] に移動します。

これで SSD を交換することができます。

10

ＮＶＭｅのホットリムーブとパージディスク予防交換


NVMe に障害が発生すると対象ディスクが無効になり、その結果該当プール全体も無効になります。この時点でホストからの I/O はパスフェイルオーバーし、もう一方のサーバが応答しています。

対象ディスクを右クリックし [Purge Disk] を選択します。

ディスクプール [Disk pool 2] はオンラインに戻りましたが、 Disk pool 2 から作成した全ての Virtual Disk の冗長性が失われている状態です。

この時点で該当ディスクプールに十分な空きがあれば、自動的にログリカバリ復旧が行われます。順にバーチャルディスクの冗長性が復旧していることが分かります。

この状態で新しい NVMe を挿入すると前項のホットアドの動作となり、再び無停止で拡張することができます。

ＮＶＭｅのホットリムーブとパージディスク障害交換とリカバリの局所化

復旧済

修復中

無効


結果 Remove from Disk Pool を使ってオンラインで NVMe

SSD の予防交換ができることが確認できました。 Purge Disk を使って故障した NVMe SSD を交換でき

ることが確認できました。

結論 DELL PowerEdge と組み合わせることで、高可用性を維持したまま、最小限のリスクと手間で高性能なNVMe SSD を交換することができます。

12

ＮＶＭｅのホットリムーブとパージディスク


パフォーマンス検証

13


エンタプライズで広く用いられる Iometer と、同一条件で比較しやすい CrystalDiskMark を使用して検証します。

計測条件► SANsymphony-V

• キャッシュサイズ　 20GB固定

► Iometer 1.1.0• Queue Depth:64• テストサイズ : 20GB(Sector: 40,960,000)• IO 数： 1• I/O size: Random 性能計測 4KB, Sequential 性能計測 : 64KB• I/O パターン :　 Read100%, Write100%, Read65%Write35%

► CrystalDiskMark 3.0.4• デフォルト設定

– 試行回数 : 5 回テストサイズ : 1000MB 実行テスト : ALL

性能検証


「 SANsymphony-V を挟むことで素のストレージより早くなります」、「Write のミラーリングによるオーバーヘッドは最小限です」と説明すると、お客様やパートナー様から本当なの？という意見を頂戴します。そこで以下のパターンで性能を比較することによりこの疑問に答えたいと思います。

以下の 3 パターンを比較して傾向を確認します。1. Direct: NVMe SSD を Windows でそのままマウン

トした場合2. Signle: NVMe SSD を SANsymphony-V でシングル

ディスクで構成した場合3. Mirror: NVMe SSD を SANsymphony-V でミラー

ディスクで構成した場合15

基本比較


Random Read100% Random Write100% Random Read65%Write35%

0

20000

40000

60000

80000

100000

120000

140000

直接接続シングル構成ミラー構成

IOP

S

16

基本比較Iometer　ランダム [IOPS]

大幅

UP!


Seq Read100% Seq Write100% Seq Read65%Write35%

0

500

1000

1500

2000

2500

3000


MB

/s

17

基本比較Iometer　シーケンシャル [MB/s]

大幅

UP!

FC16Gbの壁


Random Read 4KB (QD=1)

Random Write 4KB (QD=1)



0.0

20000.0

40000.0

60000.0

80000.0

100000.0

120000.0

140000.0


IOP

S

18

基本比較CrystalDiskMark　ランダム [IOPS]


Sequential Read

Sequential Write

Random Read 512KB

Random Write 512KB

0.000

200.000

400.000

600.000

800.000

1000.000

1200.000

1400.000

128MB 1GB 20GB

MB

/s

19

基本比較CrystalDiskMark　スループット[MB/s]


NVMe SSD

直接接続

20

基本比較CrystalDiskMark スクリーンショット

NVMe SSD

シングルディスク構成NVMe SSD

ミラーディスク構成


シーケンシャルリードのスループット値は FC の帯域に依存したため 16Gb/s で頭打ちしてしまい直接接続からは低下してしまいました。 FC ポート数を増やすことで改善の余地があることを示しています。 Iometer と CrystalDiskMark の結果を比べるとテストサイズが小さい場合には大きな差にはならないため、体感上は大きな違いは感じられないと思われます。

それ以外のケースではキャッシュ効果により性能が大きく向上しました。

ミラー化によるオーバーヘッドについては、リードではほぼ発生せず、ライトでは少しの低下傾向を確認しましたがキャッシュ効果もあるため場合によっては直接接続を上回る結果となりました。可用性という大きなメリットを考えれば許容範囲内だと言えます。

Iometer の複合ワークロードに目を向けると、高性能な NVMe SSD の足かせになることなく、更に大幅に高速化していることが分かります。

21

基本比較結果


テストサイズに対してキャッシュサイズを変化させることで、キャッシュの有効性を確認します。このテストでは CrystalDiskMark を使用します。

以下の 3 パターンを比較して傾向を確認します。1. 128MB: SANsymphony-V で設定できる最低値2. 1GB: テストサイズとほぼ同等のサイズ3. 20GB: 本環境での最大値

22

キャッシュサイズ比較






0

20000

40000

60000

80000

100000

120000

140000

160000

128MB 1GB 20GB

IOP

S

23

キャッシュサイズ比較CrystalDiskMark　ランダム [IOPS]


Sequential Read

Sequential Write

Random Read 512KB

Random Write 512KB

0

200

400

600

800

1000

1200

128MB 1GB 20GB

MB

/s

24

キャッシュサイズ比較CrystalDiskMark　スループット[MB/s]


キャッシュは特にリードにおいて優れた効果を発揮しています。これは元々高速なフラッシュストレージにおいても有効であることが確認できました。

ライトのキャッシュ効果については、高速な NVMe SSD ではあまり違いがでない結果となりました。スループットにおいても微増でした。

25

キャッシュサイズ比較結果


同期ミラー NVMeNVMe NVMe NVMe

NVMe SSD の枚数を増やして比較します。 FC接続からループバックインターフェイス接続に変更して性能を比較します。

イニシエーターポートが不要になるため、 NVMe SSD枚数と合わせてミラーポートを増やして比較します。

26

NVMe枚数、インターフェイス、ミラーポート比較

Dell PowerEdge R630Pool

Windows 2012R2 Windows 2012R2

Dell PowerEdge R630ミラーポート

ループバック

追加

追加






0.0

20000.0

40000.0

60000.0

80000.0

100000.0

120000.0

140000.0

160000.0

NVMe x1 NVMe x2NVMex2ミラーポートループバック

NVMe x2ミラーポート x2

ループバック , vDisk x2(stripe)

IOP

S

27

NVMe枚数、インターフェイス、ミラーポート比較　 CrystalDiskMark　ランダム [IOPS]


Sequential Read

Sequential Write

Random Read 512KB

Random Write 512KB

0.000

500.000

1000.000

1500.000

2000.000

2500.000

3000.000

NVMe x1 NVMe x2NVMe x2ミラーポートループバック

NVMe x2ミラーポート x2

ループバック , vDisk x2(stripe)

MB

/s

28

NVMe枚数、インターフェイス、ミラーポート比較　 CrystalDiskMark　スループット [MB/s]


NVMe SSD の枚数を増やすと高速な Tier1領域は増加しましたが、性能は比例して増えるわけではありませんでした。

NVMe SSD の枚数に応じてミラーポートを増やし、 Virtual Disk 数も増やすことでスループットが大きく向上しています。

FC インターフェイスからループバックインターフェイスに変更することにより、スループットが大きく向上しています。

ランダム QD=32 では逆に FC より低下しています。※ループバックインターフェイスの主な用途

► Hyper-V と組み合わせてハイパーコンバージドストレージを構成する時► ファイルサービスと組み合わせてユニファイドストレージとして使用する時► クラスタリングソフトウェアと組み合わせて RDB等の HA クラスタを構成する時

29

NVMe枚数、インターフェイス、ミラーポート比較　結果


優れたキャッシュアルゴリズムとアーキテクチャにより、高い可用性を提供しながら、 NVMe SSD の性能を最大限に引き出すことができる SDS 製品だと言えます。

高い I/O 性能を必要とする高密度な仮想環境や VDI 環境、データベース集約にも安心してお使い頂くことができます。

30

パフォーマンス検証結論


SANsymphony-V は、これから主流になるより高速な NVMe SSD の性能を最大限発揮できる SDS 製品であることが確認できました。

DELL PowerEdge と SANsymphony-V で高い性能、最大限の可用性、柔軟な拡張性を提供し、あらゆるビジネス要件に対応することができます。

31

まとめ


Iometer の条件を変更し、限られた時間内で最も大きな値が得られた結果を記載します。

► SANsymphony-V• ミラーディスク• キャッシュサイズ　 20GB固定• 2 Virtual Disk• 2 ミラーポート• ループバックインターフェイス

► Iometer• Queue Depth:64• テストサイズ : 20GB(Sector: 40,960,000)• IO 数： 16• I/O size: Random 性能計測 512B, Sequential 性能計測 : 1MB• I/O パターン :　 Read100%, Write100%

32

【付録】最大値


Random Read100%

Random Write100%

0

20000

40000

60000

80000

100000

120000

140000

160000

180000

200000

IOP

S

33

【付録】最大値ミラー構成でここまで出ました

Seq Read100%

Seq Write100%

0

500

1000

1500

2000

2500

3000

3500

4000

MB

/s

Iometer


【付録】 SDS によるストレージ仮想化

Software-Defined Storage (Storage Service)

Host仮想ディスクによる継続的なデータ管理仮想ディスクによるデータ管理（カプセル

化）ハードウェアを意識せず、データのロケー

ションを自由にハンドル（可搬性）ハードウェアライフサイクルの影響を受けな

い、継続的なデータ運用

SDSソフトウェアによるストレージサービスのスタック様々なストレージのための単一のソフトウェ

アプラットフォーム様々なストレージリソースをプール化し共有

（集約）各サーバの要件に沿った仮想ディスクを提供ストレージの容量、 I/O 性能、コストを最適化

Storage将来に渡って自由にストレージを選定メーカ、機種、ライフサイクルを超えたデー

タ管理容量、性能、コストで最適なリソースを選択最適なリソース上にデータを配置個々のハードウェアの制約を排除

CloudStorageServer内蔵

HDD/SSDDell

EqualLogicNVMeSSD/PCIeFlash

DellCompellent

バックアップ

BCP/DRI/O 無停止耐障害性データ

二重化キャッシュ性能管理リソース

管理

DellMD3


Facebookページhttps://www.facebook.com/DataCoreSoftwareJapan Twitter

https://twitter.com/DataCoreJPN Blog

http://sds-sansymphony-v.blogspot.jp/ Youtube

https://www.youtube.com/user/DataCoreJapanVideo

35

【付録】 SNS で情報発信中

https://www.facebook.com/DataCoreSoftwareJapan



https://twitter.com/DataCoreJPN

https://twitter.com/DataCoreJPN

http://sds-sansymphony-v.blogspot.jp/

http://sds-sansymphony-v.blogspot.jp/




お問い合わせ先データコア・ソフトウェア株式会社　

〒 101-0021 東京都千代田区外神田 6-14-7 AK starビル（旧：秋葉原トーセイビル）

5FTEL: 03-6695-7013 / FAX: 03-6695-7140e-mail: [email protected]

DataCore 、 DataCore ロゴ、 Powered by DataCore 、 ROI Street Smarts 、 SANsymphony 、 SANmelody 、 SANmaestro 、 UpTempo 、 SANcentral 、SANcollege および SANvantage は、 DataCore Software Corporation の商標または登録商標です。ここで参照されるその他の DataCore 製品、サービス名、およびロゴは、 DataCore Software Corporation の商標です。ここに記載されているその他すべての製品、サービス、および会社名は、各社の商標です。

36

mailto:[email protected]

Technology

Datacore SANsymphony-V + Dell NVMe SSD - benchmark report