IN&OUT AG

VMware vSAN Performance

Andreas Zallmann CEO, In&Out AG

Version: 1.00

Datum: 22.11.2018

Klassifikation: Öffentlich

In&Out AG IT Consulting & Engineering Seestrasse 353, CH-8038 Zürich

Phone +41 44 485 60 60

info@inout.ch, www.inout.ch

In&Out AG – VMware vSAN Perfomance Whitepaper

Version 1.00 – 22.11.2018 Seite 2 von 5

Vorbemerkung

Das vorliegende Whitepaper wurde unabhängig und neutral von In&Out erstellt. Die Testumgebung wurde von der Firma ABC Systems AG bereitgestellt und die Benchmarks von ihr begleitet.

Einleitung

In&Out begleitet ihre Kunden seit Jahren in den Berei-chen IT Infrastruktur und Datacenter mit besonderem Fokus auf Storage. Aktuell verschiebt sich dabei der Fo-kus von zentralen SAN-basierten Storagesystemen zu-nehmend in Richtung Hyperconverged Infrastucture (HCI) und Software Defined Storage (SDS). Beiden An-sätzen ist gemein, dass Speicher und Compute wieder in einem Chassis zusammenrücken. Dabei kommt sehr kostengünstige Standard x86 Hardware zum Einsatz und die zusätzlichen Storagefunktionen werden soft-ware-definiert erbracht. Der Skalierung der Systeme er-folgt dabei über sogenannte Building Blocks, bestehend aus Compute und Storagekomponenten, die über ein schnelles Netzwerk miteinander verbunden sind und ge-meinsam von einer Managementsoftware gesteuert werden.

VMware, seit 20 Jahren Marktführer im Virtualisierungs-bereich, hat mit vSAN eine vollständig im ESXi Kernel integrierte softwaredefinierte Lösung im Angebot, die genau wie HA (High Availability) oder DRS (Distributed Resource Scheduler) mit wenigen Mausklicks einfach in einem Cluster aktiviert werden kann. VMware vSAN ist separat kostenpflichtig und wird analog zur Lizenzierung von vSphere entweder pro CPU oder als ROBO (Re-mote Office Branch Office) Lizenz in Paketen zu 25 VMs lizenziert. Darüber hinaus ist vSAN in Bundles wie VCF (VMware Cloud Foundation) oder HCI-Kits erhältlich. Reelle Lizenzpreise liegen bei ca. CHF 4'000 (Enter-prise Edition) pro CPU Sockel.

Abbildung 1 – VMware vSAN Architektur (Quelle: VMware)

Die von vSAN unterstützte Hardware wird von VMware zertifiziert («vSAN Ready Nodes»).

Gartner hat VMware vSAN als einzige SDS Lösung 2018 in den Leader Quadranten des Magic Quadrant for Hyperconverged Infrastructure aufgenommen.

Abbildung 2 – Gartner Magic Quadrant

for Hyperconverged Infrastucture (2018)

Zielsetzung

In&Out AG verfügt über ausgewiesene jahrelange Er-fahrung in Storage Performance Benchmarks und hat das Benchmark Tool IOgen™ entwickelt.

Das vorliegende Whitepaper fokussiert auf die mit vSAN erreichbare Storageperformance im Vergleich zu aktuel-len Highend-Storagelösungen in Relation zu den dafür zu veranschlagenden Kosten.

Management Summary

vSAN erreicht bereits mit nur zwei physischen Hosts mit Hochleistungsdisks (NVMe SSD) beeindruckende Leis-tungskennzahlen.

Random Reads und Writes von 8 KB Blöcken werden mit einer Latenz von 0.3ms ausgeführt, grosse Blöcke von 1 MB werden mit 1.4ms Latenz gelesen und mit 1.9ms Latenz geschrieben.

Die Gesamtleistung dieser relativ kleinen Infrastruktur mit 2 Server und 16 NVMe Disks beträgt bereits 160'000 Random Reads und 70'000 Random Writes (gespie-gelt!). Sequentiell können 7 GB/s gelesen und mehr als 2 GB/s geschrieben werden.

Die Kosten für die gesamte Infrastruktur betragen 40’000 CHF. Der inkludierte reine Storageanteil der vSp-here Server inklusive vSAN Lizenz beträgt ca. 28'000 CHF. Ein Storagesystem vergleichbarer Leistungs-klasse ist Faktor 3-10 teurer.

In&Out AG – VMware vSAN Perfomance Whitepaper

Version 1.00 – 22.11.2018 Seite 3 von 5

Konfiguration

Die eingesetzte Hardware bestand aus zwei ESX Hosts Supermicro vom Typ SYS-1029UZ-TN20R25M und ei-nem externen Witness Server. Auf den zwei Servern wurden vier VMs implementiert.

Abbildung 3 – Server Supermicro SYD-1029UZ-TN20R25M

Komponente Pro Server Server Supermicro SYS-1029UZ-TN20R25M CPU 2 Sockets, Intel Silver 4112 @ 2.6 Ghz

4 Cores pro Socket, 8 Cores pro Server Intel Multithreading, 16 logische CPUs

RAM 128 GB Disks 8 x NVMe SSD Intel DC P4501 2 TB Netzwerk 2 x 10 Gbit Mellanox VMs 2 VMs pro Server, 4 insgesamt

jeweils 4 vCPUs pro VM jeweils 8 GB RAM pro VM

vSphere / vSAN 6.7 / 6.7 Disk Konfiguration 4 Diskgruppen pro Server

mit je 1 Cache und 1 Capacity Disk FTT=1 (Failures to tolerate) Stripes=4 (über alle Diskgruppen) RAID-1 (gespiegelt)

LUN Konfiguration Pro VM 4 LUNs x 100 GB auf 2 virtuellen SCSI Controllern, insgesamt 16 LUNs 400 GB pro VM, 1.6 TB insgesamt Reale Usage gespiegelt 3.66 TB Verfügbar 16 TB, gespiegelt 8 TB

OS CentOS 7 (64-Bit)

Tabelle 1 – Konfiguration

Testverfahren

Die Tests wurden mit dem In&Out Tool IOgen™ 4.6.1 durchgeführt. Beginnend mit 1 Prozess wird die Anzahl der Workerprozesse bis zur Sättigung verdoppelt.

Folgende Tests wurden jeweils durchgeführt: Random Read 8 KB, Random Write 8 KB, Sequential Read 1 MB, Sequential Write 1 MB.

Die IOs wurden direkt auf den Raw Devices durchge-führt, damit kein serverseitiges Caching erfolgen konnte. Da VMware vSAN nur über einen sehr kleinen Caching Bereich verfügt, die genutzte Storage Menge 400 GB pro VM betrug, handelt es sich dabei um ungecachte Backend IOPS.

Alle Tests wurden mit 1 VM, 2 VMs (verteilt auf beide physischen Server) und 4 VMs (je zwei pro physischen Server) durchgeführt. In jeder Konfiguration waren 4 VMs für das vSAN im Einsatz.

Ergebnisse 1 VM

Im Folgenden sind die Ergebnisse dokumentiert, die auf einer einzelnen VM auf dem 2 Node vSAN Cluster be-stehend aus 4 VMs erreichbar sind.

Die Leistung ist hier durch die VM begrenzt und nicht durch die Gesamtleistungsfähigkeit des vSAN. Die Zah-len geben für den Benutzer einen Eindruck, wieviel Leis-tung auf einer einzelnen VM zur Verfügung steht.

Random Reads werden mit ca. 0.3ms Latenz ausge-führt. Diese Zahl bleibt sehr lange konstant und bei 32 Prozessen werden über 65'000 Random Reads bei un-ter 0.5ms erreicht.

Die Latenz der Random Writes startet ebenfalls bei un-ter 0.4ms steigt dann aber kontinuierlich bis 1.16ms bei 32 Prozessen mit 27'500 Random Writes.

29436178

12583

23533

40311

65739

75946

0.338 0.322 0.316 0.3370.393

0.483

0.839

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 4 8 16 32 64

msecIOs Backend Random Read 8K

IOPS 1 VM SVT 1 VM

26235313

820210857

13806

27443

39671

0.379 0.3740.485

0.734

1.155 1.163

1.61

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

0

5000

10000

15000

20000

25000

30000

35000

40000

45000

1 2 4 8 16 32 64

msecIOs Backend Random Write 8K

IOPS 1 VM SVT 1 VM

710

1211

1769

2437

29603158 3228

1.406 1.648 2.2573.277

5.399

10.127

19.819

0

5

10

15

20

25

0

500

1000

1500

2000

2500

3000

3500

1 2 4 8 16 32 64

msecIOs Backend Sequential Read 1M

IOPS 1 VM SVT 1 LUN

In&Out AG – VMware vSAN Perfomance Whitepaper

Version 1.00 – 22.11.2018 Seite 4 von 5

Bereits ein Prozess kann mehr als 700 MB/s mit einer Latenz von nur 1.4ms bei einem 1 MB Block lesen. Eine VM erreicht insgesamt über 3 GB/s Durchsatz.

Beim Schreiben kann ein Prozess mehr als 500 MB/s schreiben, bei 1.9ms pro MB Latenz und erreicht als Ma-ximum über 1 GB/s an Schreibperformance.

Die folgende Tabelle fasst die IOPS für Random IOs, bzw. den Durchsatz in MB/s für Sequential IO und die Latenz zusammen. Dabei wird der Wert jeweils für einen einen Worker (Speed), den optimalen Durchsatz (so-lange die Leistung stärker steigt wie die Latenz) und den maximalen Durchsatz aufgeführt.

Test Speed Optimum Maximum 8 KB Read Random

1 Prozess 2’943 IOPS 338 µs

32 Prozesse 65’739 IOPS 483 µs

64 Prozesse 75’946 IOPS 839 µs

8 KB Write Random

1 Prozess 2’623 IOPS 379 µs

32 Prozesse 27’443 IOPS 1’163 µs

64 Prozesse 39’671 IOPS 1’610 µs

1 MB Read Sequential

1 Prozess 710 MB/s 1’406 µs

16 Prozesse 2’960 MB/s 5’399 µs

64 Prozesse 3’228 MB/s 19’819 µs

1 MB Write Sequential

1 Prozess 522 MB/s 1’911 µs

4 Prozesse 1’163 MB/s 3’432 µs

4 Prozesse 1’163 MB/s 3’432 µs

Tabelle 2 – Kennzahlen 1 VM

Skalierbarkeit über VMs

Es ist zu prüfen, ob die Leistung einer VM ausreicht, die vSAN Infrastruktur auszulasten. Um dies vorwegzuneh-men, steigt die Leistung bei 2 oder 4 VMs noch weiter an. Bei Einsatz von 2 VMs ist die Leistung in allen Sze-narien bereits fast doppelt so hoch, bei Einsatz von 4 VMs steigt die Leistung nur leicht an. Es ist zu vermuten, dass die Leistungsfähigkeit der 2 eingesetzten VMware Hosts dann ausgereizt ist. Bei Einsatz von weiteren phy-sischen Servern dürfte die Leistung hingegen weiter an-steigen.

Die Backend Random Reads steigen von knapp 80'000 IOPS mit einer VM auf über 160'000 IOPS mit 4 VMs.

Auch die Backend Random Writes verdoppeln sich fast von 40'000 mit 1 VM auf ca. 70'000 mit 4 VMs.

Mit 4 VMs kann über 7 GB/s von der vSAN Pattform ge-lesen werden und über 2.5 GB/s geschrieben werden (siehe unten).

522

906

1163 1180 1182 1185 1190

1.911 2.203 3.4326.77

13.527

26.993

53.831

0

10

20

30

40

50

60

0

200

400

600

800

1000

1200

1400

1 2 4 8 16 32 64

msecIOs Backend Sequential Write 1M

IOPS 1 LUN SVT 1 LUN

0

20000

40000

60000

80000

100000

120000

140000

160000

180000

1 2 4 8 16 32 64

IOs/sec Backend Random Read 8K

IOPS 1 VM IOPS 2 VM IOPS 4 VM

0

10000

20000

30000

40000

50000

60000

70000

80000

1 2 4 8 16 32 64

IOs/sec Backend Random Write 8K

IOPS 1 VM IOPS 2 VM IOPS 4 VM

0

1000

2000

3000

4000

5000

6000

7000

8000

1 2 4 8 16 32 64

IOs/sec Backend Sequential Read 1M

IOPS 1 VM IOPS 2 VM IOPS 4 VM

0

500

1000

1500

2000

2500

3000

1 2 4 8 16 32 64

IOs/sec Backend Sequential Write 1M

IOPS 1 LUN IOPS 2 LUN IOPS 4 LUN

In&Out AG – VMware vSAN Perfomance Whitepaper

Version 1.00 – 22.11.2018 Seite 5 von 5

Die folgende Tabelle fasst die IOPS für Random IOs, bzw. den Durchsatz in MB/s für Sequential IOs und die Latenz zusammen. Dabei wird der Wert für den optima-len Durchsatz (solange die Leistung stärker steigt wie die Latenz) und den maximalen Durchsatz aufgeführt.

Test Optimum Maximum 8 KB Read Random

32 Prozesse 147’177 IOPS 886 µs

64 Prozesse 163’752 IOPS 1559 µs

8 KB Write Random

32 Prozesse 62’740 IOPS 2’033 µs

64 Prozesse 68’352 IOPS 3’740 µs

1 MB Read Sequential

16 Prozesse 5.940 MB/s 10’360 µs

64 Prozesse 6’891 MB/s 37’684 µs

1 MB Write Sequential

4 Prozesse 2’127 MB/s 7’515 µs

4 Prozesse 2’127 MB/s 7’515 µs

Tabelle 3 – Kennzahlen 4 VMs

Kosten

Kosten pro TB Der Stückpreis für eine NVMe SSD mit 2 TB beträgt ca. 750 CHF, also 375 CHF pro TB. Die Preise bei zentralen Highend Storagesystemen betragen zwischen 1'000 und 2'000 CHF pro TB SSD, somit ist die vSAN Lösung deutlich kostengünstiger.

Kosten pro IO Der getestete vSAN Setup erreicht bereits mit 2 Servern 160’000 Random Reads und 70'000 Random Write. Da-mit bewegt sich diese vSAN Installation schon im Be-reich von Midrange Storagesystemen. Mit vier Servern und nochmals verdoppelter Performane bewegen wir uns bereits im Bereich von Full Flash Highend Storage-systemen.

Bei Kosten betragen ca. 12’000 CHF pro Server und ca. 8'000 CHF für die vSAN Lizenz pro Server, insgesamt sind für die 2 Server also Gesamtkosten von lediglich 40'000 CHF angefallen. Wenn berücksichtigt wird, dass diese Server ja auch noch Rechenleistung und RAM für die VMs zur Verfügung stellen und nur die reinen Mehr-kosten für die Storagekomponenten betrachtet werden, so betragen die Kosten ca. 6'000 CHF für die 8 NVMe Disks und 8'000 CHF für die vSAN Lizenz pro Server. Die Storagekomponenten für beide Server sind also nur ca. 28'000 CHF teuer, d.h. 400 CHF pro 1'000 Random Writes.

Ein Highend Storagesystem kostet mit 1'000'000 Ran-dom Reads und 300'000 Random Writes gegen 500'000 CHF. Die Kosten für zwei Systeme dieser Leistungs-klasse für die Spiegelung betragen somit 3’333 CHF pro 1'000 Random Writes. Zwei Entry Highend Systeme mit vielleicht 100'000 Random Writes kosten gegen 400'000 CHF, damit sogar 4’000 CHF pro 1'000 Ran-dom Writes.

Bezogen auf die besonders kritischen Random Writes ist vSAN also Faktor 10 günstiger als herkömmlicher

Highend Storage. Bezogen auf Random Reads ist etwa. von Faktor 3-5 auszugehen.

Kosten pro Standort Besonders interessant ist die Betrachtung von kleinen Standorten, die durch Einsatz von vSAN komplett auf Storagekomponenten verzichten können.

Vergleichen Sie die notwendige IO Leistung insbeson-dere von kleineren Standorten mit den hier dargestellten Leistungen von nur zwei physischen Servern. Die aller-meisten Standorte dürften nicht annähernd eine solche IO Leistung benötigen.

Fazit

vSAN erreicht bereits mit nur zwei physischen Hosts mit Hochleistungsdisks (NVMe SSD) beeindruckende Leis-tungskennzahlen.

Random Reads und Writes von 8 KB Blöcken werden mit einer Latenz von 0.3ms ausgeführt, grosse Blöcke von 1 MB werden mit 1.4ms Latenz gelesen und mit 1.9ms Latenz geschrieben.

Die Gesamtleistung dieser relativ kleinen Infrastruktur mit 2 Server und 16 NVMe Disks beträgt bereits 160'000 Random Reads und 70'000 Random Writes (gespie-gelt!). Sequentiell können 7 GB/s gelesen und mehr als 2 GB/s geschrieben werden.

Die Kosten für die gesamte Infrastruktur betragen 40’000 CHF. Der inkludierte reine Storageanteil der vSp-here Server inklusive vSAN Lizenz beträgt ca. 28'000 CHF. Ein Storagesystem vergleichbarer Leistungs-klasse ist Faktor 3-10 teurer.

Dank

Die Bereitstellung der Testumgebung erfolgte durch die ABC Systems AG in Zürich. Vielen Dank an CEO Ale-xander Rübensaal und Thomas Meyer für den Setup der Systeme und die kompetente Begleitung der Tests.

Über den Autor

Andreas Zallmann, andreas.zallmann@inout.ch In&Out AG, Seestrasse 353, 8038 Zürich www.inout.ch

Andreas Zallmann hat Informatik an der Universität Karlsruhe studiert und ist seit dem Jahr 2000 bei der In&Out AG. Er ist verantwortlich für den Geschäftsbe-reich Technology und seit 2016 CEO der In&Out AG.

Die In&Out verfügt über jahrelange Praxis-Erfahrung in Architektur, Konzeption, Benchmarking und Tuning von Storage- und Systemplattformen insbesondere für Core Applikationen für Banken und Versicherungen.

Andreas Zallmann ist der Entwickler des In&Out Perfor-mance Benchmarking Tool IOgen™ und hat in den letz-ten Jahren sehr viele Kunden- und Hersteller-Bench-marks durchgeführt.