YOUR INFORMATION IS OUR BUSINESS · YOUR INFORMATION IS OUR BUSINESS © itiso GmbH, 2019 Software Defined Scale Out Storage

YOUR INFORMATION IS OUR BUSINESS

© itiso GmbH, 2019


itiso GmbH

Flughafenstraße 52a

22335 Hamburg

[email protected]

www.itiso.de

Software-defined Scale Out Storage – neues

Universalgenie für das Datenmanagement?

storage2day, Heidelberg, 18.09.19

Dr. Wolfgang Obelöer

Technischer Leiter


© itiso GmbH, 2019

Inhalt• Software Defined Scale Out Storage

– Software Defined

– Scale Out

– Skalierung

– Protokolle & Netzwerke

– Vergleich Scale Up vs. Scale Out Protokolle

• Beispielprodukte

• Zusammenfassung


© itiso GmbH, 2019

Software Defined Scale Out Storage


© itiso GmbH, 2019

Software Defined Storage


© itiso GmbH, 2019

Software Defined Storage• Software, die die Datenservices bereitstellt und unabhängig

von der unterliegenden HW ist

• Hardware, die den SDS-Code ausführt

• Hardware, die die Daten speichert

• Hardware spielt immer noch eine Rolle, sie bestimmt auch:

– Performance

– Kapazität


© itiso GmbH, 2019

Prinzipieller Aufbau Scale Out

Storage

Software

Storage

Software

Storage

Software

Storage

Software


© itiso GmbH, 2019

Datensicherheit Replika

Storage

Software

Storage

Software

Storage

Software

Storage

Software

O

Original

R

1

Replika 1

R

2

Replika 2

R

2

Replika 2‘


© itiso GmbH, 2019

Datensicherheit Erasure Coding• - Basiert auf Vandermonde-Reed-Solomon Error Correction


© itiso GmbH, 2019

Erasure Coding (einfaches Beispiel)

Coding

Value Split Code

A1=1

A2=2

A3=3

A4=5

X1=1

X2=2

A=12Example

Mirror

A1=1

A2=1

A3=2

A4=2


© itiso GmbH, 2019

Skalierung

Storage

Software

Storage

Software

Storage

Software

Storage

Software

Storage

Software

Performance steigt

Kapazität steigt


© itiso GmbH, 2019

Storage

Software

Erneuerung

Storage

Software

Storage

Software

Storage

Software

Storage

SoftwareStorage

Software


© itiso GmbH, 2019

Protokolle & Netzwerke


© itiso GmbH, 2019

Protokollbeispiele• Object Store/S3

– Globaler Namensraum

– Kein Locking nötig

• NAS: NFS/CIFS– Globaler Namensraum

– Locking

– Hohe Bandbreiten

• Block: iSCSI/iSER– Kein Locking nötig

– Niedrigste Latenzen


© itiso GmbH, 2019

Scale Up vs. Scale Out

Scale Up Scale Out

BauartHomogene, spezialisierte

Umgebungen

Software auf Servern, heterogene

Hardware (All-Flash, Hybrid, Multi-

Vendor)

Skalierbarkeit Forklift-Upgrades für LeistungHinzufügen von Knoten für

Kapazität und Leistung

Verfügbarkeit Redundante Komponenten

Datenverteilung im gesamten

System, Verbessert sich mit der

Skalierung.

ModernisierungForklift-Upgrades

(Softwarekosten?)

Neuen Knoten hinzufügen, alten

löschen

DatenlebenszyklusExterne Datenmigration bei

UpgradeKeine externe Datenmigration


© itiso GmbH, 2019

Beispiele

Software Defined Scale Out Storage


© itiso GmbH, 2019

Beispiele


© itiso GmbH, 2019

Architektur

Node 1 Node 2 Node n

Direct-on-Drive

Log-structured

Key/Value store

NVDIMM

NVMe Flash

HDD

NVDIMM

Optane

NVDIMM

SSD/NMVe

Control Plane

Policy PolicyPolicyCompute

Data Plane

REST

iSCSI

S3

Bare

Metal

und mehr


© itiso GmbH, 2019

PerformanceDesigned for Scale-Out

• Benutzerdefiniertes

Dateisystem im Kernel

Native IO Performance

• Read von Media Speed

• Write zu Persistent Memory

Adaptive

• Kompression/Deduplizierung

Enterprise Feature Set

• Datenintegritätsprüfungen

37µs

60µs

10µs

107µsRead Latency

DateraStorage Software

ConnectivityTCP+iSCSI

Multipathing

MediaIntel Optane

Gemessene Latenz am Client (4kB Random I/O)


© itiso GmbH, 2019

Use CasesWorkloads &

Requirements

Datera

Data ExchangeCloud

Endpoints

Automation ● Policies Simplicity ● Performance ● Predictive Ops

Traditional Big Data / IOT Microservices VMs Containers / λ

Ein Produkt, viele Anwendungsfälle

SLO-getrieben

Flexible HW / Medien


© itiso GmbH, 2019

Wesentliche EigenschaftenData

Orchestration

Anwendungsorientiert

Self-Service-Benutzermodell

Richtlinienbasiert

Live-Datenmigration

Live-Einfügen von Knoten

Anwendungstemplates

Erweitertes Tiering

API first

Enterprise

Performance

< 200uS Latenzzeit

180K IOPS pro Knoten

3.3GB/s pro Knoten

Scale-Out auf mehrerePBs

Quality of Service

ErweiterteDatenfunktionen

Future-Ready

Choice

100% Software-Defined

Beliebige Speichermedien

Heterogene Knoten

Keine Lieferantenbindung

iSCSI-Block

S3 Objekt

VMware & KVM

OpenStack, CloudStack

Data Center

Awareness

Mandantenfähigkeit

Bare Metal, VMs und Container

No Silos

EinstellbareVerfügbarkeit

Fehlerdomänen

Metro/ Stretch Cluster

Natives L3-Netzwerk

Predictive

Operations

Cloud-basiertes Management

Kontinuierliche Optimierung

Maschinelles Lernen

Erkennung von Anomalien

Voraussagen


© itiso GmbH, 2019

Beispiele


© itiso GmbH, 2019

Universal Scale NASDie Vorteile:

● Performance linear zur Clustergröße

● Performance unabhängig von Dateigröße

● Performance unabhängig von Dateianzahl

● keine Limitierungen der Dateigröße

● keine Limitierung von Dateianzahl

● On Prem auf x86 Hardware

● Cloud AWS und GCP

● All Flash, Hybrid, Archive


© itiso GmbH, 2019

Features Flash-first hybrid• Flash für schnellen Zugriff

• HDD für Kapazität und Kosten

• Alle HDD Zugriffe sind sequentiell

• Block-based data protection

• Erasure Coding

Real-time Analytics integriert• Effektives User Management

• Real-time updates des FS: keine Jobs oder Treewalks notwendig

• Intelligente Quotas und Snapshots (inkl. VSS)

• API First Architektur, komplett administrierbar und erweiterbar über REST API


© itiso GmbH, 2019

Use Cases• Medien & Unterhaltung

• Videoüberwachung

• Telekommunikation

• Digitale Archive

• Biowissenschaften und medizinische Forschung

• Umgebungs-Echtzeit-Sensordaten (IoT)

• Wissenschaftliches rechnen

Also überall dort, wo:

• große Mengen an

unstrukturierten Daten

anfallen und/oder

• Hohe Bandbreiten

erforderlich sind.

Leistungsbeispiel: 4 Knoten

Cluster erreicht ca. 16-18

GB/s


© itiso GmbH, 2019

Beispiele


© itiso GmbH, 2019

Secondary Storage


© itiso GmbH, 2019

Cohesity Secondary Storage


© itiso GmbH, 2019

Eigenschaften


© itiso GmbH, 2019

Use Cases


© itiso GmbH, 2019

Zusammenfassung


© itiso GmbH, 2019

Software Defined Scale Out Storage• Einfache Skalierung

• Aktuellste HW (x86) oder Cloud einsetzbar

• Leichte Anpassung an geänderte Last- und Kapazitätsanforderungen

• Keine externe Datenmigration bei HW-Erneuerung

• Definierbarer und effizienterer Datenschutz

• Verschiedene Einsatzgebiete: Höchste Leistung bis Archivstorage


© itiso GmbH, 2019

Dr. Wolfgang Obelöer

[email protected]

www.itiso.de

Danke für ihre Aufmerksamkeit


Documents

YOUR INFORMATION IS OUR BUSINESS · YOUR INFORMATION IS OUR BUSINESS © itiso GmbH, 2019 Software Defined Scale Out Storage