Isilon Scale Out NAS & Big Data - PROFI AG · EMC Isilon ist ein geclustertes Network Attached Storage (NAS) System für Datei basierte oder unstrukturierte Daten ! Beispiele für

1 © Copyright 2012 EMC Corporation. All rights reserved.

Ingmar Löke Senior Account Manager ISILON Storage Devision

Isilon Scale Out NAS & Big Data


Agenda �  Marktsituation – Welche Treiber sind da draußen?

�  Eingliederung im EMC Portfolio

�  Produkt Überblick

�  Isilon & Hadoop

�  Ein Fallbeispiel: BackUp to Disk on Isilon


Marktsituation


The Big Bang of Information

Ende 2013, produzieren wir 5 Exabytes alle 10 Minuten.

Vom Beginn der Zivilisation bis zum Jahr 2003, hat die Menscheit 5 Exabytes Informationen generiert. In

Summe.

5 © Copyright 2012 EMC Corporation. All rights reserved. Source : 2011 IDC Digital Universe study

80% der Daten sind

unstrukturiert & Datei basiert!


Vorkommen & Art der Daten Unternehmen

Struktur Unstrukturiert

Öffentlich

Soziale Netze, Medien,

Video-Daten

Neue Technologien

Telemetrie & Maschinen

Video Überwachung

Medienbranche Smart Grid

Geophysikalische Untersuchung

Bildgebende Verfahren

Gen Sequenzierung

AIRBUS A380 GENERIERT 10TB DATEN ALLE 30

MINUTEN KOSTEN FÜR GENSEQUENZIERUNG

REDUZIERT SICH $100M IN 2001 $10K IN 2011 STÄNDE ABLESEN

ALLE 15 MIN GENERIERT

3,000X MEHR DATEN


Eingliederung in das EMC Portfolio


Unterschiedliche Anwendungen benötigen unterschiedlichen Speicher

Vol1 Vol2 Vol3 Vol4

Vol… Vol… Vol… Vol…

Vol… Vol… Vol… Vol…

Lun1 Lun2 Lun3 Lun4

Lun… Lun… Lun… Lun…

Lun… Lun… Lun… Lun…

Lun1 Lun2 Lun3

Lun… Lun… Lun…

Lun… Lun… Lun…

Archive File

Services

Unstructured Data

NFS/CIFS/FTP/HTTP

NFS/iSCSI iSCSI/FC/FCoE

Unstrukturiert Virtualisiert Strukturiert

NAS NAS/SAN SAN/NAS

Unified Storage Scale Out NAS Block Storage


Produktüberblick


Was ist EMC Isilon? �  EMC Isilon ist ein geclustertes Network Attached Storage (NAS)

System für Datei basierte oder unstrukturierte Daten

�  Beispiele für Datei basierte oder unstrukturierte Daten : –  Medien Dateien – Video, Musik, Digitale Bilder… –  Unternehmensdaten - .doc, .ppt, .xls, .pdfs… –  Machinendaten – Sensordaten, Tests, Simulationen…

�  Beispiele für Block basierte oder strukturierte Daten: –  Transaktionsdaten – Kreditkarten, ERP, Buchungsdaten… –  Unternehmesanwendungen – Alle rel. DB Systeme


...und das Produkt Der Markt...

�  Knotenarchitektur (3 Typen)

�  1 Laufwerk / Dateisystem

�  18TB (3 Knoten) – 20PB (144 Knoten)

�  Wirkliches Scale Out -> Skaliert linear (60sec)

�  M+4 Ausfallsicherheit

�  Versch. Software Optionen

S-Serie Performance

NL-Serie Aktive Archive

X-Serie Zusammenarbeit

Reduced cost/TB

CIF

S

NFS

FTP

HTT

P

HD

FS

für

Had

oop

OneFS


OneFS Skaliert von 18TB bis 20PB in einem einzigen Filesystem (Volume) �  Unter 60 Sekunden für

einen unterbrechungsfreien Upgrade

Wesentlich höhere Skalierung als traditionelle Speichersysteme Größtes und höchst skalierbares Filesystem


Skalierbarkeit & Performance Scale-out Scale-up

Scale-Out Scale-Up

Skalierbarkeit •  Performance & Kapazität •  Nur Kapazität

Performance •  Linear •  Degressiv bis negativ


Isilon AutoBalance Die neue Ebene der Effizienz

•  AutoBalance verschiebt Inhalte auf neue Knoten während das Cluster Online ist und in Produktion arbeitet

•  Eliminiert “hot spots”

•  Ermöglicht einen Speichernutzung von mehr als 80%

EMPTY

EMPTY

EMPTY

EMPTY

EMPTY

FULL

FULL

FULL

FULL

BALANCED

BALANCED

BALANCED

BALANCED

BALANCED AutoBalance Automatisches Ausbalancieren der Daten über alle verfügbaren Cluster-Knoten reduziert Kosten, Komplexität und Risiken


EMC Isilon Hardware Portfolio

IOPS-intensive Anwendungen, Random I/O

S-Series

Gute Preis/TB Rate, bis zu 20PB Speicher

NL-Series

Accelerator Knoten Erhöht Performance

A-Series

Kapazität

Perf

orm

ance

Gleichzeitiger & sequentieller

Durchsatz

X-Series

Reduzierter Preis/TB

16 © Copyright 2012 EMC Corporation. Alle Rechte vorbehalten.

S-Serie Performance

NL-Serie Aktive Archive

X-Serie Zusammenarbeit

Reduced cost/TB

Dateien

Isilon SmartPools Hierarchisches Speichermanagement

� Automatisiertes und Richtlinienbasiertes zuordnen und verschieben von Dateien/Ordnern innerhalb eines Filesystems

17 © Copyright 2012 EMC Corporation. Alle Rechte vorbehalten.

Das zuverlässigste Speichersystem

Mit N+1 Schutz, sind Daten 100% Verfügbar, auch wenn eine Platte oder ein Knoten ausfällt

und… Isilon IQ bietet die in der Industrie schnellsten Platten Wiederherstellungs- zeiten

— In weniger als einer Stunde!

Mit N+2, N+3 und N+4 Absicherung, Daten sind 100% verfügbar wenn mehrere Platten oder Knoten ausfallen

100% AVAILABILITY FAILED

100% AVAILABILITY

100% AVAILABILITY

100% AVAILABILITY

100% AVAILABILITY

100% AVAILABILITY

100% AVAILABILITY

100% AVAILABILITY

FAILED

Vertical-Specific Imagery for this sequence

Work Vert-

Specific

Eingebaute Hochverfügbarkeit in der Cluster Architektur


EMC Isilon Software Suite

Snapshot IQ Snapshots zur Wiederherstellung

SyncIQ Asynchrone Replikation

SmartConnect Failover Automatismus, Last Verteilung

SmartLock Revisionssicherheit, durch KPMG zertifiziert

SmartPools Tiering des Speichers

SmartQuotas Quota management

InsightIQ Monitoren der Performance & Auswertung

Schutz der Daten Administrierbarkeit


Vorteile von Isilon beim Speichern von Enterprise-Daten Isilon-Scale-out-NAS Einfaches Management

�  Ein einziges Dateisystem, ein einziges Volume, globaler Namespace

Enorm skalierbar �  Skalierbar auf bis zu 20 PB in einem einzigen Volume

Bisher unerreichte Effizienz �  Über 80 % Speicherauslastung, automatisches Speicher-Tiering und Isilon SmartDedupe

Datensicherheit der Enterprise-Klasse �  Effiziente Backups und Disaster Recovery sowie N+1- bis N+4-Redundanz

Robuste Sicherheits-und Complianceoptionen �  Rollenbasierte Zugriffskontrolle; Zugriffszonen; SEC 17a-4-vorgabenkonforme WORM-

Datensicherheit �  Data-at-Rest-Verschlüsselung (DARE) mit SED-Option (Self-Encryption Drives) �  Integrierte Unterstützung für Dateisystemauditing

Betriebliche Flexibilität �  Multiprotokollunterstützung einschließlich nativer Unterstützung für HDFS; REST-basierte

Plattform-APIs �  REST für Objekt und Cloud-Computing


Isilon & Hadoop


Natives Hadoop brint Vorteile Isilon & Hadoop

Klassische Hadoop Architektur

�  Daten Sicherheit: 3x spiegeln

�  Daten Aufnahme: Nur HDFS (Kein CIFS/NFS)

�  Skalierbarkeit: Komplexität durch Direct Attached Storage

�  Single Points of Failure: Name Node

�  Replikation: Keine geographische Spiegelung


Fallbeispiel:

BackUp on Isilon


Ein Beispiel: BackUp & Archiving Potentiale & Chancen

�  Zertifiziert für 3rd Party BackUp Software

BackUp Prozess

NFS / CIFS


TSM – Die typischen Herausforderungen �  Wachstum der Backupdatenmenge

> 50% pro Jahr

�  Backupfenster wird zukünftig nicht mehr ausreichen

�  Der Diskpool kann nicht linear – sowohl in Kapazität als auch Performance skalieren

�  Limitierungen von klassischen Filesystemen erhöhen die Komplexität des Managements


Warum Backup/Archive auf Platte? �  Sehr viel schnellere Datensicherung

insbesondere für unstrukturierte Daten.

�  Zugriff und Rücksicherung erfolgt schneller.

�  Deutlich reduzierter Workload durch Migration und Reklamation

�  Verbesserter SLA –  Rücksicherungszeiten unabhängig von Anzahl

der Bandlaufwerke

�  Bei Einsatz von NFS keine SAN Infrastruktur erforderlich


… und wie kann ISILON hier helfen? �  Bereitstellen eines einzelnen Filesystems

–  Alle Clusterknoten zeigen gleiches Filesystem –  mehrere ‚Mountpoints‘ für den Diskpool

�  Scale out NAS mit Speicherkapazität von 15TB bis zu 20PB

�  ISILON kann auf bis zu 120GB/s skalieren

�  Einfaches Wachstum und granulare Erweiterungsmöglichkeit in Kapazität und Performance

–  Neuer Knoten ist in 60 Sekunden im Cluster –  Nachkauf erst dann, wenn erforderlich


Documents

Isilon Scale Out NAS & Big Data - PROFI AG · EMC Isilon ist ein geclustertes Network Attached Storage (NAS) System für Datei basierte oder unstrukturierte Daten ! Beispiele für