1© Copyright 2008 EMC Corporation. All rights reserved.
Výhody deduplikovaného zálohováníve VMWare prostředí[email protected]
2© Copyright 2008 EMC Corporation. All rights reserved.
Proč záloha na disk (B2D)
Zvýšení výkonu zálohy a obnovy– Dodržet čas zálohovacího okna– Dodržet požadavky na SLA
Lepší spolehlivost a dostupnost– Využít ochranu dat v RAID řešeních
Jednodušší správa a nástroje na správu– Automatizace nastavení prostředí– Centralizace správy médií
Snížení rizika při správě médií– Vzdálená replikace dat
nepřevážet, ale přenášet po síti– Informace jsou online – Snížení nákladů na převoz dat (médií)
2
3© Copyright 2008 EMC Corporation. All rights reserved.
DE-DUPLIKACE
Deduplikace, Výhody v B2D
Snížení nákladů na infrastrukturu– Méně dat, méně nákladů– Menší náklady se projeví také v spotřebě el.
Energie, chlazení a prostorových nárocích
Delší čas úschovy dat– Méně dat je jednoduché skladovat déle– Vyhovět předpisům a auditu
Lepší ochrana dat– Denní plné (Full) zálohy– Zrychlení obnovy dat
Menší nároky na replikaci dat– Pomocí deduplikace jsou přenášeny jenom
změny
Vyšší bezpečnost– Zmenšení rizika stráty dat (médií)
4© Copyright 2008 EMC Corporation. All rights reserved.
Replikace po de-duplikaci
De-duplikovaná data
De-duplikace snižuje nároky na množství přenesených dat na záložní lokalitu
Bez De-duplikace
Lokální úložiště
Replikace
Úložiště na vzdálené lokalitě
S De-duplikací
Menší lokální úložiště
Méně replikovaných dat
Méně dat na záložní lokalitě
Replikace
Primární lokalita Záložní lokalita Primární lokalita Záložní lokalita
5© Copyright 2008 EMC Corporation. All rights reserved.
Co se De-duplikuje
Výkon
Škálovatelnost
De-
du
pli
kačn
í fa
kto
rN
áklady
SingleInstancing
De-duplikace na úrovni bloků
6© Copyright 2008 EMC Corporation. All rights reserved.
Pevná a proměnlivá délka de-duplikovaných bloků
TAV JE SALINABRNE
NOVAV JE SALINABRNE
SALVBR ETANEJ
VASVBR ENONEJ ALI
Metoda fixní:Metoda variabilní:
= 5 Objektů
= 1 Nový objekt
= 5 Objektů
= 4 Nové objekty
INA
NA
7© Copyright 2008 EMC Corporation. All rights reserved.
Identifikace bloků
Porovnávání objektů po byte-chHASHING
Hashing
identifikátorPorovnávání objektů
File AP P
File B P P
Duplicate
LL
AA
8© Copyright 2008 EMC Corporation. All rights reserved.
DE-DUPLIKACE NA CÍLIDE-DUPLIKACE NA ZDROJI
Kde dochází k deduplikaci?
Na zdroji Klientská stanice identifikuje duplikovaná
data
Menší zátěž na přenos po síti
Na cíli (Target) Po síti na zdroj se přenesou veškerá data
Na cíli se identifikujou duplikace
Požadavek na menší objem úložiště
Network Network
9© Copyright 2008 EMC Corporation. All rights reserved.
SCHEDULED DE-DUPLICATIONIMMEDIATE DE-DUPLICATION
Kdy dochází k dé-duplikaci?
V čase přenosu - průběžná Optimalizace kapacity
Po přenosu Optimalizace výkonu
Network Network
10© Copyright 2008 EMC Corporation. All rights reserved.
Deduplikace úložištěDeduplikace přenášených dat
De-Duplikační faktory
Původní provozní data
Původní provozní data
Zálohovaná dataZálohovaná data Zálohovaná data uložená na disku
nebo pásce
Zálohovaná data uložená na disku
nebo pásce
100GB
1,200GB
60GB
100:1.6GB
10:1120GB
11© Copyright 2008 EMC Corporation. All rights reserved.
EMC řešení deduplikovaného zálohování
Virtuální knihovny B2D řešení
Deduplikace na cíli
Škálovatelné řešení
Vysoký výkon a dostupnost
EMC Avamar De-duplikace na zdroji
Plné (full) zálohy a obnova
Nová technologie zálohování a úložiště
EMC NetWorker Kombinace a
sjednocení klasického a de-duplikovaného zálohování a obnovy
Avamar Software
Avamar Virtual Edition Avamar VM
OS
Hardware
ESX Server
DiskNICMemoryCPU
Avamar VM
OS
App
OS
AvamarData Store
KlientiMicrosoft Windows.net Server 2003 • Red Hat • Solaris •
Suse • AIX • HP • Mac OS • VMware • Windows • Vista Novell
SW Licence HW a SW
kompletní řešení Avamar Server jako virtuál ve VMWare
ESX prostředí
NetWorker
DL3D 1500
Výhodné řešení s de-duplikací
DL3D 4000
SAN VTLs
de-duplikací
DL3D 3000
Výkonné řešení
Podpora zálohovacích technologiíEMC NetWorker • Symantec NetBackup • Symantec •
Backup Exec • IBM TSM CommVault Galaxy • HP Data Protector • CA ArcServ • ...
12© Copyright 2008 EMC Corporation. All rights reserved.
Avamar architektura
Avamar ServerAvamar klienti
Avamar software agents
13© Copyright 2008 EMC Corporation. All rights reserved.
Nová patentovaná architektúra
Redundant Array of Independent Nodes (RAIN) architektura
– Ochrana RAIN proti výpadku na úrovni nodu
Avamar server node (2U)—každý s internímy disky a CPU
– Vysoký výkon a škálovatelnost
Optimalizováno na interní disky– RAID
Zabudovaná denní kontrola integrity
RAID protection from disk failures
Parita na nodech
Utility aNáhradní
node
Avamar Server
Verified checkpoint
14© Copyright 2008 EMC Corporation. All rights reserved.
Snapup (záloha): Sticky-byte Factoring
1st Snapup (záloha): soubor rozdělen do tzv. chunk-ů s variabilní délkou
10K 22K25K 8K18KStickyByteFactoringAlgorithm
Další záloha rozdělí soubor na stejné chunky i v případě že soubor je v jiném adresáři, či stroji
10K 22K25K 8K18KStickyByteFactoringAlgorithm
Rozdělení souboru, v případě změny v souboru
8K 22K25K 8K20KStickyByteFactoringAlgorithm
15© Copyright 2008 EMC Corporation. All rights reserved.
20-byte hash
20-byte hash
Další cyklus zálohy: Commonality Factoring
Atomics(Data
Chunks)
Root Hash20-byte hash
20-byte hash
20-byte hash
20-byte hash
20-byte hash
4K 15K 4K13K
AtomicHashes
CompositeHashes
20-byte hash
20-byte hash
20-byte hash
20-byte hash
20-byte hash
20-byte hash
20-byte hash
20-byte hash
20-byte hash
20-byte hash20-byte hash
Utility Node
Avamar Server
Data node
Data node
12K12K
16© Copyright 2008 EMC Corporation. All rights reserved.
Avamar zálohování s de-duplikací na zdroji
Rychlejší zálohaMenší zátěž na CPU, disky, síť
Zd
roj
KLIENT NETWORK STORAGE LEVERAGE
LAN / WANDisk
1 2 3 4
Úspora až 500:1 Úspora 50:1Obnova z diskuDostupnost
“Full” zálohaDostupnostReplikace
17© Copyright 2008 EMC Corporation. All rights reserved.
Avamar Data Store
Avamar Data Store– Multi-node RAIN – Od 4 TB do 32 TB de-duplikované kapacity
Příklad 15 TB dat (100 PC, 7 Serverů) 60x15=900 TB(3TB ADS)
– RAID, na dodech
Avamar Data Store Single Node– 1 TB nebo 2 TB de-duplikované kapacity– Určeno k záloze a replikaci na pobočkách
Integrovaný Software/Hardware
18© Copyright 2008 EMC Corporation. All rights reserved.
Avamar Virtual Edition (AVE) pro VMware
První de-duplikační server ve virtuálním prostředí
– Záloha a obnova, Disaster Recovery
Využívá sdílený server a úložiště– Úložiště (SAN, NAS, or DAS)
Replikace– Mezi ADS, Single node, AVE
Jednoduchá implementace
Avamar Server Software ve VMware Virtual Machine (VM)
Hardware
ESX Server
Application
Operating System
Avamar VM1 TB
Operating System
DiskNICMemoryCPU
Avamar VM1 TB
Operating System
19© Copyright 2008 EMC Corporation. All rights reserved.
Data Center
Avamar VM (AVE) replikace na Avamar Data Store
Remote Office
Hardware
ESX Server
Application
Operating System
Avamar
Operating System
DiskNICMemoryCPU
Remote Office
Hardware
ESX Server
Application
Operating System
Avamar
Operating System
DiskNICMemoryCPU
Remote Office
Hardware
ESX Server
Application
Operating System
Avamar
Operating System
DiskNICMemoryCPU
Remote Office
Hardware
ESX Server
Application
Operating System
Avamar
Operating System
DiskNICMemoryCPU
AvamarData Store
20© Copyright 2008 EMC Corporation. All rights reserved.
De-duplikační faktor na síti
Typ datMnožství dat
na zdrojiDenní
inkrementy
De-duplikační
faktor
Windows file systems 3,573 GB 6.1 GB 586:1
Windows, Linux, and UNIX file systems 5,097 GB 11.7 GB 436:1
Vývoj na NAS Filer-ech (NDMP backups) 3,265 GB 24.2 GB 135:1
20% databází, 80% file system (Windows a UNIX) 9,583 GB 80.0 GB 120:1
Linux file system a databáze 7,831 GB 104.2 GB 75:1
21© Copyright 2008 EMC Corporation. All rights reserved.
• 128-bit AES
• Asynchronní, časově definovaná replikace
• Replikace na jeden nebo víc AVAMAR serverů
• Centralizovaná správa
• Uživatelsky definované předpisy na délku uchování záloh
• Bez rizika ztráty dat při převozu na záložní lokalitu
Replikace a šifrování
Avamar Server
Datacenter
Avamar Server
Vzdálená lokalita
WAN
Off-site Data
22© Copyright 2008 EMC Corporation. All rights reserved.
Záloha tradičním způsobem
Bottleneck
O 95% méně přenesených dat O 90% méně času při zálohování
23© Copyright 2008 EMC Corporation. All rights reserved.
EMC Avamar a VMware Consolidated Backup
SAN
VCB Proxy Server s
Avamar agent
Data pro zálohu
AvamarServer
Data pro zálohu Avamar Podporuje VCB Avamar de-duplikuje ve VCB proxy serveru
Windows: Avamar zálohuje na úrovni souborů ve VCB
10X rychlejší záloha Nemá vliv na CPU na klientovi
24© Copyright 2008 EMC Corporation. All rights reserved.
Avamar agent na VMWare ESX Console
Avamar Agent instalovaný v Console OS (COS).
Vyžaduje pokročilé nastavení pro bezproblémový chod ESX prostředí
Pomocí vcbMount se vytvoří snapshot virtuálního stroje pro zálohu
Avamar Server
ESX Service Console
25© Copyright 2008 EMC Corporation. All rights reserved.
0.000 GB
0.005 GB
0.010 GB
0.015 GB
0.020 GB
0.025 GB
GB
Traditional Backup vs. AvamarChart 1 - Traditional Incremental Backup View
Traditional INCR 0.008 GB 0.012 GB 0.008 GB 0.020 GB 0.006 GB
Avamar Full 0.000 GB 0.001 GB 0.000 GB 0.013 GB 0.000 GB
artist beforeall.corp.yahoo.combesideneedle.corp.yahoo.c
omdelighttoday.corp.yahoo.co
mprobableits.corp.yahoo.com
26© Copyright 2008 EMC Corporation. All rights reserved.
0.000 GB
0.500 GB
1.000 GB
1.500 GB
2.000 GB
2.500 GB
3.000 GB
3.500 GB
4.000 GB
4.500 GB
GB
Traditional Backup vs. AvamarChart 1- Full Backup View
Traditional Full 3.199 GB 3.207 GB 3.843 GB 4.197 GB 4.285 GB
Avamar Full 0.000 GB 0.001 GB 0.000 GB 0.013 GB 0.000 GB
artist beforeall.corp.yahoo.combesideneedle.corp.yahoo.c
omdelighttoday.corp.yahoo.co
mprobableits.corp.yahoo.co
m
27© Copyright 2008 EMC Corporation. All rights reserved.
Operation Typical Performance
První záloha (snapup) Avamar klientaMinimum: ~10 GB/hod/klient
Up to: ~30 GB/hod/klient
Avamar klient s velkým množstvím souborůMinimum: ~1 M files/hod/klient
Up to: ~3 M files/hod/klient
Avamar klient s velkými DB Minimum: ~100 GB/hod/klient
Up to: ~300 GB/hod/klient
NDMP Snapup 10-20 GB/hod/accelerator
NDMP Level-1 10 GB/hod/accelerator
NDMP Files/Accelerator
Gen1 w/4 GB RAM: 2 - 3 M/dataset/accelerator
Gen2 w/16 GB RAM: Up to 10 M/dataset/accelerator
Kontrola Avamar serveru Data Store 1.0 ~30 GB/hod/disk drive
Obnova ~10 GB/hr to ~100 GB/hr/klient, závyslé na vytíženosti klienta
Výkon a propustnost
28© Copyright 2008 EMC Corporation. All rights reserved.
De-duplikace a konkurence
Společnost OEM for Produkt Objekt Id Kde Jak
Avamar Variable Block Hashing Source Immediate
PureDisk
DL3D Variable Block Hashing Target Immediate & Scheduled
DXi Variable Block Hashing Target Immediate & Scheduled
HyperFactor Variable Block Hashing & Byte Level Target Immediate
DeltaStore Variable Block Byte Level Target Immediate
DDx Variable Block Hashing Target Immediate