Cloud řešení na bázi hostitelských serverů

VMWare, Cisco Nexus 1000V a

technologie VXLAN

Kamil Václavík

Abstrakt: Trendem poslední doby nejen u velkých firem je postupný přechod fyzickýchserverů do virtuálního cloudového prostředí. Důležitou součástí každé virtuální in-frastruktury je implementace síťových služeb. Platforma vSphere nám nabízí v základudva typy virtuálních switchů, standardní a distribuovaný. V následujících kapitolách sioba uvedené typy virtuálních switchů představíme. Dále se podíváme i na virtuálníswitch dodávaný firmou Cisco.

Klíčová slova: VmWare, Cisco Nexus 1000V, VXLAN, virtualizace

1 Úvod.........................................................................................................................2 2 Standardní switch......................................................................................................3 3 Distribuovaný switch.................................................................................................4 4 Cisco Nexus 1000V...................................................................................................5 4.1 Virtual Ethernet Module (VEM).............................................................................6 4.2 Virtual Supervisor Module (VSM)..........................................................................6 4.3 Podpora VXLAN....................................................................................................6 5 Technologie VXLAN................................................................................................7 6 Použitá literatůra.......................................................................................................9

duben 2013 1/9

1 ÚvodTrendem poslední doby nejen u velkých firem je postupný přechod fyzických serverů do virtuálního

cloudového prostředí. Společnost VMware je předním světovým poskytovatelem virtualizačních technologiía cloudových služeb. Nabízí mnoho produktů určených pro virtualizaci aplikací, stanic a serverů. Podleagentury Gartner je více jak 60 procent nově virtualizovaných serverů nasazováno právě na virtualizačníplatformě vSphere společnosti VMware.

Velice důležitou součástí každé virtuální infrastruktury je implementace síťových služeb. PlatformavSphere nám nabízí dva základní typy virtuálních switchů, standardní a distribuovaný. V následujícíchkapitolách si oba uvedené typy virtuálních switchů představíme. Dále se podíváme i na virtuální switchdodávaný firmou Cisco Nexus 1000V. V samém závěru si popíšeme technologii VXLAN.

Než pokročíme k popisu jednotlivých technologií, popíšeme si ještě v krátkosti základní části VMwarevSphere prostředí, o kterých se budeme v dalším textu zmiňovat. Základním stavebním kamenem každévirtuální infrastruktury je vSphere ESXi server (host), jde o server, na kterém je nainstalován vlastníhypervizor. ESXi servery můžeme sdružovat do společných celků a vytvářet tak virtualizační clustery -cloudy. Každý cluster musí obsahovat minimálně jeden vCenter server, který se stará o řízení celého clusteru.VMware vCloud Director je cloudové rozšíření celé vSphere infrastruktury. Nástin celého cloudové řešení nabázi VMware vSphere je dobře patrný na obrázku 1.

duben 2013 2/9

1. Obrázek: VMware vSphere - cloudové řešení

2 Standardní switchJak již bylo zmíněno v předchozím textu důležitou součástí každé virtualizační infrastruktury je právě

virtualizovaná síťová vrstva. VMware vSphere má pro tento účel vytvořen vSphere Standart Switch ( VSS )což je vlastně vytvořená abstrakce běžného síťového zařízení. VSS nám zajišťuje vnitřní komunikace mezijednotlivými virtuálními stoji připojenými do stejné port groupy a také zajišťuje komunikaci s okolní sítí.VSS je tedy ve své podstatě modelem fyzického 256 portového síťového switche (počet portů jekonfigurovatelný defaultní konfigurace je 120 portů).

Jak již název napovídá jde o základní síťový virtualizovaný switch, dostačuje plně pro většinu malýchinstalací. Podíváme se tedy blíže na takovýto switch, ten je vyobrazen na obrázku číslo 2. Celý switch simůžeme rozdělit na dvě hlavní funkční části. Levá strana je tvořena tzv. port groupami na pravé straněvidíme část uplinkovou. V té jsou přiřazené fyzické síťové adaptéry serveru a slouží ke komunikaci s okolím.VSS může mít takto připojeno až osm 10Gb nebo třicet-dva 1GB fyzických síťových adaptérů což zajišťujedostatečnou kapacitu a redundanci.

Každý virtuální síťový port musí být přiřazen do tzv. Port groups. Port groups je vlastně logicky uskupenáskupina portů, pro kterou můžeme definovat různé vlastnosti, VLAN id, povolení promiskuitního modu,omezení datového toku apd. Stejně tak můžeme každé port groupě vyhradit konkrétní fyzický adaptér prokomunikaci s okolím nebo nastavit jinou Faillover politiku.

duben 2013 3/9

3. Obrázek: NIC Failover

2. Obrázek: vSphere standart switch

3 Distribuovaný switchDalším typem switche, který je v rámci VMware vSphere infrastruktury použit je vSphere distribuovaný

switch (VDS). Ten je určen pro nasazení ve větších prostředích v rámci vSphere clusteru. Na první pohledvypadá VDS velice podobně, jako výše uvedený VSS, můžeme si jej opět rozdělit na dvě funkční části. Částdistribuovaných port groups a Distribuovaných uplinků. Jak již název napovídá tak VDS je rozprostřen přesskupinu ESXi serverů/hostů v rámci vSphere clusteru. Pro svoji funkcionalitu vyžaduje přítomnost vCenterserveru, který se stará o řízení komunikace. V případě nedostupnosti vCenter serveru se distribuovaný switch„rozpadá“ na potřebný počet standardních switchů funkcionalita tak zůstává zachována, což je i znázorněnona obrázku 5. Velkou výhodou tohoto řešení je centrální konfigurace celého switche prostřednictvím vCenterserveru.

Konfigurace distribuovaných port groups je velice podobná konfiguraci port groups na standartnímswitchi. Lze zde voli VLAN ID, parametry pro traffic shaping, port security, teaminng a load ballancing. Včásti distribuovaných uplinků vidíme názvy fyzických adaptérů včetně názvy serverů v rámci clusteru, vnašem případě jde o pěti nodový cluster.

Další funkcionalita

• Podporu privátních VLAN – umožňuje omezit komunikaci mezi virtuálními stanicemi vrámci stejnéVLAN nebo segmentu.

• Network vMotion – Sleduje síťovou statistiku jednotlivých virtuálních strojů i při využití vMotion(migrace virtuálního serveru mezi hosty clusteru) zjednodušuje se tak případné řešení problémů amonitoring.

• Bi-directional Traffic Shaping – podpora obousměrného traffic Shapingu.• Network Health Check – Slouží k detekci problému se síťovým připojením. V pravidelných

intervalech jsou snímány pakety na druhé vrstvě přes všechny uplink rozhraní. Tyto jsou dáleanalyzovány případný problém s komunikací je zobrazen ve vSphere klientovi.

duben 2013 4/9

Oba virtuální switche VSS a VDS lze spravovat a konfigurovatelné i pomocí příkazového řádku přes SSHkonzoli,pomocí doplnku do powershellu (PowerCli) a přes speciální management stanici VIMA.

4 Cisco Nexus 1000VDalší distribuovaný switch dostupný v rámci Vmware vSphere je Cisco Nexus 1000V. Jde o

distribuovaný switch dodávaný firmou CISCO, poskytuje komplexní platformu pro virtuální stroje. Jeintegrován do hypervisoru VMware vSphere a je plně kompatibilní s VMware vCloud Directorem.Distribuován je jako virtuálni appliance ve formě OVF souboru. Po deploymentu OVF souboru se zobrazíjako standardní virtuální stroj. Dokončení konfigurace se provede až následně přes webové rozhraní, až potévznikne jeho objekt mezi distribuovanými switchi.

Cisco Nexus 1000 Series poskytuje funkcionalitu přepínání na druhé vrstvě a nabízí rozšířené síťovéfunkce se společným modelem řízení sítě, ve virtualizovaném prostředí nahrazuje virtuální přepínač v rámciVMware vSphere. Každý server v datovém centru je reprezentován jako linková karta v Cisco Nexus 1000VSwitche a mohou být spravovány, jako kdyby se jednalo o linkové karty fyzického přepínače.

duben 2013 5/9

6. Obrázek: Cisco Nexus 1000V

Implementace Cisco Nexus 1000 Series má dvě hlavní složky:• Virtual Supervisor Module (VSM)• Virtual Ethernet modul (VEM)

4.1 Virtual Ethernet Module (VEM)Cisco Nexus 1000V Series VEM běží jako součást VMware ESXi kernelu a nahrazuje funkcionalitu

VMware Virtual Switch. VEM používá VMware vNetwork Distributed Switch (vDS) API, vyvinuté vespolupráci firem Cisco a VMware, s cílem poskytnutí vyspělé síťové funkcionality. Tato úroveň integracezajišťuje, že Cisco Nexus 1000V si je plně vědomo všech akcí prováděných ve virtualizační vrstvě jako jenapříklad VMware VMotion a Distributed Resource Sheduler (DRS). VEM získává informace o konfiguraciz VSM a provádí přepínání na 2. vrstvě a to včetně pokročilých síťových funkcí:

• PortChannels• Quality of service (QoS)• Security: Private VLAN, access control lists (ACLs), and port security• Monitoring: NetFlow, Switch Port Analyzer (SPAN), and Encapsulated Remote SPAN (ERSPAN)

4.2 Virtual Supervisor Module (VSM)Cisco Nexus VSM slouží k řízení většího množství VEMs jako jednoho modulárního přepínače. Místo

fyzických karet však podporuje VSM více VEMs běžících uvnitř jednotlivých fyzických serverů.Konfigurace se provádí pomocí VSM a je automaticky přenesena do VEMs. Konfigurace je tak centrální a jeokamžitě použita na všech VEMs, řízených daným VSM.

Cisco Nexus 1000V Series poskytuje:• Flexibilitu a rozšiřitelnost: port profily, nové Cisco NX-OS funkce, umožňuje konfiguraci portů

podle kategorie.• Vysoká dostupnost: Synchronizace, redundantní VSMs umožňují rychlé stavové převzetí služeb

při selhání.• správa: pro správu lze využít rozhraní příkazového řádku (CLI), Simple Network Management

Protocol (SNMP), XML API, a CiscoWorks LAN Management Solution (LMS). VSM je takéintegrován s VMware vCenter Server.

4.3 Podpora VXLANV rámci Cisco Nexus 1000V je samozřejmě zajištěna podpora technologie VXLAN. Na každém VEM

jsou vytvořeny virtuální VMkernel porty. Těchto portů může mít VEM více. Každému VMkernel portu jepřiřazena IP adresa, která slouží jako zdrojová adresa pro zapouzdření MAC rámců.

Připojený VXLAN je specifikován v rámci konfigurace profilu portu vNIC a je použit při připojení VM.Každý VXLAN uživatel má přiřazenu multicastovou adresu pro přenos broadcastové komunikace v rámciVXLAN segmentu. Další popis technologie VXLAN je v následující kapitole.

VMkernel port – Speciální systémový sport v rámci vSphere se používají například pro management,realizaci vMotion a Fault Tolerance.

duben 2013 6/9

7. Obrázek: VEM - VMkernel

5 Technologie VXLANMnoho velkých společností řeší v současné době problém jak efektivně propojit svoje datová centra.

VMware nabízí pro takovéto propojení datových center technologii postavenou na VXLAN. TechnologieVXLAN umožňuje vytvářet logické sítě pro virtuální servery napříč různými sítěmi. Více technicky řečeno,nám VXLAN umožňuje vytvořit druhou vrstvu sítě na vyšší třetí vrstvě. VXLAN to řeší prostřednictvímzapouzdření paketů. Podle definice cloud comutingu má mít každý „nájemce“ cloudu k dispozici vlastní síťidentifikovanou vlastním ID. Klasická VLAN specifikace však umožňuje definovat pouze 4096 VLAN IDcož pro velká cloudová řešení nemusí být dostatečné. Technologie VXLAN tento problém však řeší, a torozšířením adresního prostoru pro VLAN přidáním 24-bit segmentu. Počet dostupných ID se tak zvýší na 16 milionů.

Základním příkladem použití VXLAN je spojení dvou nebo více sítí na třetí vrstvě (L3), tak aby vypadalyjako jedna sdílená L2 vrstva. To umožňuje virtuálním serverům žít ve dvou nesourodých sítích přestofungovat, jako by byly připojeny k jedné homogenní síti.

Potřebné součásti VXLAN :• Multicast podpora IGMP a PIM• VXLAN identifikátor sítě (VNI)• VXLAN brána• VXLAN Tunnel End Point (VTEP)• VXLAN Segment / VXLAN Overlay Network

VXLAN je překrytí L2 vrstvy přes vrstvu L3. Každé překrytí sítě je známé jako VXLAN segment a ten jeidentifikován jedinečným 24-bit ID segmentu tzv. VXLAN identifikátor sítě (VNI). Pouze virtuální serveryna stejném VNI tak mohou mezi sebou komunikovat. Virtuální stroje se jednoznačně identifikují tím, žekombinují svou MAC adresu a VNI. Servery s duplicitní MAC adresy v různých VXLAN segmentech protobez problému mezi sebou komunikují.

Původní L2 paket, který virtuální server vyslat je zapouzdřen a doplněn o záhlaví VXLAN. Výsledný

paket je pak zabalen do UDP → IP → paketu Ethernet pro odeslání v rámci síti. Vzhledem k tomutozapouzdření můžete uvažovat o VXLAN jako tunelování spojení mezi ESX hosty, které tvoří VXLANkoncové body tunelu (VTEP). Každý VTEP je odpovědný za zapouzdření komunikace virtuálního serverutedy o doplnění a odstranění VXLAN záhlaví, cílový virtuální stroj tak „vidí“ původní L2 paket. Pronasazení technologie VXLAN je proto potřeba také řešit zvýšení MTU a také zajistit podpora multicastu.Samotné zapouzdření se skládá z následujících úprav UDP, IP a Ethernet rámců:

duben 2013 7/9

8. Obrázek: Schema VXLAN

Ethernet header• Cílová adresa - Tato hodnota je nastavena na MAC adresu cílového VTEP, v případě místní adresy je

zde nastavena obvykle adresa routeru.• VLAN - Tato možnost je volitelná v implementaci VXLAN • EtherType - Tato hodnota je nastavena na 0 × 0800 pro IPv4 paket. Počáteční VXLAN návrh nepočí-

tal s podporou IPv6.

IP Header• Protokol - sada 0 × 11 označuje, že rámec obsahuje paket UDP• Zdrojová IP - IP adresa pocházející VTEP• Cílová IP - IP adresa cílového VTEP. Není-li známa provádí se zjišťování

◦ Cílová IP je nahrazena IP adresou multicast skupiny odpovídající VNI z původního virtuálníhopočítače

◦ Všechny VTEPs IP multicast skupiny obdrží rámec a zjistí si mapování zdrojového virtuálníhopočítače MAC adresy a VTEP hosta

◦ Hostitel VTEP cílového virtuálního stroje poté zašle virtuálnímu počítači odpověď na původníVTEP pomocí jeho cílové adresy IP, kterou si zjistil multicast rámce

◦ Zdrojový VTEP si přidá nové mapování do své tabulky pro budoucí pakety

UDP Header• Source Port - nastaven zasláním VTEP• VXLAN Port - IANA přidělen VXLAN port. To se ještě přiděleno• UDP Checksum / Kontrolní součet - Měl by být nastavena na 0 × 0000.

VXLAN Header• VXLAN Flags - rezervované bity nastaveny na nulu kromě bitu 3, který je nastaven na 1 pro platnou

VNI• VNI - 24-bitové pole VXLAN identifikátor sítě• Reserved - sada polí, 24 bitů a 8 bitů, které jsou vyhrazeny a nastaveny na nulu

duben 2013 8/9

10. Obrázek: Formát VXLAN paketu

Zvýšení hodnoty MTUPokud se podíváme výše zjistíme, že zapouzdření paketu protokolu IPv4 přidá 50 bajtů do původního

rámce. Doporučení je proto zvýšení MTU na 1600 bajtů. Proč 1600 bajtů, když hlavička VXLAN je jen 50 bajtů? Důvodem je, že host může dělat VLAN taggování a na paket maximální velikosti 1514 bajtů přidá 4 bajty k výslednému paketu. Pokud transportní síť vyžaduje, aby byl provoz VXLAN také označovánVLAN tagy je třeba přidat další 4 bajty.

Příklad výpočtu MTU1514 (Guest) + 4 (Guest VLAN tag)+ 50/70 (VXLAN/VXLAN IPv6)+ 4 (VXLAN Transport VLAN Tag)= 1572 / 1592

Změna velikosti MTU musí být provedena jak na distribuovaných switchích tak na všechny fyzickézařízení, které budou zajišťovat VXLAN provoz. Je potřeba si dát pozor na kominikaci virtuálních serverů ,které mají již nakonfigurovány jumbo rámce, tak aby nedošlo k jejich fragmentaci.

6 Použitá literatůra[1] VMware® VXLAN Deployment Guide http://www.vmware.com/files/pdf/techpaper/VMware-VXLAN-Deployment-Guide.pdf

[2] Deploying the VXLAN Feature in Cisco Nexus 1000V Series Switcheshttp://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9902/guide_c07-702975.html#wp9000039

[3] VXLAN basics and use cases http://www.yellow-bricks.com/2012/11/02/vxlan-use-cases/

[4] The Datacenter Networking Challenge - http://www.vmware.com/cz/solutions/datacenter/vxlan.html

[5] VXLAN Primer - http://www.borgcube.com/blogs/2011/11/vxlan-primer-part-1/

duben 2013 9/9