VMware Virtual Infrastructure - oe-files.de · • VMware Infrastructure 3: – ESX(i) + Virtual Center + Infrastructure Client – Virtual SMP, Update Manager, Consolidated Backup

VMware Virtual Infrastructure

Jorn [email protected]

Produktpalette VMware

• verschiedene Hypervisoren:

– hosted: VMware Server / Workstation / Fusion

– bare metal: ESX / ESXi

• VMware Infrastructure 3:

– ESX(i) + Virtual Center + Infrastructure Client

– Virtual SMP, Update Manager, Consolidated Backup

– VMotion, Storage VMotion

– DRS (Dynamic Resource Scheduler)

– HA (High Availability)

• buzzword fur VMI4 vSphere 4.0: Continuous Availability

VMware Virtual Infrastructure 2/19

VMware Infrastructure

Console

VM

ESX

VM



Console

VM

ESX

VM

VI Client



Console

VM

ESX

VM

VI Client

ESX

VirtualCenter

VM

VM

Console



Console

VM

ESX

VM

VI Client

ESX

VirtualCenter

VM

VM

Console



Console

VM

ESX

VM

VI Client

ESX

VirtualCenter

VM

VM

Console

VI Client


Administration

• Benutzerverwaltung durch

– ESX-Server (Unix-Accounts)

– Virtual Center (Windows-Benutzer)

– Active Directory

• Zuordnung von Rechten zu Rollen

• Zuweisung von Rollen an Benutzer/Gruppen

• Partitionierung des ESX-Clusters in Resource Pools

• Zuweisung von CPU- und Speicher-Anteilen


Architektur ESX(i)-Server

System

NetworkDiskCPU Memory

VMkernel

Hardware Interface LayerMonitor (VMM)

Virtual Machine

Guest

Operating

System

Guest

Operating

x86 Hardware



System


VMkernel


Virtual Machine

Guest

Operating

System

Guest

Operating

x86 Hardware

Console

Service



System


VMkernel


Virtual Machine

Guest

Operating

System

Guest

Operating

x86 Hardware

Console

Service

VMware Tools


Virtualisierung der CPU

• kernel und userland verteilen sich auf Ringe

• Hypervisor verdrangt Gast-Betriebssystem in hoheren Ring

Ring 3

VMMOS

App App App App AppApp

Guest OS

Ring 0

Ring 1

Ring 2

• klassischer Virtualisierungsansatz: trap and emulate

• kritische Instruktion lost trap aus, der von VMM abgefangen wird


Virtualisierung der x86-CPU

• 17 kritische Instruktionen

– losen keinen trap aus

– haben in Ring 6= 0 andere Semantik

• Losungen:

– Paravirtualisierung

– Anderung der x86-Architektur:”Ring -1“ (Intel VT, AMD-V)

Root Mode

Guest OS

App App App

Ring 0

Ring 1

Ring 2

Ring 3

VMM

– VMware: binary translation


binary translation

• Abfolge von x86-Anweisungen wird in translation units aufgeteilt

• Uberprufung auf kritische Instruktionen und Speicherzugriffe

• modifizerter Code wird in translation cache abgelegt

• Ubersetzung ist lazy:

– bestimmte Teile werden eventuell nie ubersetzt (z.B. Fehlerbehandlung)

– haufig verwendete Teile lassen sich gut cachen

• selbstmodifizierender Code? Vorlaufer Embra:

– Uberwachung des Speichers mit Original-Code auf Schreiboperationen

– komplette Loschung des translation cache bei Anderung

• andere Beispiele fur BT: Virtual PC/VirtualBox, JVM, Transmeta Crusoe


Virtualisierung der Festplatte• innerhalb der VM: SCSI-Controller (LSI oder BusLogic) mit Festplatten

• Virtual Machine Disk Format (VMDK)

– snapshots durch copy-on-write

– Dateien innerhalb eines Wirts-Filesystems

• NFS oder VMFS

• Virtual Machine File System (VMFS)

– lokale Festplatten, Fibre Channel oder iSCSI

– optimiert fur große Dateien

– gleichzeitiger Zugriff durch mehrere ESX-Server

• Raw Device Mapping

• NAS/SAN ermoglicht einfache Migration einer VM


Speicherverwaltung ohne Virtualisierung

Process 1 Process 2 Operating System

physical memory

virtual memory ... ...




physical memory

virtual memory ... ...page table




physical memory


TLB




physical memory


TLB

swap


Speicherverwaltung mit Virtualisierung

machine memory

Process 1.1 Process 1.2page table

Guest OS 1

... ...

Process 2.1 Process 2.2page table

Guest OS 2

... ...

virtualswap

virtualswap

virtual memory

physical memory

swap

• machine memory nicht unbedingt Summe der physical memories

• page sharing

• double paging problem: swapping des VMM moglichst vermeiden


Speicherverwaltung VMware

• derzeit nicht moglich: dynamische Anderung des physikalischen Speichers

• ballooning

– via VMware Tools wird Speicher innerhalb der VM alloziert

– Gast-Bestriebssystem beginnt, Speicher auszulagern

– freigewordener Speicher kann anderen VMs zugewiesen werden

– Verkleinerung des Ballons, wenn Speicher wieder ausreicht

• idle memory tax

– tatsachliche Speichernutzung wird durch provozierte page faults ermittelt

– unbenutzter Speicher wird per ballooning zuruckgefordert


Virtualisierung des Netzwerks• innerhalb der VM: AMD Lance PCNet32, Intel E1000 oder vmxnet

• in der Virtual Infrastructure: vSwitch

• Verbindung von VMs untereinander

• Verbindung von VMs mit physikalischen NICs des ESX-Servers

• NIC teaming

• VLAN taggingV

LAN

2

Console

VM1

VM2

VM3

VM4

vSwitch 1

vSwitch 2

vSwitch 3

nic0

nic1

nic2

Console

VM1

VM2

vSwitch 1 nic0

VM3

VM4

nic2

nic1vSwitch 2

VLA

N1


VMotion

• Live-Migration einer VM zwischen zwei ESX-Servern

• Voraussetzungen:

– identisches Storage-Backend auf beiden ESX-Servern

– identische Netzwerk-Konfiguration auf beiden ESX-Servern

– (gleiche Prozessoren in beiden ESX-Servern)

• empfohlen: dediziertes Migrations-Netzwerk

• Ausfallzeit typischerweise unter einer Sekunde

• sollte innerhalb der Toleranz von ublichen Protokollen liegen

• technische Voraussetzungen fur standige Schatten-Kopie einer VM


VMotion, cont.

Transfer von”working set“ und Meta-Daten

... ...

Transfer aller Seiten

Transfer veranderter Seiten

Start der Ziel-VM

Stopp der Quell-VM

Wiederholung, bis stabiler Zustand erreicht


Demonstration


Berichte von der Front

• snapshots und Migrations-Techniken

• weitere Leistungseinbußen durch snapshots

• virtuelles SMP

• Delegation von Rechten an”Kunden“


Berichte von der Front

• snapshots und Migrations-Techniken

• weitere Leistungseinbußen durch snapshots

• virtuelles SMP

• Delegation von Rechten an”Kunden“

• Fazit: Uberlege Dir ein Betriebskonzept!!!


Literatur• VMware Infrastructure 3 Documentation

http://www.vmware.com/support/pubs/vi pages/vi pubs 35u2.html

• VMware ESX Server 2 – Architecture and Performance Implicationshttp://www.vmware.com/pdf/esx2 performance implications.pdf

• Security Design of the VMware Infrastructure 3 Architecturehttp://www.vmware.com/pdf/vi3 security architecture wp.pdf

• Understanding Full Virtualization, Paravirtualization, and Hardware Assisthttp://www.vmware.com/files/pdf/VMware paravirtualization.pdf

• A Comparison of Software and Hardware Techniques for x86 Virtualizationhttp://www.vmware.com/pdf/asplos235 adams.pdf

• Analysis of the Intel Pentium’s Ability to Support a Secure Virtual Machine Monitorhttp://www.usenix.org/events/sec2000/robin.html

• Embra: Fast and Flexible Machine Simulationhttp://www.cs.utexas.edu/users/witchel/pubs/SIGMetrics96-embra.pdf

• Virtualizing I/O Devices on VMware Workstations’s Hosted Virtual Machine Monitorhttp://www.usenix.org/publications/library/proceedings/usenix01/sugerman.html


http://www.vmware.com/support/pubs/vi_pages/vi_pubs_35u2.html

http://www.vmware.com/pdf/esx2_performance_implications.pdf

http://www.vmware.com/pdf/vi3_security_architecture_wp.pdf

http://www.vmware.com/files/pdf/VMware_paravirtualization.pdf

http://www.vmware.com/pdf/asplos235_adams.pdf

http://www.usenix.org/events/sec2000/robin.html

http://www.cs.utexas.edu/users/witchel/pubs/SIGMetrics96-embra.pdf

http://www.usenix.org/publications/library/proceedings/usenix01/sugerman.html

Literatur, cont.

• Memory Resource Management in VMware ESX Serverhttp://www.usenix.org/publications/library/proceedings/osdi02/tech/waldspurger.html

• The Role of Memory in VMware ESX Server 3http://www.vmware.com/pdf/esx3 memory.pdf

• VMware Virtual Networking Conceptshttp://www.vmware.com/files/pdf/virtual networking concepts.pdf

• Fast Transparent Migration for Virtual Machineshttp://www.usenix.org/events/usenix05/tech/general/nelson.html

• Live Migration of Virtual Machineshttp://www.usenix.org/events/nsdi05/tech/clark.html

• Xen und VMware ESX: Sicherheitsprobleme in x86-VirtualisierungsumgebungenBest Practice #24: Absicherung von VMware ESX Servernhttp://www.gai-netconsult.de/de/download/security/secjournal/index.html


http://www.usenix.org/publications/library/proceedings/osdi02/tech/waldspurger.html

http://www.vmware.com/pdf/esx3_memory.pdf

http://www.vmware.com/files/pdf/virtual_networking_concepts.pdf

http://www.usenix.org/events/usenix05/tech/general/nelson.html

http://www.usenix.org/events/nsdi05/tech/clark.html

http://www.gai-netconsult.de/de/download/security/secjournal/index.html

Documents

VMware Virtual Infrastructure - oe-files.de · • VMware Infrastructure 3: – ESX(i) + Virtual Center + Infrastructure Client – Virtual SMP, Update Manager, Consolidated Backup