Upload
hoangcong
View
228
Download
2
Embed Size (px)
Citation preview
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Oracle Solaris 11 Zones - Tipps und Tricks
Heiko Stein Senior Architekt etomer GmbH
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Die etomer GmbH.
Gründung: Seit 2002 als beratendes Systemhaus am Markt vertreten.
Fokus: Unternehmenskritische IT-Infrastrukturen/-Anwendungen mit hohen oder höchsten Verfügbarkeitsanforderungen. Ausrichtung auf das Datacenterbackend. (HW, Unix/Linux, Datenbanken, Middleware, SAP-Basis).
Ansatz: Ganzheitliche und verbindliche Beratung und Leistungserbringung im Spannungsfeld Technik – Prozess – Mensch.
Tätigkeit: Bei namhaften Kunden aus den Bereichen öffentliche Hand, Mittelstand und Enterprisesegment im In- und Ausland.
Kompetenz: Hochspezialisiertes und langjährig erfahrenes Team aus Beratern, Trainern, Projektleitern und Architekten. Umfangreiche technologie-übergreifende Akkreditierungen, Spezialisierungen und Zertifizier-ungen marktführender Technologielieferanten.
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Agenda.
• What's new ?
• Das Getriebe.
• Services/Konfigurationsfiles/Logs/Locks/Doors
• Tipps & Tricks.
• Zusammenfassung.
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
What's new. (1)
• IPS-basierende Installation
• Für die Installation einer lokalen Zone ist zwingend der Zugriff auf ein IPS-Repository abzusichern
• Nutzung des virtualisierten Netzwerkstack
• Installationsstandard exclusive IP-Stack mit VNIC’s (anet)
• Automatische Erstellung von VNICs während der Installation
• Nutzung von Flows in lokalen Zonen
• NFS Server in Zonen
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
What's new. (2)
• Keine Solaris 8/9 branded Zones mehr , dafür Oracle Solaris 10 Zonen
• Delegierte Administration
• Bootenvironments
• Verbesserter Shutdown der Zonen
• Immutable Zones
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
What's new. (3)
• Verbessertes Monitoring der Resourcennutzung der lokalen Zone
• zonestat
• ZoSS
• Zones on Shared Storage
• Neues Resource-Control
• zone.max-processes
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Das Getriebe. (1)
• Relevante Services
• Konfigurationsfiles
Service Zone (g/l) Verwendung
svc:/system/zones:default g Zones autoboot and graceful shutdown
# svccfg -s zones setprop zonecfg/default_template = SYSblank
svc:/application/pkg/zones-proxyd :default g Proxy-Server für pkg-relevante Datentransporte/Kommunikation zwischen globaler und lokaler Zone.
svc:/application/pkg/zones-proxy-client:default
l Proxy-Client in der lokalen Zone für pkg-relevante Datentransporte/Kommunikation zwischen globaler und lokaler Zone.
svc:/system/zones-install:default g Auto-Install Service für lokale Zonen
svc:/system/zones-monitoring:default g Schnittstelle für Monitoring der lokalen Zonen via zonestat(1M)
Konfigurationsfiles/Templates in /etc/zones
Verwendung
SYSblank.xml Template für Zone mit exclusive IP-Stack und VNIC (manuelle Konfiguration während des 1. Startup)
SYSdefault.xml Template für Zone mit exclusive IP-Stack und VNIC (wird automatisch bei Boot/Halt gestartet/gestoppt)
SUNWdefault.xml->./SYSdefault.xml Link auf Defaultkonfiguration
SYSsolaris.xml->./SYSdefault.xml Link auf Defaultkonfiguration
SYSdefault-shared-ip.xml Template für Zone mit shared IP-Stack
index Zonenindex; enthält alle am System konfigurierten Zonen
SYSsolaris10.xml Template für Brand Solaris10 Zone
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Das Getriebe. (2)
• Log-Files
• Lock's/Door's
Logfile Zone (g/l) Verwendung
/var/log/zones/zoneadm.<date…Time>.<zonename>.install g Install-Logdatei
/var/log/zones/zoneadm.<date…Time>.<zonename>.uninstall g Uninstall-Logdatei
/var/log/zones/zoneadm.<date…Time>.<zonename>.install l Install-Logdatei
/var/sadm/system/logs/install_log l detaillierte Install-Logdatei
Lock's/Door's Zone (g/l) Verwendung
/var/run/zoneproxy_door g
Door-Schnittstelle für Zonenproxy-Prozess für Zugriff auf IPS-Repository aus der lokalen Zone
/var/run/zonestat_door g
Door-Schnittstelle für zonestat-Kommando zum Monitoring des Resourcenverbrauches der lokalen Zone
/var/run/zones/<zonename>.console_sock g Socket zu /dev/console der laufenden Zone (siehe zlogin -C … )
/var/run/zones/<zonename>.snapshot.xml g Snapshot der aktuellen Konfiguration der laufenden Zonen
/var/run/zones/<zonename>.zoneadm.lock g Lock für den laufenden zoneadmd-Prozess
/var/run/zones/<zonename>.zoneadmd_door g
Door-Schnittstelle zum zoneadmd der laufenden Zone
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Automatisierte Installation. (1)
• Automatische Installation
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Automatisierte Installation. (2)
• Was ist mit Zonen ohne konfigurierten NIC ?
• Zones "erbt" Publisher aus Global Zone
• Zugriff auf das Repository ohne direkten Netzwerkzugang • globale Zone
• lokale Zone
# ll /var/run/zoneproxy_door
Drw------- 1 root root 0 Nov 19 20:27 /var/run/zoneproxy_door>
# pgrep -lf zoneproxy
1945 /usr/lib/zones/zoneproxyd
# ls -laF /var/run/zoneproxy_door
Drw------- 1 root root 0 Nov 19 20:02 /var/run/zoneproxy_door>
# pkg publisher solaris
...
http://localhost:1008/solaris/e7632014025b2087fecdde1c533dfed93538f0ff/
...
# pgrep -lf proxy
3947 /usr/lib/zones/zoneproxy-client -s localhost:1008
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Automatisierte Installation. (3)
• Bereitstellung Zonentemplate/Manifest/SC-Profil
• SC-Profil
• /usr/share/auto_install/sc_profiles/static_network.xml
• sysconfig(1M)
• Modifizierte Kopie/Template eines vorhandenen SC-Profil
• Manifest
• /usr/share/auto_install/manifest/zone_default.xml
• Modifizierte Kopie/Template eines vorhandenen Manifest
• Zonentemplate
• zonecfg(1M)
• Modifizierte Kopie/Template eines vorhandenen Zonentemplate
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Automatisierte Installation. (4)
• Einmalige Aufwände
• Manifest bleibt generisch
• Minimale Anpassungen in Template/SC-Profile pro Zone
• Installation/Bereitstellung
# zonecfg -z zone1 -f /tmp/t_zone1.cmd
# zoneadm -z zone1 install -c /tmp/p_zone1.xml -m /tmp/m_zone1.xml
# zoneadm -z zone1 boot; zlogin -e# -C zone1
Fertig !
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Zonen mit VNIC (anet). (1)
• Ein oder mehrere VNIC per Zone (anet)
• Automatisch beim Boot erzeugt und einer Zone zugeordnet
• net0, net1, … als Namen
• Exclusive-IP Stack ist Default
• Umfangreiche Konfigurationsmöglichkeiten
• Steuerung/Kontrolle der Vergabe von IP-Adressen
• Bandbreitensteuerung
• VLAN-ID's
• ...
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Zonen mit VNIC (anet). (2)
• Zonenkonfiguration
# zonecfg -z zone1 info anet linkname=net0
anet:
anet:
linkname: net0
lower-link: aggr0
allowed-address: 192.168.56.100/24,192.168.56.101/24
configure-allowed-address: true
...
mac-address: auto
...
vlan-id: 12
...
maxbw: 1024m
...
Konfiguration/Limitation VNIC
Auto. Nutzung Slot-MAC's
VLAN-Tagging
Bandbreitenlimitierung
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - RCTL's.
• Sinnvolle Default-Resourcecontrols
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - P2V. (1)
• Vorraussetzungen • Minimale Vorraussetzungen auf Quellsystem:
• Patch 142909-17 (SPARC) /142910-17 (x86/x64)
• Patch 119254-75, 119534-24/140914-02 (SPARC)
• Patch 119255-75, 119535-24/140915-02 (x86/x64)
• Nutzung des Preflight System Checker for Oracle Solaris 11.1 (PSC) auf Oracle Solaris 10 System
sol10node # unzip SUNWzonep2vchk.zip
sol10node # pkgadd -d .
sol10node # cd /opt/SUNWzonep2vchk/bin
sol10node #./zonep2vchk
--Executing Version: 1.0.5-11-16135
...
--Total issue(s) detected: 13
sol10node #
Ggf. Konfiguration anpassen
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - P2V. (2)
• Bereinigung der durch den PSC anzeigten Issues
• Nutzung des PSC zur Erzeugung eines Brand Solaris 10 Zonen-Templates
• Anpassung des Templates an das Zielsystem
• zonepath usw.
sol10node # ./zonep2vchk -T S11 -c > /net/sol11node/sol10node.cmd
sol10node # vi /sol10node.cmd
...
set zonepath=/zones/node4
set hostid=1308f6cc
add anet
set linkname=e1000g0
set lower-link=net0
set mac-address=8:0:27:8d:b4:7b
end
...
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - P2V. (3)
• Flasharchiv des Oracle Solaris 10 Systemes erstellen
• Setup der Brand Solaris 10 Zone auf Oracle Solaris 11 System
sol11node # zonecfz –z sol10node –f /sol10node.cmd
sol11node # zoneadm -z sol10node install -p -a /sol10node.flar
sol11node # zoneadm -z sol10node boot;zlogin -e# -C sol10node
sol10node # flarcreate -n sol10node -S /net/sol11node/sol10node.flar
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - ZoSS. (1)
• ZOSS unterstützt das Setup auf shared Storage und die Migration von Zonen zwischen verschiedenen Nodes.
• Unter ZOSS sind derzeitig folgende Anbindungen zur Nutzung als shared Storage freigegeben:
• Fibre Channel
• iSCSI
• Die Basis des Konzeptes sind die neuen Zonen-Properties:
• rootzpool
• zpool
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - ZoSS. (2)
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - ZoSS. (3)
• suriadm(1M)
• suri(5)
• Setup Zonenkonfiguration
# suriadm lookup-uri /dev/dsk/c0t60A9800041762D6B415D425634344F4Ed0
lu:luname.naa.60a9800041762d6b415d425634344f4e
...
# suriadm lookup-uri /dev/dsk/c0t60a9800022362d6b415d425634344f4cd0
lu:luname.naa.60a9800022362d6b415d425634344f4c
...
# zonecfg -z zone1
create -b
...
add rootzpool
add storage lu:luname.naa.60a9800041762d6b415d425634344f4e
end
...
add zpool
set name=data
add storage lu:luname.naa.60a9800022362d6b415d425634344f4c
end
...
Logical Unit URI/ Name Address Authority
Logical Unit URI/ Name Address Authority
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - ZoSS. (4)
• Setup Zone
• ZFS Konfiguration nach Installation
• Automatischer Export/Import der ZFS-Pools
# zoneadm -z zone1 install ...
Created zone zpool: zone1_rpool
Created zone zpool: zone1_data
...
# zfs list | grep zone1
zone1_data 83.5K 3.91G 31K /zones/zone1/root/data1
zone1_rpool 853M 48.1G 33K /zones/zone1
...
ZFS-Pools werden automatisch erzeugt
nodeA # zoneadm -z zone1 detach
Exported zone zpool: zone1_rpool
Exported zone zpool: zone1_data
...
NodeB # zoneadm -z zone1 attach
Imported zone zpool: zone1_rpool
Imported zone zpool: zone1_data
...
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Delegated Admin.
• Erweitert die Administrationsrechte für eine lokalen Zone um einen nichtprivilegierten User/Rolle
root# su - zadmin
zadmin# zlogin zone1
zlogin: You lack sufficient privilege to run this command (all privs required)
zadmin# logout
root# zonecfg -z zone1 "add admin;set user=zadmin;set auths=login,manage;end"
root# su - zadmin
zadmin# pfexec zlogin zone1
[Connected to zone 'zone1' pts/2]
...
[Connection to zone 'zone1' pts/2 closed]
zadmin# pfexec zoneadm -z zone1 halt
zadmin# pfexec zoneadm -z zone1 uninstall
Are you sure you want to uninstall zone zone1 (y/[n])? n
Authorisation Login + Verwaltung
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Immutable Zone.
• Root-Filesystem(e) der Zone teilweise oder vollständig readonly • Implementation über Privilegien
• zonecfg set file-mac-profile = • none:
• strict: gesamtes Filesystem readonly, logging remote
• fixed-configuration: /var schreibbar (ohne configs)
• flexible-configuration: /var und /etc schreibbar
# zoneadm -z zone1 list -p
-:zone1:installed:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:-:none
# zonecfg -z zone1 "set file-mac-profile=strict;commit;exit"
# zoneadm -z zone1 boot
# zoneadm -z zone1 list -p
4:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:R:strict
# zoneadm -z zone1 reboot -w
# zoneadm -z zone1 list -p
5:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:W:strict
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - IP-Verbindung Zone2Zone.
# zonecfg -z zoneA info anet linkname=net1
anet:
linkname: net1
lower-link: zonelink0
allowed-address: 1.1.1.1/8
configure-allowed-address: true
#
# zonecfg -z zoneB info anet linkname=net1
anet:
linkname: net1
lower-link: zonelink0
allowed-address: 1.1.1.2/8
configure-allowed-address: true
#
# dladm create-etherstub zonelink0
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Monitoring mit zonestat.
• einfaches Monitoring
• Monitoring im Kontext einer einzelnen lokalen Zone
• Monitoring im Kontext Pool/Prozessorset
• Monitoring im Kontext RSS
# zonestat 1 12
Collecting data for first interval...
Interval: 1, Duration: 0:00:01
SUMMARY Cpus/Online: 32/32 PhysMem: 128G VirtMem: 255G
---CPU---- --PhysMem-- --VirtMem-- --PhysNet--
ZONE USED %PART USED %USED USED %USED PBYTE %PUSE
[total] 0.12 0.39% 5006M 3.81% 20.7G 8.08% 194 0.00%
[system] 0.00 0.00% 4450M 3.39% 19.9G 7.81% - -
global 0.11 0.35% 251M 0.19% 279M 0.10% 194 0.00%
testzone1 0.00 0.00% 73.9M 0.05% 113M 0.04% 0 0.00%
...
# zonestat -z testzone1 1
# zonestat -r psets 1 12
# zonestat -r physical-memory -z testzone1 1 12
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Tipps & Tricks - Monitoring mit fsstat.
• Filesystemstatistiken im Zonenkontext
• -z <zonenname>
# fsstat -z hsz -F 1
new name name attr attr lookup rddir read read write write
file remov chng get set ops ops ops bytes ops bytes
0 0 0 0 0 0 0 0 0 0 0 ufs:hsz
0 0 0 969 0 2.41K 196 587 200K 0 0 proc:hsz
0 0 0 0 0 0 0 0 0 0 0 nfs:hsz
654 283 201 383K 138 1.10M 21.3K 257K 326M 23.8K 62.5M zfs:hsz
0 0 0 3.86K 0 0 0 0 0 0 0 lofs:hsz
# fsstat -z hsz -a zfs 1
getattr setattr getsec setsec
277K 132 510 1 zfs:hsz
0 0 0 0 zfs:hsz
0 0 0 0 zfs:hsz
0 0 0 0 zfs:hsz
0 0 0 0 zfs:hsz
0 0 0 0 zfs:hsz
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Zusammenfassung.
• Default-Nutzung von RCTL's als weitere Isolation
• Kein Shared-IP Modell zur direkten Verbindung nötig • Etherstub + VNIC
• Limitierung der IP-Vergabe in der Zonenkonfigurtion als Sicherheitsfeatures bzw. Schutz vor Fehlkonfiguration
• Nutzung von ZoSS als Basis für "PoorMan"-HA
• P2V als temporäre Überbrückung bei EOL-HW
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Quellen.
• Oracle Solaris Preflight Applications Checker 11.1
• http://www.oracle.com/technetwork/server-storage/solaris11/downloads/preflight-checker-tool-524493.html
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Vielen Dank für Ihre Aufmerksamkeit. [email protected]
www.etomer.com ©etomer 2013
IT. Menschen. Leidenschaft.
Doors /var/run Verwendung
zoneproxy_door Door-Schnittstelle für Zonenproxy-Prozess für Zugriff auf IPS-Repository aus der lokalen Zone
zonestat_door Door-Schnittstelle für zonestat-Kommando zum Monitoring des Resourcenverbrauches der lokalen Zone