Oracle Solaris 11 Zones Tipps Und Tricks

www.etomer.com etomer 2013

IT. Menschen. Leidenschaft.

Oracle Solaris 11 Zones - Tipps und Tricks

Heiko Stein Senior Architekt etomer GmbH



Die etomer GmbH.

Grndung: Seit 2002 als beratendes Systemhaus am Markt vertreten.

Fokus: Unternehmenskritische IT-Infrastrukturen/-Anwendungen mit hohen oder hchsten Verfgbarkeitsanforderungen. Ausrichtung auf das Datacenterbackend. (HW, Unix/Linux, Datenbanken, Middleware, SAP-Basis).

Ansatz: Ganzheitliche und verbindliche Beratung und Leistungserbringung im Spannungsfeld Technik Prozess Mensch.

Ttigkeit: Bei namhaften Kunden aus den Bereichen ffentliche Hand, Mittelstand und Enterprisesegment im In- und Ausland.

Kompetenz: Hochspezialisiertes und langjhrig erfahrenes Team aus Beratern, Trainern, Projektleitern und Architekten. Umfangreiche technologie-bergreifende Akkreditierungen, Spezialisierungen und Zertifizier-ungen marktfhrender Technologielieferanten.



Agenda.

What's new ?

Das Getriebe.

Services/Konfigurationsfiles/Logs/Locks/Doors

Tipps & Tricks.

Zusammenfassung.



What's new. (1)

IPS-basierende Installation

Fr die Installation einer lokalen Zone ist zwingend der Zugriff auf ein IPS-Repository abzusichern

Nutzung des virtualisierten Netzwerkstack

Installationsstandard exclusive IP-Stack mit VNICs (anet)

Automatische Erstellung von VNICs whrend der Installation

Nutzung von Flows in lokalen Zonen

NFS Server in Zonen



What's new. (2)

Keine Solaris 8/9 branded Zones mehr , dafr Oracle Solaris 10 Zonen

Delegierte Administration

Bootenvironments

Verbesserter Shutdown der Zonen

Immutable Zones



What's new. (3)

Verbessertes Monitoring der Resourcennutzung der lokalen Zone

zonestat

ZoSS

Zones on Shared Storage

Neues Resource-Control

zone.max-processes



Das Getriebe. (1)

Relevante Services

Konfigurationsfiles

Service Zone (g/l) Verwendung

svc:/system/zones:default g Zones autoboot and graceful shutdown

# svccfg -s zones setprop zonecfg/default_template = SYSblank

svc:/application/pkg/zones-proxyd :default g Proxy-Server fr pkg-relevante Datentransporte/Kommunikation zwischen globaler und lokaler Zone.

svc:/application/pkg/zones-proxy-client:default

l Proxy-Client in der lokalen Zone fr pkg-relevante Datentransporte/Kommunikation zwischen globaler und lokaler Zone.

svc:/system/zones-install:default g Auto-Install Service fr lokale Zonen

svc:/system/zones-monitoring:default g Schnittstelle fr Monitoring der lokalen Zonen via zonestat(1M)

Konfigurationsfiles/Templates in /etc/zones

Verwendung

SYSblank.xml Template fr Zone mit exclusive IP-Stack und VNIC (manuelle Konfiguration whrend des 1. Startup)

SYSdefault.xml Template fr Zone mit exclusive IP-Stack und VNIC (wird automatisch bei Boot/Halt gestartet/gestoppt)

SUNWdefault.xml->./SYSdefault.xml Link auf Defaultkonfiguration

SYSsolaris.xml->./SYSdefault.xml Link auf Defaultkonfiguration

SYSdefault-shared-ip.xml Template fr Zone mit shared IP-Stack

index Zonenindex; enthlt alle am System konfigurierten Zonen

SYSsolaris10.xml Template fr Brand Solaris10 Zone



Das Getriebe. (2)

Log-Files

Lock's/Door's

Logfile Zone (g/l) Verwendung

/var/log/zones/zoneadm...install g Install-Logdatei

/var/log/zones/zoneadm...uninstall g Uninstall-Logdatei

/var/log/zones/zoneadm...install l Install-Logdatei

/var/sadm/system/logs/install_log l detaillierte Install-Logdatei

Lock's/Door's Zone (g/l) Verwendung

/var/run/zoneproxy_door g

Door-Schnittstelle fr Zonenproxy-Prozess fr Zugriff auf IPS-Repository aus der lokalen Zone

/var/run/zonestat_door g

Door-Schnittstelle fr zonestat-Kommando zum Monitoring des Resourcenverbrauches der lokalen Zone

/var/run/zones/.console_sock g Socket zu /dev/console der laufenden Zone (siehe zlogin -C )

/var/run/zones/.snapshot.xml g Snapshot der aktuellen Konfiguration der laufenden Zonen

/var/run/zones/.zoneadm.lock g Lock fr den laufenden zoneadmd-Prozess

/var/run/zones/.zoneadmd_door g

Door-Schnittstelle zum zoneadmd der laufenden Zone



Tipps & Tricks - Automatisierte Installation. (1)

Automatische Installation




Was ist mit Zonen ohne konfigurierten NIC ?

Zones "erbt" Publisher aus Global Zone

Zugriff auf das Repository ohne direkten Netzwerkzugang globale Zone

lokale Zone

# ll /var/run/zoneproxy_door

Drw------- 1 root root 0 Nov 19 20:27 /var/run/zoneproxy_door>

# pgrep -lf zoneproxy

1945 /usr/lib/zones/zoneproxyd

# ls -laF /var/run/zoneproxy_door

Drw------- 1 root root 0 Nov 19 20:02 /var/run/zoneproxy_door>

# pkg publisher solaris

...

http://localhost:1008/solaris/e7632014025b2087fecdde1c533dfed93538f0ff/

...

# pgrep -lf proxy

3947 /usr/lib/zones/zoneproxy-client -s localhost:1008




Bereitstellung Zonentemplate/Manifest/SC-Profil

SC-Profil

/usr/share/auto_install/sc_profiles/static_network.xml

sysconfig(1M)

Modifizierte Kopie/Template eines vorhandenen SC-Profil

Manifest

/usr/share/auto_install/manifest/zone_default.xml

Modifizierte Kopie/Template eines vorhandenen Manifest

Zonentemplate

zonecfg(1M)

Modifizierte Kopie/Template eines vorhandenen Zonentemplate




Einmalige Aufwnde

Manifest bleibt generisch

Minimale Anpassungen in Template/SC-Profile pro Zone

Installation/Bereitstellung

# zonecfg -z zone1 -f /tmp/t_zone1.cmd

# zoneadm -z zone1 install -c /tmp/p_zone1.xml -m /tmp/m_zone1.xml

# zoneadm -z zone1 boot; zlogin -e# -C zone1

Fertig !



Tipps & Tricks - Zonen mit VNIC (anet). (1)

Ein oder mehrere VNIC per Zone (anet)

Automatisch beim Boot erzeugt und einer Zone zugeordnet

net0, net1, als Namen

Exclusive-IP Stack ist Default

Umfangreiche Konfigurationsmglichkeiten

Steuerung/Kontrolle der Vergabe von IP-Adressen

Bandbreitensteuerung

VLAN-ID's

...



Tipps & Tricks - Zonen mit VNIC (anet). (2)

Zonenkonfiguration

# zonecfg -z zone1 info anet linkname=net0

anet:

anet:

linkname: net0

lower-link: aggr0

allowed-address: 192.168.56.100/24,192.168.56.101/24

configure-allowed-address: true

...

mac-address: auto

...

vlan-id: 12

...

maxbw: 1024m

...

Konfiguration/Limitation VNIC

Auto. Nutzung Slot-MAC's

VLAN-Tagging

Bandbreitenlimitierung



Tipps & Tricks - RCTL's.

Sinnvolle Default-Resourcecontrols



Tipps & Tricks - P2V. (1)

Vorraussetzungen Minimale Vorraussetzungen auf Quellsystem:

Patch 142909-17 (SPARC) /142910-17 (x86/x64)

Patch 119254-75, 119534-24/140914-02 (SPARC)

Patch 119255-75, 119535-24/140915-02 (x86/x64)

Nutzung des Preflight System Checker for Oracle Solaris 11.1 (PSC) auf Oracle Solaris 10 System

sol10node # unzip SUNWzonep2vchk.zip

sol10node # pkgadd -d .

sol10node # cd /opt/SUNWzonep2vchk/bin

sol10node #./zonep2vchk

--Executing Version: 1.0.5-11-16135

...

--Total issue(s) detected: 13

sol10node #

Ggf. Konfiguration anpassen




Bereinigung der durch den PSC anzeigten Issues

Nutzung des PSC zur Erzeugung eines Brand Solaris 10 Zonen-Templates

Anpassung des Templates an das Zielsystem

zonepath usw.

sol10node # ./zonep2vchk -T S11 -c > /net/sol11node/sol10node.cmd

sol10node # vi /sol10node.cmd

...

set zonepath=/zones/node4

set hostid=1308f6cc

add anet

set linkname=e1000g0

set lower-link=net0

set mac-address=8:0:27:8d:b4:7b

end

...




Flasharchiv des Oracle Solaris 10 Systemes erstellen

Setup der Brand Solaris 10 Zone auf Oracle Solaris 11 System

sol11node # zonecfz z sol10node f /sol10node.cmd

sol11node # zoneadm -z sol10node install -p -a /sol10node.flar

sol11node # zoneadm -z sol10node boot;zlogin -e# -C sol10node

sol10node # flarcreate -n sol10node -S /net/sol11node/sol10node.flar



Tipps & Tricks - ZoSS. (1)

ZOSS untersttzt das Setup auf shared Storage und die Migration von Zonen zwischen verschiedenen Nodes.

Unter ZOSS sind derzeitig folgende Anbindungen zur Nutzung als shared Storage freigegeben:

Fibre Channel

iSCSI

Die Basis des Konzeptes sind die neuen Zonen-Properties:

rootzpool

zpool




suriadm(1M)

suri(5)

Setup Zonenkonfiguration

# suriadm lookup-uri /dev/dsk/c0t60A9800041762D6B415D425634344F4Ed0

lu:luname.naa.60a9800041762d6b415d425634344f4e

...

# suriadm lookup-uri /dev/dsk/c0t60a9800022362d6b415d425634344f4cd0

lu:luname.naa.60a9800022362d6b415d425634344f4c

...

# zonecfg -z zone1

create -b

...

add rootzpool

add storage lu:luname.naa.60a9800041762d6b415d425634344f4e

end

...

add zpool

set name=data

add storage lu:luname.naa.60a9800022362d6b415d425634344f4c

end

...

Logical Unit URI/ Name Address Authority

Logical Unit URI/ Name Address Authority




Setup Zone

ZFS Konfiguration nach Installation

Automatischer Export/Import der ZFS-Pools

# zoneadm -z zone1 install ...

Created zone zpool: zone1_rpool

Created zone zpool: zone1_data

...

# zfs list | grep zone1

zone1_data 83.5K 3.91G 31K /zones/zone1/root/data1

zone1_rpool 853M 48.1G 33K /zones/zone1

...

ZFS-Pools werden automatisch erzeugt

nodeA # zoneadm -z zone1 detach

Exported zone zpool: zone1_rpool

Exported zone zpool: zone1_data

...

NodeB # zoneadm -z zone1 attach

Imported zone zpool: zone1_rpool

Imported zone zpool: zone1_data

...



Tipps & Tricks - Delegated Admin.

Erweitert die Administrationsrechte fr eine lokalen Zone um einen nichtprivilegierten User/Rolle

root# su - zadmin

zadmin# zlogin zone1

zlogin: You lack sufficient privilege to run this command (all privs required)

zadmin# logout

root# zonecfg -z zone1 "add admin;set user=zadmin;set auths=login,manage;end"

root# su - zadmin

zadmin# pfexec zlogin zone1

[Connected to zone 'zone1' pts/2]

...

[Connection to zone 'zone1' pts/2 closed]

zadmin# pfexec zoneadm -z zone1 halt

zadmin# pfexec zoneadm -z zone1 uninstall

Are you sure you want to uninstall zone zone1 (y/[n])? n

Authorisation Login + Verwaltung



Tipps & Tricks - Immutable Zone.

Root-Filesystem(e) der Zone teilweise oder vollstndig readonly Implementation ber Privilegien

zonecfg set file-mac-profile = none:

strict: gesamtes Filesystem readonly, logging remote

fixed-configuration: /var schreibbar (ohne configs)

flexible-configuration: /var und /etc schreibbar

# zoneadm -z zone1 list -p

-:zone1:installed:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:-:none

# zonecfg -z zone1 "set file-mac-profile=strict;commit;exit"

# zoneadm -z zone1 boot


4:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:R:strict

# zoneadm -z zone1 reboot -w


5:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:W:strict



Tipps & Tricks - IP-Verbindung Zone2Zone.

# zonecfg -z zoneA info anet linkname=net1

anet:

linkname: net1

lower-link: zonelink0

allowed-address: 1.1.1.1/8


#

# zonecfg -z zoneB info anet linkname=net1

anet:

linkname: net1

lower-link: zonelink0

allowed-address: 1.1.1.2/8


#

# dladm create-etherstub zonelink0



Tipps & Tricks - Monitoring mit zonestat.

einfaches Monitoring

Monitoring im Kontext einer einzelnen lokalen Zone

Monitoring im Kontext Pool/Prozessorset

Monitoring im Kontext RSS

# zonestat 1 12

Collecting data for first interval...

Interval: 1, Duration: 0:00:01

SUMMARY Cpus/Online: 32/32 PhysMem: 128G VirtMem: 255G

---CPU---- --PhysMem-- --VirtMem-- --PhysNet--

ZONE USED %PART USED %USED USED %USED PBYTE %PUSE

[total] 0.12 0.39% 5006M 3.81% 20.7G 8.08% 194 0.00%

[system] 0.00 0.00% 4450M 3.39% 19.9G 7.81% - -

global 0.11 0.35% 251M 0.19% 279M 0.10% 194 0.00%

testzone1 0.00 0.00% 73.9M 0.05% 113M 0.04% 0 0.00%

...

# zonestat -z testzone1 1

# zonestat -r psets 1 12

# zonestat -r physical-memory -z testzone1 1 12



Tipps & Tricks - Monitoring mit fsstat.

Filesystemstatistiken im Zonenkontext

-z

# fsstat -z hsz -F 1

new name name attr attr lookup rddir read read write write

file remov chng get set ops ops ops bytes ops bytes

0 0 0 0 0 0 0 0 0 0 0 ufs:hsz

0 0 0 969 0 2.41K 196 587 200K 0 0 proc:hsz

0 0 0 0 0 0 0 0 0 0 0 nfs:hsz

654 283 201 383K 138 1.10M 21.3K 257K 326M 23.8K 62.5M zfs:hsz

0 0 0 3.86K 0 0 0 0 0 0 0 lofs:hsz

# fsstat -z hsz -a zfs 1

getattr setattr getsec setsec

277K 132 510 1 zfs:hsz

0 0 0 0 zfs:hsz

0 0 0 0 zfs:hsz

0 0 0 0 zfs:hsz

0 0 0 0 zfs:hsz

0 0 0 0 zfs:hsz



Zusammenfassung.

Default-Nutzung von RCTL's als weitere Isolation

Kein Shared-IP Modell zur direkten Verbindung ntig Etherstub + VNIC

Limitierung der IP-Vergabe in der Zonenkonfigurtion als Sicherheitsfeatures bzw. Schutz vor Fehlkonfiguration

Nutzung von ZoSS als Basis fr "PoorMan"-HA

P2V als temporre berbrckung bei EOL-HW



Quellen.

Oracle Solaris Preflight Applications Checker 11.1

http://www.oracle.com/technetwork/server-storage/solaris11/downloads/preflight-checker-tool-524493.html



Vielen Dank fr Ihre Aufmerksamkeit. [email protected]



Doors /var/run Verwendung

zoneproxy_door Door-Schnittstelle fr Zonenproxy-Prozess fr Zugriff auf IPS-Repository aus der lokalen Zone

zonestat_door Door-Schnittstelle fr zonestat-Kommando zum Monitoring des Resourcenverbrauches der lokalen Zone

Documents

Oracle Solaris 11 Zones Tipps Und Tricks