Virtualisierung & RAC 1 - doag.org · Virtualization Layer Virtual Machines. 4 Lösung II: ... I/O Server • Verwendung eines ... set-up simplification Integrierter Strom

1

Oracle

<Insert Picture Here>

Virtualisierung & RAC

[email protected] DatenbankOracle Deutschland GmbH

2


Agenda

• Warum Virtualisierung?

• Arten der Virtualisierung

• Zusammenspiel der Virtualisierung

• Beispiele Virtualisierung & RAC• IBM LPAR

• HP Blade

• Oracle VM

• Virtualisierung � Desaster Recovery

Traditionelle IT Architekturen

• Insellösungen:• Statisch zugewiesene

Rechnerresourcen

• Manche brauchen weniger Ressourcen

• Andere sind fast nicht mehr benutzt

• Hohe Kosten• Hardware

• Wartung

• Software

• Storage

• Anpassungen an wechselnde Geschäftsanforderungen sind sehr schwierig

ApplikationX

ApplikationY

ApplikationZ

3

Grid Computing, Virtualisation, Green-IT – warum ?

• Kosten

• Bessere Ressourcenausnutzung

• Serverkonsolidierung

• Bedarfsgerechte Skalierbarkeit

• Ausfallsicherheit / Verfügbarkeit

• Wartbarkeit

• Schnellere Reaktion auf neue Anforderungen

• Erhöhen des Service-Grades

• Reduzierung der Umweltbelastung

Lösung I: Server VirtualisierungOracle VM

• Splitten eines physischenServers in mehrerelogische kleine Server

• Serverwartung• Hardware:

Online Migration zu einem anderen Server

• Zusätzlicher Nutzen:• Granulare

Ressourcenzuordnung

• Einfaches Deployment

• Server Konsolidierung

Hardware Plattform

Virtualization Layer

Virtual Machines

4

Lösung II: Virtualisierung (Cluster)

• Zusammenfasses mehrerer physischer Server zu einem logischen großen

• Serverwartung• Hardware:

Arbeit übernehmen andere Knoten

• Betriebssysteme

• Zusätzlicher Nutzen:• Ressourcenausnutzung

• Unlimitierte Skalierbarkeit

• Ungeplante Ausfallzeiten

… the answer to every consolidation and

availability problem may not be a single

virtualisation technology, but instead a

combination of complementary solutions.

Burton Group

5

Unterschiede – TechnologieVerfügbarkeit / Skalierbarkeit / Flexibilität

VirtualisierungOracle VM

• Limitiert durch die Größe der SMP Box

• Online Migration zu einem größeren Server

• Verringert geplante Ausfallzeiten

• Vereinfacht HA Deployment

• FeingranulareRessourcenzuordnung

• Dynamisches Load Balancinginnerhalb des Servers

Grid ComputingOracle Real Application Clusters

• Unlimitierte Skalierung (CPU & IO)

• Provisionierung neuer Server in den Cluster

• Verringert geplante und ungeplante Ausfallzeiten

• Best mögliche Failover-Zeiten

• Allokation von Server Ressourcen

• Dynamisches Load Balancing über Rechnergrenzen

Unterschiede - NutzenEinsparungspotential & Eignung

VirtualisierungOracle VM

• Server Konsolidierung

• Verbesserte CPU-Ausnutzung

• Kleine bis mittlere Applikationen

• Legacy und nicht kritische Applikationen

• Test & Entwicklung

• Einfaches Deployment

• Anwendungstransparent

Grid ComputingOracle Real Application Clusters

• Skalierung und Hochverfügbarkeit mit kostengünstiger Hardware

• Verbesserte Ausnutzung der Ressourcen Server übergreifend

• Mittlere bis sehr große Applikationen

• Geschäftskritische Anwendungen

• Performancekritische Anwendungen

• Anwendungstransparent

6

Verfügbarkeit

��☺☺☺☺Initiales Deployment

☺☺☺☺��Skalierbarkeit

☺☺☺☺0 min

☺☺☺☺< 1 min

Systemwartung

(geplant Ausfallzeit)

☺☺☺☺��Systemausfall

(ungeplante Ausfallzeit)

Grid / RACOracle VMSzenarien

Oracle VM erweitert das Gridkomplementäre Lösungen

Oracle VM Oracle VM Oracle VM

RAC

Node

RAC

Node

RAC

Node

Oracle

Application

Enterprise

Manager

high speed interconnect

Single

Instance

Database

• Einfache Pflege und Verwaltung

• Virtualisierung innerhalb und über Cluster hinweg

7

Verfügbarkeit

��Intensiver Workload

•Enterprise DWH

•kritische Unternehmens-Applikationen

��Konsolidierung, Flexibilität & HA:

•SOA Applikationen

•Grid fähige Software

**��Konsolidierung:

•Legacy Applikationen

•Geringer Oracle Anteil

•Nicht Grid fähige Software

GridGrid & Oracle VM

Oracle VMSzenarien

* Abhängig von Geschäftsanforderungen


RAC & IBM LPAR

Datenbank Cluster

8

Einleitung: Dynamic LPAR

• Standard auf den neueren Power Systemen

• Allokation von Prozessoren, Memoryund I/O zu virtuellen Servern

• Minimum 128 MB, 1 CPU

• Komplett unabhängige Ressourcen

• Ressourcen können zwischen der laufenden Partitionen ausgetauscht werden

• Applikationen werden von den Änderungen benachrichtigt

• Automatisierung mit Hilfe des Partition Load Managers

• AIX 5.2+ oder Linux 2.4+

HMC

AIX 5L Linux

Hypervisor

Part#1

Production

Part#2 Part#3 Part#4

Legacy Apps

Test/Dev

File/Print

AIX 5L AIX 5L

Move resources

between live partitions

4 CPU

6GB Memory

2 Ethernet

2 CPU

4GB Mem.

2 Ethernet

2 CPU

4GB Mem.

2 Ethernet

2 CPU

2GB Mem.

2 Ethernet

Micro-Partitions

• Teilen sich einen gemeinsamen Pool von Prozessoren

• Allokation von CPU Ressourcen “on Demand”

• Verbrauchen keine Ressourcen wenn nicht benötigt

• Bekommen ein garantiertes Minimum an Ressourcen, wenn benötigt.

• “Capped” oder “Uncapped”

• Teilen des Plattenzugriffs (Adapter) möglich

• Teilen der Netzwerkadapter möglich

• Unterstützen dynamische Rekonfiguration des Memories

• Isoliert

AIX 5.2

I/O S

erve

rP

artit

ion

I/O Adapters

LAN, WAN, …

3 CPUs

8 CPUs

Disks

AIX

5.3

AIX

5.3

AIX

5.3

Linu

x 2.

6

i5/OS

1 CPU

Hypervisor

9

Micro-Partitions – Definitionen

• Shared Pool• Anzahl Prozessoren nicht dediziert einer LPAR zugeordnet

• Capacity Entitlement• Garantiertes Resource-Mimimum einer aktiven

Partition

• Minimum : 0.1 , Increment : 0.01

• Capped/Uncapped• Capped Partitionen verwenden maximal das zugewiesene Capacity Entitlement

• Uncapped Partitionen erhalten freie Ressourcen zusätzlich zu Ihrem Capacity Entitlement

• Weight• Relative Priorisierung von Uncapped Partitionen

• Virtual Processors• Anzahl Prozessoren, die ein Betriebssystem “sieht”

• Können die Anzahl “echter” Prozessoren des Shared Pools übersteigen

• Setzten ein oberes Limit für den Ressourcenverbrauch

• Capacity Entitlement kann kleiner oder gleich der Anzahl Virtueller Prozessoren sein

POWER5 Hypervisor

App App AppLargeApp

Shared PoolDedicated

LPARLPARLPAR LPARLPARLPAR LPARLPARLPAR

DeconfiguredDeconfiguredDeconfigured

Inactive (CoD)Inactive (Inactive (CoDCoD))

Logical (SMT)Logical (SMT)Logical (SMT)

Physical(Installed)

VirtualVirtualVirtual

DedicatedDedicatedDedicated

SharedSharedShared

lscfg | grep proc

84 2

Micro-Partitioning Overview

10

Virtual Ethernet

• Kommunikation zwischen der Partitionen• Konfiguriert wie ein standard

Ethernet Switch

• IEEE 802.1Q

• Supported 4096 VLANs• Unterstüzt mehrere Protokolle

(z.B. IPv4, IPv6)

• Zugriff auf externe Netzwerke via. I/O Server• Verwendung eines Shared

Ethernet Adapter Bridge

• Standard Routing Protokolle

AIX 5.3 I/O Server

I/O Server

AIX 5.3 LINUX 2.6

Oracle

Hypervisor

Example: Virtual Ethernet Connections

AIX 5.3

Oracle

DB2

AIX 5.3 I/O Server

LINUX 2.6

Hypervisor

Oracle

EBS

I/O Server

Storage

Private

Oracle

Appl.

AIX 5.3

Oracle

DB1

AIX 5.3 I/O Server

LINUX 2.6

Hypervisor

Oracle

EBS

I/O Server

Oracle

Appl.

NAS Storage

11

Virtual SCSI

• Virtual I/O Servers (VIOS)• Eigene “reale” Adapter

• SCSI, Fibre-channel, iSCSI• Festplatten & optische Medien

• Multipathing

• LPAR greift via. virtueller Adapter (VSCSI) zu

• Logische Devices• Angezeigt als SCSI devices

• Verwendbar als Boot Device

• Untertützt Mirroring und Multipathing (MPIO)

• “Shared” zwischen den LPARs

A A’

A’A

AIX 5.3 I/O Server

I/O Server

AIX 5.3 LINUX 2.6

Oracle

OracleDatabase

Hypervisor

Example: Virtual SCSI Connections

Oracle

RAC QA

AIX 5.3

I/O Server

Hypervisor

Oracle

RAC DB

I/O Server

SAN

Storage VolumeController

Oracle

TestOracle

RAC QA

I/O Server

Hypervisor

Oracle

RAC DB

I/O Server

Oracle

Test.

AIX 5.3

12

Example: Virtual SCSI Connections

Oracle

QA

AIX 5.3

I/O Server

Hypervisor

Oracle

RAC DB

I/O Server

SAN

Storage VolumeController

Oracle

TestOracle

QA

I/O Server

Hypervisor

Oracle

RAC DB

I/O Server

Oracle

Test.

AIX 5.3


RAC & HP Blades

Datenbank Cluster

13

Warum Blades?

• Geringere Stromaufnahme

• Weniger Kabel

• Geringerer Platzbedarf

• Schnellere Inbetriebnahme

• Geringere TCO

… bei gleicher Rechnertechnik!

Betriebskosten: Power/cooling & Cabling

• Redundante Power16 x 2 power supplies per server = 3216 x 2 power cables per server = 32

• Redundante Kühlung:16 x 9 fans per server = 144 (N+1)

• Ext LAN ports16 x 4 Nics = 64 LAN Cables

• Ext SAN ports16 x 2 FC ports = 32 4Gbit sfps +

32 FC Cables

• KVM Connectivity16 x Video/PS2 = 16 KVM Cables

• Redundante Power:6 shared by 16 servers2-6 cables shared by 16 servers

• Redundante Kühlung:10 shared by 16 servers (N+3)

• Ext LAN ports4-8 Cables

• Ext SAN ports4-8 4Gbit sfps + 4-8 FC Cables

• iKVM Connectivity2 KVM Cables

16 x 16 in 1

14

Energie Efficient Computing

Ökonomisch & Ökologisch• Beispiel: Einsparung bis zu 114 Watt pro Server (Power) – durch

Thermal Logic (Power Supplies, Power Regulator, Lüfter, …)

Ökonomisch• 171 Watt (für Power & Cooling ~1.5x)• Kalkulation für ein Jahr Betrieb (7 x 24) => 8760 Stunden• 8.760 Stunden x 171 Watt = 1498 kWh => ~164 Euro pro Server im

Jahr (bei einem Strompreis von 11 Cent pro kWh)• Beispiel mit 16 Servern: 2636€ weniger pro Jahr• 7910€ weniger auf 3 Jahre

Ökologisch• 1kg CO2 pro kWh (Kohlekraftwerk); Quelle: http://www.eia.doe.gov• Beispiel mit 16 Servern: 24 Tonnen CO2 weniger pro Jahr

c7000 EnclosureFront View

10U

15


10U

Onboard Administrator• HP Insight Display, set-up simplification

Integrierter Strom• Einfache Konfiguration &

große Effizienz

• Flexibilität, Kapazität und Redundanz


10U

Half-Height Blade Server• Bis zu 16 pro Enclosure

16


10U

Full-Height Blade Server• Bis zu 8 pro Enclosure

double Blade Server• Bis zu 32 pro Enclosure

c7000 EnclosureRear View – Volle Redundanz

17

c7000 EnclosureRear View - Volle Redundanz

Onboard Administrator

• Fernwartung

• Redundant Active/Passive Design

• Mid-plane ist komplett redundant(keine Aktiven Komponenten)

• Beide OA’s können ausfallen, das Enclosure läuft weiter!


Active Cool Lüfter

• Passt sich der maximalen Last, Durchlüftung und Lautstärke an

• Redundates Lüfterdesign

Power Management

• Wahl 1 phasig oder 3 phasige Enclosure

• AC Redundanter Modus oder Redundanz nach Stromversorgung

• Optimale Performce pro Watt

• Nur 3 benötigt für das komplette Enclosure

18


Interconnect Einschübe

• 8 Einschübe; bis zu 4 redundante I/O fabrics

• Bis zu 94% Verringerung der Kabel

• Ethernet, Fibre Channel, iSCSI, SAS, IB

• Enclosure Mid-plane aggregierteBandbreite von 5Tbs

• Redundante Verbindungen zu jedem Blade

HP Virtual Connect Ethernet Module

• 16x 1Gb Ethernet – Verbindung zu einer NIV in jedem Blade Server Einschub

• 1x 10Gb – Cross-link zwischen nebeneinanderliegenden VC-Enet Modulen

• Management Interface über den Onboard Administrator

8x 1Gb Ethernet (RJ45)Usable as data center links or

as stacking links.

2x 10Gb Ethernet (CX4)Usable as data center links or

as stacking links. Port Number & Status IndicatorsIndicates whether a data center link (green),

stacking link (amber), or highlighted port (blue).

19

Server & NetzwerkeEnge Kopplung erfordert LAN & SAN Änderungen

• Netzwerk- und Storage Administratoren sind auch bei Routineaufgaben gefordert

• Wird ein Server ersetzt oder bewegt

• Muss auf die Änderung der MAC adresse reagiert werden (DHCP Server, etc.)

• Das Zoningeingerichtet und die Storage Presentation(WWN) angepasst werden

Network AdministratorServer Administrator

Storage Administrator

A

B

C

Spare

LAN

SANE

NE

T

Sw

itch

FC

S

witc

h

Blade Enclosure

NIC

HB

AN

ICH

BA

NIC

HB

AN

ICH

BA

MAC addr

WWN

Virtual Connect Flexibilität

• Virtual Connectvirtualisiert das Netzwerk, so dass Änderungen der Server keine Auswirkungen auf Netzwerk und Storage haben:

• LAN, SAN, & Server Administratoren helfen beim Initialen Aufsetzten

• Danach kann alles Weitere vom Server Administrator erldigtwerden

• Keine sichtbaren Änderungen der MAC Adresse oder der WWNs

Network DomainServer Domain

Storage Domain

A

B

C

Spare

LAN

SAN

Blade Enclosure

NIC

HB

AN

ICH

BA

NIC

HB

AN

ICH

BA

HP

Virt

ualC

onn

ect

20

pNIC pNIC

Server Blade BServer Blade A

Virtual Connect

For Ethernetworks across

multiple stackedenclosures

HP Virtual Connect Manager

pNIC pNIC

LAN 2 LAN 3 LAN 4LAN 1

Spare or new Server

pNIC pNIC

Virtual ConnectManager (VCM)

Looks just like standard server connections from external network switches

pNIC pNIC

Server BServer A

Virtual Connect

For Ethernetworks across

multiple stackedenclosures

HP Virtual Connect Manager

pNIC pNIC

LAN 2 LAN 3 LAN 4LAN 1

Spare becomesServer A

pNIC pNIC

Virtual ConnectManager (VCM)

Looks just like standard server connections from external network switches

Move Ethernet MACs, FC WWNs,and FC boot parameters.

21

Virtual Connect Manager

Virtual Connect Enterprise Manager

• LAN Addresses (MAC)• SAN Addresses (WWN)• Server Connection

Profiles

SAN LAN SAN LAN

Für kleine und große Infrastukturen


RAC & Oracle VM

Datenbank Cluster

22

Oracle RAC zertifiziert

Oracle Real Application Clusters (RAC)

• Oracle 10gR2 (10.2.0.4 and up) RAC for Linux x86 certified on Oracle VM 1

• Guest OS: OEL 5.1 (and above) RHEL 5.1 (and above) for Linux x86• Paravirtualized (PV) mode only• The following features are not supported:

• CPU overcommit: only one virtual CPU per core• Dynamic resizing of guest virtual machine• Live Migration• Virtual Machine Pause/Restore

1 Only for x86 (32-bit). Other certifications of RAC on OracleVM is ongoing but not completed yet today (September 2008)

• Metalink Note: 464754.1 - Certified Software on Oracle VM

23

24

25


Stretched Cluster =

Kein Desaster Recovery

Datenbank Cluster

26

Stretched Cluster: Kein Desaster Recovery!

Cluster Interconnect

Write

Lost Write

Absicherung gegen Datenkorruption

• DB_ULTRA_SAFE Parameter (11g)

• Umfassendste Maßnahme um Datenkorruption zu erkennen und zu verhindern• DB_BLOCK_CHECKING erkennt und verhindert Blockkorruptionen

• DB_BLOCK_CHECKSUM erkennt und verhindert Korruptionen in den Redologs (gilt nur für die Standby)

• DB_LOST_WRITE_PROTECT – Erkennt „Lost Writes“

• Den Besten Schutz erhält man im Zusammenhang mit DataGuard

• HARD (Hardware Assisted Resilient Data) Initiative erkennt „verirrte“ Schreiboperationen auf falsche Datenfiles, nicht aberalle verlorengegangene.http://www.oracle.com/technology/deploy/availability/htdocs/vendors_hard.html

Cluster Interconnect

Write

Lost Write

Cluster InterconnectCluster InterconnectCluster InterconnectCluster Interconnect

Write

Lost Write

27

Oracle Data GuardStandby-Datenbanken

• Kostenfreier und Bestandteil der Oracle Enterprise Edition

• Standby-Seite muss lizenziert werden

• Physical Standby für Desaster Recovery

• Logical Standby für Rolling Upgrades und Reporting

Physikalische Standby

DatenbankProduktions

Datenbank

Oracle Data GuardZero Data Loss über lange Distanzen

• Die verwendete Netzwerkbandbreite von Data Guard RedoTransport ist viel geringer, als bei System auf Basis reiner Plattenspiegelung

150 km 450+ km

Data Guard: Synchrones Redo Shipping

Synchrone Plattenspiegelung

300 km

Data Guard DR

Sweet Spot

• Weit genug weg für Regionales Desaster• Nah genug für Zero Data Loss

28

Active Data Guard 11g

• Entlastung der Primärdatenbank durch Auslagerung von Read-OnlyAbfragen auf eine immer aktuelle Physikalische Standby

• Redologs werden unterdessen transportiert und sofort angewendet

• Alle Datentypen werden unterstützt

• Konsistente Leseergebnisse

Real-time

Queries

Physikalische Standby

DatenbankProduktions

Datenbank

Laufender Redo

Transport & Apply

Real-time Query

Schnelles

Inkrementelles

Backup

Typische HA Architektur

29

Maximum Availability Architecturehttp://www.oracle.com/technology/deploy/availability/htdocs/maa.htm

DBA Community

• http://www.oracle.com/global/de/community/dbadmin

30

AQ&Q U E S T I O N SQ U E S T I O N S

A N S W E R SA N S W E R S

Q&A

Documents

Virtualisierung & RAC 1 - doag.org · Virtualization Layer Virtual Machines. 4 Lösung II: ... I/O Server • Verwendung eines ... set-up simplification Integrierter Strom