Blade Conference

Fujitsu Technology Solutions ©

Technologia serwerów

blade

Mity i faktyPoznań, 2009/05/28

Robert Prus, Solutions Consultant, Fujitsu Technology Solutions

Fujitsu Technology Solutions © 1

Czym jest technologia serwerów blade

Mity i fakty

Wartości biznesowe serwerów blade

Platformy Primergy BX900 i BX600

Agenda


Czym jest technologia serwerów

blade


Rack optimized server

Redundant PSUs

Hot-Plug HDDs

Floppy

DVD-drive

Hot-Plug Fan

CPUs & RAM

FibreChannel HBA

Remote Service Board

- Limit of miniaturization?

KVM Switch SAN SwitchLAN Switch


Blade Server Architecture –centralized infrastructure

KVM Blade

Management Blades

Fans

Pass-Through Blades

Server Blade

Storage Blade

NAS-BladePSUs

Switch Blades

Redundant PSUs

CPUs & RAM Midplane Infrastructure


The Math's

18 x 2 Sockets x 4 Cores = 144 Cores in 10 U

18 x 18 DIMMs x 8 GB = 2.592 GB Memory

18 x 16 Lanes x 22 Gbit/s = 6.400 Gbit/s Midplane Bandwidth

(6 x 4 HDD SX + 12 x 2 HDD BX) x 300 GB =

14,4 TB DAS Storage capacity

Management Blade interconnectivity & Switch stacking (up to 4 Chassis)

8 x Connection Blades with the choice of switch- or pass through modes

Infiniband QDR (40Gbit/s) capable

System ID Card (“we just love details”)

BX900 Rear View

BX900 Front View

PRIMERGY BX900


PRIMERGY BX600 S3

Front View … and Rear View

Redundant

Fans Redundant

PSUs

Redundant

Management

Blades

KVM Blade

Pass-Through

Blades

Quad-CPU

Server Blade

BX630 S2

Dual-CPU

Server Blade

BX620 S4

Dual-CPU

Server Blade

BX630 S27 U

Rack m

odule

Switch Blades

Slot

bezel

NAS-Blade

NX650


Mity i fakty


Nie.

Technologia serwerów blade jest

skomplikowana.


Nie.

Technologia serwerów blade jest dla

klientów ”z wyższej półki”.


Jaki jest próg wejścia w technologię blade?

Inaczej:

Jakie powinny być minimalne wymagania wydajnościowe projektu IT, aby rozważyć zastosowanie technologii serwerów blade?

Racjonalnym progiem wydaje się być wypełnienie szafki blade przynajmniej w połowie.

Co oznacza:

5 serwerów dwu-procesorowych (Intel Xeon 5400/5500, AMD Opteron 2300/8300) dla platformy blade Primergy BX600.

9 serwerów dwu-procesorowych (Intel Xeon 5400/5500, AMD Opteron 2300/8300) dla platformy blade Primergy BX900.

10


Tak/Nie.

Technologia serwerów blade jest

technologią energooszczędną.


Energooszczędność technologii blade

Zasadniczo nie ma żadnych różnic w porównaniu do technologii serwerów rack/tower.

Te same komponenty (CPU, chipsets, RAM, disks).

Energooszczędność technologii serwerów blade wynika wprost z cech komponentów (CPU, chipsets, RAM, disks).

Możliwość wyboru modelu CPU (taktowanie, pobór prądu).

Intel Xeon 5500: W - 130 W, X – 95 W, E – 80 W, L – 60 W.

AMD Opteron 2300: SE – 105 W, standard – 75 W, HE – 55 W, EE –40 W.

Należy starannie projektować system pamięci RAM.

1 moduł DIMM w zależności od rodzaju technologii (DDR1, DDR2, DDR3, FBDIMM) to 4 – 11 W.

Z reguły (choć nie zawsze) technologia serwerów blade oferuje większą gęstość upakowania mocy obliczeniowej.

18 serwerów rack dual-socket: 18 x 1 RU = 18 RU.

18 serwerów blade dual-socket: BX900 – 10 RU.

12


Energooszczędność technologii blade

Brak PSU, fans na modułach blade.

Mniejsza liczba PSU, fans w szafce blade w porównaniu do rozwiązania tradycyjnego.

Dla BX900: 6 x PSU, 12 x fan

Dla 18 serwerów rack: 18 x 2 x PSU, 18 x [#fans-per-server] x fan

13


http://www.intel.com/Assets/PDF/prodbrief/xeon-5500.pdf


http://www.intel.com/Assets/PDF/prodbrief/xeon-5400-animated.pdf


Tak/Nie.

Vendor A: Moja technologia

serwerów blade jest najlepsza, gdyż

oferuje najwyższy poziom

upakowania mocy obliczeniowej w

szafie rack.


Gęstość upakowania mocy obliczeniowej

100 procesorów Intel Xeon X5570 (2.93 GHz, 95 W) będzie potrzebowało 9.5 kW (zasilania i chłodzenia) niezależnie od tego czy będą to serwery rack/tower, czy serwery blade.

Wyższa gęstość upakowania mocy obliczeniowej oznacza potrzebę doprowadzenia do szafy rack lepszego systemu zasilania i lepszego systemu klimatyzacji (HVAC).

Dotyczy to centrów danych, gdzie masowo (co najmniej kilka szaf rack) jest wdrażana technologia serwerów blade.

Nie dotyczy to ”małych klientów” (jedna – dwie szafki blade).

Można używać procesorów energooszczędnych: 95 W versus 40/55/60 W per socket.

Typowy obszar dla ”dużego” wdrożenia technologii serwerów blade: 15 – 40 kW per szafa rack.

BX900 (10 RU): 6 (nadmiarowość 3+3) 2685 W PSUs (efficiency > 90%)

BX600 (7 RU): 4 (nadmiarowość 2+2) 2100 W PSUs

17


Gęstość upakowania mocy obliczeniowej

W pewnych klasach rozwiązań (np. HPC) muszą zostać spełnione następujące warunki:

Maksymalna gęstość mocy obliczeniowej per szafa rack.

Maksymalnie upakowanie szaf rack w serwerowni.

Wszystkie szafy rack muszą być w niedużej odległości od siebie (np. w promieniu 15 metrów – długość kabli Infiniband).

W typowym zastosowaniu dla technologii serwerów blade (konsolidacja, wirtualizacja) kryterium gęstości upakowania mocy obliczeniowej traci na znaczeniu.

18


Tak.

Technologia serwerów blade ma

liczne zalety.


Zalety technologii serwerów blade

Wyższy poziom integracji komponentów (CPU, RAM, dyski, sieć, I/O) niż serwery rack/tower.

Wyższy poziom gęstości mocy obliczeniowej.

Wymaga mniej fizycznego okablowania.

Switche Ethernet (1/10 Gbps), switche FC (1/2/4/8 Gbps), Infiniband (QDR, 40 Gbps). (Cisco, Brocade, Mellanox).

Pełna komunikacja I/O znajduje się już w szafie blade!

Konsolidacja I/O: switch 1 Gb Ethernet 10/6+2 – jeden kabel 10 Gbps!

Dla klientów z istniejącą już ustandaryzowaną infrastrukturą I/O są dostępne moduły I/O pass-through.

Zarządzanie dwupoziomowe:

Szafka blade (monitorowanie PSU, modułów I/O). – Trzy kable!

Pojedyncze moduły blade. – Żadnych kabli!

Dla równoważnej mocy obliczeniowej (BX900 versus 18 serwerów rack) będzie to 18 kabli (oraz portów na hubie/switchu) na podsieć zarządzania!

20



Bardzo prosty upgrade do nowszej generacji modułów blade.

Czas życia szafki blade to 5-10 lat.

Wysoki MTBF dla pasywnego backplane szafki blade. – Wysoka niezawodność!

Nowe generacje CPU (AMD, Intel) pojawiają się co 2-3 lata.

Wymiana modułu blade to operacja trwająca kilkanaście sekund dla jednej osoby.

Wymiana serwera rack zamontowanego w szafie rack, to może być nawet kilkadziesiąt minut dla dwóch osób.

Bardzo prosta wymiana uszkodzonego modułu blade.

Wymiana modułu blade to operacja trwająca kilkanaście sekund dla jednej osoby.

Przy odpowiednim zaprojektowaniu rozwiązania IT uszkodzenie pojedynczego modułu blade będzie niezauważalne dla użytkownika. (Klastry HA, VMWare vSphere HA, Oracle RAC).

21



Wirtualizacja I/O na granicy szafki blade.

ServerView Virtual-IO Manager.

Automatyzacja instalacji systemu operacyjnego, patchy, aplikacji. (Deployment, provisioning).

ServerView Suite.

Automatyczne zarządzanie infrastrukturą serwerów blade.

ServerView Resource Coordinator VE.

Idealna platforma pod aplikacje typu:

Konsolidacja/wirtualizacja.

• VMWare ESX/vSphere, Hyper-V, Citrix XenServer.

• Inne hypervisory x32/x64/x86.

Aplikacje webowe (web 2.0)

• Aplikacje wielowarstwowe oraz aplikacje ze skalowaniem horyzontalnym: database server; application server; web server; portal server; communication, collaboration, email servers.

22


Nie.

Technologia serwerów blade ma

liczne wady.


Wady technologii serwerów blade

Zasadniczo technologia serwerów blade nie ma żadnych wad ;) .

Dokonując wyboru (serwery rack/tower versus serwery blade) należy mieć na uwadze wszystkie cechy tych technologii.

24





Przy prawidłowo zaprojektowanej architekturze rozwiązania IT opartego na technologii blade możemy liczyć na oszczędności w obszarach:

Zmniejszona ilość pracowników IT potrzebnych do utrzymania infrastruktury serwerowej. – Można ich przesunąć do innych zadań!

Serwery Primergy są projektowane i wytwarzane na terenie Niemiec. –Niskie koszty produkcji! Niemiecka jakość, dokładność i precyzja wykonania!

Koszty prądu (zasilania i klimatyzacji) – procesory energooszczędne.

W stosunku do rozwiązania tradycyjnego: wyższy próg inwestycyjny wejścia, niższe koszty rozbudowy.

Wysoką dostępność aplikacji.

Wysokie SLA (Service Level Agreement).

Analizę TCO (Total Cost of Ownership) oraz ROI (Return Of Investment) należy wykonać starannie osobno dla każdego rozwiązania IT.

26


Build for Excellent Quality

Most modern and certified Production and Test sites

Optimized burn-in and test system cycles

Intensive Monitoring for maintaining Top Production Quality

“Made in Germany“ for the World

Next to customer

Integration of Japanese innovation and German quality standards for low failure rates

Best Factory

Industrial Excellence

Award 2003


Platforma Primergy BX900

The Dynamic Cube


BX900 - Dynamic Cube

Dynamiczne zasilanie i wentylacja

Wbudowana technologia Cool-safe™

Efektywne zasilacze sprawność >90%

ServerView Power Management

Dynamiczna Wirtualizacja

Najwyższa gęstość procesorów, pamięci i połączeń sieciowych w obudowie 10U

Najnowsze wirtualizacje INTEL

Wsparcie wszystkich typów wirtualizacji

ServerView Virtual IO Manager

Dynamiczna wysoka niezawodność

Pełna redundancja (MMB’s, NIC’s, Fans, PSU’s)

Funkcje prewencji i wykrywania potencjalnych awarii

ServerView Resource Coordinator

Dynamiczna efektywność i wydajność

Funkcje grupowania MMB & switch

Rekordzista pod każdym względem

Dynamicznie wszechstronny


18 Serwerów blade / 10 U = 36 procesorów

PRIMERGY BX900 - szczegóły

Do 6 Storage Blade

Grupowanie do 4 obudów

Dwu i Cztero procesorowe serwery blade

Nowatorskie zasilanie i wentylacja

4 redundantne topologie sieciowe (Fabric)

Do 16 ścieżek I/O na serwer >10Gb/s


Server blade PRIMERGY BX920

Połówkowy Server Blade (do 18 szt w obudowie)

Intel Tylersburg Chipset

2 procesory Intel Nehalem 55xx

max 72 GB RAM

do 2 kart I/O

zdalne zarządzanie - iRMC S2

opcja dysku uSSD (Hypervisor)

zintegrowany moduł TPM

RAID 0, 1 na płycie głównej


The BX900 has what it takes:

Physical Server blades pooled by design

and full storage connection capabilities.

Complete and versatile LAN & SAN

switching capabilities

Processing Server Blades with very high

memory capacity designed for pooling

virtual servers

Fully certified for all hypervisors (VMware,

MS HyperV, Xen)

High Speed midplane for hasslefree

connectivity and ServerView VIOM to take

away all complexity.

Complete Scalability and ServerView

RCVE, help orchestrating resources

dynamically.

ManageNow® the add-on solution for

highly automated integration in

heterogeneous Enterprise IT Management

environments

How can a blade be an infrastructure?

Dynamic Resourcing

Server Virtualization (Hypervisor)

Physical

Servers

Pool

Virtual

Servers

Pool

I/O Virtualization

Storage

Pool

LAN

&

SAN

APP APP DB DB


PRIMERGY BX900: Fully Redundant Design

Hot-Plug Design Features

6 redundant Power Supply Units

12 redundant Fan Units

2 redundant Management Blades

8 redundant Connection Blades

36 redundant Management IO paths

36 redundant Hard-Disks

BIOS Features

PreFailure Detection & Analysis (PDA)

Automatic Server Reconfiguration & Restart (ASR&R)

Advanced ECC

Memory Scrubbing

SDDC (Chipkill™)

Memory Mirroring support

Hot-spare memory support


PRIMERGY BX900 Blade Types

CPU Blade Types

BX920

BX922

(Q1/10)

BX960

(Q2/10)

Storage Blade Types

SX910

SX9402 Intel Xeon CPUs9 Memory DIMM-Sockets2 Mezzanine Cards2 HotPlug Disks2 Dual 1GbE Controllers (VMDq)iRMC S2uSSD Connector System ID Card

2 Intel Xeon CPUs

18 Memory DIMM-Sockets

2 Mezzanine Cards

No HotPlug Disks

1 Dual 10GbE Controller (VMDq)

iRMC S2

uSSD Connector

System ID Card

4 Intel Xeon CPUs

32 Memory DIMM-Sockets

4 Mezzanine Cards

No HotPlug Disks

2 Dual 10GbE Controllers (VMDq)

iRMC S2

uSSD Connector

System ID Card


PRIMERGY BX900: Scalability for I/O Connectivity

4 Gbit/s FC

Pass-Thru 18/18

8 Gbit/s FC 18/8

Brocade

4 Gbit/s FC 16/8

Cisco

1 GbE

16/8

Cisco VBS

1 GbE 16/4+2

Cisco VBS

1 GbE

16/8

Cisco

1 GbE

36/12

1 GbE 36/8+2

Stackable10 GbE 18/8

Freedom of choice in connection blades:

State-of-the-art LAN- & SAN Connectivity from Fujitsu, CISCO, Brocade

and Emulex


PRIMERGY BX900 - Midplane

High-performance passive midplane

Fujitsu developed (Simulated, validated and approved in cooperation with INTEL)

28 Layers (14 Signal-Layers, 14 Power-Layers)

7.11 mm thickness

Designed with low loss material

Avoidance of parallel routing to woven glass material for dielectric weave compensation

5.9 Tb/sec bandwidth – over 10x the BX600


PRIMERGY BX900 – Rear : Connectivity

Single-Wide Connection Blade (SWCB)

Double-Wide Connection Blade (DWCB)

Fibre Channel

Description Downlink Uplink Size

Brocade 8Gb/s FC Switch 18 8 SWCB

Fujitsu FC Pass through 4Gb/s 18 18 SWCB

Ethernet

SB11a 1GbE Switch (L2/IBP) 36 8x 1Gb / 4x SFP+ SWCB

SB11 1GbE Switch (L2/IBP) (stacking) 36 8x 1Gb / 2x SFP+, 1x CX-4 SWCB

SBAX2 10GbE Switch (L2/IBP) 18 8x 10GbE SFP+ SWCB

Cisco 3044 1GbE Switch 16 8x RJ45 / 4x SFP+ SWCB

Cisco 3140X 1GbE Switch (10GbE Up / VBS) 16 4x RJ45 / 2x 10Gb X2 SWCB

Cisco 3140G 1GbE Switch (VBS) 16 4x RJ45 / 4x SFP+ SWCB

CB 1 CB 2

CB 4

CB 6

CB 8

CB 3

CB 5

CB 7

MMB 1 MMB 2

Fabric 1

Fabric 2

Fabric 3

Fabric 4


PRIMERGY BX900: Control Power Consumption

Power Consumption Monitoring

Using the onboard „Integrated Remote Management Controller“ (iRMC)

Can be used either for single servers or pools of servers

Accessible through Web-Interface (http/https)

Shows actual, min./max. & average power utilization

History function for 365 days

Decentralized, battery backed repository for detailed reports

Power Consumption Limiting

Adaptive power management through

user-defined thresholds


PRIMERGY BX900: Control Power Consumption

Power Consumption Controlling

The administrator can centrally

schedule, when a server is powered

on or off

Running servers can additionally be

put into different p-states to save

power whenever possible

Power Consumption Budgeting

Automatic assessment and

allocation of required power when

booting the system


Unique with FujitsuCommon among all vendors

Memory Contr. On Die

DDR3/QDR3 memory

Third Level Cache

QuickPath™

Extended Page Tables

Direct Cache Access (DCA)

Virtual Machine Device Queuing

(VMDq)

I/O Acceleration Technology (I/O AT)

Intel VT for Xeon Processors

VT-xIntel VT for Directed I/O

VT-dIntel VT for Connectivity

VT-c Source:

PRIMERGY BX900: Virtualization technology drivers

http://www.intel.com/technology/virtualization/demos/closer/demo.htm?iid=tech_vt_server+demo


PRIMERGY BX900: IO Virtualization

ServerView Virtual IO Manager (VIOM)

Features:• I/O restrictions for fixed WWN or MAC

addresses can be solved with ServerView VIOM, so provisioning of virtual machines becomes much faster

• If servers are replaced, the security- and configuration-requirements are retained

• No additional work for LAN or SAN administrators in case of hardware replacement or changed location of VM Guest system.

• Full VLAN transparency also in mixed (real/virtualized) environments

Leveraging leading virtualization solutions.

No need to buy special Connect-Modules

(e.g. HP Virtual Connect) since it works with

our Connection Blades and our CISCO Blade

switches


PRIMERGY BX900: Uniform management

ServerView Resource Coordinator offers a uniform, simple interface for both physical and virtual environments


Source: IDC

PRIMERGY BX900: ServerView

ServerView addresses the pain points through continuity, innovation and reliability

Integration PacksVendor Mgmt

Enterprise Mgmt

Deployment ManagerProvisioning

Mass installation

Installation

ManagerSetup installation

Analysis

functionsincl. Out-Band-Control

ServerView VIOM ServerView RCVE

Operations ManagerIn-Band Control


PRIMERGY BX900: ServerView RCVE

Automated server setup, installation and deployment Automatic recovery of failed servers (N+1 failover) Fast and reliable restore mechanisms Dynamic orchestration of physical and virtual resources

Installation / Addition

Serv

ice A

Serv

ice B

Serv

ice C

Spare

Serv

er

Serv

ice D

Server Addition

Reduced installation time

by avoiding repetition of

manual tasks

Fa

iled

Serv

ice B

Serv

ice C

Quick system recovery

Fully automated

switchover triggered on

hardware failures

Failover

Serv

ice A

Serv

ice A

Serv

ice B

Serv

ice C

Spare

Serv

er

Backup/Restore

Remote backup/restore

functionality increases

system reliability

Maintenance

Automate the most common operations during a server lifecycle

Dynamic Orchestration

Serv

ice A

Serv

ice B

Uniform Management of

physical and virtual

resources


VMware VirtualCenter (vCenter)

using VMotion together with DRS

(Dynamic Resource Scheduler)

ServerView Management Server

Using PreFailure Detection &

Analysis (PDA)

PRIMERGY BX900: Pre-failure Detection and Analysis

ESX ESX ESX ESX

VM01VM02

VM04

VM05

VM06 VM07VM09

VM10

redundant SAN Switch Blades

redundant LAN Switch Blades

SV Operations Manager monitors all Servers

(fans, CMOS batteries, CPUs, memory modules

and hard disks)

PDA detects a violated threshold and reports

this incident directly to the DRS in vCenter

vCenter automatically puts the

effected server into „Maintenance Mode“

All virtual machines are moved to other physical

servers within the Virtual infrastructure using VMotion

VM06

ESX

VM03

VM08

VM04

Zero-Downtime for vSphere (PDA for DRS)


Platforma Primergy BX600


PRIMERGY BX600 S3 - Chassis Rear View

Passive Midplane (highest reliability and availability)

2 redundant fan cages plus 3 fans per power supply

2 – 4 hot-plug power supply units à 2100 W, 2+1, 2+2, 3+1 redundancy

Integrated Standard KVM module or Digital KVM Switch Blade with keyboard, video, mouse ports via special adapter or via LAN (Digital)

Redundant Management Blades MMB S3

Up to 4x I/O Connection Blade LAN:

1 or 10 Gbit/s Ethernet Switch Blade, 1 Gbit/s Ethernet Pass-Thru Blade or IBP

Up to 2x I/O Connection Blade SAN:

2 or 4 Gbit/s FibreChannel Switch or Pass-Thru Blade


Ilość

PRIMERGY BX – serwery typu blade

CPU 2 / 4

7U10 / 5

BX600 S3BX630 S2

Database

ERP, Office, CRM etc.

Data base

ERP, SCM

2

10

BX620 S4

ApplicationsERP, Office, CRM etc.

ApplicationsERP, Office, CRM etc.

Uniwersalne i efektywne rozwiązanie dla centrów danych


PRIMERGY BX620 S5

nowy serwer blade z Intel Nehalem CPU

Memory Modules

12x DIMM slot for DDR3 modules

up to 96GB with 8GB module

Performance & Mirroring modes

I/O daughter

card (Fibre

Channel or

Gigabit

Ethernet) -

optional

1-2x Intel DC / QC Nehalem EP

95W: 2.93 GHz (QC CPUs)

80W: 2.53 GHz (QC/DC CPUs)

60W: 2.26 GHz (QC CPUs)

Server Blade

Front Panel Kit

2x hot-plug 2.5”

SAS HDD

(36, 73, 146GB)

Storage

Module


Nowe procesory Intel Xeon DP - Nehalem (55xx)

RX200 S5Intel „Nehalem“ Xeon 55xx

Nowa Technologia dla serwerów

dwuprocesorowych

Intel QPI (QuickPath Interconnect)

Xeon 55xx Series „Nehalem“(QC,DC, Turbo QC)

PCI-Express Gen 2

DDR3 RAM generation

UDIMM, RDIMM, Channel Modes

TurboBoost

Thermal dissipation

Intel QuickPath (QPI)


Documents

Blade Conference