Обзор подходов IMB к построению динамической инфраструктуры обработки информации

© 2009 IBM Corporation

Департамент корпоративных систем IBM

“Банковские системы и сети”, Ялта, 15 июня 2009

Сергей Каплун,ведущий специалист ДепартаментаКорпоративных Систем,IBM Украина[email protected]Алексей Богачев,Руководитель Департамента Программного Обеспечения[email protected]

«Обзор подходов IBM к построению динамической инфраструктуры обработки информации»

Департамент корпоративных систем

I

“Банковские системы и сети”, Ялта, 15 июня 2009 © 2009 IBM Corporation

Эволюция центров обработки данных

“В истории уже все было, но народы и правительства никогда не делали выводов и не извлекали для себя уроков, которые им следовало бы извлечь из истории”. Георг Вильгельм Фридрих Гегель (1770-1831)


I


Законы диалектики, проявляющиеся в разных областях.

РадиоэлектроникаДетекторный приемник (кристаллический полупроводник) ->

(отрицание) Электронная лампа –>

(второе отрицание) Транзистор, Микросхемы

Авиация

Воздушный винт (движитель первых летательных аппаратов) ->

(отрицание) Турбореактивный двигатель

(второе отрицание) Винтовентилятор


I


Парус: от “Виктории” Магеллана до ....

Космос 1


I


Layer 2 Switches

SSL Appliances

Caching Appliances

Storage Fibre

Switches

Storage Fibre

Switches

SSL Appliances

Caching Appliances

ЦОД сегодня

FileServers

WebServers

SecurityGateway

WebSphere Application

Servers

NetworkServers

ApplicationServers

SecurityServers

ApplicationServers

SAN

Layer 4-7 Switches

Public Internet/Intranet Clients

Routers (Layer 3

Switches)

Firewalls


I


Структура затрат на содержание центров обработки

SOURCE: IDC, ‘Worldwide Server Power and Cooling Expense 2006-2010,’ Document #203598, Sept. 2006

При сохранении текущей тенденции, стоимость сервера окажется соизмеримой со стоимостью на электроснабжение и охлаждение.

На основании прогноза IDC в 2010 , стоимость электроэнергии на питание и охлаждение увеличится на 54%.

IT руководители определяют электроснабжение как одну из основных проблем

$0

$50

$100

$150

$200

$250

$300

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

Installed Base(M Units)

Spending(US$B)

Затраты на новое оборудованиеЗатраты на управление и администрирование x8Затраты на электроэнергию и охлаждение x4

05101520253035404550

Today, 50 cents are spent on energy for every dollar of hardware

By 2010 Energy = 71% of annum IT spend,

92% of IT Week respondents said IT Director was not liable for the utility bill

Economist – Average energy costs to rise further 35% to meet 550 ppb CO2


I


Как используется электроэнергия в ЦОД?

Memory; 11%

Fans; 9%

Processor

30%

HVAC,UPS 40%

IT power

60%

Используется

20%

= 3,6% всего

Простаивает 80%

+1 Вт полезного использования5 Вт для питания процессора16 Вт для питания сервера27 Вт центра обработки

0

20

40

60

80

100

Центр обработки Сервер

Server Loads

X1,7 x3 x5

Planar; 4%

PCI; 3%Drives; 6%

Standby; 2%

DC/DC losses; 10%

AC/DC losses; 25%

1 Вт электроэнергии

Typical Utilization Mainframe 80 – 90%Unix 10 – 20% Wintel 5 – 12%

Коэффициент полезного действия

1/27=3.7%

Паровая машина 8-12%, современная паровая турбина 45-47 %, газотурбинная установка + регенератор 55-60%

Based on IBM Server Consolidation Engagements

http://www.expert.ru/printissues/expert/2007/09/dvigatelnaya_istoriya/


I


Технология Типичное время доступа Человеческий м-таб Приблиз.емкость Применение

РегистрПроцессора

100 пикосекунд (100 e-12) 0.1 сек 64 × 64 бит Часть процессора

Интегр.Кэш

L1: ~1, L2-L3: 5-10 наносекунд (10 e -9)

10 сек Часть МБ до нескольких МБ

Часть процессора

Память DDR3 ~10-60 наносекунд (60 e -9) ~1-5 мин Десятки – сотни ГБ

Магистраль сервера

Сеть Infiniband 8-10 микросекунд (10 e -6) ~3 часа Десятки Гб/сек

Магистраль/сеть

Сеть Ethernet(10 Гб/сек)

100 микросекунд (100 e -6) ~30 часов <= 10 Гб/сек Сеть

Диск ~6 миллисекунд (6 e -3) ~70 дней Сотни ГБ Сеть

Свет 1 метр в оптоволокне

~ 4000 пикосекунд (4000 e-12) ~4 сек“Difficile est proprie communia dicere” Quintus Horatius Flaccus


I


Почему нужно менять подходы ?

85% простоиВ распределенных системах доступные вычислительные ресурсы используются всего на 15%

Поставщики продуктов потребления теряют около $40 миллиардов ежегодно (или 3.5% выручки) из-за неэффективности управления поставками.

33% потребителей прерывают отношения с поставщиками услуг из-за выявленных проблем в безопасности информационных систем.

33%

$40 000 000 000

Взрывообразный рост обрабатываемых данных приводит к 54% росту объема систем хранения ежегодно.

в 1,5 раза в год

70¢ на $170% затрат на поддержку IT инфраструктуры а не ее развитие.

Может в консерватории что-то исправить? (с) М.М.Жванецкий.


I


Энергоэффективные аппаратные средства и

сопровождающая инфраструктура

Защищенность и устойчивость к изменяющимся условиям

Управление сервисами в соответствии с требованиями бизнеса

Виртуализация вычислительных

ресурсов

Архитектура построения систем обработки информации

Подходы IBM к построению центров обработки данных – целостный и интегрированный

взгляд


I


Построение современных ЦОД – Стадии адаптации

Эффективностьи упрощение

Ускорение развертывания новых

приложений и сервисов

Быстрая реакция наизменяющиесятребования,сокращение

издержек


I


Физическая консолидация и оптимизация Виртуализация ресурсов серверов и систем хранения Управление системами, сетевым оборудованием,

инфраструктурой

Simplified – Эффективность использования и упрощение инфраструктуры


I


Shared – Ускорение развертывания новых приложений и сервисов

Виртуализированные пулы ресурсов - “ensembles” Интегрированное управление IT сервисами Проектирование с учетом экологических требований


I


Dynamic – Быстрая реакция на изменяющиеся условия, сокращение стоимости IT Виртуализация IT сервисов – “clouds” Управление сервисами как частью бизнеса Сервис-ориентированная архитектура управления сервисами Основа для интеграции в реальном времени транзакций,

информации и аналитики


I


Динамическая инфраструктура

Service Management

Virtualization

Energy Efficiency

Business Resiliency

Security

Information Infrastructure

Обеспечение прозрачности, управляемость и автоматизацию бизнес-процессов как сервисов.

Максимизация ценности критических компонентов бизнеса и IT инфраструктуры на протяжении их жизненного цикла с использованием систем управления основными средствами.

Передовые подходы к виртуализации и консолидации вычислительных ресурсов, направленные на сокращение затрат, повышение эффективности использования и внедрения новых сервисов.

Сокращение энергозатрат и повышение энергоэффективности.

Поддержка непрерывности функционирования бизнеса и IT инфраструктуры и быстрая адаптируемость к изменяющимся условиям.

Соответствие требованиям законодательства, адекватная оценка рисков и эффективное противодействие атакам на безопасность.

Основа высоконадежного, устойчивого к внешним и внутренним воздействиям, доступа к информации, обеспечивающая надежное, долговременное, эффективное хранение и исключающая потерю жизненно важных данных

Asset Management


I


Архитектура Dynamic Infrastructure®

DEVELOPERS OPERATORSCORE ENTERPRISE ADMINISTRATION

SERVICE REQUESTORS

SERVICE MANAGEMENT

APPLICATION ARCHITECTURE

SERVERS STORAGE NETWORK

VIRTUAL IT INFRASTRUCTURE

SERVERS STORAGE NETWORK FACILITIES

PHYSICAL IT INFRASTRUCTURE

END USERS

END USERS

RE

SIL

IEN

CE

BUSINESS INFRASTRUCTURE

END USERSSERVICE

CREATORS

INFORMATION INFRASTRUCTURE


I


Как IBM определяет SOA Сервис ориентированная архитектура – это каркас для интеграции

бизнес-процессов и поддерживающей их IT-инфраструктуры в форме безопасных, стандартизированных компонентов – служб, которые могут использоваться многократно и комбинироваться для адаптации к изменению приоритетов в бизнесе


I


Sca

le U

p /

S

cale

Up

/ К

он

сол

ид

ир

ов

анн

ая п

ла

тфо

рм

аК

он

сол

ид

ир

ов

анн

ая п

ла

тфо

рм

а

Scale Out / Scale Out / Распределенная платформаРаспределенная платформа

System ZPower Systems

SystemX3950m2

(16 sockets)

ClustersLinuxAIX5LHPCParallel Sysplex

BladeCenter™

x3250

High DensityHigh DensityRack MountRack Mount

Enterprise SMPEnterprise SMP

PartitioningVirtualization

Rapid DeploymentSwitch Integration

Вертикальная и горизонтальная масштабируемость


I


00:00 02:00 04:00 06:00 08:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 24:00

01:00 03:00 05:00 07:00 09:00 11:00 13:00 15:00 17:00 19:00 21:00 23:00

Пр

оц

ен

т и

сп

ол

ьзо

ва

ни

я

пр

оц

ес

со

ро

в

Core system

Infrastructure

ERP/CRM

Web Services

4 о

тде

ль

ны

х с

ер

ве

ра

ил

и

фи

кси

ро

ва

нн

ых

ра

зде

ла

• Компоненты ПО интегрированы с точки зрения реализуемой бизнес-логики, а не с точки зрения создаваемой нагрузки

• Компоненты размещаются на отдельных серверах или разделах сервера

• Серверы и программное обеспечение IBM позволяют комбинировать разнородную нагрузку, сохраняя изолированность приложений в рамках отдельных экземпляров ОС

Композитный профиль нагрузки

00:0

0

01:0

0

02:0

0

03:0

0

04:0

0

05:0

0

06:0

0

07:0

0

08:0

0

09:0

0

10:0

0

11:0

0

12:0

0

13:0

0

14:0

0

15:0

0

16:0

0

17:0

0

18:0

0

19:0

0

20:0

0

21:0

0

22:0

0

23:0

0

24:0

00

20

40

60

80

100

Пр

оц

ен

т и

сп

ол

ьзо

ва

ни

я

пр

оц

есс

ор

ов

Core system

Infrastructure

Web Services

Пики нагрузки со стороны компонентов ПО не совпадают во времени - композитная нагрузка носит более равномерный характер и требует избыточных вычислительных ресурсов, используемых компонентами по мере потребности

ERP/CRM


I


IBM : 42 летняя история виртуализации

IBM develops Hypervisor that would

become VM on the

mainframe

IBM announces

first machines to do Physical Partitioning

IBM announces

LPAR on the mainframe

POWER LPAR design

begins

1967 1973 1987

IBM introduces LPAR in POWER4

based systems with

AIX / Linux

Advanced POWER

Virtualization ships

200420011997

Timeline reference http://www.levenez.com/unix/history.html#01Client quote source: rku.it case study published at http://www.ibm.com/software/success/cssdb.nsf/CS/JSTS-6KXPPG?OpenDocument&Site=eserverpseries

“In our opinion, they [IBM POWER servers] bring mainframe-quality virtualization capabilities to the world of AIX.”- Ulrich Klenke, CIO, rku.it

January 2006

PowerVM on IBM Power Systems servers

IBMannouncesPowerVM™

2008


I


IBM : 42 летняя история виртуализации

AIX

POWER™Based-Server

POWERHypervisor

Linux iz/OS™

PR/SMHypervisor

Linux z/VM

z/990Server

POWER Systems: Наследование технологий

System z для AIX,Linux, I

System z: “ Золотой стандарт” виртуализации,

надежности и доступности

Начиная с 1988 г Начиная с 2001 г

Технология, проверенная временем


I


Hypervisor Firmware/Softwareвыполняется сервером

Hypervisor software выполняется операционной системойIBM System z™ PR/SM and zVM™

IBM PowerVM EditionsHP vPartitionsVMware ESX ServerSun Logical Domains (T2000)

HP Integrity VMSolaris ContainersIBM AIX® V6.1 Workload Partitions

IBM S/370 SI->PP & PP->SI, Sun DomainsHP nPartitions

Физические разделы

Adjustablepartitions

PartitionController

...

SMP Server

OS

Apps

OS

Apps

Hypervisor

SMP Server

...OS

Apps

OS

Apps

Host OS

SMP Server

Hypervisor

...OS

Apps

OS

Apps

Hardware Partitioning Hypervisor: Type 1 Hypervisor: Type 2

Какая бывает виртуализация?

“Я пришел к тебе с приветом, я прочел твои тетради: в прошлом веке неким Фетом был ты жутко обокраден”Игорь Губерман (1931-)


I


Networks and network storage

Unassigned on demandresources

Hypervisor

ServiceProcessor

Processors

Memory

IBM ipartitions

HardwareManagement

Console(HMC)

LinuxPartitions

Expansion slots

AIX V5.3 partitions

Virtual Storage

VirtualI/O

Server

Local devices and storage

Workload management and provisioning

Virtual NetworksVirtual Processors

Архитектура POWER Virtualization

AIX V6 partitions

VEnetVSCSIIVM**

LinuxKernelsAIX Kernels

Virtual Network / Storage

SLIC


I


Комбинирование емкости систем хранения из дисковых систем разных производителей

Применение механизмов репликации данных в пуле систем хранения

Централизованное управление пулом ресурсов

Измения в системах хранения без прекращения доступа к приложениям

VirtualDisk

VirtualDisk

VirtualDisk

VirtualDisk

SAN

SAN Volume Controller

Advanced Copy Services

Storage Pool

HP

EMCDS4000

DS8000

HDS

Виртуализация систем хранения - SAN Volume Controller


I


MasterDataMgmt

Enterprise Service Hub Service Registry

& RepositoryEnterprise

Service BusService Mgmt& Invocation

BusinessPartner

ServicesReal

Campaign Mgr

3rd PartyProducts/Svcs

CustomerRelationship

Mgmt

RelationshipManagement

DecisionSupport

Marketing

CaseManagement

Banking& Credit

Operations

LoanOrigination

CorporateBanking

RetailBanking

GeneralLedger

Credit Cards

Payments

BusinessMgmt

Resource

Fraud

Product

Risk

Debt

RegulatoryProcess Manager

Process Models

SalesProcesses

MarketingProcesses

ServiceProcesses

ComplianceProcesses

Business Processes

Governance & Monitoring

3rd partyData

FicoCreditScores

DemographicData

CustomerInsight

& Analytics

CustomerAnalytics

BusinessInsight

Search &DiscoveryAnalytics

Threat &Fraud

Analytics

Data Integration/Information Services

InformationFoundation

Unstructured

Data

Core Systems

Ban

kin

g

Ind

us

try

Mo

de

ls

ContentMgmt

Systems

DocumentMgmt

Systems

Customer Account Product

BankingData

Warehouse

DataMarts

Rapid Development & Integration

Multi-ChannelIntegration

ElectronicSignature

UtilitySystems

Enterprise Service Bus Service Registry& Repository

ExternalServices Gateway

Service Mgmt& Invocation

BusinessPartner

ServicesReal

Campaign Mgr



Mgmt


DecisionSupport

Marketing

CaseManagement

Banking& Credit

Operations

LoanOrigination

CorporateBanking

RetailBanking

GeneralLedger

Credit Cards

Payments

BusinessMgmt

Resource

Fraud

Product

Risk

Debt


Process Models

SalesProcesses

MarketingProcesses

ServiceProcesses

ComplianceProcesses

Business Processes

Security, Management & Governance

3rd partyData

FICOCreditScores

DemographicData

CustomerInsight

& Analytics

CustomerAnalytics

BusinessInsight


Threat &Fraud

Analytics

Banking EnterpriseInformationSystems

ContentMgmt

Systems

DocumentMgmt

Systems


FormsMgmt

Data Warehousing

Call Centers

Internet

Relationship Managers /

Agents

Channels

Branches

Mobile Banking

ATMs

RulesEngine

Pre

sen

tati

on

/ In

tera

ctio

n S

ervi

ces

ThinClient

RichClient

En

terp

rise

Acc

ess

Ser

vice

s

Banking CC&I Reference Architecture

25


I


MasterDataMgmt

Enterprise Service Hub Service Registry

& RepositoryEnterprise

Service BusService Mgmt& Invocation

BusinessPartner

ServicesReal

Campaign Mgr



Mgmt


DecisionSupport

Marketing

CaseManagement

Banking& Credit

Operations

LoanOrigination

CorporateBanking

RetailBanking

GeneralLedger

Credit Cards

Payments

BusinessMgmt

Resource

Fraud

Product

Risk

Debt


Process Models

SalesProcesses

MarketingProcesses

ServiceProcesses

ComplianceProcesses

Business Processes

Governance & Monitoring

3rd partyData

FicoCreditScores

DemographicData

CustomerInsight

& Analytics

CustomerAnalytics

BusinessInsight


Threat &Fraud

Analytics

Data Integration/Information

Services

InformationFoundation

Unstructured

Data

Core Systems

Ban

kin

g

Ind

us

try

Mo

de

ls

ContentMgmt

Systems

DocumentMgmt

Systems

Customer Account Product

BankingData

Warehouse

DataMarts


Multi-ChannelIntegration

ElectronicSignature

UtilitySystems

Enterprise Service Bus Service Registry& Repository

ExternalServices Gateway

Service Mgmt& Invocation

BusinessPartner

ServicesReal

Campaign Mgr



Mgmt


DecisionSupport

Marketing

CaseManagement

Banking& Credit

Operations

LoanOrigination

CorporateBanking

RetailBanking

GeneralLedger

Credit Cards

Payments

BusinessMgmt

Resource

Fraud

Product

Risk

Debt


Process Models

SalesProcesses

MarketingProcesses

ServiceProcesses

ComplianceProcesses

Business Processes

Security, Management & Governance

3rd partyData

FICOCreditScores

DemographicData

CustomerInsight

& Analytics

CustomerAnalytics

BusinessInsight


Threat &Fraud

Analytics

Banking EnterpriseInformationSystems

ContentMgmt

Systems

DocumentMgmt

Systems


Customer

FormsMgmt

Data Warehousing

Call Centers

Internet

Relationship Managers /

Agents

Channels

Branches

Mobile Banking

ATMs

RulesEngine

Pre

sen

tati

on

/ In

tera

ctio

n S

ervi

ces

ThinClient

RichClient

En

terp

rise

Acc

ess

Ser

vice

s

26

RulesEngine Business Rules

ContentMgmt

SystemsIBM Enterprise

Content Management

Information Management

IBM InfoSphereMDM Server


Master Data Management

RetailBanking

Banking Systems(simulated)

LoanOrigination

Loan Systems(simulated)

Process Models IBM Information

Framework


Enterprise Service Bus Enterprise

Service BusService Registry

& RepositoryBusiness Services

Fabric

Rapid Development & IntegrationBusiness Modeler Integration Developer

Software ArchitectApplication Developer

Process Manager

ProcessServer

FileNet P8Process Engine

En

terp

rise

Acc

ess

Ser

vice

s

Pre

sen

tati

on

/ In

tera

ctio

n S

ervi

ces

ThinClient

RichClient

Po

rta

lSa

met

ime

FormsMgmt Lotus Forms

Business Process ManagementBusiness Monitor

ElectronicSignature ApproveIt Web Server

DocumentCapture Encapture

Banking CC&I Reference Architecture … with Product Overlays


I


Динамическая инфраструктура…

…набор связанных инициатив IBM, составляющих ДНК,необходимой для процветающей “умной” планеты.

© 2009 IBM Corporation

Департамент корпоративных систем IBM

“Банковские системы и сети”, Ялта, 15 июня 2009

Спасибо за внимание!

Сергей Каплун,ведущий специалист Департамента Корпоративных Систем,IBM Украина[email protected]Киев, ул. Глыбочицкая 4, Артем бизнес-центр

…В мире, где энтропия в целом стремится к возрастанию, существуют местные и временные островки уменьшающейся энтропии, и наличие этих островков дает возможность некоторым из нас доказывать наличие прогресса. (Норберт Винер “Кибернетика и общество”. 1950г.)

Мы плывем вверх по течению, борясь с огромным потоком дезорганизованности, который в соответствии со вторым законом термодинамики,стремится все свести к тепловой смерти - всеобщему равновесию и одинаковости. … В этом мире наша первая обязанность состоит в том, чтобы устраивать произвольные островки порядка и системы (Норберт Винер. “Я – математик”. 1950г.)

Economy & Finance

Обзор подходов IMB к построению динамической инфраструктуры обработки информации