Фирстов (РЖД) "От территориальных к виртуальным ЦОД"

Екатеринбургский ИВЦ СП ГВЦ ОАО Екатеринбургский ИВЦ СП ГВЦ ОАО «РЖД»«РЖД»

Главный инженер Фирстов С.В.Главный инженер Фирстов С.В.

От территориальных к виртуальным ЦОД От территориальных к виртуальным ЦОД

Стратегия упрощения ИТ-инфраструктуры

PricewaterhouseCoopers, 2008

Эволюция ИТ

2003 2007 2010 2030

ИТ

ор

гани

зац

ия

ИТ

ин

фр

астр

укту

ра

резу

льтаты

ИТ А

рхи

тектур

а

2000

CIOCIOVP (curate IT)

ИТ сервис провайдер

ИТ сервис провайдер

Chiefs of Departments:• Kirill BARANOV for Operations• Leonid BARANOVSKY for CARGO• Valery SUBBOTIN for Development

JSC “Russian Railways” IT Organisation Structure

CIOAlexey ILLARIONOV


Purchasing Operations Development

TRANSINFORMOleg LATUSHKIN

TRANSINFORMOleg LATUSHKIN CARGO

CARGO

IVCSakhalin Railways


.

.17..

PassengerMichail BEREZKA


SAP (ASU FR & TR)Vadim MOSKALENKO


Main Computing CenterValery VISHNIAKOV

MCC MoscowMCC Moscow

IVCKaliningrad Railways


The Company incorporated 17 territorial branches (listed bellow from West to East):

1. Kaliningrad Railways - Kaliningrad2. Oktober Railways - Saint-Petersburg3. Moscow Railways - Moscow4. South-Eastern Railways - Voronezh5. North Caucasus Railways - Rostov-on-Don6. Northern Railways - Yaroslavl7. Gorky Railways - Nyzhny Novgorod8. Kuibishev Railways - Samara9. Privolzhsk Railways - Satatov10. Sverdlovsk Railways - Ekaterinburg11. South Urals Railways - Chelyabinsk12. West Siberian Railways - Novosibirsk13. Krasnoyarsk Railways - Kasnoyarsk14. Eastern Siberian Railways - Irkutsk15. Zabaikal Railways - Chita16. Far Eastern Railways - Khabarovsk17. Sakhalin Railways - Yuzhno-Sakhalinsk

Chiefs of Departments:• Kirill BARANOV for Operations• Leonid BARANOVSKY for CARGO• Valery SUBBOTIN for Development

JSC “Russian Railways” IT Organisation Structure



Purchasing Operations Development

TRANSINFORMOleg LATUSHKIN

TRANSINFORMOleg LATUSHKIN CARGO

CARGO



.

.17..





Main Computing CenterValery VISHNIAKOV

MCC MoscowMCC Moscow



The Company incorporated 17 territorial branches (listed bellow from West to East):

1. Kaliningrad Railways - Kaliningrad2. Oktober Railways - Saint-Petersburg3. Moscow Railways - Moscow4. South-Eastern Railways - Voronezh5. North Caucasus Railways - Rostov-on-Don6. Northern Railways - Yaroslavl7. Gorky Railways - Nyzhny Novgorod8. Kuibishev Railways - Samara9. Privolzhsk Railways - Satatov10. Sverdlovsk Railways - Ekaterinburg11. South Urals Railways - Chelyabinsk12. West Siberian Railways - Novosibirsk13. Krasnoyarsk Railways - Kasnoyarsk14. Eastern Siberian Railways - Irkutsk15. Zabaikal Railways - Chita16. Far Eastern Railways - Khabarovsk17. Sakhalin Railways - Yuzhno-Sakhalinsk

Поддержка бизнеса

Сложная, «Островная»Сложная, «Островная»

Эффективная, надёжнаяЭффективная, надёжнаяУнифицированнаяУнифицированная

ЗатратЗатрат

Commodity-to-Utility

Commodity-to-Utility Utility-to-Partner

Utility-to-PartnerEnabler (IT=LOB)

Enabler (IT=LOB)Роль ИТ

Затраты НепредсказуемыеНепредсказуемые

ПрозрачныеПрозрачные

Управляемые Управляемые

ЭффективныеЭффективные

ОтчётностьОтчётность

ТранзакцииТранзакции

Аналитика (BI/BW)Аналитика (BI/BW) Динамическое

моделирование

Динамическое моделирование

Hosting / OutsourcingHosting / Outsourcing

ГВЦГВЦ ИВЦИВЦИВЦ

ИВЦ

…17…ГВЦГВЦ ИВЦИВЦИВЦИВЦ …17…

Development

Development

Разработчики


Development

Development Разработчик

и


Гибкая, динамическая

Гибкая, динамическая

Service – Oriented Approach

Service – Oriented Approach

1 этап реформы 2 этап реформы 3 этап реформы Будущее

Подход к упрощению инфраструктуры

Сервер Массив

Питание и охлаждениеПодключения

Консолидация

• Модульные и интегрированные компоненты

• Окруженные интеллектом

• Управляемые как одинСнижение времени и затрат на построение и эксплуатацию

Виртуализация

РесурсыLAN SAN

• Создание логических, абстрагированных подключений к LAN/SAN

• Разделяемый пул серверов, массивов, сетей и питанияВысокая эффективность и гибкость использования

Задачи и политики

• Упрощение рутинных задач и процессов для экономии времени

• Общий контроль

Автоматизация

Высвобождение ИТ-ресурсов для поддержки бизнеса

Консолидация вычислительных ресурсов

Традиционный подход к организации вычислительных ресурсов Будущее IT систем

«Силосные башни» ресурсов (silo) = отдельные разнородные «кучки» серверов

Фиксированная емкость и стоимость ресурсовНизкая утилизация или перегруженностьСложность инфраструктуры и низкая

адаптируемость

Виртуальная IT инфраструктура = консолидированная и разделяемая среда (pooled & shared)

Динамическое выделение вычислительных ресурсов

Высокая утилизация ресурсов с плавным наращиванием

Упрощение управления и гибкость

ERP, CRM, Web, ….

Консолидированное хранение данных

LAN

SAN

Преимущества консолидации:

Огромный потенциал поэтапного наращивании емкости (сотни Тб) Гибкость в распределении дискового пространства Унификация дисков, централизованный мониторинг, управление и защита хранилища Простота миграции серверов и систем хранения

Консолидация приложений на примере VMWare Server

Консолидация нескольких операционных сред в пределах одного Intel-сервера средствами VMWare ESX Server

Виртуальный сервер 1

Виртуальный сервер N

Физический серверHP ProLiant ( до 8 CPU)

………

Существующая виртуальная

инфраструктура ЦОД

VMware VirtualCenter

• Эффективное использование ресурсов аппаратных серверов

• Простота управления многими серверами

• Отслеживание доступности и загруженности

• Управление распределенными серверами как единым пулом ресурсов

VirtualCenterManagement

ESX Server 2

GSX Server 1

GSX Server 3

Прикладной уровень

Уровень виртуализации серверов

Уровень операционных систем

Уровень виртуализации файловых систем

Уровень виртуализации томов

Физический уровень

Уровень виртуализации сетей

Уровень виртуализации исполнения

Операционные системы

Гипервизоры

Виртуальные машины

Контроллеры томов

Сети

Grid Scheduler

Виртуальные диски

Уровень виртуализации данных

Виртуализациясерверов

ВиртуализацияСетей

ВиртуализацияРабочей нагрузки

Grid Middleware

Виртуализациясистем хранения

Виртуализация информации

Pro

vis

ion

ing

Man

ag

em

en

t

Orc

hestra

tion

Уровень управления

Стадии трансформации инфраструктуры

ИНФРАСТРУКТУРНАЯ МОДЕЛЬУ

пр

авл

ени

е Б

езо

пасность

юУ

пр

авл

ени

е Б

езо

пасность

ю

Упр

авл

ени

е С

исте

мам

и и

Сер

ви

сам

и У

пр

авл

ени

е С

исте

мам

и и

Сер

ви

сам

и

Инж

енер

ны

е

сер

висы ЦОДЦОД • ЦОД- Основной

• ЦОД- Резервный

ПомещенияПомещения ЭнергоснабжениеЭнергоснабжение КондиционированиеКондиционирование

Кабельное хозяйствоКабельное хозяйство

Интегрированная система управления и безопасности

Интегрированная система управления и безопасности

ОсвещениеОсвещение

Клиенты и ОфисыКлиенты и Офисы ОфисыОфисы Мобильные клиентыМобильные клиенты

ЦентрыуправленияЦентрыуправления

Рабочие станцииРабочие станции

Инф

растр

укту

рны

е с

ер

ви

сы

Пл

атф

ор

ма

разр

аботк

и П

латф

ор

ма

разр

аботк

иИнтеграционныйИнтеграционный Information

IntegrationInformationIntegration

Enterprise Service BusEnterprise Service Bus

People IntegrationPeople Integration

Processes IntegrationProcesses Integration

ИнфраструктурныйИнфраструктурный Cluster servicesCluster services

FileservicesFileservices

Print servicesPrint services

WebservicesWebservices

E-mailservicesE-mailservices

Time SyncTime Sync

Базо

вы

е с

ер

висы

пл

атф

ор

мы

Операционные СистемыОперационные Системы zOSzOS LinuxLinuxWindowsWindowsUNIXUNIX СпециализированныеСпециализированные

Каналы связиКаналы связи ЦОД-ЦОДканалыЦОД-ЦОДканалыLAN ЦОДаLAN ЦОДа Внешние

каналыВнешние каналыSAN ЦОДаSAN ЦОДа

Сервисы коммуникации

Сервисы коммуникации

ВиртуализацияВиртуализацияStorage Virtualisation

Storage Virtualisation

Network Virtualisation

Network Virtualisation

HW HypervisorsHW Hypervisors

SW HypervisorsSW Hypervisors

Workstation Virtualisation

Workstation Virtualisation

Системы ХраненияСистемы Хранения Disk StorageDisk Storage

Tape StorageTape Storage

Copy ServicesCopy Services

BackupServicesBackupServices

ArchiveServicesArchiveServices

ILMServicesILMServices

Серверные платформыСерверные платформы MainframeMainframe RISCRISC x86x86 HPCHPC

Пр

икл

ад

-ны

е

Бизнес логикиБизнес логики ECMECMSCMSCMCRMCRMERPERP PLMPLMBW / BIBW / BI HRHRAppl-xAppl-x MDMMDM

Баз ДанныхБаз Данных DB2DB2 OracleOracle MSQLMSQL ПрочиеПрочие

12

Архитектурные блоки ИМ

Инфраструктурные сервисы E-MailGroupwarePrint Services

Интеграционный Message Queueing

Web Plattform

Бизнес приложения SAP- Typical Railroad SystemEXPRESSCARGO

SAP- Revenue & Income Acc.

Windows LinuxUNIXMainframe OS

X86RISCMainframe

Хранение данных ArchiveNAS SAN Storage

SAN

Базы данных OracleDB2 for

Mainframe

Каналы связи

WAN -Acceleration DC-LAN

Ext. Connections

File Services

Backup

Инф

раст

рукт

урны

есе

рвис

ыБ

азов

ые

серв

исы

ЦОД FacilitiesMain / Emergency

Power

DC-DCConnection

Инж

енер

ная

инф

раст

рукт

ура

Офис Large Office Midsize Office Small Office Home OfficeMobile Office/

Employee

Cooling Physical Security

Про

грам

ные

серв

исы

WAN

Name Resolution

Storage Virtualization

SW Hypervisor

HW Hypervisor

SAP- HR

Безопасность

Access Control

Intrusion Detection

Global Directory

Authorisation

Authentication

Content Filtering

Policy

User Admin

Encryption

Системы управления

Отражены для полноты картины и без дальнейшего описания в документе.

Отражены на верхнем уровне

Операционные системы ипрограмные гипервайзеры

Серверные платформы и аппаратные гипервайзеры

Освещены в отдельных документах

Fault Management

Server Monitoring

Event Management

Application Monitoring

Configuration Management

Backup and Recovery

Performance Management

Network Monitoring

13

Основные положенияинфраструктурной модели (ИМ)

Два продуктивных ЦОД в Москве и Екатеринбурге, каждый из которых состоит из двух физических ЦОД, в Санкт-Петербурге логический ЦОД с функциями эталонного тестирования.

Масштабируемая архитектура – архитектурные блоки. Опирается на существующие в РЖД аппаратно/программные платформы и решения.

Высокая доступность (99,99%) – синхронная репликация данных и кластерные решения. Обеспечивает устойчивость к отказам компонентов и локальной аварии/катастрофе ЦОД.

Катастрофоустойчивость – асинхронная репликация данных в другой продуктивный ЦОД. Обеспечивает устойчивость к региональной катастрофе.

Обеспечивает поэтапный переход к финальному состоянию.

Обеспечивает возможность реализации решения высокой доступности и катастрофоустойчивого решения для текущего состояния приложений АСУ ПП, АСУ ГП и АСУ ФР2.

CBU

CoD

LAN

SAN

SYSPLEX

НАСМР

CBUCBU

CoD CoD

Синх

LAN

SAN

CBUCBU

CoD CoD

LAN

SAN

CBUCBU

CoD CoD

Региональная


НА+Local Disaster

HA+Local Disaster

Здание 2Здание 1

Здание 1Здание 2Здание 1


БД1 БД2

БД2

БД1 БД2

БД3

БД3

Синх

Синх

SYSPLEX

НАСМР

SYSPLEX

НАСМР

2-10 km 2-10 km

1 km

ЕЦОД

МЦОД

СПЦОД

Асинхр

Асинхр

Асинхр

Архитектура обеспечения высокой доступности и катастрофоустойчивости

БД2

БД 1

БД1

БД3

Здание 2

15

Непрерывная доступность / восстановление после аварий

Непрерывная доступность данных на региональном уровне и восстановление после катастроф на больших расстояниях

Непрерывная доступность данных в ЦОД

Восстановления после катастроф набольших расстояниях

Необходимый уровень обеспечения бесперебойной работы для организацийСемейство предложений GDPS

непрерывная доступность данных

Один центр обработки данныхПриложения активны

GDPS®/PPRC HyperSwap Manager

Автоматическое восстановление при

отказе узла или системы хранения данныхБез потерь данных

Два центра обработки данныхСистемы активны

GDPS/ PPRC HyperSwap ManagerGDPS/PPRC

Автоматическое восстановление после аварий

«секунды» потерянных данных

Два центра обработки данных

GDPS/GMGDPS/XRC

Доступность данныхбез потерь данных

поддержка больших расстояний

Три центра обработки данных

GDPS/MGMGDPS/MzGM

A B

C

16

Требуемое время восстановления работоспособности (RTO)

15 мин. 1-4 ч. 4 -8 ч. 8-12 ч. 12-16 ч. 24 ч. Дни

Сто

имос

ть

Непрерывная доступность

Быстрое восстановление

Резервное копирование/восстановление

Восстановление с ленты на резервной площадке2

Восстановление с ленты 1

Лента

Ди

ск

ПО

репл

икац

ии

Упр

авл

яю

щее П

О

Сеть

Сер

ви

сы

Авт

ом

ати

зац

ия

ИнфраструктураИнфраструктура

3

Электронное хранилище, удаленная лента

4Копирование на диск, виртуальная лента

5 Программная репликация (LVM)

6 Ручное восстановление с зеркалированием дисков

7 Автоматическое восстановление с зеркалированием дисков

Треб

уем

ая т

очка

вос

стан

овле

ния

(RPO

)се

кун

ды

дн

и

Уровни решений катастрофоустойчивости

Уровень 7Уровень 7 рекомендуются для критически важных приложений (RТO до 6 часов)

Уровни Уровни 44 - - 66 рекомендуются для приложений средней важности (RTO до 24 часов)

Уровни 1 - Уровни 1 - 33 рекомендуются для приложений низкой важности (RTO более 24 часов)

Уровень 7Уровень 7 рекомендуются для критически важных приложений (RТO до 6 часов)

Уровни Уровни 44 - - 66 рекомендуются для приложений средней важности (RTO до 24 часов)

Уровни 1 - Уровни 1 - 33 рекомендуются для приложений низкой важности (RTO более 24 часов)

Недели

Защита данных и повышение доступности

Резервное копирование– снимки и клоны дисковых разделов (host- и storage-

based)– резервное копирование на жесткие диски– резервное копирование на ленту– резервное копирование и архивирование на

магнитооптические дискиРепликация данных

– средствами приложений (host-based)– средствами ПО репликации (host-based)– средствами дисковых массивов (storage-based)

Автоматизация процессов развертывания ОС и приложенийКластеризация вычислительных ресурсов

– локальная кластеризация (один дисковый массив)– распределенная кластеризация (кампусные, метро-

кластеры, глобальные кластеры)

синхронная

асинхронная

VPLEX

VPLEX

HP, Sun, Microsoft,Linux, IBM Oracle, VMware, Microsoft

Brocade,Cisco

Brocade,Cisco

HP, Sun, Hitachi, 3PAR, IBM, EMC

VPLEX

HP, Sun, Microsoft,Linux, IBM Oracle, VMware, Microsoft

Brocade,Cisco

Brocade,Cisco

HP, Sun, Hitachi, 3PAR, IBM, EMC

Репликация между основным и резервным ЦОДами средствами

Vmware Site Recovery Manager

Применение VMware SRM для организации аварийного

восстановления

Подход к обеспечению георезервирования ЦОД

Наличие в удаленном ЦОД Наличие в удаленном ЦОД персонала, эксплуатирующего персонала, эксплуатирующего

данную АСданную АС

Оптимальное распределение Оптимальное распределение ресурсов, необходимых для ресурсов, необходимых для

резервированиярезервирования

Резервирование АСУ ПП по направлениям

МИВЦ −> СПбИВЦ, СПбИВЦ −> МИВЦ

Резервирование АСУ ГП по направлениям

СПбИВЦ −> МИВЦ, МИВЦ −> ЕИВЦ, ГВЦ −> ЕИВЦ, ЕИВЦ −> СПбИВЦ

Выбор направлений репликации данных

В соответствии с принятыми решениями по обеспечению катастрофоустойчивости критически важных систем, разработана схема реализации георезервирования АСУ ГП и АСУ ПП:1.Асинхронная репликация данных производится за счет использования технологии, применяемой в дисковых массивах EMC Symmetrix – SRDF (Symmetrix Remote Data Facility).2.Передача реплик между ЦОД осуществляется по IP-сетям с использованием коммутаторов FCoE, позволяющих также сжимать передаваемые данные.

21

Схема обеспечения георезервирования

22

Централизация системы мониторинга ИТ-сервиса

23

Проект внедрения без агентского мониторинга на базе Tivoli

ЕКТ

МСК

СПБ

Объекты мониторинга ИВЦ

Universal agentОбъекты мониторинга ИВЦ

Сервер мониторинга

АРМадминистратора

Хранилище данных уровня ЦОД

Хранилище серверов сбора данных

Сервер событий Omnibus

Централизованное Хранилище данных

Umon

Сервер сбораданных ИВЦ 2

Universal agentUmon

Сервер сбораданных ИВЦ 1

24

Размещение систем мониторинга ИТ-сервисов

ЦОД СПб ИВЦ ЦОД МИВЦ

ЦОД ЕИВЦ

25

Сервисная модель ЕИВЦ

Управленческий уровень (стратегический) ЦТСЦТС

Тактический уровень

МоскваМосква

РостовРостов

СамараСамараЕкатеринбургЕкатеринбург

Санкт-ПетербургСанкт-Петербург

ИркутскИркутскЯрославльЯрославль

НовосибирскНовосибирск

Взаимодействие с ГВЦ,ОАО «РЖД»,ФПКМетодологияАналитика предоставления услуг

КОЗРВ, АРМы,отчетность, НСИ

Опытный полигон

Группа технологовГруппа технологов

Сменный персоналСменный персонал

Операционный уровень

Организационная модель

27

Построение единой модели оперативного сопровождения

28

Построение единой модели оперативного сопровождения

29

Спасибо за внимание !

Business

Фирстов (РЖД) "От территориальных к виртуальным ЦОД"