Как повысить доступность данных с

помощью IBM SAN Volume Controller.

Опыт КРОК и КБ «Авиадвигатель»

Пухов Евгений

МЕНЕДЖЕР ПРОЕКТОВ

КОМПАНИИ КРОК

ОАО «АВИАДВИГАТЕЛЬ»

ОАО «ПЕРМСКИЙ МОТОРНЫЙ ЗАВОД»• КБ «Авиадвигатель» - уникальное конструкторское

бюро, разрабатывающее газотурбинные двигатели для самолетов гражданского и военного назначения. Предприятие оказывает инжиниринговые услуги в области машиностроения

• «Пермский моторный завод» - одно из крупнейших предприятий СНГ по производству двигателей. В настоящее время ведется выпуск двигателей для самолетов ТУ-204,ТУ-214,ИЛ-96-300,Ил-76. Освоен выпуск газотурбинных установок для промышленности и энергетики

ПАРТНЕРСТВО КРОК,

АВИАДВИГАТЕЛЬ, ПЕРМСКИЙ

МОТОРНЫЙ ЗАВОД• Вычислительный кластер 2007 год

• Модернизация вычислительного

кластера 2008 год

• Инженерная инфраструктура

ЦОД 2006 год

• Инфраструктура хранения информации

и резервного копирования 2006 год

• Система управления ИТ-сервисами

OpenView ServiceDesk 2007 год

ИНФРАСТРУКТУРА ХРАНЕНИЯ

ИНФОРМАЦИИ

TotalStorage

DS4800

System Storage DS4200

4GB/s 2GB/s

IBM DS 4700

TotalStorage

DS4800

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

System Storage DS4200

4GB/s 2GB/s

LAN 1 Гб/с

DS4800

DS4200

DS4100

6ТБ 6ТБ

IBM HS21 LS20 JS21

IBM P520

Основной

томОсновной

том

Резервный томРезервный том

• Два разнесенных ЦОД

• Сильно неоднородная (гетерогенная) среда

− IBM AIX

− Novell Netware

− Red hat Linux x86

− Red hat Linux on Power

− SUSE Linux

− Microsoft Windows

− VMware VI

• Постановка задачи – обеспечение устойчивости к полному отказу СХД

− Простота интеграции

− Поддержка всеми приложениями

− Кратчайшее время восстановления после сбоя

• Удаленная репликация по LAN средствами приложений

− Высокая загрузка сети

− Сложность администрирования

ТРАДИЦИОННЫЕ МЕХАНИЗМЫ

ОБЕСПЕЧЕНИЯ ОТКАЗОУСТОЙЧИВОСТИПрограммное зеркалирование томов

• Репликация средствами кластерного

ПО через LAN или WAN

Replication

Основной ЦОД Резервный ЦОД

Аппаратное зеркалирование томов

• Репликация средствами массива под управлением кластерного ПО через SAN

Replication

Основной ЦОД Резервный ЦОД

• Загрузка сервера и сети механизмом репликации

• Ограниченная поддержка операционных систем

• Ограниченная поддержка операционных систем

• Необходимость поддержки дисковым массивом функционала репликации

• Высокая цена

ВИРТУАЛИЗАЦИЯ СХД ДЛЯ

ПОВЫШЕНИЯ ДОСТУПНОСТИ ДАННЫХ

SAN

Репликация

Отдельных томов

Виртуализация

Репликация групп

томов

• Традиционный SAN • Виртуализованный SAN • Единая точка управления общим

пулом ресурсов

• Упрощение администрирования

• Общий набор системного ПО и

драйверов для всех серверов ЦОД

• Прозрачная для приложений

репликация томов между

системами хранения

• Поддержка всех используемых ОС

• Отсутствие привязки к технологиям

одного производителя СХД

(сервисы копирования)

RAID

controller 2RAID

controller 1

LU

N 4

LU

N 3

LU

N 2

LU

N 1

LU

N 4

LU

N 3

LU

N 2

LU

N 1

MD

4

MD

3

MD

2

MD

1

MD

8

MD

7

MD

6

MD

5

Managed disks

SCSI LUNs

Тома СХД непосредственно

подключаются к SVC как к серверу

VD

4

VD

3

VD

2

VD

1

VD

7

VD

6

VD

5

2 режима Vdisk:

- Managed

- Image

Виртуальные диски

подключаются к Хосту

Virtualization Engine

SVC управляет распределением

Vdisk по MdiskHigh Perf Low Cost

Mdisk распределяются по

определенному признаку в

группы

SVC изолирует серверы от

процессов управления СХД

Managed disksGRP

Storage 1

Drivers

Storage 2

DriversSVC Driver SVC Driver

ИНФРАСТРУКТУРА ХРАНЕНИЯ

ИНФОРМАЦИИ• cxv

TotalStorage

DS4800

System Storage DS4200

4GB/s 2GB/s

IBM DS 4700

6 ТБ

System x3250

System x3250

System x3250

System x3250

TotalStorage

DS4800

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

Cluster interconnect

Основная MDG

группа

Основная

MDG группа

Вторичная

MDG группа

Вторичная

MDG группа

System Storage DS4200

4GB/s 2GB/s

DS4800 DS4200 DS4100

SVC

SAN

Dark Fiber 2 KM

4 Гб/с

6 ТБ

IBM HS21 JS21 LS20

IBM P520

• «Встречное»

резервирование данных

• Удаленная синхронная

репликация томов по SAN

средствами SVC

• Катастрофоустойчивое

решение без

специализированного

кластерного ПО

УСТОЙЧИВОСТЬ К ОТКАЗУ СИСТЕМЫ ХРАНЕНИЯ

• cxv

TotalStorage

DS4800

System Storage DS4200

4GB/s 2GB/s

IBM DS 4700

IBM DS 4800

System x3250

System x3250

System x3250

System x3250

IBM Bladecenter

TotalStorage

DS4800

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

Cluster interconnect

Тома Vdisk

Основная MDG

группа

Основная

MDG группа

Вторичная

MDG группа

Вторичная

MDG группа

System Storage DS4200

4GB/s 2GB/s

IBM DS 4800

SVC

• Отказ системы хранения

не отражается на

работоспособности

приложений

• Функционал VDisk

mirroring аналогичен

RAID 1 на дисковых

маccивах

• Восстановление

работоспособности:

ресинхронизация томов

• Решение

протестировано

в центре инновация

IBM и центре

компетенции КРОК

FAIL

TotalStorage

DS4800

System Storage DS4200

4GB/s 2GB/s

System x3250

System x3250

ИЗМЕНЕНИЯ В СХЕМЕ РЕЗЕРВНОГО

КОПИРОВАНИЯ

Сервер Резервного

копирования

Файловый

сервер

• ПО резервного копирования –

Tivoli Storage Manager

• Внедрение SVC требует

минимум изменений в схеме

резервного копирования, а

именно только для мгновенных

снимков

• Функционал DS4000 flashcopy

может быть заменен на SVC

flashcopy (Advanced Copy

Services)

ОРГАНИЗАЦИЯ ВИРТУАЛИЗОВАННОГО SAN.

МАРШРУТИЗАЦИЯ INTEGRATED ROUTING

System Storage DS4200

4GB/s 2GB/s

TotalStorage

DS4800

System Storage DS4200

4GB/s 2GB/s

Single mode LW

System x3250

System x3250

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

12Vdc 12Vdc

Brocade 5000

31302928232221201514131276540 1 2 3 8 9 10 11 16 17 18 19 24 25 26 27

TotalStorage

DS4800

System x3250

System x3250

12Vdc 12Vdc

Brocade 5000

31302928232221201514131276540 1 2 3 8 9 10 11 16 17 18 19 24 25 26 27

BladeCenter

1 2 3 4 5 6 7 8 9 10 11 12 13 14

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

CD

LS21

• Раздельное администрирование SAN

• Корректной интеграции SAN двух площадок

• Маршрутизация SAN обеспечивает локализацию трафика

• Связь между площадками – только на уровне SVC и СХД

- Routed zones

ОСНОВНЫЕ ТЕХНОЛОГИИ И

ПРЕИМУЩЕСТВА• SVC Vdisk mirroring

− Прозрачная синхронная репликация данных между

площадками ЦОД

• SVC flashcopy

− Мгновенные снимки вне зависимости от поддержки со

стороны дискового массива

• Маршрутизация SAN (Brocade Integrated Routing)

− Корректная интеграция SAN двух ЦОД

ЦЕНТР КОМПЕТЕНЦИИ КРОК

• Разработка и внедрение комплексных решений

• Тестирование, оптимизация и поддержка аппаратных платформ, системного ПО и бизнес-приложений

• Апробация пилотныхрешений

• Демонстрация решений заказчикам

• Портирование ПО на различные платформы

УСЛУГИ АУТСОРСИНГА ЦОД КРОК

• Размещение оборудования (Co-location)

• Аренда оборудования

• Аренда виртуальной инфраструктуры,

Хостинг

• Аутсорсинг приложений

• Вместимость ЦОД – 70 стоек

• Бесперебойное электропитание GE: резервирование 2N

• Гарантированное электропитание: ДГУ Cummins 1.5 МВт

• Охлаждение: две группы кондиционеров Liebert, резервирование N+1

• Пожарная безопасность: газовая система пожаротушения

• Физическая безопасность: видеонаблюдение, контроль доступа

• Любые телекоммуникации, включая CWDM/DWDM

• Круглосуточная техническая поддержка

ИНЖЕНЕРНАЯ ИНФРАСТРУКТУРА ЦОД КРОК

16

СПАСИБО ЗА ВНИМАНИЕ.

ВОПРОСЫ ?

Пухов Евгений

МЕНЕДЖЕР ПРОЕКТОВ

КОМПАНИИ КРОК

Тел: (495) 974 2274

Е-mail: epuhov@croc.ru