Дизайн небольшого ЦОД часть 2

Дизайн небольшого ЦОД часть 2

Максим Хаванкин системный инженер [email protected]

Игорь Гиркин системный инженер [email protected]

Содержание

•  Постановка задачи •  Дизайн ЦОД с использованием стоечных серверов •  Заключение

Постановка задачи

Постановка задачи - 1

•  Выбор и рекомендация платформы аппаратных серверов –  3 градации производительности, определенные Заказчиком совместно с партнерами/производителями ПО

•  Выбор и рекомендация платформы кластеров ESX –  2 продуктивных кластера

•  Дизайн сетевого уровня доступа ЦОД –  выбор архитектуры

•  Дизайн подсистемы сетевых адаптеров аппаратных и виртуализированных серверов

•  Дизайн сетевой подсистемы виртуализированных серверов •  Дизайн сети хранения данных •  Контроль доступа к серверной ферме (часть сервисов)

–  Кластер А – до 1 Гбит/сек, 10K cps –  Кластер В – до 1 Гбит/сек, 10K cps –  Аппаратные сервера – до 2 Гбит/сек, 30K cps

Постановка задачи - 2

•  Мониторинг и анализ производительности части приложений (не всех !) –  Кластер А – до 200 Мбит/сек –  Кластер B – до 150 Мбит/сек –  Аппаратные сервера – до 1 Гбит/сек

•  Балансировка нагрузки –  Кластер А – до 1 Гбит/сек –  Аппаратные сервера – до 1 Гбит/сек

•  Восстановление данных в резервном ЦОД (РЦОД) –  Recovery Point Objective (RPO) - допустимые потери данных – не более 1 часа

–  Recovery Time Objective (RTO) - время восстановления – не более 1 часа

–  Дизайн Резервного ЦОД (РЦОД) не производить

Дизайн ЦОД с использованием стоечных серверов

Основные шаги Идентификация и определение классов серверов

Дизайн LAN (физический и вирутальный) и SAN

Идентификация и определение характеристик системы хранения

Определение характеристик сервисной подсистемы

Физическое размещение оборудования

Определение характеристик выделенной подсистемы управления

Идентификация и определение классов серверов Выделенные серверы для приложений

•  Определение физических ресурсов сервера каждого класса –  CPU –  memory –  etc.

•  Определение характеристик подключения к LAN и SAN сервера каждого класса –  число интерфейсов –  требования полосы пропускания –  требования отказоустойчивости –  тип адаптера

•  Определение количества серверов каждого класса

А нужны ли выделенные аппаратные сервера для приложений сегодня?

Пример конфигурации выделенных серверов для приложений

Компонента Количество С260 – 2RU 1 VIC UCS P81E 2 CPU Xeon E7-2800 2

Количество - 4 Высокие требования к производительности

Компонента Количество С210 – 2RU 1 VIC UCS P81E 1 CPU Xeon X5650 2

Количество - 6 Средние требования к производительности

Компонента Количество С200 – 1RU 1 VIC UCS P81E 1 CPU Xeon X5620 1

Количество - 10 Низкие требования к производительности

Дизайн

Пример конфигурации выделенных серверов для приложений – соображения по RAM и HDD

•  RAM –  ограниченное число профилей –  могут потребоваться дополнительные инвестиции при миграции на гипервизор

•  HDD –  не рекомедуется использовать локальные HDD –  SAN boot везде, где возможно:

•  более быстрое восстановление после сбоя •  простота миграции на UCS B-серии

Размер Bank 0 Bank 1 128 ГБ 8 х 8 ГБ 8 х 8 ГБ 48 ГБ 6 х 4 ГБ 6 х 4 ГБ 24 ГБ 6 х 4 ГБ -

Дизайн

Кластеры vSphere – принципиальная схема

Tier 1 Storage

Tier 2 Storage Tier 3 Storage

vCenter Server

vSphere Client

ESXi хост

VM VM VM VM VM

FC

Продуктивный Кластер B

Непродуктивнй кластер

Продуктивный Кластер A

Кластеры vSphere - свойства

•  Продуктивный кластер – 8 хостов –  результат сайзинга VMware –  управление –  cтоимость (capex, opex, upgrade) –  DRS

•  Продуктивный кластер > 1 –  изоляция –  классификация приложений

•  Tier 1 apps: высокие требования к ресурсам •  Tier 2 apps: все остальные

•  Непродуктивнй кластер –  тестирование VM –  апгрейд ESXi –  проверка работы нового функционала

Кластер В Кластер Тест

Кластер А

Требования к аппаратной платформе гипервизора

•  32 – 96 ГБ ОЗУ на 1 хост •  Встроенное удаленное управление

•  Минимум 2 порта FC и 2 порта Ethernet

•  4 ГБ ОЗУ на 1 vCPU •  2-4 vCPU на одно физическое ядро

•  Все сервера в кластере должны быть идентичны

vSphere ESXi

Пример конфигурации сервера гипервизора

Компонента Количество С200 – 1RU 1 VIC UCS P81E 1 CPU X5675 2

Количество - 24 Vmware ESXi

Размер Bank 0 Bank 1 96 ГБ 6 х 8 ГБ 6 х 8 ГБ

•  3 кластера –  Продуктивный A –  Продуктивный В –  Непродуктивный - Тест

•  HDD –  локальные HDD не используются –  SAN boot

Дизайн

Общее количество сконфигурированных серверов и профилей ОЗУ

Назначение Модель Количество Высокая нагрузка С260 4 Средняя нагрузка С210 6 Низкая нагрузка С200 10

Аппаратных серверов 20 ESX хосты С200 24

Всего серверов 44

Размер Bank 0 Bank 1 128 ГБ 8 х 8 ГБ 8 х 8 ГБ 96 ГБ 6 х 8 ГБ 6 х 8 ГБ 48 ГБ 6 х 4 ГБ 6 х 4 ГБ 24 ГБ 6 х 4 ГБ -

Дизайн

Дизайн LAN (физический)

•  Подключение серверов к уровню доступа серверов –  Число и классы серверов, которые должны быть подключены –  Число портов 10G

•  Требования приложений к полосе –  Число портов 10G с поддержкой FCoE

•  Требования приложений к полосе –  Число портов 1G –  Высокая доступность

•  Подключение уровня доступа серверов к ядру сети –  Переподписка 8:1 –  Трансиверы –  Поддержка медных коммутационных шнуров 10G SFP+ со стороны коммутаторов ядра

Общее количество сконфигурированных физических LAN-интерфейсов Дизайн

Назначение Модель Количество Серверов

Количество 10G интерфейсов

Высокая нагрузка С260 4 4x2х2=16 (8:8) Средняя нагрузка С210 6 6x2=12 (6:6) Низкая нагрузка С200 10 10x2=20 (10:10)

Аппаратных серверов 20 48 (24:24) ESX хосты С200 24 24x2=44 (24:24)

Всего серверов 44 92 (46:46)

•  High Availability –  C260 – по 2 порта к каждому устройству доступа –  С210, С200 – по 1 порту к каждому устройству доступа

Дизайн LAN (физический) – схема организации связи

Дизайн

L3 L2

SiSiSiSi

Nexus 5548UP c L3 модулем

Дизайн ядра сети не (!) рассматриваем

Nexus 2232

Подключение серверов со средней и

низкой нагрузкой, непродуктивный кластер

ESX, продуктивый кластер ESX

Подключение серверов с высокой нагрузкой (8х10G),

продуктивный кластер ESX с высокой нагрузкой

(8x10G)

Дизайн LAN (физический) – количество портов

Назначение Количество Подключение серверов 8+8=16

vPC 2 L3 peer 1 (2 рекомендуется)

Подключение FEX 4 Ядро LAN 4

Всего портов 26

Количество портов на Nexus 5548UP

Дизайн

Назначение Количество Подключение FEX 4

Подключение серверов 32 Всего портов 36

Количество портов на Nexus 2232

Технологии Cisco UCS Adapter FEX и VM-FEX

•  Презентация NIC-ов для ОС и поддержка 802.1BR в сторону коммутатора –  Режим A-FEX : поддержка до16 Eth vNIC и 2 FC vHBA –  Режим VM-FEX : поддержка до 96 vNics

•  Функция Adapter Failover : в случае сбоя по основному пути передачи данных vNIC маппируется во второй (standby) порт прозрачно для ОС

•  Улучшенная безопасность и масштабирование: не нужно передавать все VLAN-ы в транке в сторону сервера

Матрица поддержки технологий A-FEX и VM-FEX

A-FEX Адаптер Сервер ОС Функция Масштабирование

Cisco Cisco UCS P81E VIC UCS C series

Windows, Linux RH,

ESX vNic, vHBA 16 vNIC + 2 vHBAs на адаптер,

1K на пару N5500

Broadcom BCM57712 CNA

UCS C series Third party*

Windows, Linux RH,

ESX vNic, vHBA

Максимум 8 Virtual Interfaces До 8 vNICs, до 2 vHBA (vNICS + vHBA <=8),

1K на пару N5500

* Depending on OEM qualification

VM-FEX Адаптер Сервер Гипервизор Функция Масштабирование

Cisco Cisco UCS P81E VIC

UCS C series

VMware Vsphere

vNic, migration

96 на адаптер 2K на пару N5500

Дизайн LAN (физический) – A-FEX Число адаптеров на ОС

Количество вирт. адаптеров, создаваемых на физических хостах

Количество Функция Транк Сервер с высокой нагрузкой

5 Пользователи продуктивный, приложения сервисный, БД сервисный, hearbeat, monitoring нет

Сервер со средней нагрузкой 2 Внутренний сервисный, внешний продуктивный нет

Сервер с низкой нагрузкой 1 Продуктивный нет

Всего на всех физических хостах: 5х4+2х6+1х10=42

Дизайн

Дизайн LAN (виртуальный) – A-FEX VMware ESX- число виртуальных адаптеров VIC

Дизайн

Количество Функция Транк 2 Продуктивные интерфейсы гостевых ОС Да

2

Management LAN VMware Management VMware Cluster Heartbeat Cisco Nexus Management Cisco Nexus Control Cisco Nexus Packet

Да

2 vMotion Нет 2 Fault Tolerance (если используется) Нет 1 VM – Troubleshooting Нет

Всего на виртуальных продуктивных хостах: 9 х 16 = 144

Количество виртуальных адаптеров, создаваемых на 1-ом ESX хосте

•  Физическая изоляция разных классов трафика

Дизайн LAN (виртуальный) - схема организации связи Дизайн

Nexus 1000V VSM Nexus 1000V VSM VSM для кластера: А Active Standby

Standby Active

VSM для кластера: Тест

Nexus 1010 - A Nexus 1010 - B

Nexus 1000V VSM VSM для кластера: B

Nexus 1000V VSM Nexus 1000V VSM

Nexus 1000V VSM

Подключение Nexus 1010 Управление - 2 LoM интерфейса Control, Packet – порты 3 и 4 Данные (в сторону NAM) – порты 5 и 6

Mgmt Control Packet Data

Назначение Количество Было занято до этого

шага дизайна 26

Nexus 1010 - A 3 Nexus 1010 - B 3 Всего портов 32


Дизайн

Дизайн SAN, общие соображения - 1

•  Плотность портов и топология –  сколько портов сейчас и какое расширение планируется? –  Multistage, core-edge, collapsed core

•  Высокая доступность –  Отказоустойчивая фабрика –  Port channel

•  Производительность –  Переподписка 8:1

•  Управление трафиком –  per-VSAN routing –  QoS –  Резервирование полосы

•  Подключение Backup-системы

SAN

Дизайн SAN, общие соображения - 2

•  Виды приложений –  One-tier –  Two-tier –  Three-tier –  N-Tier –  Web –  Stand-Alone

•  Multi tier – система хранения •  Кластеры для балансировки нагрузки

•  Кластеры высокой доступности

•  Профиль трафика во времени •  IOPS

Tier 1 Tier 2 Tier 3

High IO Throughput

Дизайн SAN – схема организации связи

MDS 9148 - A

Дизайн

MDS 9148 - B

HBA-2

Продуктивная СХД

HBA-1

FC

Непродуктивная СХД

FC

Дизайн SAN – подключение MDS - 1

Назначение Количество Nexus 5548UP - 1 8

Система хранения – Service Processor A 4 Система хранения – Service Processor B 4

Система хранения (тест) 4 Всего портов 20

Подключение MDS 9148-A

Дизайн



MDS 9148 8 Всего портов 40


MDS 9148-B аналогичная таблица подключений

Дизайн SAN – Multipathing

•  Рекомендация - отказоустойчивая подсистема ввода/вывода •  Обнаружение ошибок, динамическое переключение и восстановление

•  Режимы работы: active-active или active-passive •  Прозрачно для приложений на сервере •  Примеры:

–  EMC Power Path –  Microsoft MPIO

Cisco MDS Отказоустойчивая

фабрика

Система хранения

Сервер с multipath-

драйвером

FC

Дизайн SAN – количество лицензий multipathing

Назначение Количество хостов

Количество CPU сокетов

Высокая нагрузка 4 8 Средняя нагрузка 6 12 Низкая нагрузка 10 10

ESX хосты 24 48 Всего 44 78

Лицензий EMC Powerpath (хосты+CPU сокеты)

Дизайн

https://community.emc.com/thread/100453

Идентификация и определение характеристик системы хранения

•  Конфигурация и свойства системы хранения должны быть определены с участием партнера/производителя системы –  EMC – протестированные конфигурации Vblock –  NetApp – протестированные конфигурации FlexPOD –  Больше шпинделей –> больше IOPS

•  VMware vStorage API for Array Integration (VAAI) –  аппаратная акселерация операций с системой хранения

•  Продуктивная система хранения отдельно от тестовой •  Многоуровневое хранение данных (SSD, FC, SATA) •  Использование Best Practice от VMware

–  Configuring VMware vCenter Server to send alarms when virtual machines are running from snapshots KB 1018029

–  Best practices for virtual machine snapshots in the VMware environment KB 1025279

Определение характеристик сервисной подсистемы

Разграничение доступа

Мониторинг трафика

Балансировка нагрузки

Оптимизация трафика в распределенной сети

Data Center Interconnect


•  Оценка производительности требуемых МСЭ, контексты –  packet per seconds (PPS) –  connections per seconds (CPS)

•  Режим встраивания в процесс передачи данных –  transparent –  routed

•  Режим высокой доступности –  active-active –  active-standby

•  Разработка и настройка политик безопасности •  Рекомендации Cisco SAFE

–  Прозрачный режим (transparent) –  Коммутация между VLAN в разных VDC (Nexus 7000)

Поддержка Etherchannel в ASA 8.4.1

Active & Passive: определяется LACP

Mode On: Статичная конфигурация (без LACP)

VLAN интерфейсы конфигурируются поверх интерфейса Port-Chanel

Поддерживаются все модели ASA

Интерфейсы порт-группы разделяют один MAC адрес

Hash algorithm - настраивается. По умолчаниюю - Source, Destination IP адреса

peer link

vPC vPC

vPC

EC EC

Active Standby

Разграничение доступа - дизайн Дизайн

EC EC

HA ASA-5585-X-1 ASA-5585-X-2

Nexus-5548UP-1 Nexus-5548UP-2



ASA-5585-X-1 1 ASA-5585-X-2 1 Всего портов 42


Мониторинг трафика

•  Определение списка приложений и сервисов для мониторинга •  Оценка производительности

–  Мбит/сек •  Режим сбора данных

–  SPAN/ERSPAN –  NetFlow

Nexus 1000V NAM Virtual Service Blade

•  ПО NAM запускается на устройстве Nexus 1010

–  защита инвестиций; –  простота управления.

•  Решение для мониторинга и поиска неисправностей в окружении Nexus 1000V:

•  Анализ трафика и отчетность •  Анализ времени отклика приложения

•  Статистика по интерфейсам до уровня виртуальной машины

•  Сосуществует с VSM

Nexus 1000V NAM Virtual Service Blade

Nexus 1010 Virtual Services Appliance

Мониторинг трафика - дизайн

Nexus-1010-A Nexus-1010-B

Дизайн

NAM-VSB-1 Мониторинг Кластера А

NAM-VSB-2 Мониторинг Кластера B

До 386 Мбит/сек Предел производительности

VSB NAM 5.1 на длине пакета 512 байт

NAM-2204 Мониторинг приложений на аппаратных серверах

До 2 Гбит/сек

Мониторинг трафика – дизайн



NAM-2204 1 Всего портов 43


Дизайн


•  Оценка производительности –  Гбит/сек –  CPS (соединений в секунду)

•  Количество контекстов •  Режим встраивания в процесс передачи –  one arme mode –  routed mode –  bridged mode

•  Высокая доступность •  Правила балансировки •  Мониторинг состояния приложений

Routed Mode

Bridged Mode

One Arm

Балансировка нагрузки - дизайн Дизайн

EC EC

ACE-4710-1 ACE-4710-2

Nexus-5548UP-1 Nexus-5548UP-2

До 4 Гбит/сек Предел производительности

Назначение Количество Было занято 43 ACE-4710-1 1 ACE-4710-2 1 Всего портов 45


Data Center Interconnect – приложения на аппаратных серверах

•  Существующие кластеры Microsoft MSCS, Solaris Sun Cluster Enterprise, Oracle RAC IBM HCM

•  Режим Active-Standby •  Следующие механизмы используются для синхронизации кластера: heartbeat, status & control сообщения, сообщения дл поддержки VIP –  L2 связность

•  Клиенты подключаются прозрачно к разделяемому VIP адресу

Heartbeat 1

SAN A

SAN B

Cluster VIP

Enterprise Core

Active Standby

Heartbeat 2

Растянутый VLAN

Растянутый SAN

Data Center Interconnect

•  Disaster avoidance – предотвращение сбоев –  на уровне хоста – vMotion –  на уровне дата-центра – inter-site (long distance) vMotion

•  Disaster recovery – восстановление после сбоев –  На уровне хоста – VMware High Availability –  На уровне дата-центра

•  VMware Site Recovery Manager •  VMware High Availability

•  Определить критерии восстановления после сбоя –  Recovery Point Objective (RPO) –  Recovery Time Objective (RTO)

Что делать, если у приложения нет встроеных средств организации высокой доступности?

Использование VMware SRM

ЦОД РЦОД

SAN Система синхр.

VMware VMware

Достоинства решения: •  Асинхронная репликация

•  Низкие требования к каналам

•  Компрессия траффика при передаче (зависит от вендора решения по синхронизации СХД)

Недостатки решения: •  Ручной рестарт виртуальных машин при сбое

•  Простой при восстановлении

•  Невозможность работы с одними и теми же данными с двух площадок одновременно


FC


FC Система синхр.

Использование VMware HA

ЦОД РЦОД

VMware VMware

Достоинства решения:

•  Синхронная репликация или виртаулизированная распределенная СХД

•  Одновременный доступ к данным с любой площадки

•  Прозрачное перемещение приложений между площадками

•  Сохранение аботоспособности при сбоях

•  Отсутствие простоев при регламентных работах

Недостатки решения: •  Высокие требования к каналам


FC


FC

РАСПРЕДЕЛЕННЫЙ ВИРТУАЛЬНЫЙ ТОМ

Связь с РЦОД - дизайн

•  OTV на ASR1K –  поддержка появится в ближайшее время

•  Асинхронная синхронизация двух систем хранения

•  Объединение 2-х СХД –  рекомендации по количеству FC каналов для синхронизации формирует вендор системы СХД

Дизайн

Подсистема управления

•  Количество Ethernet интерфейсов для OOB управления = 57 –  2 выделенных коммутатора 3560-48

•  Выделенный кластер Vmware из 2-х серверов –  vCenter –  Система управления СХД

•  «Растянутый кластер» Vmware –  vCenter Hearbeat

Дизайн

Физическое размещение оборудования (без СХД) Система Количество систем RU на систему RU всего

Высокая нагрузка 4 2 8 Средняя нагрузка 6 2 12 Низкая нагрузка 10 1 10

ESX хосты 24 1 24 Nexus 5548UP 2 1 2

Nexus 2232 2 1 2 ASA 5585-X 2 2 4 Nexus 1010 2 1 2 ACE 4710 2 1 2 MDS 9148 2 1 2 NAM 2204 1 1 1 3560-48 2 1 2

Всего 71

Масштабируемость дизайна Система Всего ресурсов Занято % занятости

Nexus 5548UP 48 портов 45 93% Nexus 2232 32 серверных порта 32 100%

8 uplink портов 4 50% ASA 5585-X SSP-20 125K cps 50K cps 40%

10 Гбит/сек 4 Гбит/сек 40% NAM VSB 386 Мбит/сек 350Мбит/сек 90% ACE 4710 4 Гбит/сек 2 Гбит/сек 50% MDS 9148 48 портов 20 портов 41% NAM 2204 2 Гбит/сек 1 Гбит/сек 50%

В заключении

С высоты птичьего полета

Сеть передачи данных

Сервисы сети

Вычисления

Сеть хранения

Управление

Ресурсы хранения

Соединение площадок

Физический доступ

Виртуальный доступ

Агрегация


Предотвращение вторжений


Ядро

Доступ

Конвергентные сети

Дисковые массивы

IP

FC

Стоечные серверы

Блейд-шасси

Cisco UCS

Гипервизоры

Hypervisor

Менеджеры устройств

Автоматизация

Оркестрация

Не забывая про детали

FC FC HBA Виртуализированный

адаптер

FC FC HBA

NIC LAN

NIC LAN

NIC Mgmt

NIC Backup

Cluster NIC

vHBA

vNIC

vNIC

vNIC

vNIC

vNIC

vHBA

Вооружившись знаниями

•  Cisco Smart Business Architecture for Mid-sized network •  CVD

Полезные ссылки

•  Network Adapter Virtualization Design http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/guide_c07-690080.html

•  Подключение ASA к VSS/vPC http://www.cisco.com/en/US/docs/security/asa/asa84/configuration/guide/interface_start.html#wp1336269

•  Cisco SAFE, Intranet Data Center http://www.cisco.com/en/US/docs/solutions/Enterprise/Security/SAFE_RG/chap4.html#wp1053199

•  Cisco Smart Business Architecture, Data Center SBA Guides for Midsize http://www.cisco.com/go/sba

•  VMware KB: Configuring VMware vCenter Server to send alarms http://kb.vmware.com/kb/1018029

•  VMware KB: Best practices for virtual machine snapshots http://kb.vmware.com/kb/1025279

Спасибо! Просим Вас заполнить анкеты. Ваше мнение очень важно для нас!

Technology

Дизайн небольшого ЦОД часть 2