Архитектура ЦОД

Архитектура ЦОД

Владимир КургКиев, 8 октября 2009

Виртуализация ОС

• Гонка мегагерц сменилась «ядерной» гонкой

• Проблема параллелизма

• Изоляция приложения в собственной ОС

• Несколько ОС в одной физической системе

Виртуализация серверных ОС

Термодинамика виртуализации: MIPS/Ватт, IOPS/Ватт, Ватт/м3

• Максимизация загрузки системы: - рост рассеиваемой мощности- напряженней температурные режимы- рост плотности тепловыделения

• Рост нагрузки ввода-вывода: сеть, storage

• Горячие точки в шкафу

Виртуализация клиентских ОС: VDI

Термодинамика виртуализации:

- Переносим энерговыделение ПК в ЦОД- Избавляемся от UPS рабочих мест (тонкие клиенты)- Неравномерность нагрузки

• Варианты: - терминальные системы- Blade PC от HP

Виртуализация ОС + Blade Systems

Blade-системы + виртуализация

• Максимизация загрузки лезвий

• Горячие зоны ЦОДа

• + VDI: cуточные циклы энергопотребления и выделения

• Проблемы ввода/вывода:- много виртуальных NIC и HBA на один физический- коммутаторы виртуальный => встроенный => доступа

Виртуализация ОС + Blade SystemsЕщё два уровня иерархии коммутаторов:Проблема сложности, гетерогенности, административных «границ»

Виртуализация ввода-выводаВиртуализация ввода-вывода

Сколько сетей работает в ЦОД?

SAN

LAN WAN

IPCMPI

Виртуализация ввода-выводаВиртуализация ввода-вывода

Единый транспорт серверного сегмента:Infiniband: 40 Gbps сейчас

Losseless Ethernet: 10 Gbps

SAN

LAN WAN

Виртуализация ввода-выводаВиртуализация ввода-вывода + Blade

Пример: Cisco Unified Computing System

WinHEC-2006WinHEC-2006

Цена порта:

• Один HCA/VIC вместо HBA + NIC + (MPI)

• Один порт коммутатора вместо трёх портов трёх коммутаторов

Управляемость:

• Виртуальный «конструктор»

«Бесплатный процессор»«Бесплатный процессор»

Всё over IP:

Проблема

Transport Offload

Engine (TOE)

Приложение Приложение

Ethernet Card Virtual Interface HCA

Socket

TCP

IP

NDIS

MiniPort

VIA SDP

~70

00 к

оман

д

~50

0 ко

ман

д

Выбираем 10 GE…

I/O Consolidation in the Data Center. Cisco Press, 2009

Виртуализация ОС и ввода-вывода

Результат: системы высокой плотности

• Горячие зоны ЦОДа

• Неравномерные циклы энергопотребления и выделения

• Множество ОС и приложений в малом объёме:- рост цены ошибок и сбоев- рост требований к планированию- рост требований к управляемости

+

+…

Виртуализация и энергопотребление

Виртуализация и энергопотребление

67% reduction in server power results in 56% electric bill savings

Servers83%

Fan motors 100kW Fan motors

100kW(no change)

Энергопотребление меньше, но потребление инфраструктуры

(FIXED LOSS) неизменно

FIXED LOSS

Уменьшение потребляемой мощности...

… за счёт уменьшения количества серверов

FIXED LOSS

Термодинамика виртуализации:

«налог на инженерную инфраструктуру»

Запас невыгоден, нужны гибкость и планирование

Жизненный цикл и планированиеИзбежать «налога на инфраструктуру»:

- новый ЦОД или модернизация- установленные мощности по охлаждению и БП- перемещение и перекоммутация- модульность инфраструктуры

Распределение нагрузки

Консолидация нагрузки

LoadLoad

CapacityPower/cooling

LoadVirtualized Load

LoadOriginalLoad

Original

LoadVirtualizedLoad

Virtualized

LoadLoadLoad

VirtualizedLoad

Virtualized

LoadVirtualizedLoad

Virtualized

Scale DOWN Scale UP

Жизненный цикл и планированиеИзбежать «налога на инфраструктуру»:

- модульность инфраструктуры по «требованию»

Наращивание по требованиюКонструктор для перехода к высокой плотности

Blanking panels

Supplemental cooling

InRow™ cooling

Низкая плотность,

Низкие нагрузки

Высокая плотность

Hot aisle containmentModular power

distribution

Rear Air containment

< 3 kW/rack3-5 kW/rack

> 5 kW/rack

Наращивание по требованиюМини-ЦОДы высокой плотности

• Не нагружают систему охлаждения ЦОДа

• Локальная циркуляция по короткому пути

• Адаптация под переменные нагрузки

Пример: банк «Пивденный»

InRow™ cooling

Высокая плотность

Hot aisle containment

Modular power

distribution

Rear Air containment

Система высокой плотности: 16.5 kW/rack

APC InfraStruXure

• APC Symmetra PX 50 kW, N+1

• Blade Servers / APC NetShelter SX

• Rack Air Removal Units SX

• APC Enviromental / InfraStruXure Manager

Пример: ЕМЗСистема высокой плотности: 18 kW/rack

InRow™ cooling

Высокая плотность

Hot aisle containment

Modular power

distribution

Rear Air containment

APC InfraStruXure

• APC Symmetra PX 20 kW, N+1

• APC NetShelter SX

• APC InRow RC

• APC Enviromental / InfraStruXure Manager

Incom

Владимир КургКиев, 8 октября 2009