Архитектура ЦОД
Владимир КургКиев, 8 октября 2009
Виртуализация ОС
• Гонка мегагерц сменилась «ядерной» гонкой
• Проблема параллелизма
• Изоляция приложения в собственной ОС
• Несколько ОС в одной физической системе
Виртуализация серверных ОС
Термодинамика виртуализации: MIPS/Ватт, IOPS/Ватт, Ватт/м3
• Максимизация загрузки системы: - рост рассеиваемой мощности- напряженней температурные режимы- рост плотности тепловыделения
• Рост нагрузки ввода-вывода: сеть, storage
• Горячие точки в шкафу
Виртуализация клиентских ОС: VDI
Термодинамика виртуализации:
- Переносим энерговыделение ПК в ЦОД- Избавляемся от UPS рабочих мест (тонкие клиенты)- Неравномерность нагрузки
• Варианты: - терминальные системы- Blade PC от HP
Виртуализация ОС + Blade Systems
Blade-системы + виртуализация
• Максимизация загрузки лезвий
• Горячие зоны ЦОДа
• + VDI: cуточные циклы энергопотребления и выделения
• Проблемы ввода/вывода:- много виртуальных NIC и HBA на один физический- коммутаторы виртуальный => встроенный => доступа
Виртуализация ОС + Blade SystemsЕщё два уровня иерархии коммутаторов:Проблема сложности, гетерогенности, административных «границ»
Виртуализация ввода-выводаВиртуализация ввода-вывода
Сколько сетей работает в ЦОД?
SAN
LAN WAN
IPCMPI
Виртуализация ввода-выводаВиртуализация ввода-вывода
Единый транспорт серверного сегмента:Infiniband: 40 Gbps сейчас
Losseless Ethernet: 10 Gbps
SAN
LAN WAN
Виртуализация ввода-выводаВиртуализация ввода-вывода + Blade
Пример: Cisco Unified Computing System
WinHEC-2006WinHEC-2006
Цена порта:
• Один HCA/VIC вместо HBA + NIC + (MPI)
• Один порт коммутатора вместо трёх портов трёх коммутаторов
Управляемость:
• Виртуальный «конструктор»
«Бесплатный процессор»«Бесплатный процессор»
Всё over IP:
Проблема
Transport Offload
Engine (TOE)
Приложение Приложение
Ethernet Card Virtual Interface HCA
Socket
TCP
IP
NDIS
MiniPort
VIA SDP
~70
00 к
оман
д
~50
0 ко
ман
д
Выбираем 10 GE…
I/O Consolidation in the Data Center. Cisco Press, 2009
Виртуализация ОС и ввода-вывода
Результат: системы высокой плотности
• Горячие зоны ЦОДа
• Неравномерные циклы энергопотребления и выделения
• Множество ОС и приложений в малом объёме:- рост цены ошибок и сбоев- рост требований к планированию- рост требований к управляемости
+
+…
Виртуализация и энергопотребление
Виртуализация и энергопотребление
67% reduction in server power results in 56% electric bill savings
Servers83%
Fan motors 100kW Fan motors
100kW(no change)
Энергопотребление меньше, но потребление инфраструктуры
(FIXED LOSS) неизменно
FIXED LOSS
Уменьшение потребляемой мощности...
… за счёт уменьшения количества серверов
FIXED LOSS
Термодинамика виртуализации:
«налог на инженерную инфраструктуру»
Запас невыгоден, нужны гибкость и планирование
Жизненный цикл и планированиеИзбежать «налога на инфраструктуру»:
- новый ЦОД или модернизация- установленные мощности по охлаждению и БП- перемещение и перекоммутация- модульность инфраструктуры
Распределение нагрузки
Консолидация нагрузки
LoadLoad
CapacityPower/cooling
LoadVirtualized Load
LoadOriginalLoad
Original
LoadVirtualizedLoad
Virtualized
LoadLoadLoad
VirtualizedLoad
Virtualized
LoadVirtualizedLoad
Virtualized
Scale DOWN Scale UP
Жизненный цикл и планированиеИзбежать «налога на инфраструктуру»:
- модульность инфраструктуры по «требованию»
Наращивание по требованиюКонструктор для перехода к высокой плотности
Blanking panels
Supplemental cooling
InRow™ cooling
Низкая плотность,
Низкие нагрузки
Высокая плотность
Hot aisle containmentModular power
distribution
Rear Air containment
< 3 kW/rack3-5 kW/rack
> 5 kW/rack
Наращивание по требованиюМини-ЦОДы высокой плотности
• Не нагружают систему охлаждения ЦОДа
• Локальная циркуляция по короткому пути
• Адаптация под переменные нагрузки
Пример: банк «Пивденный»
InRow™ cooling
Высокая плотность
Hot aisle containment
Modular power
distribution
Rear Air containment
Система высокой плотности: 16.5 kW/rack
APC InfraStruXure
• APC Symmetra PX 50 kW, N+1
• Blade Servers / APC NetShelter SX
• Rack Air Removal Units SX
• APC Enviromental / InfraStruXure Manager
Пример: ЕМЗСистема высокой плотности: 18 kW/rack
InRow™ cooling
Высокая плотность
Hot aisle containment
Modular power
distribution
Rear Air containment
APC InfraStruXure
• APC Symmetra PX 20 kW, N+1
• APC NetShelter SX
• APC InRow RC
• APC Enviromental / InfraStruXure Manager
Incom
Владимир КургКиев, 8 октября 2009