Embed Size (px)
Citation preview
Евгений ЛагунцовСистемный архитектор, HP Ambassador,ISS/SWD Presales Lead,HP Россия
Виртуализация сетевых подключений в серверных фермах
Виртуализация сетевых подключений:• Зачем это надо?• Что это такое и как работает?
• Физическая реализация;• Взгляд изнутри;• Взгляд извне;
• Копнем чуть глубже• Доступность,• Безопасность,• Производительность,
• А что дальше? Или выше?...
План на сегодня
Физические подключения2 варианта
• Патч-панели как правило неэффективны и образуют большое количество кабельных
подключений, что неудобно и подвержено «человеческому фактору»
• Традиционные коммутаторы уменьшают количество внешних кабелей, но повышают нагрузку на сетевых администраторов, которые вынуждены управлять активным оборудованием на границе сети
Управление Все должны участвовать в
перемещении сервера• Серверы в традиционном окружении
физически подключены непосредственно в сети LAN и SAN
• Если сервер нужно добавить, переместить или заменить:
• Администраторы сетей LAN и SAN должны выполнить работу по внесению в них необходимых изменений
3
Характерные проблемы традиционной организации серверных подключений
Слишком много кабелей
4
32 кабеля
64 кабеля
128 кабелей
Ядро сети
Слишком много коммутаторов
5
Сервер 1
Сервер 2
Сервер 3
Сервер 16
Коммутатор…
… Коммутатор…
Серверная полкаBrocade,Cisco, orMcData
коммутатор
…
Сеть
Сервер 1
Сервер 2
Сервер 3
Сервер 16
HP Virtual Connectмодуль
…
…
HP Virtual Connectмодуль
…
Серверная полка
Brocade,Cisco, orMcData
коммутатор
…
Сеть
Традиционное подключение блейд-серверов в сети LAN и SAN
Подключение блейд-серверов к сетям LAN и SAN через HP Virtual Connect
Brocade,Cisco, orMcData
коммутатор
…
Brocade,Cisco, orMcData
коммутатор
…
6
Все должны участвовать в перемещении сервера
SAN
Администратор СХД
Серверный администратор
A
B
C
Запас
LAN
FC Switch
Администратор LANNI
CH
BA
NI
CH
BA
NI
CH
BA
NI
CH
BA
ENET Switch
WWN A
MAC A
WWN S
MAC S
XLAN Администратор
SAN Администратор
Найти новый портСконфигурировать новый порт: VLAN, Security, STP, итд
Найти нужный LUNСконфигурировать зоны для нового WWN
Настроить доступ к LUN
Аппаратные модули: Ethernet и Fibre Channel• Коммутационные модули VC Ethernet и VC Fibre Channel
устанавливаются в коммутаторные отсеки с задней стороны полки HP BladeSystem c-Class
• Обеспечивают подключение серверных интерфейсов к сетям LAN и SAN с одновременной консолидацией кабелей и виртуализацией идентификаторов (MAC/WWN)
Программное обеспечение: VCM и VCEM• Встроенный инструмент управления для одной серверной полки
или Virtual Connect Enterprise Manager для сотни полок HP BladeSystem
• С помощью «серверных профилей» любые манипуляции с серверами (перемещение, добавление или замена) происходят не затрагивая сети LAN и SAN
• Автоматизация процессов доступна только в Virtual Connect Enterprise Manager7
Что такое Virtual Connect?
8
SAN
Администратор СХД
Серверный Администратор
A
B
C
Запас
LAN
FC Switch
Сетевой Админ.
LAN Администратор
SAN Администратор
NI
CH
BA
NI
CH
BA
NI
CH
BA
NI
CH
BA
ENET Switch
Мод
ул
и H
P V
irtu
al C
on
nect
Серверный Администратор
WWN A
MAC A
X
Virtual Connect делает ИТ готовой к изменениям!
Найти новый портСконфигурировать новый порт: VLAN, Security, STP, итд
Найти нужный LUNСконфигурировать зоны для нового WWN
Настроить доступ к LUN
Как оно работает?
Как это устроено?
10
NIC NIC
Блейд-сервер 2Блейд-сервер 1
NIC NIC
LAN 2 LAN 3 LAN 4LAN 1
Сети информационного центра
NIC NIC
Virtual ConnectManager (VCM)
Выглядят как стандартные интерфейсы NIC для внешних сетевых коммутаторов
Блейд-сервер N
…
Аплинк-подключения выделяются и конфигурируются сетевым администратором
Серверный администратор производит необходимые подключения через VCM
11
NIC NIC
Блейд-сервер 2Блейд-сервер 1
NIC NIC NIC NIC
Virtual ConnectManager (VCM)Блейд-сервер N
…
• Модуль не участвует в протоколеSpanning Tree
• Автоматически исключает появление «петель»• Позволяет агрегировать подключения к сетям
информационного центра в режиме LACP и fail-over• Поддерживает VLAN tagging, в том числе в режиме pass-
through• Поддерживает Link Layer Discovery
Protocol (LLDP)
?Снаружи, внешние порты модуля VC-Enet выглядят как простые NIC-интерфейсы
«Безопасно для любого окружения»
Взгляд извне
12
NIC NIC
Блейд-сервер 2Блейд-сервер 1
NIC NIC
LAN 2 LAN 3 LAN 4LAN 1
Сети информационного центра
NIC NIC
Virtual ConnectManager (VCM)
Looks just like standard server connections from external network switches
Блейд-сервер N
…
Внутренние соединения могут использоваться как кластерные интерконнекты или «частная сеть» не выходящая за пределы модуля.
Такая «частная сеть» может иметь сколько угодно подключений и будет работать независимо.
Взгляд извне
• Все сети независимо выходят наружу через групповой аплинк, используя VLAN tags
• VLAN tagging происходит на границе VC-модуля и внешней сети
• Идентификатор VLAN ID может быть таким, как определит сетевой администратор
13
NIC NIC
Блейд-сервер 2Блейд-сервер 1
NIC NIC NIC NIC
Virtual ConnectManager (VCM)Блейд-сервер N
…
Коммутатор ЦОДLAN 2 LAN 3 LAN 4LAN 1
Сети информационного центра
Взгляд извне
Взгляд извне
14
NIC NIC
Блейд-сервер 2
Блейд-сервер 1
NIC NIC
LAN 1
NIC NIC
Virtual ConnectManager (VCM)Блейд-сервер
N…
Коммутатор ЦОДLAN 3 LAN 4
LAN 2
Разделяемый аплинк
Независимые аплинки
15 April 13, 2023
Virtual Connect Flex-10
# Description
1 1x 10GBASE CX4 Ethernet or 1x SFP+ module (X1)
2 Part number and status indicators
3 5x SFP+ modules (X2-6) (1GbE or 10 GbE)
4 2x crosslinks (midplane) or 2X SFP+ module (X7-8)
5 Recessed module reset button
1 2 3 4 5
Midplane: 16x 10GBASE-KR Ethernet - connects to one (1Gb or 10Gb) NIC in each half-height blade bay2x 10Gb Ethernet - Crosslink between adjacent Virtual Connect Ethernet modulesManagement interfaces to Onboard Administrator
NIC-ов мало не бывает
8Коммутационных модулей
Net 2 Net 3 Net 4Net 1
4Отказоустойчивых сети
8Сетевых интерфейсов
2Дополнительные платы2x
LOMQuadNIC
4xNIC
2xNIC
С VC Flex-10
2 0
8 2
Net 2 Net 3 Net 4Net 1
8Сетевых интерфейсов
Коммутационных модуля
4Отказоустойчивых сети
Дополнительных платДвухпортовый Flex-10
контроллер
Столько NIC, сколько нужно
2 NICs
4 NICs
6 NICs
8 NICs
Упрощение управления сетевыми конфигурациями и соответствие
потребностям виртуализированных инфраструктур
Ethernet интерфейсов на
сервер
ДоVirtualConnectFlex-10
VirtualConnectFlex-10
VirtualConnectFlex-10
Интегрированная микросхема
Дополнительная плата
Просто и эффективно. Много сетевых интерфейсов для виртуальных машин( )
Дополнительная плата
Столько NIC, сколько нужно
Регулированиепроизводительности
Настройка скорости каждого интерфейса на аппаратном уровне
Таким образом можно определить пропускную способность для каждой виртуальной машины
Шаги по 100Мб от 100Мб до 10Гб
( )
VirtualConnectFlex-10
VirtualConnectFlex-10
Flex-10 в ОС
21 Oct 2008© 2008 Hewlett-Packard Development Company, L.P. HP Confidential
HP Virtual Connect FC модуль16x 4Гб FC – подключаются к каждому FC-порту сервера
Управляющий интерфейс к Onboard Administrator
22
4x 1/2/4 Гб FC (SFP)Подключается к FC-коммутаторам ЦОД
Индикаторы портовСоединение и активность
Номера портов и статус-индикаторыЕсли порт сконфигурирован (зеленый)
или в режиме настройки (синий).
Сигнальная
панель
Лицевая панель
Индикаторы модуляHealth и UID
Важно: VC-FC требует наличие VC-Ethernet модуля в той же полке
Что такое NPIV• Эта технология определена стандартом ANSI T11 FC
– Спецификация FC Device Attach (FC-DA), секция 4.13– Спецификация FC Link Services (FC-LS)
• “NPIV предлагает в сетях Fibre Channel возможность назначения нескольких идентификаторов (N_Port_ID) одному порту (N_Port), таким образом позволяя одновременно обращаться к нескольким объектам.”
• Где это используется?– В случае FC HBA, позволяет завести уникальные WWNs и ID для каждой виртуальной машины в
сервере
– Может также использоваться как «прозрачная» схема агрегирования сигналов хост-адаптеров (как HP VC-FC модуль) для снижения количества кабелей нейтральным для SAN образом
23
N_Port_ID Виртуализация
Использует стандартные FC HBA (Qlogic, Emulex)Не требует изменений серверной ОС и драйверов
Сервер #1(WWN A)
HBAагрегатор
(WWN X)
Сервер #2(WWN B)
Сервер #3(WWN C)
ПолноценныйFC-коммутатор с поддержкой
NPIV
A A
B
C
B
C
Работает с широким спектром FC-коммутаторов Brocade, McData, или Cisco
После входа сервера в сеть SAN, фреймы FC проходят наружу без измененийНе влияет на совместимость серверных адаптеров с SAN
Чуть глубже...
Сравнение VC vs. VMware
vNIC vNIC vNIC vNIC
VMwarevSwitch 1
Datacenter LAN
VM VM VM VM
Real NIC Real NIC
VMwarevSwitch 2
Real NIC
VMware Host(single physical server)
c-Class Enclosure with Virtual Connect(16 physical servers)
Virtual
Physical
Physical
pNIC pNIC pNICpNIC
vNet1
Datacenter LAN
VC Uplink VC Uplink
vNet 2
VC Uplink
Управление
Управление
Работа с VLANServer Blade 1
pNIC 1 pNIC 2 pNIC 1 pNIC 2
Server Blade 16…
External Switch or Switches
LAN 2LAN 3
LAN 4
pNIC 1 pNIC 2
vNet_tunnelvNet-PROD2-B
LAN 2LAN 3
LAN 4
Server Blade 2
pNIC 1 pNIC 2LAN 2
LAN 3LAN 4
LAN 2LAN 3
LAN 4LAN 2
VC Uplink 1 VC Uplink 2 VC Uplink 3(802.1Q Tunnel) (VLAN Trunk)
(VLAN Trunk) (VLAN Trunk) (access port)
(access port)
PROD3PROD4PROD2
PROD3
VC Domain
Shared Uplink Set
vNet-PROD2-AvNet-PROD3
vNet-PROD4
Tagged
Untagged
Tagged
Untagged
Untagged
Tagged
Tagged
Untagged
UT T T
T T TU U U
TT
T
T
HP Restricted. May not be shared externally – HP TekTalk Training.
Private VLAN
pNIC
Server Blade 2(Hosted Client 2)
VC Domain
Server Blade 1(Hosted Client 1)
pNIC pNIC
Server Blade 4(Hosted Client 4)pNIC
Server Blade 3(Hosted Client 3)
External Switch
gi0/1
VLAN 1
gi0/3
VLAN 1
VC_LAN1(VC “Private Network” feature enabled)
gi0/5
VLAN 1Router
Isolated PVLAN Isolated PVLAN Isolated PVLAN Isolated PVLAN
HP Restricted. May not be shared externally – HP TekTalk Training.
Отказоустойчивость
Балансировка
Виртуальные SN
•Сервер перезагружается•При загрузке контроллер удаленного управления сервера спрашивает у контроллера полки «нами управляет VC?»•Если нет – активируются «вшитые» BIA, процесс загрузки переходит в «нормальный» режим•Если да – от VC через OA и через iLO серверу передаются новые идентификаторы (MAC, WWN, параметры загрузки, серийные номера)•Новые идентификаторы «прошиваются» в регистры сервера и соответствующих адаптеров (BIA при этом не затираются)•Сервер загружается «как обычно»•Сервер работает с новыми идентификаторами, независимо от ОС, в соответствии с принципом WYSIWYG
Как «переезжает» профиль?
А как же:•Маршрутизация ?•QoS ?•Security/ACL ?
Ответ:Главное назначение VC – обеспечить максимально эффективное, простое и гибкое подключение серверов к сетевой инфраструктуре. VC не реализует и не вмешивается в «интеллектуальную составляющую» сети, этим должны заниматься сетевые устройства, которых никто не отменяет и не заменяет.VC – рабочее средство серверного администратора.
Часто задаваемые вопросы
Дополнительные возможности
Стекирование VC• Объединение в единый домен до 4-х полок• Управление из одной точки• Поддерживается любая топология с полной
связностью• Для каждой vNet формируется свое дерево• Каждый модуль добавляет задержки• Чем больше линков – тем меньше задержек
• Virtual Connect maintains consistent LAN / SAN infrastructure
• Embedded VC Managers monitor individual enclosures /domains
• Central console aggregates VC domain management • Assumes control over individual VC Managers• VCEM v1.0 supports up to 100 VC domains• Create/edit VC domains, groups and server profiles• Database provides global pool of MAC / WWNs
• VCEM uses Onboard Administrator in each enclosure to automatically discover available Virtual Connect domains
• Import configuration and address ranges of selected domains into VCEM database
VC Enterprise Manager
Management Network
Virtual Connect Enterprise Manager (VCEM) •MAC
•WWN•Profiles
ID-VSE. Логические серверы
40 April 13, 2023
41 April 13, 2023
Central Management ServerHP Systems Insight ManagerInsight Control Environment
Insight Dynamics-VSEVirtual Connect Enterprise Mgr
Insight Recovery
Storage Management ServerCommand View EVA
EVA Continuous AccessReplication Solutions Mgr
Central Management ServerHP Systems Insight ManagerInsight Control Environment
Insight Dynamics-VSEVirtual Connect Enterprise Mgr
Insight Recovery
Storage Management ServerCommand View EVA
EVA Continuous AccessReplication Solutions Mgr
StorageWorksEVA
StorageWorksEVA
Virtual ConnectBlades
(boot from SAN)
Virtual ConnectBlades
(boot from SAN)
Continuous AccessStorage Replication
(Metropolitan Distance)
Disaster Recovery
Обеспечивается Disaster Recovery логических серверов в физических и виртуальных окружениях, с использованием репликации на уровне
дисковых массивов
Обеспечивается Disaster Recovery логических серверов в физических и виртуальных окружениях, с использованием репликации на уровне
дисковых массивов
