Развитие технологий современного ЦОД

Развитие технологийсовременного ЦОДСкороходов АлександрСистемный инженер-консультант

2

Поток по центрам обработки данных – 20 ноябряВремя Выступление Докладчик13:40 -14:10 Оптимизация энергозатрат в ЦОД на микро- и

макроуровнях Леонид Шишлов, менеджер по развитию ЦОД, Intel.

14:15 - 15:15 Развитие технологий современного ЦОД. Часть 1 Александр Скороходов, Cisco

15:30 - 16:30 Развитие технологий современного ЦОД. Часть 2 Александр Скороходов, Cisco

16:45 - 17:45 Сетевая поддержка виртуальных машин Игорь Гиркин, Cisco18:00 - 19:00 Виртуализированные сервисы Cisco Игорь Гиркин, Cisco

3

Поток по центрам обработки данных – 21 ноябряВремя Выступление Докладчик9:30 - 10:00 Конфигурация и соответствие:

две половины единого целогоDominic Wellington, BMC

10:05 - 11:05 Архитектура и преимущества объединённой вычислительной системы Cisco UCS

Евгений Лагунцов, Cisco

11:20 - 12:20 Новые продукты и возможности семейства Cisco UCS Евгений Лагунцов, Cisco12:35 - 13:35 Семейство коммутаторов Cisco Nexus 7000:

возможности и развитиеАлександр Скороходов, Cisco

14:55 - 15:25 ПО StruxureWare Operations для мониторинга ресурсов датацентра

Раиль Хайбуллин, APCby Schneider Electric

15:30 - 16:30 Семейство коммутаторов Cisco Nexus 5000/2000: возможности и развитие

Игорь Гиркин, Cisco

16:45 - 17:45 Задачи создания и варианты связи распределённых ЦОД Эльдар Женсыкбаев, Cisco

18:00 - 19:00 Совместная открытая дискуссия Cisco и Intel по тематике ЦОД

4

Поток по центрам обработки данных – 22 ноябряВремя Выступление Докладчик9:30 - 10:00 Интегрированные инфраструктурные платформы на

примере VBlock, VSPEXДенис Кривенцов,Техносерв

10:05 - 11:05 Построение ЦОД небольшой организации Михаил Сафронов, Cisco

11:20 - 12:20 Построение и развитие сети крупного ЦОД Андрей Кардаманов, Cisco

12:35 - 13:35 Внедрение корпоративных приложений на Cisco UCS Евгений Лагунцов, Cisco14:55 - 15:25 VMware View и VMware Horizon: удобное, безопасное и

экономичное рабочее место пользователяВладимир Порохов, VMware

15:25 - 16:25 Архитектура Cisco VXI для виртуализации рабочих мест пользователей и её внедрение. Введение и базовые элементы

Максим Хаванкин, Cisco

16:30 - 17:30 Архитектура Cisco VXI для виртуализации рабочих мест пользователей и её внедрение. Сервисные элементы, масштабирование и управление

Максим Хаванкин, Cisco

5

Поток по облачным вычислениям – 21 ноябряВремя Выступление Докладчик9:30 - 10:00 Облачная модель предоставления услуг: практика применения в

России и перспективы на будущееОлег Коверзнев, Cisco

10:05 - 11:05 Public Cloud: основные этапы создания облачного сервис-провайдера

Дмитрий Хороших, Cisco

11:20 - 12:20 Public Cloud: cоздание платформы оказания услуг, технологии Cisco и интеграция с партнерскими решениями

Дмитрий Хороших, Cisco

12:35 -13:35 Архитектура виртуализованного ЦОД - Cisco Virtual Multi-Service Data Center. Подход Cisco к минимизации рисков при построении облачной инфраструктуры

Виктор Пустошилов, Cisco

14:55 - 15:25 Безопасность облачной платформы: теория и практика Михаил Кадер, Cisco15:30 - 16:00 Интегрированные решения Vblock, FlexPod и FastTrack -

строительные блоки для облачной инфраструктуры Евгений Лагунцов, Cisco

16:00 - 16:30 Практические вопросы внедрения VBlock Павел Миневич, I-teco16:45 - 17:45 Private Cloud: Cisco Intellegent Automation for Cloud (CIAC):

комплексное решение от Cisco для построения "облака"Влад Патенко, Cisco

18:00 - 19:00 Открытая дикуссия по теме "Cloud Computing"

6

Демопоток по тематике ЦОД – 22 ноября

Время Выступление Докладчик9:30 - 10:00 Intel Data Center Manager® как основа управления

ресурсами ЦОД Леонид Шишлов, менеджер по развитию ЦОД, Intel.

10:05 - 11:05 Система управления Cisco Unified Computing Systems Manager

Евгений Лагунцов, Cisco

11:20 - 12:20 Управление и автоматизация Cisco UCS для системных администраторов

Игорь Гиркин, Cisco

12:35 -13:35 Настраиваем ЦОД небольшой организации Михаил Сафронов, Cisco14:55 - 15:25 ПО StruxureWare Operations для мониторинга

ресурсов датацентраРаиль Хайбуллин, APC

15:25 - 16:25 Мультиплатформенный программный коммутатор Cisco Nexus 1000V

Дмитрий Жечков, Cisco

16:30 - 17:30 Виртуализированные сервисы Cisco Евгений Киселев

7

Эволюция идеологии ЦОД

Мейнфреймы

Phase 1

Конс

олид

ация

и у

прав

ляем

ость

Эволюция архитектуры приложений

Централизация

Phase 2

Распределенная обработка

Децентрализация

Phase 3

Сервис-ориентированный ЦОД

ВиртуализацияОблачные вычисления

8

Развитие сети ЦОД

Варианты эволюции сетей ЦОДВарианты эволюции сетей ЦОД

Сверхнизкая задержка• Алгоритмический трейдинг• L3 и мультикаст• Без виртуализации• Небольшой масштаб• Подключения: 10G->40G• Nexus 3000 & UCS

MSDC• Layer 3 доступ (iBGP, ISIS)• Сотни и тысячи стоек• Однородная среда• Без виртуализации• Подключения: 1G -> 10G• Nexus 2000,3000,5500,7000 и UCS

slot 1slot 2slot 3slot 4slot 5slot 6slot 7slot 8

blade1blade2blade3blade4blade5blade6blade7blade8























Виртуализированный ЦОД• Провайдеры и корпорации• Виртуализация вычислений• Разнородная среда• Подключения: 1G -> 10G• Nexus 1000v,2000,5500,7000 и UCS

HPC/GRID• L3 и L2• Без виртуализации• iWARP & RCoE• 10G -> 40G• Nexus 2000, 3000, 5500, 7000 &

UCS

9

Развитие архитектуры ЦОД

Новые продукты Аппаратные коммутаторы Nexus SAN коммутаторы MDS Виртуальный коммутатор Nexus 1000V Унифицированная вычислительная

система UCS

Новые подходы и технологии

Высокоскоростной Ethernet Fibre Channel over Ethernet Virtual PortChannel FabricPath/TRILL Сетевая поддержка виртуализации OTV/LISP

Развитие требований Рост производительности Консолидация ввода-вывода Простая и масштабируемая

архитектура Виртуализация Объединение ЦОД

От новыОт новыхх потребностей потребностей к технологиям, продуктам и архитектурамк технологиям, продуктам и архитектурам

10

Требования к сети ЦОД нового поколенияИ их реализация в решениях Cisco Nexus

• Повышение производительности подключения серверов и магистрали1/10 Gigabit Ethernet до серверов, 40/100GE, TRILL/FabricPath

• Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX

• Более простая и «плоская» архитектура сети ЦОД без опоры на STPVirtual Portchannel, FEX, TRILL/FabricPath

• Сетевая поддержка виртуализацииNexus 1000V, VM-FEX

• Надёжная и производительная связь ЦОДOTV, LISP

Повышение производительности

12

Повышение производительности• Причины

– Рост производительности процессоров• Десятки ядер на сервер, многие десятки «ГГц»

– Виртуализация: • Десятки VM на один хост – суммирование требований

– Конвергентный транспорт: • Передача FCoE - производительность не менее 10Гбит/с

• Решения– 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!)

• Варианты подключения 10G: DAC, AOC, 10GBASE-T– 40/100 Гбит/с на магистрали

• Требования к СКС– Горизонтальное масштабирование производительности

• Cisco FabricPath, IETF TRILL

13

Кабель ЗадержкаПотреблениеРасстояниеТехнология

Twinax ~0~0.1W10mSFP+ CUCopper

MM 62.5mmMM 50mm ~01W82m

300mSFP+ SRshort reach

MM OM2MM OM3 ~01W10m

100mSFP+ USRultra short reach

Cat6Cat6a/7Cat6a/7

2.5ms2.5ms1.5ms

~6W~6W~4W

55m100m30m

10GBASE-T

100Mb 1Gb 10Gb

UTP Cat 5 UTP Cat 5SFP Fiber

10Mb

UTP Cat 3

Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s

X2SFP+ Cu (BER better than 10 )

SFP+ FiberCat 6/7

1 8

10 Gigabit Ethernet для подключения серверов

14

Медные кабели SFP+ Direct Attach

● Спецификация: SFF-8431● Называют DAC, 10G SFP+ Cu, CX1, 10G-CR...● 2 пары твинаксиального кабеля● Коннекторы установлены и протестированы на заводе ● Взаимозаменяемость с оптическими трансиверами SFP+ ● Низкая стоимость, энергопотребление, минимальная задержка ● Небольшая длина (до ~10м)● Оптимально подходит для соединений внутри стойки или группы

стоек● Поддерживаются на всех моделях Nexus: Nexus

2000/3000/4000/5000/7000● Вариант: активные оптические кабели (AOC) (меньше диаметр)

Коннекторы SFP+

Сечение

Активный оптический

кабель

15

Оптическиеаплинки Подключение FEX кабелями SFP+

или по оптоволокну трансиверами FET

Кабели SFP+ Direct Attachварианты применения

Оптическиеаплинки

Оптическиеаплинки

16

10GBase-T10 Gigabit по «витой паре»

• Стандарт: IEEE 802.3an• Предпочтительный вариант для интегрированных адаптеров в

серверах: возможна совместимость с 10/100/1000• До 100 метров (по СКС категории 6A или 7)• Высокая сложность обработки -> высокое энергопотребление (до 4-8 Вт

на порт)• Уровень ошибок (BER) до 10-12 - проблема для FCoE• Решаются в новых поколениях микросхем/оборудования• Поддерживается Nexus 2000/3000/5500/7000

17

Выскоскоростной EthernetHigh Speed Ethernet: 40G/100G

• Стандарт IEEE 802.3ba - одобрен в июне 2010 г • Утвержденные варианты интерфейсов 40G:

– 40GBASE-KR4: Соединения внутри устройств– 40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G– 40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон– 40GBASE-LR4 (СWDM): 10 км по одномодовому волокну – 4λ x 10G– Большие расстояния не стандартизованы

• Утвержденные варианты интерфейсов 100G – 100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G– 100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам волокон– 100GBASE-LR4 (DWDM): 10 км по одномодовому волокну – 4λ x 25G– 100GBASE-ER4 (DWDM): 40 км по одномодовому волокну – 4λ x 25G

18

40G: 12F MTP коннектор

Высокоскоростной Ethernet внутри ЦОДПараллельные оптические жилы

100G: 24F MTP коннектор

19

QSFP+ трансиверы и передача 10/40GГибкость и экономия

1 x QSFP+ обеспечивает замену 4 x 10G SFP+

(расстояние – до 100м на OM3)с меньшей ценой и

энергопотреблением

4 x QSFP+- 160Gbps

12-fiber MPO connector with key on

top

#1

#12#1#12

4 LC duplex connectors with latch on top(unused channels 5 to 8 are cut)

#2#11

#3#10

#4#9

~1.5W

QSFP+ SR

~1.5W~1.5W~1.5W~1.5W

~1.5W~1.5W~1.5W~1.5W

10G-SR 10G-SR

~1.5W

QSFP+ SRNexus 3016 – 10G/40G

Nexus 3064 – 1G/10G/40G

Переходной кабель MTP12 – 4*LC

20

• 40G (и 100G) – внутри ЦОД, 100G для связи ЦОД• Подготовка СКС ЦОД к требованиям 40G:

• Многомодовое внедрение: 4 параллельных пары • Коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС• Обратная совместимость с 10G – универсальные QSFP порты• Расстояние ограничено 100 м для кабеля OM3 – не 300 м (как для 10G-SR)

• Внедрение 100G:• Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)• Одномодовая оптика 100G: большие и энергоёмкие решения (могут

уменьшиться в размерах и мощности в следующих поколениях)• Обратная совместимость СКС:

• Патч-корды и патч-панели MTP <-> LC• Патч-корды MTP24 – MTP12

• Поддержка на Nexus 3000, 7000• Следите за анонсами!

Применение 40G и 100G: выводы

21

Горизональное масштабирование производительности

Spanning-Tree

АктивныхпутейАктивныхпутей

До 15 Тбит/с

Один

Виртуализация инфраструктуры и производительность

Масштабируемость Layer 2

vPC

До 30 Тбит/с

Два

FabricPath

До 240 Тбит/с

16

16Switches

Производитель-ность блокаПроизводитель-ность блока

Консолидация ввода-вывода

23

Консолидация ввода-вывода• Потребности

– Рост числа подключений к SAN• Виртуализация с поддержкой мобильности и HA• Кластерные системы • Защита информации средствами СХД

– Большое числе интерфейсов LAN• Требования виртуализированных внедрений

– Распространение блейд-систем• Трудно обеспечить много интерфейсов

• Решения– FCoE для SAN трафика

• Консолидация и сохранение полной совместимости с моделью FC– DCB для обеспечения гарантий для FCoE трафика

• PFC, ETS, DCBX– Adapter-FEX/IEEE802.1BR

• Доведение множества логических интерфейсов на уровень ОС/гипервизора

24

Консолидация ввода-выводаОбъединенный транспорт FCoE/IEEE DCB

Используя FCoE/DCB (+Adapter-FEX)• Общий транспорт• Обеспечение совместимости

SAN IPC

Storage RDMA/IPCInternet/Intranet

Без консолидации• Много портов ввода-вывода• Высокие расходы на оборудование и эксплуатацию

UnifiedFabric

LAN SAN

IPCLAN

25

• Метод передачи фреймов FC по Ethernet • Выглядит как FC для серверов и сети• Сохраняет текущую инфраструктуру

и управление FC• Фрейм FC остается неизменным

• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)• Семейство стандартов IEEE DCB для «улучшенного» Ethernet

• Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)

• Enhanced Transmission Selection: выделение полосы

• DCB Exchange: согласование настроек и логическое состояние

Fibre Channel

Ethernet

Fibre Channel over Ethernet (FCoE)

Cisco первой представила основанный на стандартах коммутатор FCoE Cisco Nexus 5000

26

Nexus 5010

Nexus 5020

Nexus 4000Nexus 2232

NX-OS & DCNMNX-OS & DCNM

Nexus 5548

Nexus 5596MDS 9500

Nexus 7000

F1 32-portF2 48-port

FCoE 8-port

Директорный класс

Фиксированная конфигурация

Коммутаторы Cisco с поддержкой FCoE

27

FCoE: консолидация на уровне доступа• Первый шаг – «консолидация доступа» («Unified Wire») • Существенная экономия при сохранении существующего ядра сетей Ethernet и

Fibre Channel• Лежит в основе Cisco UCS

SAN A SAN B10GEBackbone

VF порты

VN порты (CNA)

28

Ethernet coreFCoEStorage

DCB и FCoE

FCoE: консолидация в масштабах сети

Расширение консолидации ввода-вывода на магистраль

Сохранение изоляции SAN фабрик для отказоустойчивости

Поддержка систем хранения с подключением по DCB/FCoE

Теперь и для Cisco UCS (с релиза 2.1) !VF

VN

VE порты

VE порты

29

FCoE на Nexus 7000 Выделенный Storage VDC

Storage VDCLAN VDC

FCoE& FIPEthernet

Storage VDC: виртуальный FC/FCoE коммутаторВыполняет только процессы, связанные с FC/FCoEТолько один на системуИзоляция уровней управления и коммутации

Выделенный Storage VDC

Модель для хостов/СХД, не для ISL линковОтдельный VDC для StorageEthernet трафик «расщепляется» на основании EthertypeFCoE трафик обрабатывается в Storage VDC

LAN VDC Storage VDC

Converged I/O

FCoE & FIPEthernet

Выделенный Storage VDC –разделяемые интерфейсы

SANLAN

LANVDC

StorageVDC

Nexus7000

Nexus7000

LANVDC

Storage VDC

30

FCoE для связи SAN между ЦОД?Да! С картами F2/F2E

Поддерживаемые расстояния для FCoEтранспорта:

Nexus 5500: до 3 км

Nexus 7000 с F1 картами: до 10 км

Nexus 7000 с F2/F2E картами: до 80 км с DWDM SFP+

Использование отдельных соединений для LAN и SAN трафика

До 80 км

Nexus 7000 Nexus 7000

Storage VDC Storage VDC

Storage VDC Storage VDC

Развитие архитектуры

32

Развитие архитектуры сети ЦОД Причины

Рост масштабов ЦОД Масштабирование производительности Управляемость Растягивание подсетей

Решения Распределённый коммутатор доступа: архитектура FEX-Link

1G или 10G, SFP+ или «витая пара» Продолжение внутрь сервера: Adapter-FEX, VM-FEX

Virtual Portchannel Уход от Spanning Tree с сохранением общей топологии

Cisco FabricPath/IETF TRILL «Маршрутизация на 2 уровне» Горизонтальное масштабирование Полное исключение Spanning Tree на магистрали

33

Распределённый виртуальный модульный коммутатор (1500+ Ethernet интерфейсов)

+

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500

Cisco Nexus® 2000 FEX

Cisco Nexus® 7000

+

Виртуальное модульное шасси с FEXNexus 5500/7000 + Nexus 2000

• Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000• Единый конфигурационный файл• Между FEX и Nexus 5500/7000 не используется STP

34

Fabric Extender(FEX)унификация уровня доступа

AccessLayer

Серверы

AggLayer

CoreLayer

L3L2

VSS/vPC

Nexus 2000 Fabric Extender

Nexus 5500

• Поддержка Nexus 5000/5500, 7000 и UCS 6100 как «материнских устройств»• Сочетание моделей внедрения EoR, MoR, ToR• Миграция к 10GE и FCoE подключениям серверов• Сочетание типов кабелей (оптика и медь)• Гибкость выбора головных устройств, типов FEX, способа размещения и

соединения

Медь/Twinax

FET/Twinax

35

Nexus 2232PP32 серверных портов 1/10GE SFP/SFP+

8 uplink портов 10GE SFP+Поддержка консолидации ввода-вывода

(FCoE)

Nexus 2248TP-E48 серверных портов 100/1000 UTP

4 uplink порта 10GE SFP+

Nexus 2224TP24 серверных порта 100/1000 UTP

2 uplink порта 10GE SFP+

Nexus 2232TM-E32 серверных порта 1/10GBASE-T

8 uplink портов 10GE SFP+

FET-10GЭкономичное решения для

подключения FEX по оптоволокну

B22HP / B22FФункциональность FEX внутри

блейд-шасси HP / Fujitsu

Семейство Cisco Nexus 2000

Экономичные варианты подключения Nexus 200010G SFP+ CX1 (Twinax)• Медный кабель с SFP+ модулями• Для подключений серверов в стойке и

соединений между стойками• Низкая стоимость• Низкое энергопотребление• Пассивные кабели: 1, 3, 5 м• Активные кабели: 7, 10 м

Fabric Extender Transceiver (FET)• Экономичный SFP+ трансивер (только) для

подключения Nexus 2000 к материнской системе

• Длина линии: до 100 м (OM3)/ 25 м (OM2)• Энергопотребление ~ 1 Вт• Поставляется вместе с Nexus 2000• Несовместим с SR трансиверами

37

Virtual Port Channel (VPC) на Cisco Nexus Уход от опоры на STP при сохранении дизайна

• Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора

• Уход от опоры на STP• Использование полосы всех имеющихся соединений• Быстрая сходимость при отказе устройства или канала• Обеспечение отказоустойвости и масштабируемости

при подключении серверов• Сокращение CAPEX и OPEX• Обеспечение независимости коммутаторов для

сохранения модели независимых «зеркальных» фабрик в сети хранения

• Поддерживается на Nexus 2000/3000/5000/7000

Без vPC

С использованием vPC

38

Технологии L2MP: FabricPath/TRILLМаршрутизация на L2 и уход от Spanning Tree

• «Ethernet матрица»:• Полный уход от Spanning Tree• Задействование всех путей• Рост производительности и надёжности

путем увеличения числа узлов и связей• Принципиальное исключение

возможности бесконечных «петель»• Быстрая и надежная сходимость

• Стандартизация: IETF TRILL• Решение Cisco: FabricPath• Поддерживается на Nexus 5500/7000• Простота настройки:

N7K(config)# interface ethernet 1/1N7K(config-if)# switchport mode fabricpath

39

Cisco FabricPathключевые возможности

• Маршрутизация на втором уровне – лучшее из двух миров• Использование до 16 альтернативных путей (ECMP) – до 256 соединений!• Поддержка архитектуры «Spine-Leaf» - горизональное масштабирование

производительности и снижение чувствительности к отказам• Независимость от Spanning-Tree Protocol (и его полное устранение внутри сети):

хорошая стабильность и сходимость• Прямые/оптимальные пути трафика • “VLAN anywhere” – гибкость внедрения и мобильность VM• Выучивание MAC «по диалогам»: эффективное использование таблиц• Совместимость с «классическим» Ethernet

– VPC+ обеспечивает VPC в L2MP сеть• Простота настройки• Продолжение возможностей IETF TRILL

Балансировка до 16 путей

Cisco Cisco FabricPathFabricPath

40

FabricPath в корпоративном ЦОДАльтернатива традиционной архитектуре с STP

• Существенное повышение производительности• Сокращение числа устройств• Повышение надёжности• Упрощение эксплуатации

– меньше устройств – проще настройка

Традиционная сеть со Spanning Tree Сеть на базе FabricPath

Fully Non-B

locking

2, 048 Servers8 Access Switches64 Access Switches

2, 048 Servers

Blocked Links

Ove

rsub

scrip

tion

16:

1

8:1

2:1

4 Pods

FabricPath

41

Интеграция FabricPath с традиционными подключениями: VPC+

• Сопряжение с традиционными сетями (STP/VSS/VPC) без проблем и ограничений STP: нет риска «петель», все соединения активны

• Возможность подключения серверов и других устройств с агрегированием и отказоустойчивостью: все соединения активны

FabricPathFabricPath

A

s3 s8s7

B

s4

VLAN XVLAN YVLAN Z

41

42

• Гибкость вариантов внедрения маршрутизации• Произвольное число маршрутизируемых интерфейсов внутри фабрики• Возможность пиринга с ними внешних маршрутизаторов без ограничений• Использование VPC+/HSRP или GLBP для резервирования

маршрутизации, в будущем – Anycast HSRP

FabricPathFabricPath L3

L3

42

Интеграция маршрутизации в FabricPath сеть

43

MAC A

Внедрение FabricPathПоддержка Fabric Extender

S10 S20 S30 S40

S100 S200FabricPathFabricPath

MAC B MAC C

S300

Nexus 5k & 2kEvPC

CE CE

Nexus 5k & 2K“Straight Through”

44

FabricPath и конвергентный транспортFCoE – N5K->MDS

S10 S20 S30 S40


CNA

Fabric ‘A’ Fabric ‘B’

FCFCoE

MDS 9000

ConvergedFCoE linkDedicatedFCoE link

FCEthernet

45

FabricPath и конвергентный транспортFCoE – N7K->MDS

S10 S20 S30 S40


CNA

Fabric ‘A’ Fabric ‘B’

FCFCoE

MDS 9000

ConvergedFCoE linkDedicatedFCoE link

FCEthernet

Спасибо!Заполняйте анкеты он-лайн и получайте подарки в Cisco Shop: http://ciscoexpo.ru/expo2012/questВаше мнение очень важно для нас!

Развитие технологийсовременного ЦОДСкороходов АлександрСистемный инженер-консультант

Сетевая поддержка виртуализации вычислений

49

Сетевая поддержка виртуализации вычисленийПроблемы:

Сетевая поддержка виртуализации:• Расширяет сеть до VM • Общие с физическими коммутаторами

функции сетевых сервисов• Скоординированное с VM управление

VMotion• Возможна «миграция» VM на другой

сервер. Политика должна следовать вслед за VM

• Сеть «не видит» локально коммутируемый трафик и не может применить к нему политику

• Сеть не может выделить на порту трафик конкретной VM

VLAN101

• Изменение модели эксплуатации

50

Cisco Nexus 1000VВиртуальный распределенный программный коммутатор

• Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX (скоро и для MS Hyper-V, далее - Xen, KVM)

• Ключевые возможности:–Управление VM по политикам– Функции безопасности, поддержка

Netflow, ERSPAN, мультикаста, etherchannel

–Мобильность настроек сети, безопасности и мониторинга

–Сохраняет эксплуатационную модель

• Сохранение политик и связи с сетью при миграции виртуальных машин

VMW ESX

Server 1Server 1

VMware vSwitch Nexus 1000VVMW ESX

VMware vSwitch Nexus 1000V

Server 2Server 2

Nexus 1000V

VM #4

VM #3

VM #2

VM #1

VM #8

VM #7

VM #5

VM #5

VM #2

VM #3

VM #4

VM #5

VM #6

VM #7

VM #8

VM #1

VM #1

Virtual Center

Nexus 1000V

VSM

51

vCenter

CiscoNexus1000VVEM

CiscoNexus1000VVEM

Cisco Nexus1000VVEM

VM VM VM VMVM VM VM VMVM VM VM VM

Cisco Nexus 1000V VSM

vSphere ESXi vShpere ESXivSphere ESXi

Server Server Server

Cisco Nexus 1000V для VMware vSphere

52

CiscoNexus1000VVEM

CiscoNexus1000VVEM

Cisco Nexus1000VVEM

VM VM VM VMVM VM VM VMVM VM VM VM

Cisco Nexus 1000V VSM

System Center 2012Virtual Machine Manager

Windows Server Hyper-V Windows Server Hyper-VWindows Server Hyper-V

Server Server Server

Cisco Nexus 1000V для Microsoft Windows 2012 Hyper-V

*В настоящее время продукт доступен в бета-версии

53

Virtual ApplianceVirtual Appliance Nexus 1100Nexus 1100

VSM NAM VSGVSM

VEM-1 VEM-2vPath vPath

vSphere Hyper-V

VSM: Virtual Supervisor Module

VEM: Virtual Ethernet Module

vPath: Virtual Service Data-path

VSG: Virtual Security Gateway

vWAAS: Virtual WAAS

ASA1000V: Adaptive Security Appliance

CSR1000V: Cloud Services Router

Virtual BladesVirtual Supervisor Module (VSM)Network Analysis Module (NAM)Virtual Security Gateway (VSG)Datacenter Network Manager (DCNM)

vWAAS VSGASA1000V

vPath• Перенаправление трафика• Кэширование политик

Экосистема Cisco Nexus 1000V

Citrix NetScaler VPX

ImpervaSecureSphere

WAF

CSR1000V

54

*IEEE 802.1BR pre-standard

Fabric Extender Консолидация управления сетью FEX является частью

«родительского коммутатора» Использует пре-стандартную

реализацию IEEE 802.1BR

IEEE 802.1BR*

Приложения, требующие многих интерфейсов

Единое устройство

Legacy

FEX

Эволюция технологии Fabric ExtenderРаспределённый коммутатор до уровня стойки, интерфейсов сервера и VM

Nexus 5500 или UCSFabric Interconnect

55

Legacy

IEEE 802.1BR* Adapter FEX Консолидация многих интерфейсов в

единое 10GE подключение Расширение сети внутрь сервера Использует пре-стандартную


*IEEE 802.1BR pre-standard

IEEE 802.1BR*

Adapter FEX

Приложения, требующие многих интерфейсов

FEX

Единое устройство



56

Legacy

IEEE 802.1BR*

Adapter FEX

Hypervisor

VM-FEX Консолидация физической и

виртуальной сети Каждая VM получает порт на

распределённом коммутаторе Использует пре-стандартную


IEEE 802.1BR*IEEE 802.1BR*

*IEEE 802.1BR pre-standard VM-FEX

FEX



57

Hypervisor

IEEE 802.1BR* Fabric Extender Консолидация управления FEX выглядит линейной картой головного

коммутатора

Adapter FEX Консолидация многих интерфейсов в единое

10GE подключение Расширение сети внутрь сервера

VM-FEX Консолидация физической и виртуальной сети Каждая VM получает порт на распределённом

коммутаторе

IEEE 802.1BR*IEEE 802.1BR*

*IEEE 802.1BR pre-standard Adapter FEXLegacy

Управление сетевыми подключениями до уровня ОС и виртуальной машины

FEX

VM-FEX


Единое устройство•Порты коммутатора•Порты FEX•Виртуальные адаптеры•Виртуальные машины


Объединение ЦОД

Распределённые ЦОДТехнологические элементы

• Связь сетей передачи данных– Растягивание подсетей и L2 смежность – Маршрутизация– Мониторинг (heartbeat) / синхронизация в кластере– Репликация по IP– Подключение к транспортной сети

• Связь сетей хранения данных– Синхронизация массивов по FC– Доступ к удаленным СХД/лентам

• Оптимальный путь трафика

Ethernet

Растягивание подсетейВарианты технологий

IP

Транспорт Критерии применения

MPLS

• VSS & vPC или FabricPathMulti-Chassis EtherChannel (N7K/N5K, Cat6K) для связи пары ЦОДFabricPath для связи многих сайтов (N7K/N5K)По тёмной оптике или xWDMТехнологии LAN

• EoMPLS & A-VPLS & H-VPLSВнедрение на PE (Cat6K, ASR9K, N7K (будущее))Масштабирование и multi-tenancyВозможно поверх GREАпробированный вариант, хорошо подходит SP

• OTVВнедрение на CE (N7K, ASR1K)Подходит для корпоративных внедренийМалая зависимость от транспорта – требуется только IP сетьМаршрутизация по MAC адресам

Overlay Transport Virtualization (OTV)Простое и надежное решение для связи ЦОД• Расширение L2 доменов по произвольной IP сети • Ethernet трафик инкапсулируется в IP: “MAC in IP”• Динамическая инкапсуляция с использованием таблицы

маршрутизации MAC

Взаимодействие между MAC1 (сайт 1) и MAC2 (сайт 2)Server 1

MAC 1Server 2MAC 2

OTV OTVMAC IF

MAC1 Eth1

MAC2 IP B

MAC3 IP BIP A IP B

Encap DecapMAC1 MAC2 IP A IP B MAC1 MAC2 MAC1 MAC2

Проблемы «растягивания» LAN Решаемые OTV• Работа поверх любого транспорта (IP, MPLS)• Изоляция доменов сбоев (STP)• Независимость сайтов • Оптимальное использование полосы • Встроенная отказоустойчивость • Встроенная защита от «петель»• Связь многих сайтов • Масштабируемость

VLANs, сайты, MACs ARP, broadcasts/floods

• Простота настройки• Легкость добавления сайтов

South Data Center

NorthDataCenter

Fault DomainFault Domain

Only 6 CLIcommands

LAN Extension

Fault Domain Fault Domain

63

Оптимальный путьВ чём именно проблема?

Layer 3 Core

AccessAccess

AggAgg

AccessAccess

AggAgg

10.1.1.0/24 advertised into L3Backup should main site go down10.1.1.0/24 advertised into L3Backup should main site go down

10.1.1.0/25 & 10.1.1.128/25 advertised into L3DC A is the primary entry point10.1.1.0/25 & 10.1.1.128/25 advertised into L3DC A is the primary entry point

Node ANode A

ESX ESXVirtual Machine Virtual Machine

VMwarevCenter

Data Center 1 Data Center 2

64

Оптимальный путьХотелось бы так...

AccessAccess

AggAgg

AccessAccess

AggAgg

Node ANode A

ESX ESXVirtual Machine

VMwarevCenter

Data Center 1 Data Center 2

Internet

Устройство IPv4или IPv6

Текущая ситуацияLoc/ID “переписывается”

x.y.z.1 Когда устройство перемещается, оно получает новый IPv4 илиIPv6 адрес для своего нового место положения (identity или

location)w.z.y.9

Адрес IPv4 или IPv6это только identity .

Когда устройство перемещается, оно сохроняет

свой IPv4 или IPv6 адресidentity остается тем же

LISPLoc/ID “разделены”

Internet

a.b.c.1e.f.g.7

изменяется location

x.y.z.1

x.y.z.1

Местоположение (location) определенно здесь!

Location ID/Separation Protocol(LISP) Сетевая технология следующего поколения

L2 Links (GE or 10GE)L2 Links (GE or 10GE)L3 Links (GE or 10GE)L3 Links (GE or 10GE)

VM= 10.10.10.1Default GW = 10.10.10.100

Layer 3 CoreIntranetISP A ISP B

Access

Agg

Access

Agg

DC A DC B

VLAN A

Public Network

Prefix Route Locator

10.10.10.1 A, B

10.10.10.2 A, B… …

10.10.10.5 C, D

10.10.10.6 C, D

Ingress Tunnel

IP_DA= AIP_DA = 10.10.10.1

C, D

A BDecap

3

DC

Encap2

IP_DA = 10.10.10.1

IP_DA 10.10.10.1

1

IP_DA= DIP_DA = 10.10.10.1

Decap

3

IP_DA = 10.10.10.1

Локализация входящего трафика с помощью LISP

Распределённые ЦОДТехнологические элементы

• Связь сетей передачи данных– vPC: Nexus 5000/7000– FabricPath: Nexus 5000/7000– OTV: Nexus 7000/ASR1K– VPLS – ASR9K, Cat6500, Nexus 7000 (будущее)

• Связь сетей хранения данных– Связь по FC: Cisco MDS 9148/9500– Связь по FCoE: Cisco Nexus 7000 (до 80 км с картами F2)– Связь по FCIP: Cisco MDS 9222i/9500

• Оптимальный путь трафика– RHI: ACE + инфраструктура– DNS: ACE GSS– LISP (для мобильности VM) – Nexus 7000

• Подробнее – в презентации Эльдара Женсыкбаева завтра в 16:45

Новые тенденции развитияКоммутация со сверхнизкой задержкой

69

Развитие сети ЦОД

Варианты эволюции сетей ЦОДВарианты эволюции сетей ЦОД

Сверхнизкая задержка• Алгоритмический трейдинг• L3 и мультикаст• Без виртуализации• Небольшой масштаб• Подключения: 10G->40G• Nexus 3000 & UCS

MSDC• Layer 3 доступ (iBGP, ISIS)• Сотни и тысячи стоек• Однородная среда• Без виртуализации• Подключения: 1G -> 10G• Nexus 2000,3000,5500,7000 и UCS

























Виртуализированный ЦОД• Провайдеры и корпорации• Виртуализация вычислений• Разнородная среда• Подключения: 1G -> 10G• Nexus 1000v,2000,5500,7000 и UCS

HPC/GRID• L3 и L2• Без виртуализации• iWARP & RCoE• 10G -> 40G• Nexus 2000, 3000, 5500,

7000 & UCS

70

Функции Функции Algorithm BoostAlgorithm BoostХарактеристики Характеристики Nexus 3548Nexus 3548

AlgoAlgo Boost EngineBoost Engine

Cisco Nexus 3548Полноценный коммутатор с уникальным показателями

•• 48x 48x SFPSFP+ + –– 100M100M / / 1G1G / / 10G10G / / 40G40G•• Line rate Line rate L2L2//L3L3, , UnicastUnicast & Multicast& Multicast•• 18MB18MB буфербуфер•• 24K IPv4 Route, 8K MC, 64K Host 24K IPv4 Route, 8K MC, 64K Host •• 4K Flexible ACL / 4K Flexible ACL / QoSQoS•• Data Center TCP (Data Center TCP (DCTCPDCTCP//ECNECN))

•• Сверхнизкая задержка Сверхнизкая задержка –– ~250 ~250 nsecnsec•• WARP WARP режимрежим-- ~~190nsec190nsec•• WARP WARP SPAN SPAN -- ~50nsec~50nsec•• NAT NAT со сверхнизкой задержкойсо сверхнизкой задержкой•• Active Buffer MonitoringActive Buffer Monitoring•• Intelligent Traffic MirroringIntelligent Traffic Mirroring•• IEEEIEEE--1588 PTP w/Pulse Per Second1588 PTP w/Pulse Per Second

71

0

50

100

150

200

250

300

64 256 512 1518 9216

Заде

ржка

в н

анос

екун

дах

Размер пакета

Преодоление 200-наносекундного барьера!

Лидирующие показатели в индустрииЛидирующие показатели в индустрии

Задержка для :

• L2/L3, Unicast/Multicast

• Всех размеров пакетов

• Всех включенных функций

• При полной нагрузке

• Normal mode – полные таблицы

• Warp mode – сокращенные таблицы

• Warp SPAN – без функций

Normal Mode @ ≈250ns

Warp Mode @ ≈190ns

Warp SPAN @ ≈50ns

72

Exchange Feeds

Messaging Bus

Trading Firm

Feed Handler

Original Packet WARP SPAN Packet

Analyzer

…

L3

IP/GRE HeaderPTP TimestampSource Packet

Использование Nexus 3548 для задач высокочастотной торговли

190 ns

50 ns

Новые тенденции развитияПрограммируемые сети

74

Разное значение для разных заказчиков

– Программный доступ для приложений: аналитика и оптимальный транспорт

– Разделение коммутации и управления (O): экспериментальные протоколы, «нарезка сетей»

– Виртуальные оверлейные сети: гибкость транспорта для динамичных облачных сред

74

Программируемые сети

Программируемые сети – на всех уровнях

zУровень коммутацииУровень коммутации

Уровень управленияУровень управления

Сетевые сервисыСетевые сервисы

Управление и оркестрированиеУправление и оркестрирование

ТранспортТранспорт

Network Elements and Abstraction

Analysis and Monitoring, Performance and Security

OpenFlow/SDN

Application Developer Environment

Сбор информации из сети

Оптимальное программирование

75

a

Industry’s Most Comprehensive Networking PortfolioHardware + SoftwareHardware + Software Physical + VirtualPhysical + Virtual Network + ComputeNetwork + Compute

ApplicationsApplications

www.cisco.com/go/one

ControllersControllersandand

AgentsAgents

SDN:- Контроллер (OpenFlow, onePK)- OpenFlow агенты

22Virtual Virtual

OverlaysOverlays

Open Clouds with Nexus 1000V- Multi-hypervisor- Multi-service- Multi-cloud- Поддержка Openstack

33

Network

PlatformPlatformAPIsAPIs

One Platform Kit (onePK)- Программные APIs к

сетевому оборудованию (IOS, IOS-XR, NX-OS)

11

Программируемые сети: стратегия Cisco

…Presentation

Interface and APIs

Marshall & Transport

Cisco Network Operating System (IOS, IOS-XE, IOS-XR, NX-OS)

Marshall & Transport

Управляющий канал

Программируемые сети – доступ через APIПример: Cisco OnePK

Уровень сетевойабстракции

Уровень представления с различными вариантами

интеграции с языками программирования

CPresentation

Interfaceand APIs

JavaPresentation

Interface and APIs

Python*Presentation Interface

and APIs

Приложения

Marshall & Transport Marshall & Transport Marshall & Transport

Element Utilities Developer Discovery RoutingPolicy Datapath

onePK Abstraction Interface

…

Первоначальные планы включают C и Java версии Presentation API Будущие план включают Python и др

Реализациясервисов

Операционня система Cisco

Примеры сетевых абстракцийНаборы сервисов OnePK

• API “Service Sets” delivered through Cisco’s onePK (one Platform Kit)

78

Base Service SetsBase Service Sets

Element• Element Capabilities• Configuration Management• Interface/Ports Events• Location Information

Utilities• Syslog Events and Queries• AAA Interface• Path Trace

Discovery• Network Element Discovery• Service Discovery• Topology Discovery

Developer• Debug Capabilities• Tracing Interfaces• Management Extensions

Data Path• Packet/Flow Classifiers• Copy/Punt/Inject• Statistics

Policy• Interface Policy• Interface Feature Policy• Forwarding Policy• Flow Action Policy

Routing• Read RIB Routes• Add/Delete Application Routes• RIB Events (Route up/down)

Модели программруемых сетей

Control PlaneControl Plane

Data PlaneData Plane

ControllerController


Applications

Vendor-specific APIs

OpenFlow

2a Классический SDN

VendorSpecific(e.g. onePK)

ControllerController


Applications


OpenFlow


2b Гибридный “SDN”

CLI, SNMP, …

Applications

Virtual Control PlaneVirtual Control Plane

Virtual Data PlaneVirtual Data Plane

Оверлейные протоколы(например, VXLAN)


3 Network Virtualization/Virtual Overlays




Applications

1 API для программирования





Контроллеры и агентыКонтроллер Cisco ONE Controller

• Платформа для управления поведением сети – консолидация состояния для многих точек

• Существующие примеры применения:

Гибкая «нарезка» (“Slicing”)сетейДиагностика проблемМаршрутизация по правилам

OFonePK onePK OF

OpenFlow 1.x ProtocolonePK API

Flow Management Forwarding Logic Device Management

Network Slicing

Applications (Cisco) Applications (Customer) Applications (3rd party)

Northbound API (REST, WebSockets, OSGi)

Controller built-in Applications

Built

-in G

UI f

or M

anag

emen

t

Apps/Applications

Network Troubleshooting

Controller Core Infrastructure

Southbound APIs (onePK, OneFlow,)

Custom Routing

Виртуальные оверлейные сети с Nexus 1000V

Nexus Nexus 1000V1000V VEMVEM((уровень коммутацииуровень коммутации))

OpenStackOpenStackQuantum APIQuantum API REST APIREST API

VXLANVXLAN((16M16M Segments)Segments)

vPathvPath((VXLANVXLAN Aware)Aware)

Любой гипервизорЛюбой гипервизор(VMware, Microsoft, (VMware, Microsoft, OpensourceOpensource))

Tenant 1Виртуальные сервисы(с vPath)

vWAAS

VSGASA 1KV

vACE

Tenant 3

ASA 55xx

Физические нагрузки

Физическая Физическая сеть сеть (VLAN)(VLAN)ШлюзШлюз

VXLANVXLAN –– VLANVLAN

Универсальная функциональность для физических и Универсальная функциональность для физических и виртуальных нагрузоквиртуальных нагрузок

Nexus Nexus 1000V1000V VEMVEM((контроллерконтроллер))

Виртуальные нагрузки

Tenant 2

81

СуществуетСуществует

Подходы Cisco к программируемым сетямНастоящее и будущее

Уровень коммутацииУровень коммутации

Уровень управленияУровень управления

Сетевые сервисыСетевые сервисы

Управление и оркестрированиеУправление и оркестрирование

ТранспортТранспорт

Unified Management, Prime

Virtual Services

Nexus 1000v

ПоявляетсяПоявляется

Controllers Controllers and and

AgentsAgents

Virtual Virtual OverlaysOverlays

VXLAN, vPath

Nexus 1000V: OpenStack

CSR 1000V

SDN PoC: Controller / OpenFlow

Agent

Nexus 1000V:

Multi-HypervisorVXLAN GW

onePK

PlatformPlatformAPIsAPIs

Cisco Open Network EnvironmentГибкость и возможность выбора

ABIL

ITY

TO S

PAN

LAY

ERS

ABIL

ITY

TO S

PAN

LAY

ERS

Packet classifiers Marking Copy/Punt Inject Statistics

Среда разработки onePK

OpenFlow

Quantum API Interface descriptions L2 network provisioning L3 and IP Addr. Mgmt. - coming

OpenStack

RICHNESS OF RICHNESS OF FEATURESFEATURES

Element Element Capabilities Configuration

Management Interface/Ports

Events Location Information

Utilities Syslog Events and

Queries AAA Interface Netflow Events DHCP Events

Discovery Network Element

Discovery Service Discovery Topology Discovery

Developer Debug Capabilities Tracing Interfaces Management

Extensions

Policy Interface Policy Interface Feature

Policy Forwarding

Policy Flow Action

Policy

Routing Protocol

Change Events

RIB Table Queries

Портал разработчиковПортал разработчиков

ISVs ISVs

ОбучениеОбучение

Заключение

CONVERGENCE

SCALE

INTELLIGENCE

DCB/FCoE

VDC

FEX

FabricPath

vPC

OTV

LISP

Консолидация ввода-вывода

Виртуализация системы

Оптимизация СКС иуправление

Гибкость архитектуры

Active-Active Uplinks

Мобильность нагрузок

Масштабируемая мобильность

Гибкость примененияУниверсальные порты

Инновации Cisco для мира сетей ЦОД

86© 2012 Cisco and/or its affiliates. All rights reserved.TECDCT-2001 Cisco Public

NX-OS 4.1 NX-OS 4.2

1K1KCisco Nexus 1000V

2008

x86

Nexus 2000 Fabric Extender Nexus 4000 Nexus 5500

Nexus 7000Nexus 1000V Virtual Switch

Nexus 3000

Семейство Cisco Nexusответ на требования ЦОД нового поколения

• На рынке с 2008 года

• Единая операционная система NX-OS для всего семейства Nexus и MDS: модульность и высокая доступность

• Лидер рынка коммутации в ЦОД

• Более 17,000,000 портов семейства Nexus

• Более 36,000 заказчиков используют NX-OS

87

HSRP NetFlow CDPTag

Switching Cisco FabricPath

RSRB

‘92

ISL

‘95

MISTP

‘97 ‘08

Power Over Ethernet

‘99

VSANs

‘90 ‘94 ‘96 ‘98 ‘09‘02‘00 ‘01 ‘03 ‘04 ‘05 ‘06 ‘07

‘99

‘95

‘04

‘99

‘09

‘04

‘05

‘00 ‘01‘03

‘10

‘09

‘10

VRRP

DLSw

IPFix

802.1q

LLDP

802.1sMPLS 802.3af

802.3at(PoE Enhancements)

ANSI T11

802.1BR

ANSI T11

802.1Qbb

VN-Link

FCOE

Lossless 10GbE

IETF TRILL

Priority Flow

Control

IEEE 802.1qbb

QCN

IEEE 802.1Qau

FC security

FC-SP at T11iSCSI

RFC 3270

Инновации Cisco

Resulting Standards

Разработки Cisco и приверженость открытым стандартам

Спасибо!Заполняйте анкеты он-лайн и получайте подарки в Cisco Shop: http://ciscoexpo.ru/expo2012/questВаше мнение очень важно для нас!

Technology

Развитие технологий современного ЦОД