Новое поколение коммутаторов для ЦОД Nexus 10G/40G

Cisco Confidential © 2013 Cisco and/or its affiliates. All rights reserved. 1

Новое поколение коммутаторов для ЦОД Nexus 10G/40G

Окунев Михаил Системный инженер

Март 2013

Cisco Confidential 2 © 2013 Cisco and/or its affiliates. All rights reserved.

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 3

2Km 40GBASE-‐FR

NEW IEEE 802.3bg

40GBASE-‐LR4

10Km

10Km

40Km

10GBASE-‐LR

10GBASE-‐ER

Copper and Fiber 10GbE/40GbE10 GbE

Медные кабели

1-10m

1-10m

15m

100m

SFP+ direct aBach

10GBASE-‐CX4 (IB cabling)

10GBASE-‐T (Twisted Pair)

40GBASE-‐CR4

40 GbE

Single Mode Copper Multi Mode

Дуплексные оптические волокна

Параллельные оптические волокна OM3/OM4

100m/150m

26/82/300m

220m 300m

10GBASE-‐SR (OM1/2/3)

10GBASE-‐LRM

10GBASE-‐LX4

40GBASE-‐SR4 300m/400m 40GBASE-‐CSR4

CAMPUS AND

DATA CENTER

DATA CENTER ONLY

802.3ba с июня 2010


Стандарт 802.3ba•  Cisco Nexus 6004 и все его компоненты разработаны для передачи 40-Gbps потоков. •  Каждый кадр посылается через все 4 канала без привлечения Hash-алгоритмов. •  Каждый кадр разбивается на 64-бит блоки; затем кодируется в 66-бит блоки. •  Все 66-битные блоки передаются через четыре линии циклически(round-robin). •  Подобное распределение обеспечивается только на QSFP интерфейсе, в режиме 40

GE. Если QSFP интерфейс переключен в режим 4 x 10GE, каждый оптический или медный кабель будет передавать кадры только одного 10GE интерфейса.

Передача Прием

PCS Lane 1

PCS Lane 2

PCS Lane 3

PCS Lane 4

1 5

2 6

3 7

4 8

Physical Coding

Sub-layer (Round robin

distribution of

66-bit words)

64b/66b Encoder

1 2 3 4 5 6 7 8

PCS Lane 1

PCS Lane 2

PCS Lane 3

PCS Lane 4

5 1

6 2

7 3

8 4

Physical Coding

Sub-layer

64b/66b Decoder

8 7 6 5 4 3 2 1

Stream of 66-bit words

Stream of 66-bit words


•  TCP поток A – 8 Gbps

•  TCP поток B – 6 Gbps

•  TCP поток C – 4 Gbps

4 x 10 GbE 40 GbE

A,C B A,B,C

•  4 x 10G – объединение в единое соединение на логическом уровне (PortChannel), hash-функция распределения

•  40G – объединение на физическом уровне, без hash, TCP сессия до 40Gbps


Используется 4 пары оптики (4 линии)

Одно волокно для передачи, одно для приема

Одна пара – 10GbE

Используется одна пара оптических волокон

Используются разные длины волн (λ лямбда)

Используется технология CWDM (Corse Wave Division Multiplex)


•  Цена (ниже в разы)

•  Упрощенное каблирование

•  Простая миграция на 40G с тем же QSFP+ разъемом

•  Более низкое энергопотребление QSFP+ в сравнении 4xSFP+

~1.5W

~1.5W ~1.5W ~1.5W

~1.5W

~1.5W

~1.5W ~1.5W ~1.5W

~1.5W ~1.5W ~1.5W ~1.5W

10G-SR

10G-SR 10G-SR

QSFP+ SR


Host Card

IEEE Standard 40GBASE-SR4

4x ROSA

4x TOSA

12-Fiber MPO

12-Fiber MPO

TIA

Ключевые характеристики 40GBASE-SR4

Физический уровень 4 х10 GE

Тип физической среды Многомодовая оптическая лента

Совместимость с 10GBASE-SR Да

Радиус действия 100m (OM3 MMF) 150m (OM4 MMF)

Тип оптического интерфейса 12 fiber MPO/MTP

Энергопотребление <1.5W


Host Card

4x ROSA

4x TOSA 12-Fiber

MPO

TIA

Key Specs QSFP-40G-CSR4

Физический уровень 4 х10GBASE-SR

Тип оптического интерфейса MPO-12

Радиус действия OM3: ≤ 300m OM4: ≤ 400m

Тип физической среды Многомодовая оптическая лента

Энергопотребление 1.5W

•  IEEE 10 GE-SR совместимость • Настраиваться в режим 40 GE − (для соединения Cisco - Cisco)

• Поддерживаемая совместимость: − Между QSFP-40G-CSR4 − Между QSFP-40G-CSR4 и 10GE-SR

• До 300m через MMF OM3 − До 400 m через MMF OM4

Особенности

12-Fiber MPO


Для QSFP-40G-SR4 и QSFP-40G-CSR4

12-Fiber MPO коннектор

•  MPO/MTP коннектор с 12 жилами

•  Используется 4 оптических пары − 4 TX и 4 RX для 40 GE

− 4 неиспользуемые жилы в центре


Host Card

IEEE Standard 40GBASE-LR4

4x ROSA

4x TOSA

LC TIA

Multiplexer

Demultiplexer

LC

Характеристики 40GBASE-LR4

Тип среды Пара одномодовых оптических волокон

Оптическая технология

1300-nm со встроенной CWDM технологией (1271-, 1291-, 1311-, and 1331-nm grid) Встроенный оптический де-/мультиплексор

Радиус действия 10 км

Интерфейс LC коннектор (дуплекс)

Энергопотребление 3.5W


•  Недорогой оптический QSFP трансивер для подключения FEX к Nexus® 6004 •  Поддерживается на Cisco Nexus 6004 и Nexus 2248PQ-10G •  Совместим с FET-10G •  Обеспечивает радиус действия до 100m оптику OM3

Cisco Nexus 6000 Cisco Nexus 6000

Cisco Nexus 2232PP and 2232TM-E 2232TM Cisco Nexus 2248TP-E 2248TP Cisco Nexus 2248PQ-10G

FET-40G

FET-40G

FET-10G

FET-40G


40G QSFP+ Interfaces

40G QSFP+ Interfaces

10GE SFP+ interfaces


40GBASE-SR4 40GBASE-SR4

40GBASE-SR4

1m,3m,5m Passive 7m, 10m, Active QSFP to QSFP

100m SR4 300m CSR4 QSFP to QSFP

100m SR4 300m CSR4 QSFP to 10GE breakout

7m, 10m, Active QSFP to 10GE breakout


© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 15 15 15

2013

Cisco Nexus® 6000 Series

Nexus 6004

Customers

2013

2012

Nexus 5010 28-Port 1RU Switch




Nexus 5596T 10Gbase-T switch

2008

Cisco Nexus® 5000 Series

2010

4-port QSFP+ GEM

96 port 40G 4RU Switch

Nexus 6001

48 port 10G, 4 port 40G 1RU Switch


4 фиксированных QSFP интерфейса

48 фиксированных SFP+ интерфейсов

1RU

•  Глубина шасси: 76 см (30 in). • Ширина шасси : 44 см (17.3 in).

2-й квартал 2013


Console Mgmt0 USB Модули вентиляции (резервирование 2+1)

Блоки питания (резервирование 1+1)



Производительность Масштабируемость Функциональность Видимость/Аналитика

• Неблокируемая коммутация L2 и L3 на всех портах со всеми функциями для любого размера кадра

•  Задержка коммутации port-to-port 1 микросекунда с любым размером кадра

•  40-Gbps потоки •  40-Gbps FCoE • Cut-through коммутация для 40G и 10G

•  25-MB буфер на три QSFP интерфейса

• Неблокируемый SPAN

• Семплированный NetFlow*

• Мониторинг всплесков и буферов*

• Мониторинг задержек

• SPAN по условию, SPAN on drop и SPAN on higher latency*

• L2 and L3 функциональность

• FEXlink

•  vPC

• FabricPath

• TRILL

• Adapter-FEX/VM-FEX

•  48 x 10 GE + 4 x 40 GE в одном RU

•  До 256,000 MAC (115,000 L2 / 64,000 L3 первоначально)

• Up to 128,000 ARP (64,000 первоначально)

•  32,000 LPM (24,000 первоначально)

•  16,000 bridge доменов

•  31 двунаправленная SPAN сессия (16 первоначально)



•  Глубина шасси: 76 см (30 in). • Ширина шасси : 44 см (17.3 in).

30 in.

4RU

48 фиксированных QSFP интерфейсов

12- портовый QSFP модуль расширения

Доступен к заказу


• Шасси имеет 6 слотов под установку блоков питания; требуется минимум 3 БП. Поддерживается резервирование 3+1 или 3+3 Grid.

•  Каждый блок питания 1100W, 90—240 VAC. • Шасси имеет 4 слота под установку вентиляторов, требуется минимум 3, резервирование 3+1 Блоки питания

(резервирование 3+3 Grid или 3+1)

Console Mgmt0 USB

Модули вентиляции (резервирование 3+1)



Обеспечивает 12 QSFP интерфейсов

Поддержка 40, 10GE, FCoE

Обеспечивают производительность, функциональность и масштабируемость аналогичную фиксированным портам

Поддержка замены в горячем режиме


Производительность Масштабируемость Функциональность Видимость/Аналитика

• Неблокируемая коммутация L2 и L3 на всех портах со всеми функциями для любого размера кадра

•  Задержка коммутации port-to-port 1 микросекунда с любым размером кадра

•  40-Gbps потоки •  40-Gbps FCoE • Cut-through коммутация для 40G и 10G

•  25-MB буфер на три QSFP интерфейса

•  96 x 40 GE в 4RU •  384 x 10 GE в 4RU

•  До 256,000 MAC (115,000 L2 / 64,000 L3 первоначально)

• Up to 128,000 ARP (64,000 первоначально)

•  32,000 LPM (24,000 первоначально)

•  16,000 bridge доменов

•  31 двунаправленная SPAN сессия (16 первоначально)

• Неблокируемый SPAN

• Семплированный NetFlow*

• Мониторинг всплесков и буферов*

• Мониторинг задержек

• SPAN по условию, SPAN on drop и SPAN on higher latency*

• L2 and L3 функциональность

• FEXlink

•  vPC

• FabricPath

• TRILL

• Adapter-FEX/VM-FEX



UPC 1

48xSFP+

Fabric

Switch Fabric

4xQSFP+ CPU

Supervisor

UPC-0 UPC 2 UPC 3 UPC 4 UPC 5 UPC 6


UPC 1 UPC 2 UPC 16 UPC 32

48xQSFP (Fixed interfaces)

Fabric 1 Fabric 2 Fabric 3 Fabric 4

Switch Fabric

UPC 17

48xQSFP (with 4 expansion modules) CPU

Supervisor

UPC-0


Функциональность Значение

ECMP 1K

VRFs 4K

SPAN 31, 16 для ERSPAN

CPU 4-х ядерный

FEX 24 (первоначально)

VLAN translation 16K ingress/16K egress

LIFs 8K per ASIC

Функциональность Значение

Задержка коммутации ~1us

MAC таблица 256K MAC/ARP (гибкая)

IP Unicast маршруты 32K (v4) or 8K (v6)

IP хосты 128K (v4) or 64K (v6)

IP Multicast маршруты 32K (v4) or 16K (v6)

Bridge домены 16K

ACLs 4K

Port Channels 192

IGMP Snooping группы 32K


•  Входящий буфер – 16 МБ

•  Общий буфер адаптирован для сглаживания всплесков трафика.

•  Выделенный буфер более подходит для прогнозируемой производительности для каждого порта.

•  Управление буферами гибкое: Выделенный + общий буфер.

•  Long-distance FCoE, video editing (i.e., AVID), Big Data, and distributed storage

Port 1 Dedicated

Port 2 Dedicated

Port 3 Dedicated

Shared Packet Buffer

SPAN Control

UPC Ingress Buffer (16MB)


•  9-MB пакетный буфер для исходящего UPC разделяется между тремя портами 40 GE или 12 портами 10 GE.

•  CLI обеспечивает раздление буфера для Unicast и Multicast трафика (в будущих релизах ПО).

•  Unicast трафик может быть помещен в буфер на входе или на выходе из UPC.

•  Multicast трафик помещается в буфер на выходе из UPC в случае переподписки интерфейса

Multicast Buffer

UPC Egress Buffer (9MB)

Unicast Buffer


Feature N6001 N5500 Количество портов 64p X 10G (1RU) 48px 10G (1RU)

96p X 10G (2RU)

Unified Port Ethernet,FCoE Ethernet, FCoE, FC

Задержка коммутации ~1us 1.8us

Размер MAC таблицы 256K MAC/ARP (flexible) 32K

IP Unicast маршруты 32K (v4) or 8K (v6) 16K (v4), 4K (v6)

Конечных IP устройств 128K (v4) or 64K (v6) 16K(v4), 4K(v6)

IP Multicast маршруты 32K (v4) or 16K (v6) 8K

Bridge Domains 16K 4K

ACLs 4K flexible 2K (Egress)

IGMP Snooping groups 32K 8K

VRFs 4K 1k

SPAN 31, 16 can be ERSPAN 4

FEX 24 (первоначально); 24 - L2 16 - L3


•  По умолчанию все интерфейсы работают в режиме 40 GE. •  Режим работы (40G/4x10G) может быть изменен для группы из трех портов QSFP. •  Портовая модуль/группа из 12 QSFP должны быть повторно инициализированы. •  Фиксированные 48 x QSFP нумеруются аналогично портам на модулях расширения.

Eth1/1-12

Eth8/1-12

40 GE Interface

Ethernet 8/1

10 GE Interface

Ethernet 8/1/1

Ethernet 8/1/2

Ethernet 8/1/3

Ethernet 8/1/4

Eth2/1-12


•  Лицензия на активацию 12 портов QSFP в слотах 3 и 4

Лицензия Описание Функциональность

ENHANCED_LAYER2_PKG FabricPath Services Package FabricPath

FCOE_NPV_PKG FCoE NPV Package FCoE NPV

LAN_BASE_SERVICES_PKG Layer 3 Base Services Package Static routing, RIPv2, OSPFv2/v3, EIGRP stub, HSRP, VRRP, IGMP v2/v3, PIMv2 (SM), RACL uRPF, MSDP

LAN_ENTERPRISE_SERVICES_PKG

Layer 3 Enterprise Services Package

Full EIGRP BGP

FC_FEATURES_PKG

Storage Protocols Services Package (4x40G/16x10G портов)

FCoE NPV FC Port Security Fabric Binding

Storage Protocols Services Package (12x40G/48x10G портов)

VM-FEX Package VM-FEX



v 4 портовый QSFP+ GEM модуль (парт номер N55-M4Q).

v Поддерживается только режим 4x10GE для каждого QSFP+ порта.

v Поддерживается на всех шасси Nexus 5500 (5548P, 5548UP, 5596UP и 5596T) в обеих конфигурациях охлаждения (F2B, B2F).

v Может быть установлен в любые/все слоты коммутатора Nexus 5596.

v Все порты имеют одинаковую функциональность, производительность и масштабируемость на ровне с SFP+ портами за исключением FC и 1GE.

v Горячая замена (Hot swappable) для простоты установки и демонтажа.

v Минимально необходимая версия NXOS 6.0(2)N1(2).

v Не требует дополнительных лицензий.


v Консолидация кабельной инфраструктуры

v Обеспечивает поддержку QSFP+ для платформ Nexus 5500

v Снижение потребления оптических трансиверов


Наименование интерфейс содержит 3 уровня: Eth<GEM_#>/<QSPF+_#>/<SFP+_#> •  GEM_#: номера слота [от 2 до 4]. •  QSFP+_#: номера порта [от 1 до 4]. 1 это крайний левый QSFP+ порт

и 4 это крайний правый QSFP+ порт на модуле. •  SFP+_#: номер порта [от 1 до 4]. При использовании breakout кабеля,

номер порта маркирован на концевом SFP+ трансивере кабеля.

QSFP+ слот = 1 QSFP+ слот = 4


switch# show module 4 Mod Ports Module-Type Model Status --- ----- --------------------------------- ---------------------- ------------ 4 16 N5K QSFP+ Expansion Module N55-M4Q ok <SNIP> switch# sho interface brief | section Eth4 Eth4/1/1 1 eth access up none 10G(D) -- Eth4/1/2 1 eth access up none 10G(D) -- Eth4/1/3 1 eth access up none 10G(D) -- Eth4/1/4 1 eth access up none 10G(D) -- <SNIP> Eth4/4/4 1 eth access up none 10G(D) -- switch#


QSFP+ Interfaces

QSFP+ Interfaces



QSFP-SR4/CSR4 QSFP-SR4/CSR4

QSFP-SR4

1M, 3M, 5M passive 7M, 10M Active

QSFP-4x10G-1M/3M/5M QSFP-4x10G-AC7M/AC10M

В режиме 4 x 10GE

В режиме 4x 10GE


Cisco Confidential © 2013 Cisco and/or its affiliates. All rights reserved. 38

Упрощенное управление и низкая стоимость

Модульный коммутатор Фиксированный Backplane

Единая точка управления

= Единая точка управления

Распределенное модульное шасси 10Gb Ethernet для Backplane

+ Платформа Nexus 2000

Платформа Nexus 5500

Фабрика коммутации + Супервизор

Fabric Extenders (Выносная линейная карта)

Масштабируемость

Управляемость


Через стойки, блейд, 100M, 1G, 10G, FCoE, медь, оптика, ToR и EoR архитектура, решения для Layer 2/Layer 3, традиционные или виртуализированные среды

Платформа унифицированного доступа для любого POD

Родительск

ий

коммутатор

UCS

Nexus 2000

1/10G/FCoE стоечные

серверы UCS

Cisco UCS

1/10G/FCoE блейд

серверы UCS

Nexus 2000

100M/1GE стоечные серверы

Nexus 2000

1/10GE/FCoE стоечные серверы

Nexus 2000

1/10GE/FCoE сторонние блейд

серверы

Nexus 7000 Nexus 5000/5500

Унифициро

-

ванный

уровень

доступа

Nexus 6000


N2K-C2232TM-10GE RJ45 для подключения серверов

Упрощенное управление и революционная масштабируемость

N2K-C2248TP-1GE

N2K-C2224TP-1GE

N2K-C2248TP-E-1GE FEX с увеличенным размером буфера

SFP+ для подключения серверов

N2K-C2232PP-10GE

N2K-C2232TM-E-10GE RJ45 для подключения серверов

N2K-C2248PQ 48 портов 1/10G FEX SFP+ + 4xQSFP

Blade FEX

1/10G FEX 100M/1G FEX

2013

2012

2011

2010

2009

B22 Dell FEX 1/10G FEX для блейд серверов Dell B22 FTS FEX

1/10G FEX для блейд серверов Fujitsu B22 HP FEX

1/10G FEX для блейд серверов HP


48 ports 10/1G Fabric Extender •  48x 1/10GE SFP+ серверных интерфейсов •  4x QSFP (16x10GE SFP+) Uplink интерфейсов

•  Охлаждение Front-to-back или back-to-front •  N5500 или N6000 в качестве родительских устройств (первоначально)

•  Идентичная функциональность с N2232PP •  Дополнительные Uplink буферы (2x16MB)

Сценарии дизайна •  Высокая плотность 10GE SFP+ ToR •  Гибкость подключения (1/10G) •  Виртуализированные среды •  Консолидация сетей хранения данных •  Предсказуемая малая задержка коммутации

48 1G/10GE SFP+ Downlinks

4 QSFP+ Uplinks


Nexus 2232PP

Nexus 2248PQ

Большая портовая плотность

Меньше переподписка (oversubscription)

Снижено энергопотребление

QSFP+ соединение/проще каблирование


Nexus 2232PP Nexus 2248PQ Подключение к родительскому устройству

Static Pinning или Port Channel

Port Channel

Родительское устройство

N5000, N5500, N6000, N7000, UCS FI

N5500 & N6000

Минимальная версия NX-OS (N5K)

4.2(1)N1(1) 6.0(2)N1(1)

Burst Buffering HIF-NIF 640 packet (1024B) 640 packet (1024B) Burst Buffering NIF-HIF 130 packets (1024B) 18670 packets (1024B) Обычное энергопотребление

210W 175W

Переподписка 4:1 3:1


•  1+1 Резервирование электропитания: Те же блоки питания, что для других N2K, поддержка AC/DC

•  Новые вентиляторы, NXA-FAN-30CFM-F (front-to-back) и NXA-FAN-30CFM-B (back-to-front)

•  N+1 резервирование модулей вентиляторов: до 4 модулей

•  Цветовая идентификация направления воздушного потока для охлаждения внутри шасси front-to-back или back-to-front


Nexus 2248PQ

Nexus 5596UP (10G SFP+)

или

Настройка FEX на родительском коммутаторе как и раньше

Nexus 2248PQ

Nexus 5596UP + N55-M4Q

или

+

+

+

+


Nexus 2248PQ

Nexus 6004

или

Перевод портов QSFP+ в режим 4 х 10G

Nexus 2248PQ

Nexus 6001

или

+

++

+


•  Nexus 6000 web-page http://www.cisco.com/go/nexus6000



•  Cisco 40GBASE QSFP+ Modules Data Sheet http://www.cisco.com/en/US/prod/collateral/modules/ps5455/data_sheet_c78-660083.html

•  Cisco 40-Gigabit Ethernet Transceiver Modules Compatibility Matrix http://www.cisco.com/en/US/docs/interfaces_modules/transceiver_modules/compatibility/matrix/OL_24900.html

Thank you.


•  Полнофункциональный 6 портовый модуль 40GbE

•  Высокая плотность 40GbE на шасси - 96 неблокируемых портов

•  Совместим с фабриками коммутации FAB1 и FAB2

•  Полнофункциональный модуль с MPLS и IPv4/v6 1 млн. IPv4 и 300K IPv6 маршрутов (FIB) Scalable Feature License для гибкости масштабирования

•  802.3ba совместим и поддерживает QSFP+

•  Works with all existing N7K Modules

•  Доступен к заказу QSFP трансиверы

Technology

Новое поколение коммутаторов для ЦОД Nexus 10G/40G