03.10.2015 © 2015 Cisco and/or its affiliates. All rights reserved.

Cisco ACI. Инфраструктура,

ориентированная на приложения

Архитектура и принципы функционирования

сетевой фабрики Cisco ACI. Сценарии внедрения

Скороходов Александр

Системный инженер-консультант

askorokh@cisco.com

Сетевая фабрика ACI

• Наиболее эффективная фабрика в индустрии:

‒ 1/10 Gb на границе сети, высокая плотность 40GE на

Spine и возможность перехода на 100GE

‒ До 1 миллиона IPv4 и IPv6 хостов

‒ Тысячи логических организаций (tenants)

‒ Десятки тысяч 1/10 Gb серверов

• Маршрутизируемая фабрика – оптимальная

передача IP трафика

‒ Масштабируемая распределённая коммутация (L2) и

маршрутизация (L3) для VXLAN, NVGRE, VLAN

‒ Не требуются программные шлюзы – физические или

виртуальные

‒ Гибкость развертывания приложения – нет ограничений

при выборе точки их размещения в фабрике

• Полная прозрачность – физическая или

виртуальная нагрузка

• Передача метаданных вместе с трафиком

‒ Детальное управление политиками без необходимости

программировать потоки

Spine: модульные (Nexus 9500) или фиксированные (9336) Аппаратная база отображения адресов

До 576 x 40 Gb портов на устройство

Высокая плотность за умеренную стоимость

Оптимизация фабрики Использование IEEE 1588 для измерения

задержки

Оптимальная балансировка ECMP

Leaf (доступ): Nexus 9300 Применение политик

Интеллектуальное кеширование

Поддержка терминации оверлеев

Улучшенная аналитика

APIC

Высочайшая производительность и плотность портов,

низкая стоимость за порт и энергопотребление

Эффективный дизайн и энергоэффективность

Следующее поколение операционной системы NX-OS

Поддержка коммутации L2/L3, FEX, VXLAN

Богатые возможности программируемости

Два семейства коммутаторов

- Модульные: Nexus 9500

- Фиксированной конфигурации: Nexus 9300

Два режима работы

- В составе архитектуры ACI

- Автономный (NX-OS)

Семейство коммутаторов Nexus 9000 Для нового поколения сетевой инфраструктуры ЦОД

Nexus 9500 Семейство шасси

9504 9508 9516

Высота 7 RU 13 RU 21 RU

Слотов для модулей 4 8 16

Коммутационная емкость 15 Tbps 30 Tbps 60 Tbps

Неблокируемых

10G портов, максимум 576 1,152 2,048

Неблокируемых

40G портов, максимум 144 288 576

Использование в ACI ✔ ✔ ✔

Общие - Супервизор

- Системный контроллер

- Интерфейсные карты

- Блоки питания

- Образ NX-OS

Nexus 9504

Nexus 9508

Nexus 9516

Nexus 9500 Интерфейсные карты

Доступ 1/10G, агрегирование 10/40G, магистраль 100G в режиме NX-OS

32/36 портов 40G QSFP+

8 портов 100G CFP2 (CPAK через адаптер)

48 портов 10G SFP+ & 4 порта 40G QSFP+

48 портов 1/10G-T & 4 порта 40G QSFP+ Только NFE

• Только NX-OS

• L2/L3 коммутация

• Поддержка FEX

• VXLAN бриджинг

NFE + Cisco ALE • L2/L3 коммутация

• Поддержка FEX

• VXLAN бриджинг

• Маршрутизация VXLAN

• Увеличенный буфер

Cisco ASE

• Только в режиме ACI spine

Доступ 1/10G и агрегирование 10/40G в режиме NX-OS 48 портов 10G SFP+ & 4 порта 40G QSFP+

48 портов 1/10G-T & 4 порта 40G QSFP+

36 портов 40G QSFP+ (1.5:1)

ACI Access Ready

40G – для работы в режиме ACI Spine 36 портов 40G QSFP+

Коммутаторы Nexus 9300 Возможности Nexus 9000 в фиксированном форм-факторе

• Высокая производительность

• Низкая стоимость за порт

• Богатые функции программируемости

Модель Портов 1/10G Порты 40G/100G Высота Режим работы

96 (витая пара) 6 или 8 40G QSFP или 2

100G CFP2/CPAK(не-ACI) 3 RU NX-OS или ACI Leaf

48 (SFP или витая

пара)

6 или 12 40G QSFP или 4

100G CFP2/CPAK(не-ACI) 2 RU

NX-OS или ACI Leaf

96 (витая пара) 6*40G QSFP 2 RU NX-OS или ACI Leaf

48 (SFP или витая

пара) 6*40G QSFP 1 RU

NX-OS или ACI Leaf

- 32*40G QSFP 1 RU NX-OS или ACI Leaf

- 36*40G QSFP 2 RU Только ACI Spine

Nexus 9396TX

Nexus 9372PX(-E)

Nexus 9332PQ

Nexus 9372TX(-E)

Nexus 9396PX

Nexus 93128TX

Nexus 9336PQ

Nexus 93120TX

С чего можно начать? Минимальная конфигурация инфраструктуры ACI

Nexus 9336

(“mini-spine”)

Nexus 9336

(“mini-spine”)

Nexus 9372PX-E/TX-E Nexus 9372PX-E/TX-E

40G кабели

10G (кабели или витая пара)

Кластер APIC (3 контроллера)

Application Policy Infrastructure Controller Централизованная автоматизация и управление фабрикой

• Единая точка управления политиками в

сети ЦОД:

• Профили приложений

• Интеграция с сервисами L4-L7

• Открытая модель данных для управления при

помощи внешних средств оркестрации

• Мониторинг приложений, поиск и устранение

неисправностей фабрики

• Накопление статистики/телеметрии

• Управление образами ПО коммутаторов

• Не принимает непосредственное

участие в передаче данных

• Не занимается детальной настройкой

• Кластеризация для масштабирования и

доступности (от 3 до 5 и более узлов)

Сервисы 4..7 Управление

системами

Управление

СХД

Оркестрация

Storage SME Server SME Network SME

Security SME App. SME OS SME

Открытый

RESTful API

Управление при помощи

политик

APIC

Масштабируемая эксплуатация фабрики Обнаружение, инициализация, управление

• ACI фабрика: масштабируемое централизованное управление с помощью APIC

• Обнаружение и адресация фабрики

• Управление образами ПО

• Проверка топологии

Loopback и VTEP IP адреса

выделяются с “Infra VRF” по DHCP с

APIC

APIC кластер

Обнаружение топологии с

использованием LLDP

APIC APIC APIC

ACI фабрика Интегрированные оверлеи

• ACI фабрика базируется на IP сети, обеспечивающей маршрутизацию между

элементами фабрики и интегрированных оверлеях для маршрутизации/коммутации

между хостами фабрики

‒ весь трафик между конечными хостами внутри фабрики передается при помощи оверлеев

• Почему интегрированные оверлеи?

‒ Мобильность, масштабируемость, поддержка multi-tenancy и интеграция с гипервизорами

‒ Вместе с трафиком данных можно передавать мета-данные для реализации распределенных

политик

APIC

VTEP VTEP VTEP VTEP VTEP VTEP

Payload IP VXLAN VTEP

Таблица отображения фабрики Inline Hardware Mapping DB - 1,000,000+ хостов

Local Station Table – адреса

“всех” конечных хостов,

которые подключены

напрямую к Leaf коммутатору

10.1.3.11 fe80::462a:60ff:fef7:8e5e 10.1.3.35 fe80::62c5:47ff:fe0a:5b1a

Proxy

10.1.3.11

10.1.3.35

Port 9

Leaf 3

Proxy *

Global Station Table –

локальный кэш записей для

подключенных к фабрике

хостов

10.1.3.35 Leaf 3

10.1.3.11 Leaf 1 Leaf 4

Leaf 6

fe80::8e5e

fe80::5b1a

Proxy Station Table –адреса «всех» хостов,

подключенных к фабрике

• Таблица отображения на коммутаторе Leaf делится между локальными и глобальными

записями

• Глобальная таблица на коммутаторе Leaf кеширует часть полной глобальной таблицы,

которая содержится на каждом коммутаторе Spine

• Если адрес конечного хоста не найден в локальном кэше, то (по умолчанию) пакет

передается на коммутатор Spine (до 1,000,000+ записей в таблице отображения

коммутатора Spine)

Proxy Proxy Proxy

Функции Spine коммутатора

• Три функции уровня передачи данных на коммутаторах «ядра» ACI фабрики

• Транзит: передача IP трафика между VTEP’ами

• Proxy Lookup: директория уровня передачи данных для передачи трафика с

использованием базы отображения EID в VTEP

• Корень Multicast дерева: корень одной из 16 топологий для передачи группового

трафика

• Не все функции обязательны на всех Spine коммутаторах

Transit Node

Proxy Lookup

Cached EID Entry

Proxy Lookup –

Unknown EID

Multicast Root

ACI фабрика Нормализация инкапсуляции

VXLAN

VNID = 5789 VXLAN

VNID = 11348

NVGRE

VSID = 7456

Any to Any

802.1Q

VLAN 50

Нормализация

инкапсуляции

Локализация

инкапсуляции

IP фабрика

использует

eVXLAN тег

Данные IP eVXLAN VTEP

• Весь трафик инкапсулируется при помощи заголовка extended VXLAN (eVXLAN)

• Внешний тег VLAN, VXLAN, NVGRE (планируется) на входящем порту

отображается во внутренний eVXLAN тег

• Внешние идентификаторы локальны на уровне Leaf устройства или Leaf порта

• Возможность переиспользования, если требуется

Данные

Данные

Данные

Данные

Данные

Eth

IP VXLAN

Outer

IP

IP NVGRE Outer

IP

IP 802.1Q

Eth

IP

Eth

MAC

Нормализация входящей инкапсуляции

APIC

Передача данных независимо от расположения

На 2-м и 3-м уровне

10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35 10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35

• ACI фабрика поддерживает семантику 2-го и 3-го уровня

- никаких изменений в приложении не требуется

• ACI фабрика обеспечивает оптимальную передачу трафика 2-го и 3-го уровня ‒ SVI распределён по всем узлам где требуется, обеспечивая маршрутизацию

‒ Трафик 2-го и 3-го уровней напрямую передается на leaf с хостом назначения

• IP ARP и GARP пакеты передаются напрямую узлу назначения без

широковещательной рассылки

Распределенный шлюз по умолчанию Направленная передача ARP

APIC APIC

vSwitch (VMWare) vSwitch (MSFT)

Payload IP

VM, подключенная к Ingress Port Group

или физический сервер формируют

пакет

1

Payload IP VXLAN VTEP

vSwitch инкапсулирует пакет и

передает его в сторону Leaf VTEP 2

Если входящий Leaf коммутатор уже выучил

соответствие IP адреса хоста назначения и адреса

VTEP, то в качестве адреса назначения для eVXLAN

туннеля выбирается известный VTEP адрес и

пакет передается напрямую на исходящий Leaf

коммутатор

4a

Payload IP eVXLAN VTEP

Коммутатор Leaf заменяет

заголовок VXLAN на eVXLAN и

применяет политику

3

Payload IP eVXLAN VTEP

Исходящий Leaf коммутатор производит

замену eVXLAN заголовка на требуемую

инкапсуляцию и применяет политику

5

Payload IP NVGRE GRE IP

Коммутатор Leaf передает пакет

vSwitch-у или физическому серверу

6

Payload IP

Пакет передается на порт vSwitch

7

Payload IP eVXLAN VTEP

Если входящий Leaf коммутатор не имеет записи в кеше о соответствии IP назначения адресу

VTEP, то пакет пересылается на spine-коммутатор на адрес anycast VTEP, где на уровне ASIC

происходит HW lookup и переписывается адрес VTEP назначения. Дополнительной задержки или

снижения производительности при этом не происходит.

4b

VTEP VTEP

VTEP

Передача пакетов в ACI фабрике

APIC

vSwitch (VMWare) vSwitch (MSFT)

vSwitch инкапсулирует пакеты,

ассоциированные с EPG при

помощи назначенного

VLAN/VXLAN/NVGRE

идентификатора

1

Если коммутатору Leaf известен

исходящий EPG который

ассоциирован с узлом назначения, то

он реализует политику устанавливая в

соответствующее значение бит в

заголовке eVXLAN, показывающий, что

входящая политика была применена к

пакету

4

На основе классификации

коммутатор Leaf формирует

значение поля Source Group в

eVXLAN заголовке

3

Payload IP NVGRE GRE IP

Коммутатор Leaf пересылает

пакет vSwitch-у или

подключенному напрямую

физическому серверу.

7

Пакет идентифицируется как принадлежащий

определенной end point group (EPG) на

основе входящей классификации (port group,

физический порт, IP адрес, VLAN)

2

Payload VNID Flags VTEP SRC

Group

Если политика приложения требует передачу пакета через сервисное устройство

или цепочку таких устройств, то фабрика в качестве VTEP узла назначения

указывает адрес коммутатора, в которому подключено сервисное устройство

5

Исходящий Leaf коммутатор

проверяет был ли установлен policy

флаг в заголовке eVXLAN и если

требуется применяет политику

6

Реализация политик в ACI фабрике

Payload VNID Flags VTEP SRC

Group

vPC в ACI фабрике

• ACI обепечивает распределённый port-

channel (VPC) к двум коммутаторам доступа,

аналогично Nexus в автономном режиме

• Отличия:

• Не нужен peer-link

• Синхронизация между коммутаторами

через фабрику

• «Обходной» трафик – также через

фабрику

• Для достижимости хостов за VPC через

фабрику используется Anycast адрес,

доступный через оба коммутатора

• Логика для хостов с одиночным

подключением не меняется

Host or Switch

VTEP VTEP

vPC Anycast

VTEP vPC Anycast

VTEP

Traffic within the Fabric is sent to

the vPC anycast address

ACI фабрика: управление трафиком

Фокус на времени отклика приложения

• ACI фабрика отслеживает перегрузки на

всем пути передачи входящим и исходящим

leaf (измерения в реальном времени)

‒ Перегрузка на внешних портах

коммутаторов (external wires)

‒ Перегрузка на соединениях ASIC-to-ASIC

(internal wires)

• Фабрика балансирует потоки трафика по

принципу ‘flowlet switching’

‒ Динамическое перенаправление активных

потоков с загруженного пути на менее

загруженный путь передачи трафика

• Фабрика приоритезирует небольшие потоки

‒ Увеличение скорости реакции для

интерактивных соединений

APIC

Балансировка внутри ACI фабрики Flowlet Switching

H1 H2

TCP поток

• Flowlet switching* обеспечивает

независимую передачу “порций”

пакетов принадлежащих одному

потоку по разным аплинкам

• Без изменения порядка

передаваемых пакетов

Gap ≥ |d1 – d2|

d1 d2

*Flowlet Switching (Kandula et al ’04)

Балансировка внутри ACI фабрики Dynamic Flow Prioritization

Реальный трафик представляет собой

микс больших (elephant) и

малых (mice) потоков. F1

F2

F3

Стандартный режим

(один приоритет):

Потоки больших размеров

влияют на

производительность

небольших потоков

(задержка и потери).

High

Priority

Dynamic Flow Prioritization:

фабрика автоматически

приоритезирует потоки

малого размера

Standard

Priority

Ключевая идея:

Фабрика обнаруживает первые

несколько “порций” (flowlets)

каждого потока данных и

помещает их в приоритетную

очередь

Варианты миграции на решение Cisco ACI Сценарий № 1 – добавление нового модуля в ЦОД

03.10.2015 © 2013 Cisco and/or its affiliates. All rights reserved. 21

Добавление нового POD в ЦОД

Новый POD Существующая

инфраструктура

Добавление нового POD в ЦОД при помощи ACI

Новый POD Существующая

инфраструктура

Логическое подключение нового ACI Pod

Новый POD Существующая

инфраструктура

BGP

OSPF

VLAN

VxLAN

Варианты миграции на решение Cisco ACI Сценарий № 2 – расширение уровня доступа

Расширение уровня доступа

VLAN 10

Дополнительные ToR

коммутаторы для

поддержки новых

серверных подключений

Существующая

инфраструктура

VLAN 20 VLAN 30

Расширение уровня доступа при помощи ACI

VLAN 10

Бандл ACI начального

уровня, подключенный к

коммутаторам агрегации Существующая

инфраструктура

VLAN 20 New Server Group

Layer 2

соединения

Сценарий № 2 – пример миграции

Отображение логических компонент

приложения на единую сеть

Web Tier

EPG

App Tier

EPG DB Tier

EPG

P P

P

Миграция шлюза по умолчанию на оборудование

ACI для реализации политик

Web Tier

EPG (VLAN 10)

10.10.10.1 Gateway

App Tier

EPG (VLAN 20)

10.10.20.1 Gateway

DB Tier

EPG

SVI 10.10.10.1

SVI 10.10.20.1

802.1q Trunk

для VLAN 10 и

20 Миграция SVI

интерфейсов на на ACI

фабрику для реализации

политик

Идентификация групп подключений (EPG)

Web Tier

EPG

App Tier

EPG DB Tier

EPG

P P P

Идентификация на

основе 802.1q VLAN тега

Идентификация на

основе 802.1q VLAN тега

Идентификация на основе:

• 802.1q VLAN тега

• Физического порта

• Виртуального порта

• VxLAN тега

Идентификация на

основе адреса подсети

Интеграция с существующими L4-7 сервисами

Web Tier App Tier DB Tier

P P

P

МСЭ 1 Развертывание

Device package

и политики

Подключение МСЭ к ACI фабрике – оптимизация

Firewall 1

Application

Client

Subnet

10.20.20.0/24

Subnet 10.10.10.0/24

Subnet

10.30.30.0/24

Subnet

10.40.40.0/24

Subnet

10.50.50.0/24

External Networks

(Outside)

Redirect to Pre-

configured FW

Redirect to Pre-

configured FW

Critical Users

(Outside)

Middle Ware

Servers

Web

Servers Oracle

DB Contract

Redirect to dynamically

configured FW

NFS Contract Redirect to

dynamically

configured FW

Default Users

(Outside)

NFS

Servers

Subnet

10.20.20.0/24

Subnet 10.10.10.0/24

Subnet

10.30.30.0/24

Permit TCP any

any Redirect to Pre-

configured FW

Политика может внедряться постепенно

Варианты миграции на решение Cisco ACI Сценарий № 3 – реализация сервисов ЦОД на базе ACI

ACI как «сервисное шасси»

МСЭ 1 МСЭ 1

L3 OSPF

BGP

L2 VLAN

802.1Q

L2

L3

40G ACI

Backbone

Внедрение сервисного блока с использованием ACI

vSwitch vSwitch vSwitch

APIC Policy

Controller

Directory/Proxy

Service Nodes

Border

Leaves

ACI Enabled L4-7

Virtual and Physical

Services (Поддержка

существующих и

новых/дополнительны

х сервисов)

Реализация

сервисов на базе

ACI в любом

существующем

ЦОД, который

использует IP

протокол

1. Установка сервисного

блока ACI

2. Использование

существующих L4-7

сервисных узлов ‘или’

использование новых

сервисов, которые

будут полностью

автоматизированы при

помощи APIC device

package

3. Протянуть VLAN ==

EPG из существующей

сети в сервисный

модуль ACI

4. Миграция шлюза по

умолчанию на

сервисный модуль ACI

5. Управление сервисами

через APIC с

сохранением текущей

схемы коммутации

Варианты миграции на решение Cisco ACI Сценарий № 4 – интеграция с доменами виртуализации

Backbone

Интеграция с доменами виртуализации

vSwitch

APIC Policy

Controller

Directory/Proxy

Service Nodes

Border

Leaves

Интеграция

коммутаторов

встроенных в

гипервизор в политику

APIC и домен

автоматизации

(Extended VLAN или

VXLAN overlay)

1. APIC интегрируется с

существующими

доменами VMM (ESX

vCenter FCS, Microsoft

SCVMM и Azure Pack,

OVS/KVM)

2. Используется

исходный «vSwitch»

‘или’ устанавливается

Cisco Application

Virtual Switch в

режиме L2

3. Существующие или

новые L4-L7 сервисы

могут быть

использованы ACI

для настройки

цепочек сервисов

AVS OVS Hyper-V AVS

Ждем ваших сообщений с хештегом

#CiscoConnectKZ

© 2015 Cisco and/or its affiliates. All rights reserved.

Спасибо Пожалуйста, заполните анкеты.

Ваше мнение очень важно для нас.

Contacts:

Name Александр Скороходов

Phone +7(495)789-8615

E-mail askorokh@cisco.com