Скороходов Александр Системный инженер-консультант

Развитие сетевой архитектуры для ЦОД Cisco ACI

Cisco ACI Самое полное решение для сети ЦОД

Application Centric Infrastructure

Автоматизация на основе политик

Физические серверы, виртуальные машины и контейнеры

“SDN из коробки”

Открытость, опора на стандарты, встроенная безопасность

Более 1800 заказчиков!

Cisco ACI новое поколение инфраструктуры ЦОД

ACI фабрика

Программируемость, масштабируемость,

открытость

App DB Web

Внешняя

сеть

передачи

данных

QoS

ACL

QoS

LB

QoS

МСЭ,

LB

Application Policy

Infrastructure

Controller

APIC

4

Сетевая фабрика ACI

• Наиболее эффективная фабрика в индустрии:

• 1/10/25/40G на границе сети, высокая

плотность 40/100GE на Spine

• Низкая стоимость за порт / коммутатор

• Интеграция с существующей

инфраструктурой (Cisco или других

производителей)

• Высокая масштабируемость

• Полная прозрачность – физические или

виртуальные серверы, контейнеры

• Маршрутизируемая фабрика – оптимальная

передача IP трафика

• Распределённая коммутация (L2) и

маршрутизация (L3)

• Не требуются программные шлюзы

• Гибкость развертывания приложений и

сервисов – нет ограничений в выборе точки

их размещения

• Улучшенная балансировка трафика (ECMP)

• Передача метаданных вместе с трафиком

• Детальное управление по политикам без

необходимости программировать потоки

Spine: модульные (Nexus 9500) или

фиксированные (9336) Аппаратная база отображения адресов

До 576 x 40/100 G портов на устройство

Высокая плотность за умеренную стоимость

Оптимизация фабрики Оптимальная балансировка

ECMP

Быстрая сходимость

Атомарные счётчики

Leaf (доступ): Nexus 9300 Применение политик

Интеллектуальное кеширование

Поддержка оверлеев

Улучшенная аналитика

Application Policy Infrastructure Controller Централизованная автоматизация и управление фабрикой

• Единая точка управления сетью

ЦОД на основе политик: • Профили приложений

• Политики безопасности

• Инициализация фабрики

• Управление конфигурациями

• Управление ПО коммутаторов

• Накопление и экспорт

статистики/телеметрии

• Мониторинг приложений

• Поиск и устранение неисправностей

• Открытая модель данных для внешних

средств оркестрации

• Не принимает непосредственное

участие в передаче данных

• Единое управление наложенным

транспортом и фабрикой

• Кластеризация для

масштабирования и доступности

(от 3 до 5 и более узлов)

Сервисы 4..7 Управление

системами Безопасность Оркестрация

Storage SME Server SME Network SME

Security SME App. SME OS SME

Открытый

RESTful API

Управление при

помощи политик

Сетевой профиль приложения Application Network Profile (ANP)

Входящие/

Исходящие

политики

Сетевой профиль приложения

Сетевой профиль - логическое объединение групп EPG и

политик, определяющих правила взаимодействия между EPG

=

Входящие/

Исходящие

политики

Модель политик ACI End-Point Group (EPG)

HTTPS

Service

HTTPS

Service

HTTPS

Service

HTTPS

Service

HTTP

Service

HTTP

Service

HTTP

Service

HTTP

Service

EPG - Web

EPG – логическая группа конечных хостов представляющих

приложение целиком или компоненты приложения,

(в общем случае) не зависящая от сетевых атрибутов

Внедрение традиционных приложений с Cisco ACI На примере Microsoft Exchange

EPG

CAS

EPG

Mail_Box

EP

G

AD

EPG

Outside

Сервисное

устройство

SLB

Использование ACI в цикле разработки и внедрения «Инфраструктура как код»

Prod- Web

BD1

10.0.0.254/24

20.0.0.254/24

No f ooding

etc …

Prod- App PreProd- Web

10.0.0.254/24

No f ooding

etc …

PreProd- App

20.0.0.254/24

No f ooding

etc …

BD2 BD3

Private Network “Production

Private Network “PreProduction

Tenant “Tenant1”

ACI

…

Разработка и

тестирование

Продуктив Модификация

Клонирование

Prod- Web

BD1

10.0.0.254/24

20.0.0.254/24

No f ooding

etc …

Prod- App PreProd- Web

10.0.0.254/24

No f ooding

etc …

PreProd- App

20.0.0.254/24

No f ooding

etc …

BD2 BD3

Private Network “Production

Private Network “PreProduction

Tenant “Tenant2”

Разработка и

тестирование

Продуктив

Prod- Web

BD1

10.0.0.254/24

20.0.0.254/24

No f ooding

etc …

Prod- App PreProd- Web

10.0.0.254/24

No f ooding

etc …

PreProd- App

20.0.0.254/24

No f ooding

etc …

BD2 BD3

Private Network “Production

Private Network “PreProduction

Tenant “Tenant100”

Разработка и

тестирование

Продуктив

Клонирование

11

Фабрика с поддержкой нескольких гипервизоров

• Заказчик не ограничен в выборе

платформы виртуализации:

VMWare, Microsoft, KVM/OpenStack

или невиртуализированных

серверов

• Возможность использования

нескольких VMM в одной группе

EPG

• Интегрированный шлюз для VLAN

и VxLAN сетей

• Не требуется дополнительное

лицензирование

• Поддержка контейнеров – проект

Contiv

Интеграция с

физическим

и виртуальным миром

Сетевой

администратор

Администратор

приложения

ФИЗИЧЕСКИЙ

СЕРВЕР

VLAN

VXLAN

VLAN

NVGRE*

VLAN

VXLAN

VLAN

ESX Hyper-

V

KVM

Управление

гипервизором

ACI фабрика

APIC

Изоляция контекстов/организаций «Тенанты»

• Логические контейнеры с набором

изолированных ресурсов – приложений,

сетевых элементов, политик, сбора и

экспорта статистики и т.д.

• Управление доступом администраторов

• Возможность контролируемого

взаимодействия между тенантами и

совместного доступа к разделяемым

ресурсам

• Сценарии использования

• Разные заказчики оператора

• Среды разработки/тестирования/продуктива

• Слияние/разделение организаций

• Резервирование многих ЦОД

Pepsi-Tenant Coke-Tenant

VRF 1

VRF 2

VRF 1

VRF 2

Bridge Domain 1

Bridge Domain 2

Bridge Domain 3

Bridge Domain 4

Bridge Domain 1

Bridge Domain 2

Bridge Domain 3

Bridge Domain 4

EPG

EPG

EPG EPG

EPG

EPG

EPG

EPG EPG

EPG

Аудит действий администраторов

• Все действия

администратора

фиксируются

• На уровне системы в целом

• На любом уровне иерархии

(логическом/физическом)

• Независимо от пути выполения

(GUI/CLI/API)

• Разные виды доступа к

журналу действий

• Через GUI – для задач

устранения проблем

• Через API – для аналитики и

контроля соответствия

требованиям

• Экспорт событий на внешние

серверы

Управление конфигурациями: на уровне системы и отдельных тенантов

• Хранение истории конфигураций

• На уровне всей фабрики или

отдельных тенантов

• Настройки физических (порты

коммутаторы) и логическх

(приложения, группы, BD, VRF…)

объектов

• Сохранение по команде

администратора или по расписанию

• Возможность сравнения версий

конфигуций и отката изменений

• Сохранение на контроллерах APIC

или экспорт на внешний сервер

Диагностика проблем Управление отказами и показатели «здоровья»

• Идентификация проблем

• На любом уровне иерархии ACI

• Классификация по степени

серьёзности

• Текущие отказы и хранение истории

• Возможность настройки

• Показатель «здоровья»

• На любом уровне иерархии

• От 0 до 100

• Возможность поиска причин

деградации – анализ первопричины

• Работа с отказами на

контроллерах APIC или отправка

на внешние системы

Статистика на уровне сети и приложений Сбор, накопление, экспорт

• Сбор статистики на уровне

физических и логических объектов:

• Порты

• Ресурсы оборудования

• Группы подключений

• ...

• Накопление и хранение статистики

• Обобщение за интервал времени

• 5/15 мин, час/день/неделя/месяц/год

• Визуализация в GUI

• Автоматический экспорт на

внешний сервер

Cisco ACI для нужд разных подразделений

Application Centric Infrastructure …для сетевых администраторов

• Эффективная система центрального управления

• Инициализация фабрики и построение топологии

• Управление конфигурациями и прошивками

• Сбор, накопление и экспорт статистики

• Информация об отказах и «здоровье»

• Высокая производительность и масштабируемость

• Доступ 1/10G/25G, 40G

• Внутренний транспорт 40/100G с эффективной балансировкой нагрузки и приоритезацией транзакций

• До миллиона IPv4/IPv6 узлов

• Оптимизированный транспорт L2+L3

• Распределённая маршрутизация

• Единая среда коммутации для физических и виртуальных серверов

• Сквозной транспорт P+V

• Поддержка многих гипервизоров

• Детальная телеметрия и диагностика

• Атомарные счётчики

• Инструменты диагностики

Spine: модульные (Nexus 9500) или

фиксированные (9336) Аппаратная база отображения адресов

До 576 x 40/100 G портов на устройство

Высокая плотность за умеренную стоимость

Оптимизация фабрики Оптимальная балансировка

ECMP

Быстрая сходимость

Атомарные счётчики

Leaf (доступ): Nexus 9300 Применение политик

Интеллектуальное

кеширование

Поддержка оверлеев

Улучшенная аналитика

Application Centric Infrastructure …для администраторов виртуализации и «облаков»

• Открытый REST интерфейс для управления/оркестрации

• «Сеть как сервис»

• Декларативная модель

• Поддержка разных сред виртуализации, невиртуализированных серверов, контейнеров

• Интеграция с многими гипервизорами

• Возможность развёртывания невиртуализированных и смешанных ландшафтов (Big Data и т.д.)

• Поддержка изоляции организаций

• Тысячи заказчиков (tenants)

• Автоматизация сервисных цепочек

• Поддержка коммерческих оркестраторов

• VMWare vRealize, Microsoft Azure Pack, Cisco UCS Director…

• Поддержка OpenStack

• Neutron ML2 плагин

• Групповые политики (Group-based policy)

ФИЗИЧЕСКИЙ

СЕРВЕР

VLAN

VXLAN

VLAN

NVGRE

VLAN

VXLAN

VLAN

ESX Hyper-V KVM

ACI фабрика

Application Centric Infrastructure …для администраторов безопасности

• Управление правилами доступа

• Единая точка контроля политик

взаимодействия

• Структура правил/контрактов увязана с

сервисами, а не с адресами

• Нет «накопления» неиспользуемых

правил МСЭ

• Модель «белого списка»

• Всё, что не разрешено, по умолчанию

запрещено

• «Распределённый МСЭ»

• Микросегментация и контроль сессий

• Встраивание средств безопасности

• Физические или виртуальные

• Cisco или другие разработчики

• Полная изоляция организаций (tenants)

• Интегрированные возможности аудита

• Протоколирований действий

администраторов

• API для внешнего анализа соответствия

политикам

• Безопасность управления ACI

• Контроль доступа и ролевое управление

ПРИЛОЖЕНИЯ

Web

Tier

App

Tier

DB

Tier

БЕЗОПАСНОСТЬ

Trusted

Zone

DB

Tier DMZ

Внешний мир

ИНФРАСТРУКТУРА

Application Centric Infrastructure …для администраторов приложений

• Описание логики приложения в терминах приложения, а не

сети

• Не нужен перевод политик «на сетевой язык»: VLAN,

адреса и т.д.

• Переносимость политик между ЦОД

• Возможность расширения среды, миграции P2V и т.д.

• Поддержка полностью или частично виртуализированных

приложений или физических серверов

• Корпоративные приложения

• Web-сервисы

• Big Data

• Мониторинг

• Сетевое «здоровье» конкретного приложения

• Точный учёт трафика каждого из компонентов

• Учёт требований различных классов приложений

• “Mode 1” – традиционные корпоративные системы

• “Mode 2” – распределённая обработка,

программируемость, «инфраструктура как код»

Развитие архитектуры Cisco ACI

23

Новые возможности ACI

Безопасность Port Security

Интеграция с ISE 2.1

Firepower Rapid Threat Containment

ASA “Fabric Insertion” DP

Масштабирование Много ACI модулей в одном

домене политик

Видимость и аналитика Copy Service

Permit Logging

Облачная автоматизация vRealize 7.0

OpenStack: VMware

Масштабируемая

WAN интеграция ASR 9K

Nexus 7K

Гибкость Policy Based Redirect

Маршрутизация multicast

FCoE NPV

vCenter plugin

Новые платформы Nexus 9300-EX (Cloud Scale)

24

Новое поколение Nexus 9000 Переход 10G->25G, 40G->100G

• QSFP28: новый формат 100G трансивера:

• Высокая плотность

• Низкое энергопотребление

• Обратная совместимость с 40G QSFP трансиверами

• Возможность «разбить» на 4*10G/4*25G

• 25G Ethernet (SFP28)

• Производительность x2.5 при близкой цене

• Обратная совместимость с 1/10G SFP

• Пример реализации: Cisco Nexus 93180YC-EX

• 48 портов 1/10/25G + 6*40/100G в том же формате, что и 48*1/10G+6*40G по той же цене, что и модель предыдущего поколения!

• Поддержка 10/25/40/50/100G

Nexus 9372PX-E

Nexus 93180YC-EX

25

Коммутаторы Nexus 9000 для ACI фабрики

9504 9508 9516

Nexus 9500

32 40/100G QSFP Line card

• break-out to 10/25/50G

NX-OS и ACI

+ или

Nexus 9336

(“mini-spine”)

Nexus 9300-EX

48p 100M/1/10GT + 6p 40/100G QSFP Nexus 93108TC-EX

48p 1/10/25G SFP + 6p 40/100G QSFP Nexus 93180YC-EX

Leaf

Spine

Nexus 9300

36p 40G QSFP

26

Модульная фабрика ACI ACI Multi-Pod

Pod

‘A’

MP-BGP - EVPN

Single APIC Cluster

Несколько модулей (ACI Pod)

связанных IP сетью (Inter-Pod network),

каждый состоит из набора leaf и spine

Управлением единым кластером APIC

Единый домен управления и политик

Изоляция доменов отказов протоколов

control plane (IS-IS, COOP)

Инкапсуляция VXLAN между модулями

Сквозное применение политик

Pod

‘n’

Inter-Pod Network

…

ACI 2.1: до 6 модулей, до 300 leaf суммарно, до 200 leaf на модуль

IS-IS, COOP, MP-BGP

27

Масштабируемая интеграция ACI с WAN роутерами

WAN

VRF-1 VRF-2

IP Network

Web/App

MP-BGP

EVPN

‘GOLF’

Devices Масштабирование уровня передачи данных и управления

VXLAN инкапсуляция между ACI spines и WAN роутерами

BGP-EVPN control plane между ACI spines и WAN роутерами

OpFlex для обмена настройками (имена VRF, BGP Route-Targets и т.д.)

Применение политик на ACI коммутаторах (в обоих направлениях)

Поддержка маршрутизаторов

Nexus 7000, ASR9000

ASR1000 – рассматривается

Может сочетаться с ACI MultiPod

Cisco ACI 2.0/2.1: рост масштабируемости

Service Chains Up to 1,000

Leafs Up to 200 Per Pod

Up to 300 Across 6 Pods

Multicast Groups Up to 8,000

Bridge Domains Up to 21,000 (L2)

Up to 15,000 (L3)

EPGs Up to 21,000

Max 500 Per Tenant

Other Up to 5 APICs

Up to 50 vCenters

Up to 1,000 Contracts

Tenants Up to 3000

Cisco ACI vCenter Plugin

vCenter Plugin

vSphere Web Client vCenter

VMM Domain

• GUI интегрированный в vSphere

Web Client для управления ACI

фабрикой

• Позволяет администратору

настраивать или контролировать

ACI фабрику через знакомый

интерфейс

• Фокус на простоте: не требуется

детального знания ACI

Cisco ACI vCenter Plugin Возможности

Настройка Внешние подключения, диагностика

• Может создавать, настраивать

удалять:

• Tenant

• Application Profile

• EPG / MicroEPG

• Contract

• Filter

• VRF

• Bridge Domain

• Ограниченные операции с

L2/L3Out

• Может использовать

существующие внешние EPG

• Не может модифицировать

• L4-7 Service Graphs

• Может использовать

существующие Service Graph

• Не может создавать шаблоны

Service Graph

• Может менять параметры

функуионального профиля

• Средства диагностики

34

FCoE NPV в ACI фабрике

Host - CNA

VF VF

VF

VNP

VNP

FCOE

NPV

N5K

N7K

MDS FCF

FC

Storage

Supported

Hardware

N93180YC-EX

N93108TC-EX

Physical Port carrying both LAN &

SAN Traffic

VF

FCoE

• Единый уровень доступа для LAN и SAN

• FCOE трафик от CNA адаптера сервера к

SAN коммутатору через ACI Leaf

• Хост подключается к Virtual F (VF) портам

на ACI Leaf

• FCOE трафик отправляется на Fiber

Channel Forwarder (FCF) через Virtual Node

Proxy (VNP) функцию

• Требует 9300–EX в качестве leaf

• В качеcтве FCF – Cisco MDS или Nexus

5K/7K

Принятие Cisco ACI заказчиками

36

Принятие ACI заказчиками

• Поставляется с 2014 года

• Более 1800 заказчиков ACI в мире (данные на 2

квартал 2016 г)

• Заказчики ACI в России и СНГ:

• Операторы

• Промышленность/энергетика

• Интернет сервисы

• Финансовые услуги

• ....

37

Развитие успеха ACI/9K $2 млрд продаж в годовом выражении

8500+ 50+ 1800+ заказчиков Nexus 9K и ACI по всему миру

Экосистемных партнёров

Заказчиков ACI

Новые! Экосистема