Развитие архитектуры ЦОД и ориентированная на приложения инфраструктура Cisco ACI

Скороходов Александр Системный инженер-консультант askorokh@cisco.com

Развитие на всех направлениях Путеводитель по нашей презентации

Доступ: 1G->10G-> 25G Магистраль: 10G->40G->100G

Скорости и подключения

Протоколы и архитектура

STP/ VPC

L2 фабрики: FabricPath

L2/L3 фабрика: VXLAN

Фабрика c интеграцией политик: ACI

Управление Вручную

/CLI Программируемость

+ DevOps

Автоматизация + управление по политикам

Аналитика

Скорости и подключения

Скорости передачи

Gigabit Ethernet •  Есть на любом сервере •  Отработанная технология •  Узкое место •  Задержка сериализации •  Последний продукт Cisco для ЦОД с портами 1G: Nexus 2248TP-E, 2011 г

Подключение серверов

10 Gigabit Ethernet •  Доступен как LOM или опция

•  Поддержка FCoE и виртуализации

•  Варианты: оптика, кабельные сборки (DAC/AOC), витая пара

•  Поддержка во всех семействах коммутаторов Cisco для ЦОД: Nexus 2K/3K/5K/7K/9K

Встречайте: 25 Gigabit Ethernet •  Высокая производительность

(x2.5) •  Тот же тип передачи, что и

10G (single lane), совместимость гнезд для трансиверов (1/10/25G SFP)

•  Существенно проще/ дешевле, чем 40G

•  Увязка с новым поколением 100G подключений (QSFP28)

•  Поддержка на новых коммутаторах Nexus 3K/9K по цене, близкой к 10G

Скорости передачи

10 Gigabit Ethernet •  Отработанная технология •  Разнообразие вариантов трансиверов (SR, LRM, LR, ER, ZR, DWDM)

•  Выше цена за единицу полосы, чем для 40/100G

•  Ограничение общей производительности коммутатора – размер трансивера

Магистральные подключения

40 Gigabit Ethernet •  Хорошая доступность на современном оборудовании

•  Cisco BiDi для работы по одной многомодовой паре, LRL4 для недорогих одномодовых соединений

•  Во всех коммутаторах Cisco для ЦОД, выпущенных за последнее время: Nexus 2300, 3100, 5600, 7000/7700, 9300, 9500…

100 Gigabit Ethernet •  Высокая производительность

•  Трансиверы QSFP28 – компактный коннектор, обратная совместимость с 40G QSFP трансиверами, снижение цены за порт

•  Поддержка на новых коммутаторах Nexus 3K/9K по цене, близкой к 40G

6

QSFP28 Новое поколение трансиверов 100G Ethernet

•  Новый форм-фактор 100G трансивера: QSFP на большей скорости на линию: 4*28G

•  Высокая плотность (сравнительно с CFP/CFP2/CPAK…)

•  Низкое энергопотребление •  Обратная совместимость с 40G QSFP трансиверами

•  Возможность «разбить» на 4*10G/4*25G •  Нет поддержки 100GBASE-SR10 •  Пример использования: Nexus 3232C

•  32 порта 100G в том же формате, что и 32*40G (Nexus 3132Q), цена (с L3) отличается только в ~1.4 раза

•  Поддержка 10/25/40/50/100G •  Уже отгружается!

Nexus 3132Q-X

Nexus 3232C

Экономика трансиверов 10G, 40G, 100G На конец 2015 года

Сравнение стоимости за единицу пропускной способности (для бюджетных типов трансиверов): •  40GBASE-SR4 - дешевле за 10G линию, чем отдельные 10G трансиверы

•  Трансивер 40GBASE-BD менее чем в два раза дороже 10G - и работает по такой же оптической линии!

•  Трансивер 100G CPAK (SR10) чуть дороже за 10G линию, чем 10G/40G альтернативы, QSFP28 (SR4) почти сравнялся с 40GBASE-BD, и требует (по сравнению с SR10) 4 пары вместо 10

7

0

0,2

0,4

0,6

0,8

1

1,2

1,4

$/Gbps, в сравнении с 10GBASE-SR

10GBASE-SR

40GBASE-SR4

40GBASE-CSR4

40GBASE-BD

100GBASE-SR10 (CPAK)

100GBASE-SR4 (QSFP28)

Протоколы и архитектура

Протоколы и архитектура сети ЦОД

VPC •  Отработанная технология

•  Уход от STP без изменений топологии

•  Совместим с FCoE •  Сохраняет логику STP •  Нет горизонтальноого масштабирования – усложнение архитектуры при росте

•  Поддерживается на всех моделях Nexus

FabricPath •  Хорошая доступность на современном оборудовании

•  Богатый набор дополнительных функций

•  Поддерживает FCoE •  Требует сквозного использования Nexus

•  Не поддерживается на хостах •  Поддержка на «старых» семействах Cisco Nexus: 5500/5600/6000, 7000/7700…

VXLAN •  IETF стандарт •  Работа через IP сеть •  Поддержка на хостах и коммутаторах

•  Стандартизован уровень управления – MP-BGP (VXLAN/EVPN)

•  L2+L3 транспорт (с EVPN) •  Мультивендорная поддержка •  Основа для Cisco ACI •  Во всех современных моделях Nexus: 5600, 9300/9500, 7000/7700 (F3)

VXLAN транспорт И его развитие

Уровень управления

Инкапсуляция

VXLAN

Выучивание на уровне коммутации •  Flood & Learn в мультикастовой группе, в которой участвуют все устройства

•  Уровень управления отсутствует

Выучивание на уровне протокола: EVPN • Анонс ассоциации L2 и L3 адресов с VTEP с использованием MP-BGP

• Предотвращение фладинга • Интеграция коммутации 2 и 3 уровня • Оптимальное распространение ARP

t

Варианты распространения BUM трафика • Multicast или репликация на источнике через unicast

Использование для связи ЦОД? • Требуется развитие

11

Программируемая сеть Программируемая фабрика

Application Centric Infrastructure

DB DB

Web Web App Web App

Опора на стандарты: VxLAN-BGP EVPN

Контроллер VTS для развёртывания и управления оверлейными сетями

для N2K-N9K

Возможность использования сторонних контроллеров

Современная NX-OS с расширенным NX-API

Экосистема автоматизации (Puppet, Chef, Ansible и т.д.)

Единый NX-API для N2K-N9K

Готовое интегрированное решение: единое управление, безопасность, масштабируемость, автоматизация

Ориентированная на приложения модель политик со встроенной

безопасностью

Широкая экосистема

Развитие SDN решений Cisco для ЦОД выбор подходов к автоматизации и программируемости

Широкий круг заказчиков (коммерческие, корпоративные, госсектор) Сервис провайдеры ЦОД мега масштаба

VTS

Cisco ACI: новое поколение сети ЦОД

Cisco ACI Самое полное решение для сети ЦОД

Application Centric Infrastructure

Автоматизация на основе политик

Физические серверы, виртуальные машины и контейнеры

Открытость, опора на стандарты, встроенная безопасность

14

Развитие подходов к построению сети ЦОД Традиционная модель сети

Альтернативная SDN модель

Новая модель сети

Существующая модель эксплуатации Проверенное решение Много точек управления Негибкость Самая медленная часть инфраструктуры ЦОД «Хрупкость»

Остаётся сложность Отдельные оверлей и транспортная сеть Зависимость от гипервизора Несколько точек управления и диагностики

Программная виртуализация сети

Application Centric Infrastructure

Сумма устройств

Управление по политикам Устраняет сложность Аппаратные оверлеи Независимость от гипервизора Автоматизация и программируемость Защита инвестиций

15

Cеть и приложения Два разных языка

Язык владельцев приложений

?

Язык администраторов сети

•  VLAN •  IP адреса •  Подсети •  МСЭ •  Quality of Service •  Балансировщики нагрузки

•  Access Lists •  ...

•  Структура уровней приложения, связи и зависимости между ними

•  Требования безопасности •  Service Level Agreement •  Производительность •  Соответствие норм. треб. •  Зависимость от расположения •  ...

Политика Связь требований приложений с инфраструктурой

Язык сети

Язык вычислений

Язык безопасности

Язык приложений

•  Уровни приложений •  Производительность •  SLA •  Доступность •  Безопасность •  Нормативные требования

Общая политика

App Network Profile

UCS Service Profile

17

Эксперт определяет политику 1

Cisco ACI: модель ресурсов и политик Перенос опыта Cisco UCS в сетевую инфраструктуру

СИСТЕМНЫЙ ПОДХОД: Быстрое разворачивание приложений. Масшабируемость, безопасность и полный контроль

Network SME

Security SME

Application SME

APIC

2 Политика используется для создания модели приложения

3 Автоматическая конфигурация политики во всей инфраструктуре

Управление жизненным циклом политики в день 1, день 2

4

Physical Networking

Compute L4–L7 Services

Storage Hypervisors and Virtual Networking

Multi DC WAN and Cloud

Nexus 2K

Nexus 7K

Integrated WAN Edge

Cisco ACI новое поколение инфраструктуры ЦОД

ACI фабрика

Программируемость, масштабируемость, открытость

App DB Web

Внешняя сеть передачи данных

QoS

ACL

QoS

LB

QoS

МСЭ, LB

Application Policy Infrastructure

Controller

APIC

Модель политик ACI профиль приложения

Сетевой профиль приложения (ANP) представляет собой набор групп EPG и политик, которые определяют правила взаимоотношений между группами

Контракты

Сетевой Профиль Приложения

Контракты

EPG A Service A

Service A

Service A

Service A

Service B

Service B

Service B

Service B

EPG B Service C

Service C

Service C

Service C

Service C Service C

EPG C Service D

Service E

Service D

Service E

Модель политик ACI End-Point Group (EPG)

HTTPS Service

HTTPS Service

HTTPS Service

HTTPS Service

HTTP Service

HTTP Service

HTTP Service

HTTP Service

EPG - Web

EPG – логическая группа конечных хостов представляющих приложение целиком или компоненты приложения,

(в общем случае) не зависящая от сетевых атрибутов

Модель политик ACI различные методы определения элементов EPG

Ø  Интерфейс, при помощи которого конечное устройство подключается к сети

Ø  Имеет адрес (identity), местоположения, атрибуты (version, patch level)

Ø  Может быть физическим или виртуальным

Примеры критериев отнесения к EPG §  Физический порт (leaf или FEX) §  Логический порт (VM port group) §  VLAN ID §  VXLAN (VNID) §  Атрибуты виртуальных машин §  IP адрес (применительно ко внешним подключениям) §  IP Prefix/Subnet (применительно ко внешним подключениям)

Сервер

Виртуальные машины или контейнеры

СХД

Клиенты

Application Policy Infrastructure Controller Централизованная автоматизация и управление фабрикой

•  Единая точка управления политиками в сети ЦОД:

•  Профили приложений

•  Интеграция с сервисами L4-L7 •  Открытая модель данных для управления при помощи внешних средств оркестрации

•  Мониторинг приложений, поиск и устранение неисправностей фабрики

•  Накопление статистики/телеметрии •  Управление образами ПО коммутаторов

•  Не принимает непосредственное участие в передаче данных

•  Не занимается детальной настройкой

•  Кластеризация для масштабирования и доступности (от 3 до 5 и более узлов)

Сервисы 4..7 Управление системами

Управление СХД

Оркестрация

Storage SME Server SME Network SME

Security SME App. SME OS SME

Открытый RESTful API

Управление при помощи политик

APIC

23

Сетевая фабрика ACI

•  Наиболее эффективная фабрика в индустрии: •  1/10 Gb на границе сети, высокая плотность 40GE на Spine и возможность перехода на 100GE

•  До 1 миллиона IPv4 и IPv6 хостов •  Тысячи логических организаций (tenants) •  Десятки тысяч 1/10 Gb серверов

•  Маршрутизируемая фабрика – оптимальная передача IP трафика

•  Масштабируемая распределённая коммутация (L2) и маршрутизация (L3) для VXLAN, NVGRE*, VLAN

•  Не требуются программные шлюзы – физические или виртуальные

•  Гибкость развертывания приложения – нет ограничений при выборе точки их размещения в фабрике

•  Полная прозрачность – физическая или виртуальная нагрузка

•  Передача метаданных вместе с трафиком •  Детальное управление по политикам без необходимости программировать потоки

Spine: модульные (Nexus 9500) или фиксированные (9336) Аппаратная база отображения адресов До 576 x 40 Gb портов на устройство Высокая плотность за умеренную стоимость

Оптимизация фабрики Использование IEEE 1588 для измерения задержки Оптимальная балансировка ECMP

Leaf (доступ): Nexus 9300 Применение политик Интеллектуальное кеширование Поддержка терминации оверлеев Улучшенная аналитика

APIC

24

Фабрика с поддержкой нескольких гипервизоров

•  Заказчик не ограничен в выборе платформы виртуализации: VMWare, Microsoft, OpenStack или использовании невиртуализированных серверов

•  Возможность использования нескольких VMM в одной группе EPG

•  Интегрированный шлюз для VLAN, VxLAN, NVGRE* сетей

Интеграция с физическим и виртуальным миром

Сетевой администратор

Администратор приложения

ФИЗИЧЕСКИЙ СЕРВЕР

VLAN VXLAN

VLAN NVGRE*

VLAN VXLAN

VLAN

ESX Hyper-V KVM

Управление гипервизором

ACI фабрика

APIC

APIC

ACI: интеграция с сервисами 4 - 7 уровня Централизация, автоматизация и поддержка существующей модели

•  Эластичность вставки сервиса физического или виртуального

•  Помощь в административном разделении между уровнями приложения и сервиса

•  APIC – центральная точка контроля сети и согласовании политик

•  Автоматизация процесса развертывания/свертывания сервиса посредством программируемого интерфейса

•  Поддержка текущей операционной модели эксплуатации

•  Применение сервиса вне зависимости от места нахождения приложения

Web Server

App Tier A

Web сервер

Web Server

App Tier B

App сервер

Сервисная послед-ть “Security 5”

Политика перенаправления

Администратор приложения

Администратор сервиса

Серв.

граф

begin end Stage 1 …..

Stage N

Pro

vide

rs inst

inst

…

МСЭ

inst

inst

…

Балансировка

……..

Сервисный

профиль

Определение “Security 5”

ACI фабрика: управление трафиком

Фокус на времени отклика приложения

•  ACI фабрика отслеживает перегрузки на всем пути передачи входящим и исходящим leaf (измерения в реальном времени) ‒ Перегрузка на внешних портах коммутаторов (external wires) ‒ Перегрузка на соединениях ASIC-to-ASIC

(internal wires) •  Фабрика балансирует потоки трафика по принципу ‘flowlet switching’ ‒ Динамическое перенаправление активных потоков с загруженного пути на менее загруженный путь передачи трафика

•  Фабрика приоритезирует небольшие потоки ‒ Увеличение скорости реакции для интерактивных соединений

APIC

Мониторинг приложения Видимость на уровне приложения и его компонент

Действия: Не добавлять хосты или VM Отключить хост гипервизора Перебалансировать кластер

PetStore Событие

PetStore Dev •  Leaf 1 и 2 •  Spine 1 – 3 •  Atomic counters

PetStore Prod •  Leaf 2 и 3 •  Spine 1 – 2 •  Atomic counters

PetStore QA •  Leaf 3 и 4 •  Spine 2 – 3 •  Atomic counters

VXLAN

статистика для каждого узла

Физическая и виртуальная нагрузка

ACI фабрика предоставляет аналитические возможности следующего поколения

Приложение, потребитель (tenant) и инфраструктура: •  Показатели здоровья (health scores) •  Задержка •  Atomic counters •  Потребление ресурсов

Интеграция с управлением нагрузкой – первичное размещение и миграция

Триггерное событие

APIC

Открытая экосистема ACI Все возможности доступны благодаря открытому API и модели данных

Объектно-ориентированная Автоматизация

RESTful XML / JSON

Открытая экосистема

Программируемость Полный доступ к системе

посредством API

Northbound API •  Быстрая интеграция с существующими средствами управления

•  Поддержка приложений и орг. cтруктуры (tenant)

•  Поддержка OpenStack

Southbound API •  Опубликованная модель данных

•  Опубликованная инкапсуляция •  Протокол OpFlex для открытой интеграции элементов в ACI

•  Встраивание L4-L7 сервисов *Есть ограничения, обращайтесь за уточнениями

Системное управление

Управление гипервизорами

Средства автоматизации

Средства оркестрации

Преимущества архитектуры ACI

Application Centric Infrastructure …для администраторов приложений

•  Описание логики приложения в терминах приложения, а не сети •  Нет потребности в «переводе на сетевой язык»: VLAN, адресов и т.д.

•  Переносимость политик между ЦОД •  Возможность расширения среды, миграции P2V и т.д.

•  Поддержка полностью или частично виртуализированных приложений или физических серверов

•  Корпоративные приложения •  Web-сервисы •  Big Data

•  Управление инфраструктурой, а не коммутаторами •  Декларативная модель: описание желаемых политик для приложений, а не конкретных настроек сетевых устройств

•  Мониторинг •  Сетевое «здоровье» конкретного приложения •  Точный учёт трафика каждого из компонентов APIC

Application Centric Infrastructure …для администраторов безопасности

•  Управление правилами доступа •  Единая точка контроля политик взаимодействия •  Структура правил/контрактов увязана с сервисами, а не с адресами

•  Нет «накопления» неиспользуемых правил МСЭ •  Модель «белого списка»

•  Всё, что не разрешено, по умолчанию запрещено •  «Распределённый МСЭ»

•  Микросегментация и контроль сессий •  Встраивание средств безопасности

•  Физические или виртуальные •  Cisco или другие разработчики

•  Полная изоляция организаций (tenants) •  Интегрированные возможности аудита

•  Протоколирований действий администраторов •  API для внешнего анализа соответствия политикам

•  Безопасность управления ACI •  Контроль доступа и ролевое управление

ПРИЛОЖЕНИЯ

Web Tier

App Tier

DB Tier

БЕЗОПАСНОСТЬ

Trusted Zone

DB Tier

DMZ

Внешний мир

ИНФРАСТРУКТУРА

APIC

Application Centric Infrastructure …для облачных архитекторов

•  Открытый REST интерфейс для управления/оркестрации

•  Поддержка разных сред виртуализации и физических нагрузок

•  Интеграция с несколькими гипервизорами в одном приложении

•  Возможность развёртывания невиртуализированных ландшафтов (Big Data и т.д.)

•  Возможность развёртывания приложений с виртуальными и физическими компонентами

•  Поддержка изоляции организаций •  Тысячи заказчиков (tenants)

•  Управление инфраструктурой, а не коммутаторами •  Декларативная модель: «сеть как сервис»

•  Автоматизация сервисных цепочек •  Поддержка OpenStack

•  Интеграция c OpenStack Neutron •  Интеграция модели политик (Group Based Policy)

ФИЗИЧЕСКИЙ СЕРВЕР

VLAN VXLAN

VLAN NVGRE

VLAN VXLAN

VLAN

ESX Hyper-V KVM

ACI фабрика APIC

Application Centric Infrastructure …для сетевых администраторов

•  Эксплуатация сети как единого комплекса, а не набора устройств

•  Сокращение рутинных операций •  Снижение числа ошибок

•  Высокая производительность и масштабируемость •  Доступ 1/10G, 40G •  Внутренний транспорт 40G (с развитием к 100G) с эффективной балансировкой нагрузки и приоритезацией транзакций

•  До миллиона IPv4/IPv6 узлов •  Десятки и сотни тысяч портов

•  Оптимизированный транспорт L2+L3 •  Распределённая маршрутизация

•  Единая среда коммутации для физических и виртуальных серверов

•  Сквозной транспорт P+V •  Поддержка многих гипервизоров

•  Детальная телеметрия и диагностика •  Измерение задержки и счётчики

Spine: модульные (Nexus 9500) или фиксированные (9336) Аппаратная база отображения адресов До 576 x 40 Gb портов на устройство Высокая плотность за умеренную стоимость

Оптимизация фабрики Использование IEEE 1588 для измерения задержки Оптимальная балансировка ECMP

Leaf (доступ): Nexus 9300 Применение политик Интеллектуальное кеширование Поддержка терминации оверлеев Улучшенная аналитика

APIC

Основные сценарии внедрения ACI

Сетевая автоматизация •  Сохранение сетевой номенклатуры: VLAN, VRF и т.д.

•  Использование APIC как единой точки управления и программирования

•  Возможность дальнейшего развития модели применения политик

На основе опыта существующих внедрений

«Облако для разработчиков» •  Быстрое развёртывание и тиражирование защищённых ландшафтов разработки и тестирования

•  Возможность переноса политик в продуктивную среду

•  Альтернатива использованию внешних облаков: защита данных и сокращение CapEx

Изоляция «организаций» •  Изоляция трафика и управления

•  Консолидация в единой инфраструктуре

•  Различные системы (АСУП/АСУТП)

•  Различные подразделения (продажи/разработка)

•  Резервирование многих ЦОДов

•  Слияние/приобретение/ разделение организаций

В заключение

•  Материалы на сайте Cisco: •  «Cisco Application Centric Infrastructure

Fundamentals» •  «Operating Cisco Application Centric Infrastructure» •  «Troubleshooting Cisco Application Centric

Infrastructure»

•  Книга на русском языке – только что выпущена. Автор и тираж на конференции!

•  Заинтересовались? Вопросы? Хотите демо? Обращайтесь на aci-russia@cisco.com

CiscoRu Cisco CiscoRussia

Ждем ваших сообщений с хештегом #CiscoConnectRu

CiscoRu

Пожалуйста, заполните анкеты. Ваше мнение очень важно для нас.

Спасибо Contacts: Name Александр Скороходов Phone +7(495)789-8615 E-mail askorokh@cisco.com