Эволюция технологий

сетевой фабрики ЦОД

Скороходов Александр

Системный инженер-консультант

askorokh@cisco.com

Что такое сетевая фабрика ЦОД?

• История термина

• Типовая архитектура коммутатора: матрица

коммутации (“crossbar”)

• Похожа на структуру ткани (fabric)

• Отсюда термин «switching fabric»

применительно к коммутационному элементу

• Network fabric – подчеркивает, что сеть «ведёт

себя как коммутатор»

• Первоначально появилось применительно к

сетям хранения данных

• Позднее – и применительно к сетям передачи

данных (не обязательно в контексте

конвергентного транспорта!)

И что на ней производят? ;)

Что такое сетевая фабрика ЦОД?

• Нет одного формального определения

• «Выглядит как коммутатор»

• Направление развития индустрии, а не конкретная технология

• Типичные свойства:

• Простота – «плоская» архитектура с простой логикой коммутации,

упрощение управления

• Масштабируемость – горизонтальное масштабирование, высокая

производительность

• Надёжность – модель резерирования N+1, быстрая сходимость

• Гибкость – «любая нагрузка в любом месте»: растягивание сегментов

• Управляемость/программируемость – возможность гибко выстраивать

(«оркестировать») сетевой транспорт под потребности приложений

В поисках определения

4

Модель «spine-leaf» (сеть Клоза)

• Почему набирает популярность?

• Уход от STP!

• Дальнейшее развитие…

• Развитие масштабируемости и ускорение сходимости управляющих протоколов

• Повышение эффективности балансировки трафика

• Ограничение доменов отказов

• Популярный подход для построения фабрик в ЦОД

• Преимущества

• Высокая устойчивость к отказам (N:1)

• Высокая производительность

• Масштабируемость производительности и числа портов

• Сокращение числа уровней и модулей

Уровень Spine («хребет»)

Уровень Leaf («листья»)

Рисунок из статьи Чарльза Клоза, 1952 г.

Продолжение развития инфраструктуры ЦОД

Многоуровневый

дизайн Сетевые фабрики

Автоматизация

фабрик

Application

Centric

Infrastructure

Федерированные

облака

Catalyst 6500, MDS

Nexus, UCS

Cisco ONE, Open Source

Инновации ACI

Гибридные облака

Связность Упрощение Гибкость Federation Виртуализация

Самая популярная платформа в индустрии

26,000 заказчиков UCS

52,000 заказчиков NX-OS

Fabric Path, DFA

Распределённый коммутатор доступа

Распределённый коммутатор доступа «Фабрика доступа»

• Не является полноценной «фабрикой»

• Нет горизонтального масштабирования Spine уровня

• Резервирование 1+1 с помощью LACP (или на уровне хоста)

• Тем не менее, решает часть её традиционных задач

• Уход от опоры на Spanning Tree

• Единая точка управления

• Модель управления – «один большой коммутатор»

• Удобно для «сетевиков», но не помогает «прикладникам»

• Подходит для небольших внедрений

8

Распределённый

виртуальный модульный

коммутатор

(3000+ портов Ethernet)

+

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500/6000

Cisco Nexus® 2000 FEX

Cisco Nexus® 7000/7700

+

Виртуальное модульное шасси с FEX Nexus 5500/6000/7000 + Nexus 2000

Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000

Единый конфигурационный файл

Между FEX и Nexus 5500/7000 не используется STP

Fabric Extender(FEX) унификация уровня доступа

• Поддержка Nexus 5000/5500, 7000 и UCS 6100 как «материнских устройств»

• Сочетание моделей внедрения EoR, MoR, ToR

• Миграция к 10GE и FCoE подключениям серверов

• Сочетание типов кабелей (оптика и медь)

• Гибкость выбора головных устройств, типов FEX, способа размещения и соединения

• Поддержка модулей для блейд-систем HP, Dell, Fujitsu, IBM

Уровень

доступа Серверы

VSS/vPC

Nexus 2000 Fabric Extender

Nexus

6000

Медь/

Twinax

FET/Twinax

Cisco FabricPath

Горизональное масштабирование производительности

Spanning-Tree

Активных

путей

До 15 Тбит/с

Один

Виртуализация инфраструктуры и производительность

Масштабируемость Layer 2

vPC

До 30 Тбит/с

Два

FabricPath

До 240 Тбит/с

16

16 коммутаторов

Производитель-

ность блока

Cisco FabricPath: ключевые возможности

• Маршрутизация на втором уровне – «лучшее из двух миров»: «надмножество» возможностей IETF TRILL

• Быстрая сходимость, оптимальные пути

• Устранение Spanning-Tree Protocol внутри сети

• Стабильность, сходимость, производительность

• Использование до 16 альтернативных путей (ECMP) – до 256 соединений!

• горизональное масштабирование производительности

• снижение чувствительности к отказам

• Выучивание MAC «по диалогам»

• эффективное использование таблиц

• Совместимость с «классическим» Ethernet

• VPC+ обеспечивает VPC в L2MP сеть

• Поддержка FEX для ещё большей масштабируемости

• Простота настройки

Принцип коммутации в FabricPath

• Входной FabricPath коммутатор определяет Switch ID выходного и добавляет заголовок FabricPath

• Switch ID выходного коммутатора используется для маршрутизации в ядре FabricPath

• Не нужно выучивание или просмотр MAC адресов в ядре

• Выходной FabricPath коммутатор снимает заголовок FabricPath и передаёт фрейм в CE порт

STP

FabricPath Core

→ FabricPath interface

→ CE interface

STP

MAC A MAC B

S10 S20

DMAC→B

SMAC→A

Payload

DMAC→B

SMAC→A

Payload

Ingress FabricPath

Switch

Egress FabricPath

Switch

DMAC→B

SMAC→A

Payload

DSID→20

SSID→10

DMAC→B

SMAC→A

Payload

DSID→20

SSID→10

DMAC→B

SMAC→A

Payload

DMAC→B

SMAC→A

Payload

Диалоговое выучивание MAC адресов в FabricPath

(conversational MAC Learning)

• Используется для экономии места в таблицах на пограничных коммутаторах

Коммутаторы ядра FabricPath вообще не выучивают MAC адреса

• Коммутатор различает два типа MAC адресов:

Локальный – MAC, подключенный к коммутационному блоку CE портом

Удалённый – MAC, подключенный к другому коммутатору или коммутационному блоку

• Удалённые MAC выучивается только если между ним и локальным MAC возникает «диалог»

Выучивание MAC не вызывается широковещательными пакетам

FabricPath Core

MAC A MAC B

FabricPath

MAC Table on S100 MAC IF/SID

A e1/1 (local)

B S200 (remote)

S100

S200

S300

FabricPath

MAC Table on S200 MAC IF/SID

A S100 (remote)

B e12/1(local)

C S300 (remote)

FabricPath

MAC Table on S300 MAC IF/SID

B S200 (remote)

C e7/10 (local)

VPC+ для сопряжения с

традиционными сетями

• VPC+ обеспечивает PortChannel-

подключение к пограничным коммутаторам

FabricPath домена внешних не-FabricPath

устройств

CE коммутатор, маршрутизатор, сервер и

т.д.

• VPC+ создаёт «виртуальный FabricPath

коммутатор» чтобы обеспечить

балансировку нагрузки в FabricPath домене

• При настройке HSRP на VPC+ домене

HSRP MAC адрес ассоциируется с

виртуальным коммутатором – все пути и

оба устройства активны

FP FP

VPC+ FP

FP FP

S1 S2

po3

FP

FP FP

VPC+ FP

FP FP

S1 S2

po3

FP

Host A→S4→L1,L2 S3

Host A

Host A

L1 L2

S3

L1 L2

S4

Физически

Логически

Виртуальный “Switch 4” становится next-hop

коммутатором для хоста A в FabricPath домене

Маршрутизация L3 в сети FabricPath

VPC+ и Anycast HSRP

L3

L2

L3

L2

• vPC+ использует Emulated Switch ID (ESID) как «источник» vMAC шлюза по умолчанию.

Маршрутизация на паре коммутаторов – Spine или выделенная пара Leaf

• Anycast HSRP (поддерживается с NX-OS 6.2.2): использует Anycast Emulated Switch ID

(A-ESID) как «источник» vMAC шлюза по умолчанию. Маршрутизацию осуществляют до

4 коммутаторов (на данном этапе, потенциально – до 16) с распределением нагрузки

между ними

VPC+ Anycast HSRP

FabricPath в корпоративном ЦОД

• Существенное повышение производительности

• Сокращение числа устройств

• Повышение надёжности

• Упрощение эксплуатации

меньше устройств

проще настройка

Альтернатива традиционной архитектуре с STP

Традиционная сеть со Spanning Tree Сеть на базе FabricPath

Fu

lly N

on

-Blo

ckin

g

2, 048 Servers

8 Access Switches 64 Access Switches

2, 048 Servers

Blocked Links

Overs

ub

scri

pti

on

16:1

8:1

2:1

4 Pods

FabricPath

Dynamic Fabric Automation

Архитектура Dynamic Fabric Automation

• Анонсирована на CiscoLive Orlando в июне 2013, доступность планируется на начало 2014 года

• Включает в себя:

• Оптимизированный распределённый транспорт: L2+L3, физические и виртуальные узлы

• Виртуальные «сетевые контейнеры» на основе виртуальных сегментов до уровня физических серверов и VM

• Программируемость, автоматизация, открытые API

• Опирается на существующие семейства оборудования: Nexus 6000/7000/7700

• Строится на существующих технологиях Nexus/NX-OS с дополнительными улучшениями и единым управлением с возможностями программирования и автоматизации

• Подобнее услышать и увидеть можно на демосессии 21 ноября

Архитектура Dynamic Fabric Automation

• Анонсирована Cisco в июне 2013

• Возможности: • Оптимизированный распределённый

транспорт: L2+L3, физические и виртуальные узлы

• Виртуальные «сетевые контейнеры» на основе виртуальных сегментов до уровня физических серверов и VM

• Программируемость, автоматизация, открытые API

• Опирается на существующие семейства оборудования: Nexus 6000/7000/7700

• Существующие технологиях Nexus с дополнительными улучшениями и единым управлением с возможностями программирования и автоматизации

Достоинства

Любая подсеть в любом месте по потребности

Сокращение доменов отказов

Масштабируемость и отказоустойчивость

Управление конфигурациями по шаблонам

Any/all subnets on any leaf

Any/all leaf distributed default gateways

N Spines/Paths + scale-out model

n1000v# show port-profile name WebProfile

port-profile WebServer-PP

description:

status: enabled

system vlans:

port-group: WebServers

config attributes:

switchport mode access

switchport access vlan 110

no shutdown

security-profile Protected-Web-Srv

evaluated config attributes:

switchport mode access

switchport access vlan 110

no shutdown

assigned interfaces:

Veth10

Network Config Profile Network Services Profile

Network Services Controller Network Manager

Архитектура Dynamic Fabric Automation …Оптимизированная сеть

• Любая подсеть на любом узле

Все узлы могут разделять IP и MAC адрес шлюза – без HSRP

ARPы терминируются на входе в сеть – нет фладинга

• Упрощает мобильность VM Mobility, распределение нагрузок, организацию кластеров

IP: 11.1.1.1 GW IP: 10.1.1.1

GW MAC:

0011:2222:3333

L3

L2

Распределённый

«шлюз по умолчанию»

Облегчает масштабирование

Архитектура Dynamic Fabric Automation Сеть: распределённый «шлюз по умолчанию»

ISIS для связности внутри фабрики

Достижимость коммутаторов внутри

фабрики

Поддержание альтернативных

маршрутов (ECMP)

Быстрая реакция на отказ линков/узлов

Не распространяет информацию о

хостах/ подсетях и управляющий трафик

Распространение информации о хостах

Используются iBGP RRs

Мультикаст группы также

распространяются через iBGP

Четкое разделение уровней управления

WAN/Core

R

R R

R

Архитектура Dynamic Fabric Automation Сеть: служебные протоколы фабрики

Достоинства

Сегментация маршрутизации и коммутации

Масштабируемые и безопасные

«Видимость» для трафика клиентов

Любая нагрузка – и клиент – в любом месте

HR Finance

Manufacturing Sales

Архитектура Dynamic Fabric Automation …Виртуальные фабрики (vFabric)

WAN/Core

• Фрейм приходит от VM

• Узел на входе: местный VLAN => 24bit SegID

• Ядро: транспорт на основе SegmentID

• Узел на выходе : 24bit SegID => местный VLAN

• Передача фрейма VM-получателю

Локальные номера VLAN-IDs на узлах | 24-бит сегмент | VRF

Orgs

Partition1

Network1 Network2

Partition2

Network1 Network2

VRF1

Segment1 Segment2

VRF2

Segment1 Segment2

Архитектура Dynamic Fabric Automation Виртуальные фабрики и сегменты

Достоинства

Автоконфигурация устройств

Проверка плана коммутации СКС

Единая точка доступа к фабрике

Автоматическое развертывание

Видимость на уровне сети, vFabric и хостов

TFTP Services

DHCP Services

XMPP Server

LDAP

Message Broker

Архитектура Dynamic Fabric Automation …Управление и мониторинг

Топология фабрики: обнаружение топологии, проверка соответствия плану коммутации

Образы ПО и конфигурации: автоконфигурация узлов версиями ПО и шаблонами настроек

Мониторинг: сбор статистики, информация о хостах и VM

Единая «точка входа»:доступ ко всем устройствам, упрощение диагностики

Открытые API: расширение возможностей, изменение поведения, замена управляющих

компонентов

Central point of Management

Discover Fabric Topology

Image & Config Repository

Monitor Fabric

Common Point of Access Switch#

show vlan

Vlan

-------------------

-------------------

-------------------

-------------------

----

Ethernet

VLAN Type

Mode Status

D) --

Open APIs

WAN/Core

Архитектура Dynamic Fabric Automation Функции управления

vCD

CPOM

Configuration

Profiles

Tenant Network

Orchestration

UCS Director

OpenStack

Cisco N1kV

OVS

Vrf x

Interface

bdi

1

a

a

2

b

b

Create Tenant Network

1 a b

Communicate Tenant Network to Fabric

New VM gets created in Red Network

Instantiates Red network

Автоматически

2

Архитектура Dynamic Fabric Automation Простота развёртывания

ARP-ND

Integrated Management Pane

• С использованием DHCP, ARP, ARP-ND Прослушивание DHCP/ARP/GARP/RARP – или использование профилей DCNM бандла

Узлы создают сегменты, VRF, SVI и связанные с ними политики

• Любой сервер модет подключиться к любому узлу – не нужна

предварительная конфигурация

• Конфигурационные профили Заранее настроенноые шаблоны на узлах

Загружаются с помощью открытых протоколов (LDAP, XMPP)

DHCP Server

Configuration Profiles

Архитектура Dynamic Fabric Automation Поддержка физических серверов

Достоинства

Любая вычислительная нагрузка в любом месте

Открытая интеграция с системами оркестрации

Автоматическое масштабируемое развёртывание

Фабрика с «пониманием» нагрузок

Network Services Controller

Flow Controller

Fabric Mgmt Provisioning

Open APIs

Published Schemas

Network & Network Services Policies

Cloud Stacks

Compute & Storage Policies

Архитектура Dynamic Fabric Automation …Автоматизация и открытая среда

High Density Spine

Medium Density Spine

Fabric Extenders

Border Leafs

ToR Leafs High Density Leafs

Network

Services Controller

Compute

& Storage

Network

Services

DCNM/CPoM

Nexus 7X00 (F2/F2e/F3)

Nexus 6004

Nexus 6001/6002

Nexus 2x00

Nexus 6004

Fabric Extenders Nexus 2x00

Nexus 7X00 (F3)

Cloud Stacks &

Orchestration Tools

Архитектура Dynamic Fabric Automation …Поддержка оборудования

Application-Centric Infrastructure

Cisco Application Centric Infrastucture (ACI)

• Новая идеология организации инфраструктуры ЦОД

• Представлена в ноябре 2013 г

• Разработана компанией Insieme, вошедшей в состав Cisco

• Ключевые возможности:

• Оперирует терминами инфраструктуры, а не устройств; приложений, а не сети

• Единый подход к физическим и виртуальным серверам на разных платформах

• Телеметрия – задержки, потери, общее «состояние здоровья»

• Встроенная программируемость на уровне инфраструктуры в целом с

открытым API

• Встраивание сервисов – как Cisco, так и третьих компаний

• Высокая производительность и масштабируемость

• Низкий CapEx и OpEx: открывает путь к миграции 1G->1/10G, 10G->40G

Cisco Application Centric Infrastucture (ACI)

• Базовые технологические компоненты:

• Новые коммутаторы семейства Nexus 9000 – доступны уже сейчас

• Контроллер Cisco APIC (Application Policy Integrated Controller) – ожидается в

2014 г

• Application Virtual Switch (AVS) – продолжение технологии Nexus 1000V для

интеграции с ACI

• Открытость и широкая экосистема

• Открытые интерфейсы «вверх» для систем управления и оркестрации и «вниз»

для виртуальных коммутаторов

• Средства безопасности и другие L4-7 сервисы от Cisco и других производителей

• В числе анонсе 6 ноября участвовали – IBM, Citrix, Microsoft, F5, EMC, Redhat,

NetApp, SAP, VCE, Symantec…

• Подробнее – в выступлении Максима Хаванкина «Сетевая

инфраструктура ЦОД, ориентированная на приложения и коммутаторы

Nexus 9000» 21 ноября

Основной принцип ACI - логическая конфигурация сети, не

привязанная к оборудованию

11.12.2013 © 2013 Cisco and/or its affiliates. All rights reserved. 35

ACI фабрика

Неблокируемая фабрика на базе оверлеев

App DB Web

Внешняя сеть

передачи

данных

QoS

ACL

QoS

LB

QoS

МСЭ, LB

Application Policy

Infrastructure

Controller

APIC

Любое приложение в любой среде – физической или виртуальной Сетевой профиль приложения

L/B APP DB F/W

L/B

WEB

APIC

HYPERVISOR HYPERVISOR HYPERVISOR

ПОЛИТИКА

ВЗАИМОДЕЙСТВИЯ

ПОЛИТИКА

БЕЗОПАСНОСТИ QOS

ХРАНЕНИЕ И

ВЫЧИСЛЕНИЯ

СЕРВИСЫ

L4..7

SLA

QoS

Security

Load

Balancing

APP PROFILE

ACI сетевой профиль

Управление фабрикой на основе политик/профилей

• Расширение принципов сервисных

профилей Cisco UCS® Manager на всю

фабрику

• Сетевой профиль: определение

требований приложения без привязки к

оборудованию (stateless принцип)

Уровни приложений (tiers)

Политики регламентирующие взаимодействие

Сервисы 4 – 7 уровня

XML/JSON схема

• Полная абстракция от физической

инфраструктуры

устранение зависимости от инфраструктуры

переносимость между фабриками различных

ЦОД

## Network Profile: Defines Application Level Metadata (Pseudo Code Example)

<Network-Profile = Production_Web>

<App-Tier = Web>

<Connected-To = Application_Client>

<Connection-Policy = Secure_Firewall_External>

<Connected-To = Application_Tier>

<Connection-Policy = Secure_Firewall_Internal & High_Priority>

. . .

<App-Tier = DataBase>

<Connected-To = Storage>

<Connection-Policy = NFS_TCP & High_BW_Low_Latency>

. . .

App Tier DB Tier

Storage Storage

Web Tier

Приложение

Сетевой профиль полностью описывает

сетевые и сервисные потребности

приложения

Профиль приложения и его применение к сети

Вся передача данных в фабрике управляется при помощи профилей приложений

• IP адреса полностью переносимы и могут использоваться где угодно внутри фабрики

• Безопасность и передача данных не зависят от любых физических и логических сетевых

атрибутов

• Коммутаторы автономно обновляют свои настройки на основе правил, определенных

профилем приложения, в случае переезда/миграции приложения или его компонент

DB Tier

Storage Storage

Клиент

приложения

Web

Tier

App Tier

Профиль приложения: определяет

сетевые требования приложения

(сетевой профиль приложения)

Применение профиля: каждое

сетевое устройство динамически

производит изменения настройки,

требуемые профилем

VM VM VM

10.2.4.7

VM

10.9.3.37

VM

10.32.3.7

VM VM

APIC

Application

Policy

Infrastructure

Controller

Свойства ACI фабрики

ACI Spine

устройства

ACI Leaf устройства

• ACI фабрика обеспечивает:

‒ Отделение функций идентификации (адресации конечных хостов) от точки их подключения к фабрике

‒ Независимость политик (правил фильтрации и т.д.) от адресации, топологии/аппаратуры

‒ Полную нормализацию инкапсуляции входящих в фабрику потоков: 802.1Q VLAN, IETF VXLAN, IETF NVGRE

‒ Распределенный шлюз на 3-м уровне для организации оптимальной передачи данных на 3-м и 2-м уровне

‒ Поддержку стандартной семантики коммутации и маршрутизации без ограничений (любой IP адрес в любом месте)

‒ Вставку сервисов и перенаправление трафика на сервисные узлы

‒ Устранение необходимости широковещательной рассылки (ARP, GARP) в IP-сегментах

APIC

Передача данных независимо от расположения На 2-м и 3-м уровне

10.1.1.10 10.1.3.1

1

10.6.3.2 10.1.3.35 10.1.1.10 10.1.3.1

1

10.6.3.2 10.1.3.35

• ACI фабрика поддерживает семантику 2-го и 3-го уровня

- никаких изменений в приложении не требуется

• ACI фабрика обеспечивает оптимальную передачу трафика 2-го и 3-го уровня ‒ SVI распространяется по всем узлам где требуется, обеспечивая маршрутизацию

‒ Трафик 2-го и 3-го уровней напрямую передается на leaf с хостом назначения

• IP ARP и GARP пакеты передаются напрямую узлу назначения без

широковещательной рассылки

Распределенный шлюз по умолчанию Прямая передача ARP

APIC APIC

Полная «видимость» приложений Единый источник данных о приложении в распределённой среде

«ЗДОРОВЬЕ»

ЗАДЕРЖКА

ПОТЕРИ

РЕСУРСЫ

VMs Physical Load Balancer

Firewall

41

96%

Microsecond(s)

Packets Dropped

5

25

7 3

APIC

Мониторинг приложения Видимость на уровне приложения и его компонент

Действия:

Не добавлять хосты или VM

Отключить хост гипервизора

Перебалансировать кластер

PetStore

Событие

PetStore Dev • Leaf 1 и 2

• Spine 1 – 3

• Atomic counters

PetStore Prod • Leaf 2 и 3

• Spine 1 – 2

• Atomic counters

PetStore QA • Leaf 3 и 4

• Spine 2 – 3

• Atomic counters

VXLAN

статистика для

каждого узла

Физическая и

виртуальная

нагрузка

ACI фабрика предоставляет

аналитические возможности

следующего поколения

Приложение, потребитель (tenant) и

инфраструктура:

• Показатели здоровья (health scores)

• Задержка

• Atomic counters

• Потребление ресурсов

Интеграция с управлением нагрузкой –

первичное размещение и миграция

Триггерное

событие

APIC

Пожалуйста, заполните анкеты.

Ваше мнение очень важно для нас.

Спасибо

Contacts:

Name Александр Скороходов

Phone +7(495)961-1410

E-mail askorokh@cisco.com

CiscoRu Cisco CiscoRussia

#CiscoConnectRu