Архитектура Метафабрика. Универсальный шлюз SDN

АРХИТЕКТУРА«МЕТАФАБРИКА»УНИВЕРСАЛЬНЫЙ ШЛЮЗ SDN

USGУНИВЕРСАЛЬНЫЙ ШЛЮЗ ДЛЯ

ПРОГРАММНО-ОПРЕДЕЛЯЕМЫХ СЕТЕЙ

MX И EX ОТ JUNIPER

БАЗОВЫЙ ЭЛЕМЕНТ БЕСШОВНОЙ ИНФРАСТРУКТУРЫ

С каждым годом все больше и больше наших пользователей начинают внедрять свои собственные

облачные решения, где виртуализация сетевой инфраструктуры на базе концепции SDN играет ключевую

роль. По мере приближения к заветной цели появляется все больше новых задач, требующих решения.

Одна из таких задач это необходимость обеспечить совместное использование как новых, так и

существующих инфраструктур, например:

- Обеспечить L2-связность между SDN и существующей инфраструктурой

- Обеспечить L3-связность между SDN и существующей инфраструктурой

- Обеспечить L2 и L3 связность между двумя регионами SDN

- Обеспечить программно-конфигурируемый доступ к инфраструктуре извне

Универсальный шлюз от Juniper является ключевым элементом бесшовной инфраструктуры. Он является

связующим звеном как между

USG(Universal SDN Gateway)


Аппаратные серверы

• Databases

• HPC

• Legacy Apps

• Non x86

• IP Storage

• Firewalls

• Load Balancers

• NAT

• Intrusion Detection

• VPN Concentrator

L4–7 платформы

• NSX ESXi

• NSX KVM

• SC HyperV

• Contrail KVM

• Contrail ZEN

Серверы SDN

Виртуализированные

серверы

• ESX

• ESXi

• HyperV

• KVM

• ZEN

ОСНОВНЫЕ УСТРОЙСТВА ОБЛАЧНОГО ЦОД

USG (УНИВЕРСАЛЬНЫЙ ШЛЮЗ SDN)Доступны четыре новые опции

L2-Связность между SDN и классической инфраструктурой

SDN to IP (Layer 2)

Layer2 USG

Remote

Data

Center

Branch

OfficesInternet

Layer3 USG

L3-Связность между SDN и классической инфраструктурой

SDN to IP (Layer 3)

L2 и L3-Связность внутри SDN

SDN USG

SDN to SDN

WAN USG

Удаленный доступ к программно-определяемой инфраструктуре ЦОД

SDN to WAN


УНИВЕРСАЛЬНЫЙ ШЛЮЗ ВНУТРИ ЦОД

ЦОД 1

Legacy Pods

NSX SDN

Pod 1

Layer2 USG

Layer3 USG

SDN USG

WAN USG

L4 – 7

Services


L2-мост между двумя устройствами,

находящимися в разных доменах, но в

одной подсети:

1. Аппаратные серверы, как например мощные базы

данных, не x86 решения, системы хранения и т.п.

2. L4–7 сервисные платформы, такие как

баллансировщики, межсетевые экраны, системы

обнаружения вторжений и пр. внешние сетевые

устройства.

VxLAN VxLAN VxLAN VxLAN VxLAN


Native IP L2 Native IP L2 Native IP L2 Native IP L2 Native IP L2 Native IP L2

Native IP L2 Native IP L2 Native IP L2 Native IP L2

Nativ

e IP

L2

Nativ

e IP

L2

Na

tive

IP

L2 Native IP L2 Native


ЦОД1

Legacy Pods

NSX SDN

Pod 1

Layer2 USG

Layer3 USG

SDN USG

WAN USG

L4 – 7

Services





Native IP L3 Native IP L3 Native IP L3 Native IP L3 Nativ

e IP

L3

Na

tive

IP L

3 N

ativ

e IP


L3-шлюз между двумя устройствами,

расположенными в разных доменах и в

разных IP-подсетях:

1. Аппаратные серверы, как например мощные базы

данных, не x86 решения, системы хранения и т.п.

2. L4–7 сервисные платформы, такие как

баллансировщики, межсетевые экраны, системы

обнаружения вторжений и пр. внешние сетевые

устройства.

GRE MPLSoverGRE MPLSoverGRE MPLSoverGRE MP

NSX

SDN Pod 2


ЦОД 1

NSX SDN

Pod 1

Layer2 USG

Layer3 USG

SDN USG

WAN USG

Шлюз между двумя регионами SDN:

1. VM NSX <> NSX

2. VM NSX <> Juniper Contrail


Contrail

SDN Pod 1



VxLAN VxLAN VxLAN VxLANVx

LA

NV

xL

AN

Vx

LA

NV

xL

AN

Vx

LA

NV

xL

AN

LS

ove

rGR

EM

PL

So

ve

rGR

EM

PL

S

ФИЛИАЛ

NSX SDN Pod 2

Internet


ЦОД 1

SDN

Pod 1

Layer2 USG

Layer3 USG

SDN USG

WAN USG


ЦОД 2

VxLAN VxLAN VxLAN VxLAN VxLAN Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3

GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE

EVPN EVPN EVPN EVPN

EV

PN

EV

PN

EV

PN

EV

PN

EVPN EVPN VxLAN VxLAN VxLAN VxLAN VxLAN

Шлюз с внешними сетями:

1. Соседний ЦОД(DCI) – SDN -> VPLS, EVPN, L3VPN

2. Удаленный офис – SDN -> GRE, IPSec

3. Интернет – SDN -> IP (Layer 3)

Internet

Contrail

SDN Pod 1L4–7

Services

Native IP L3 Native IP L3 Native IP L3 Native IP L3 Nativ

e IP

L3

Na

tive

IP L

3 N

ativ

e IP


Native IP L2 Native IP L2 Native IP L2 Native IP L2

Nativ

e IP

L2

Nativ

e IP

L2

Na

tive

IP


MPLSoverGRE MPLSoverGRE MPLSoverGRE LS

ove

rGR

EM

PL

So

ve

rGR

EM

PL

S

VxLAN VxLAN VxLAN VxLAN


NSX

SDN Pod 2


ЦОД 1

NSX SDN

Pod 1

Layer2 USG

Layer3 USG

WAN USG


Legacy Pods

ЦОД 2

NSX SDN Pod 2

Филиал




Vx

LA

NV

xL

AN

Vx

LA

NV

xL

AN

Vx

LA

N

Na

tive

IP L

3 N

ativ

e IP

EV

PN

SDN USG GRE GRE GRE GRE GRE GRE GRE

GR

E G

RE

GR

E

VxLAN VxLAN VxLAN

Vx

LA

N

СРАВНЕНИЙ ФУНКЦИЙ USG

Description

QFX5100

MX Series/EX9200

Layer 2

USG

L2-Связность между

SDN и классической

инфраструктурой

✔

✔

NSX or Contrail talk Layer

2 to non-SDN VMs, bare

metal and L4-7 servicesСценарии

Layer 3

USG

L3-Связность между

SDN и классической


✔

NSX or Contrail talk Layer

3 to non-SDN VMs, bare

metal and L4-7 services

and Internet

SDN

USG

L2 и L3-Связность

как внутри, так и между

регионами SDN

✔

NSX or Contrail talk to

other PODs of NSX or

Contrail

WAN

USG

L2 и L3-Связность между

SDN и внешней


✔

NSX or Contrail talk to

other remote locations –

branch, DCI

X86 Appliance ✔ ✔

Конкуренты (ToR) ✔

Конкуренты (Шасси) ✔

Description


EVPNETHERNET VPN

EVPNETHERNET VPN

Используя плоскость управления для получения и обмена маршрутной информацией заголовков 2-го

уровня, EVPN устраняет два главных недостатка при попытке организовать VLAN-Mobility между двумя и

более ЦОД:

1) Предотвращает распространение unknown-unicast трафика через каналы WAN

2) Позволяет одновременное использование всех каналов WAN

Использование плоскости управления для передачи маршрутной информации заголовков 2-го уровня

позволяет так же использовать и другие технологии и механизмы от компании Juniper, которые призваны

помочь пользователям реализовать взаимодействие между двумя ЦОД максимально эффективно.

EVPN(Ethernet VPN)

PRIVATE MPLS WAN without EVPN

VLAN 10

ДО EVPN: L2-СВЯЗНОСТЬ МЕЖДУ ЦОД

EVPN(Ethernet VPN)

ЦОД 1

VLAN 10

ЦОД 2

✕

Без EVPN

Плоскость

передачи• Только один активный пусть

• Оставшиеся пути в режиме Standby

Плоскость

управления

• Таблица MAC пополняется силами Плоскости

передачи (как обычный коммутатор)

• Флудинг пакетов через WAN-сегмент по

причине рассинхронизации

MAC VLAN Interfaces

AA 10 xe-1/0/0.10

Router 1’s MAC Table

MAC: AA

Server 1xe-1/0/0.10

xe-1/0/0.10 xe-1/0/0.10

xe-1/0/0.10

MAC: BB

Server 2

ge-1/0/0.10

ge-1/0/0.10

MAC VLAN Interfaces

BB 10 xe-1/0/0.10


ge-1/0/0.10

ge-1/0/0.10

PRIVATE MPLS WAN without EVPN

VLAN 10

EVPN: L2-СВЯЗНОСТЬ МЕЖДУ ЦОД

EVPN(Ethernet VPN)

ЦОД 1

VLAN 10

ЦОД 2

EVPN

Плоскость

передачи

• Все пути активны

• Трафик распределяется равномерно между

всеми путями

Плоскость

управления

• Таблица МАС пополняется на уровне

плоскости управления (как в Q-Fabric)

• Синхронизация таблиц МАС между

пограничными узлами EVPN

MAC VLAN Interfaces

AA 10 xe-1/0/0.10

BB 10 ge-1/0/0.10


MAC: AA

Server 1xe-1/0/0.10

xe-1/0/0.10 xe-1/0/0.10

xe-1/0/0.10

MAC: BB

Server 2

ge-1/0/0.10

ge-1/0/0.10

MAC VLAN Interfaces

BB 10 xe-1/0/0.10

AA 10 ge-1/0/0.10


ge-1/0/0.10

ge-1/0/0.10

VMTOVM Mobility Traffic Optimizer

VMTOVM MOBILITY TRAFFIC OPTIMIZER

EVPN использует плоскость управления для пополнения таблиц МАС. Используя эту особенность, компания

Juniper разработала решение для пользователей, использующих WAN-Инфраструктуры второго уровня и

столкнувшиеся с проблемой, именуемой «Trombone routing».

Эффект «Trombone routing» появляется тогда, когда инфраструктура второго уровня (виртуальная сеть)

простирается на несколько ЦОД, но присутствует только один оптимальный вход(IGP Preference) и

выход(VRRP Master) из сети.

VMTO решает обе данных проблемы за счет:

- Оптимизации анонсируемой маршрутной информации в WAN-сегмент

- Назначения каждого маршрутизатора широковещательного сегмента активным шлюзом

VMTO(VM Mobility

Traffic Optimizer)

VMTO(VM Mobility

Traffic Optimizer)

Сценарий с VMTO

PRIVATE MPLS WAN PRIVATE MPLS WAN

VLAN 10 VLAN 10 VLAN 10VLAN 10

Сценарий без VMTO

НЕОБХОДИМО ЗНАТЬ, ГДЕ РАСПОЛОЖЕНО КОНЕЧНОЕ УСТРОЙСТВО

DC 2VLAN 10

10.10.10.100/24

DC 3

10.10.10.200/24

VLAN 10

VLAN 20

Server 2 Server 3

Server 1

PRIVATE MPLS WAN

DC 1

20.20.20.100/24

Active VRRP

DG: 10.10.10.1

Standby VRRP

DG: 10.10.10.1

Standby VRRP

DG: 10.10.10.1

Standby VRRP

DG: 10.10.10.1

БЕЗ VMTO: ВХ. ТРАФИК - ЭФФЕКТ ТРОМБОНА

Задача:

Server 3 в DC 3 хочет отправить пакет к Server 1 в DC 1.

Проблема:

Активный шлюз для VLAN 10, где расположен Server 3

находится в DC2.

Эффект:

1. Трафик должен быть направлен от DC3 в DC2 для

того, что бы достигнуть активного шлюза для VLAN 10.

2. Трафик должен пройти через L3 интерфейс VLAN10

для того, что бы потом быть смаршрутизированным

через WAN-сегмерт в VLAN20 DC3. Результат –

неоптимальная маршрутизация.

VMTO(VM Mobility

Traffic Optimizer)

DC 2VLAN 10

10.10.10.100/24

DC 3

10.10.10.200/24

VLAN 10

VLAN 20

Server 2 Server 3

Server 1

PRIVATE MPLS WAN

DC 1

20.20.20.100/24

Active RVI

DG: 10.10.10.1

Active RVI

DG: 10.10.10.1Active RVI

DG: 10.10.10.1

Active RVI

DG: 10.10.10.1

VMTO: ВХ. ТРАФИК - БЕЗ ЭФФЕКТА ТРОМБОНА

Задача:

Server 3 в DC 3 хочет отправить пакет к Server 1 в DC 1.

Решение:

Виртуализировать и распределить шлюз по-умолчанию.

Таким образом выход из VLAN10 будет возможен через

любой маршрутизатор.

Эффект:

1. Исходящий трафик идет к ближайшему L3-интерфейсу.

Этим достигается оптимальная маршрутизация и

упразднение эффекта Тромбона.

VMTO(VM Mobility

Traffic Optimizer)

DC 2VLAN 10

10.10.10.100/24

DC 3

10.10.10.200/24

VLAN 10

VLAN 20

Server 2 Server 3

Server 1

PRIVATE MPLS WAN

DC 1

20.20.20.100/24

БЕЗ VMTO: ИСХ. ТРАФИК – ЭФФЕКТ ТРОМБОНА

Задача:

Server 1 в DC1 хочет отправить пакет к Server 3 в DC3.

Проблема:

Маршрутизатор в DC1 предпочитает маршрут до сети

10.10.10.0/24 через DC2.

Эффект:

1. Трафик от Server 1 изначально достигнет

маршрутизатора в DC2.

2. Затем пограничный маршрутизатор DC2 отправит

трафик в DC3. Это – неоптимальная маршрутизация.

10.10.10.0/24 Cost 510.10.10.0/24 Cost 10

Route Mask Cost Next Hop

10.10.10.0 24 5 Datacenter 2

10.10.10.0 24 10 Datacenter 3

DC 1’s Edge Router Table Without VMTO

VMTO(VM Mobility

Traffic Optimizer)

DC 2VLAN 10

10.10.10.100/24

DC 3

10.10.10.200/24

VLAN 10

VLAN 20

Server 2 Server 3

Server 1

PRIVATE MPLS WAN

DC 1

20.20.20.100/24

VMTO: ИСХ. ТРАФИК – БЕЗ ЭФФЕКТА ТРОМБОНА

Эффект:

1. Трафик от Server 1 к Server 3 пойдет оптимальным

путем.

Задача:

Server 1 в DC1 хочет отправить пакет к Server 3 в DC3.

Решение:

В дополнение к суммарному маршруту 10.10.10.0/24,

анонсируемому каждым пограничным маршрутизатором

будет анонсирован и специфический маршрут(host route),

описывающий место расположения сервера.

10.10.10.0/24 Cost 510.10.10.0/24 Cost 10

Route Mask Cost Next Hop

10.10.10.0 24 5 Datacenter 2

10.10.10.0 24 10 Datacenter 3

10.10.10.100 32 5 Datacenter 2

10.10.10.200 32 5 Datacenter 3

DC 1’s Edge Router Table WITH VMTO

10.10.10.100/32 Cost 510.10.10.200/32 Cost 5

VMTO(VM Mobility

Traffic Optimizer)

OREOverlay Replication Engine

OREМЕХАНИЗМ РЕПЛИКАЦИИ

Концепция программно-определяемых сетей дала нам много дополнительных возможностей. Однако, очень

важно соблюдать баланс между тем, что должно быть перенесено на уровень виртуальных машин, а что

должно остаться на аппаратном уровне.

Репликация широковещательных и многоадресных сообщений это достаточно интенсивный процесс.

Поэтому это именно та задача, выполнение которой лучше реализовать на аппаратном уровне.

С того момента, как промежуточное сетевое оборудование в модели Overlay SDN выступает исключительно

в роли ip-фабрики у нас пропала возможность осуществлять репликацию широковещательных и

многоадресных рассылок привычным нам образом. Поэтому, нам необходимо теперь определить, кто

подхватит выполнение данной функцию.

Без использования механизма ORE, данный функционал может быть делегирован выделенным

виртуальным машинам. В этом случае уже сервисная машина-репликатор должна знать, кто является

конечным получателем широковещательного или многоадресного сообщения.

Механизм Juniper’s ORE позволяет использовать интегральные микросхемы своего активного сетевого

оборудования в качестве репликаторов, что гарантируем предсказуемую производительность для данного

процесса.

ORE(Overlay Replication Engine)

ТРАФФИК BUM

Broadcast

Multicast

Unknown Unicast

L2 кадры, которые должны быть доставлены всем устройствам в пределах

широковещательного домена

L2 фреймы, для которых не существует записей в таблице МАС и которые должны

быть доставлены всем устройствам широковещательного домена

L2 кадры, которые должны быть доставлены одному и более получателям в

широковещательном домене


РЕПЛИКАЦИЯ BUM БЕЗ ORE

VLAN 10

1. Сервер хочет отправить BUM-фрейм (напр., ARP или DHCP)

2. Одноадресное сообщение

отправляется к сервисной

виртуальной машине-репликатору

3. Виртуальная машина-репликатор конвертирует

полученные данные в стандартный многоадресный

или широковещательный фрейм и отправляет его

конечным получателям

Неоптимальный метод:

Ожидается экспоненциальный

рост нагрузки. В конечном итоге

это приведет к деградации

сервиса.


РЕПЛИКАЦИЯ BUM С ORE

VLAN 10

1. Сервер хочет отправить BUM-фрейм (напр., ARP или DHCP)

2. Одноадресный фрейм отправляется

к репликатору ORE,

расположенному на

маршрутизаторе серии МХ.

3. Маршрутизатор серии МХ конвертирует

полученные данные в стандартный многоадресный

или широковещательный кадр и отправляет его

всем адресатам.

Оптимальный метод:

Оптимальный метод для

реализации репликации это

специализированный

аппаратный элемент.

Программируемые микросхемы

от Juniper позволяют

реализовать данный сервис с

гораздо большим потенциалом.


Education

Архитектура Метафабрика. Универсальный шлюз SDN