Внедрение SDA для кампусных сетей – R&S · Внедрение SDA для кампусных сетей –R&S Алексей Сажин Инженер-консультант,

Внедрение SDAдля кампусных сетей – R&S

Алексей Сажин

Инженер-консультант, Customer Experience

Cisco Systems

Обо мне

© 2019 Cisco and/or its affiliates. All rights reserved.

2009 20142012

Алексей Сажин - инженер-консультант команды внедрения решений Cisco.Занимаюсь внедрением решений SDA, также мне интересно направление «маршрутизация и коммутация» и программирование для решения сетевых задач. В свободное время увлекаюсь серфингом.

2017

Повестка


Роли устройств в Фабрике

Компоненты Фабрики

Миграция на SDA

Подводные камни

Заключение

Архитектура SDA

Что пропустим?


Синий зал 16:40 – 17:40«Практический опыт внедрения решений по информационной безопасности в архитектуре SDA.»Сергей Сажин, инженер-консультант Cisco Customer Experience

Wireless

Distributed Campus (Multisite)

Assurance

Безопасность в SDA

Multicast

Архитектура SD-Access (SDA)

▪ Кампусная Фабрика

Набор устройств, настроенных определенным образом (LISP + VXLAN + CTS)

APIC-EM

1.X

▪ DNA Center (DNAC)

Сервер для управления сетью с помощью графического интерфейса.

Кампуснаяфабрика

ISE PIISE

DNA Center

B

C

B▪ ISE

Сервер безопасности для аутентификации, авторизации и контроля доступа (ААА)

*LISP - Locator/ID Separation Protocol*VXLAN - Virtual Extensible LAN*CTS – Cisco TrustSec

Cisco ISE 2.4Identity Services Engine

Коммутаторы | Маршрутизаторы| Беспроводная часть

DNA Center

AAA (Radius)

SNMPNetFlow

Syslog

SSH

API/pxGrid

Кампусная Фабрика

DN1-HW-APLСервер DNA

ISE сервер

на выделенном устройстве или VM

Взаимодействие между компонентами решения SDA

Политики безопасности

Собираем статистику

Настраиваем Фабрику

AAA - Authentication Authorization and Accounting

Фабрика состоит из двух уровней:

1. Физический уровень (Underlay)

• Плоская сеть, задача – анонс loopback адресов устройств фабрики (Edge-устройства)

• Control-plane – IS-IS/OSPF

2. Наложенный уровень (Overlay)• Подключение пользователей,

предоставление сервисов

• Control-plane - LISP

Underlay и Overlay в Фабрике

• GRE

• MPLS / VPLS

• OTV

Примеры Overlay в других технологиях

VxLAN «туннели» между Lo0 Edge-устройств

VxLAN «туннели» между Lo0 Edge-устройств

Lo0: 172.16.1.2/32

Lo0: 172.16.1.3/32

Lo0: 172.16.1.1/32

OSPF/IS-IS

Кампусная фабрика – Ключевые моменты

1. Control-Plane для Overlay - LISP

2. Data-Plane - инкапсуляция VXLAN

3. Policy-Plane – CTS (Cisco TrustSec)

На что обратить внимание

• Overlay поддерживает L2 + L3

• Мобильность пользователей с помощью Anycast Gateway

• Информация о SGT теперь в VXLAN заголовке

CB B

Обычный протокол маршрутизации = Большие таблицы маршрутизацииЗнаем о всех подключенных сетях.

Кампусная фабрика – Ключевые моментыLISP


Prefix Next-hop192.168.1.0/24 >R1192.168.0.0/24 >R0192.168.0.0/24 >local

Prefix Next-hop192.168.1.0/24 >R1192.168.0.0/24 >local192.168.2.0/24 >R2

192.168.0.0/24

192.168.1.0/24

R1

R0

R2

Prefix Next-hop192.168.1.0/24 >local192.168.0.0/24 >R0192.168.2.0/24 >R2

Все маршруты

192.168.2.0/24

Мар

шр

уты

пользовате

лей

хр

анятс

я в

Базе L

ISP

LISP – маршрутизация «по запросу»Знаем только о подключенных сетях = Небольшие таблицы маршрутизации.

Кампусная фабрика – Ключевые моментыLISP

МобильностьУстройств


Prefix Underlay Loopback192.168.0.11/32 R0192.168.0.21/32 R0192.168.1.33/32 R1192.168.1.34/32 R1192.168.2.10/32 R2

Prefix Next-hop192.168.0.0/24 >local


192.168.0.0/24

192.168.1.0/24

R1

R0

R2


Только локальные маршруты 192.168.2.0/24

C

База соответствий

ИСХОДНЫЙпакет

PAYLOADETHERNET IP

PAYLOADETHERNET IPVXLANUDPIPETHERNETVXLANпакет

Поддерживает L2 и L3 Overlay

8 Bytes

Reserved

VN ID

Segment ID

VXLAN Flags RRRRIRRR 8

16

24

8

VRF ID

Dest. IP

Source IP Lo0 Src Edge

Lo0 Dst Edge

Кампусная фабрика – Ключевые моментыVXLAN



PAYLOADETHERNET IPVXLANUDPIPETHERNET

VRF + SGT

8 Bytes

Reserved

VN ID

Segment ID

VXLAN Flags RRRRIRRR 8

16

24

8

SGT-метка

Кампусная фабрика – Ключевые моментыTrustSec




Роли устройств

Роли устройств в кампусной Фабрике

ISE

▪ Control-Plane Nodes – Хранит базу данных IP Пользователя -> Fabric Edge (Lo0 IP).

▪ Fabric Edge Nodes – Коммутаторы доступа к которым подключаются проводные пользователи и точки доступа (AP).

▪ Identity Services – Сервер безопасности.

• Аутентифицирует пользователей

• Хранит политики контроля доступа для пользователей

▪ Fabric Border Nodes – Стык Фабрики с «Внешним миром». По L2/L3.

Identity Services

Intermediate Nodes (Underlay)

Fabric Border Nodes

Fabric Edge Nodes

▪ DNA Center – сервер управления сетью.

• Настройка устройств Фабрики.

• Сбор мониторинг-информации.

DNA Center

Control-PlaneNodes

▪ Fabric Wireless Controller – Беспроводной контроллер доступа управления беспроводными AP.

Fabric WirelessController

КампуснаяФабрика

B

C

B

▪ Intermediate Nodes (Underlay) –Промежуточное устройство, агрегирует потоки трафика, участвует только в маршрутизации OSPF/IS-IS

x2

до x4


1. Control-Plane2. Border3. Fabric Edge

C

Control-Plane Node информация о подключенных к Фабрике сетях

Роли устройствControl-Plane Nodes – Подробнее

ИзвестныеСети

• Ведет базу данных к какому Fabric Edgeподключается EID (Endpoint Identifier) пользователя

• EID пользователя может быть:• IPv4• MAC• IPv6 (планируется с DNAC* 1.3)

• Регистрирует соответствие «Известная» сеть -> Border node

• Предоставляет информацию Fabric Edge, Border устройствам, о EID -> Fabric Edge

B

C

B

POD1-BR-01#show lisp site instance-id 4099

LISP Site Registration Information

Site Name Last Up Who Last Inst EID Prefix

Register Registered ID

site_uci 1d04h yes# 172.16.255.1 4099 172.16.12.11/32

1d04h yes# 172.16.255.2 4099 172.16.12.12/32

POD1-BR-01#

172.16.12.11/32 172.16.12.12/32

172.16.255.1 172.16.255.2

НеизвестныеСети

(Интернет)

*DNAC – DNA Center

Control-Plane NodesПлатформы

Catalyst 9500

• Catalyst 9500

• 10/40G SFP/QSFP

• 10/40G NM Cards

• IOS-XE 16.6.3+

Catalyst 3K

• Catalyst 3850

• 1/10G SFP

• 10/40G NM Cards

• IOS-XE 16.6.3+

Catalyst 6K*

• Catalyst 6800

• Sup2T/6T

• 6840/6880-X

• IOS 15.4.1SY4+

* Wired Only

ASR1K, ISR4K & CSRv

• CSRv

• ASR 1000-X/HX

• ISR 4300/4400

• IOS-XE 16.6.2+

4K Host записей 96K Host записей 25K Host записей 200K Host записей

B



Border Node – стык Фабрики с «Внешним миром»

Роли устройствBorder Nodes – Подробнее

Известные сети

B

C

Три типа Border Node:

• Internal Border• Для подключения фабрики к «Известным» сетям.• Основной критерий – количество сетей ограничено

(WAN/DC/Офисы).

• External Border (или Default)• Для подключения к Неизвестному количеству сетей

(Интернет).• Данный Border Node будет использоваться как выход

по умолчанию.

• Anywhere Border• Комбинированный вариант.• Необходим, если есть несколько Internal/External

borders и к одному Border подключаются Известные и Неизвестные сети.

До 4 External Border Node на Сайт Фабрики


(Интернет)


(Интернет)


B

B

Internal Border – отправляет маршруты Фабрики во «Внешний мир» и импортирует маршруты «Известных» сетей в Фабрику.

Роли устройствBorder Nodes - Internal

• Стык с «Внешним миром» с помощью BGP/OSPF/Статической маршрутизации

• Отправка маршрутов фабрики «Внешнему миру».

• Прием и регистрация «Известных сетей» на Control-plane node

B

CLISP



* = Some locators are down or unreachable

# = Some registrations are sourced by reliable transport



site_uci 3w5d yes# 172.16.255.3 4099 172.17.0.0/16

3w5d yes# 172.16.255.3 4099 192.168.11.0/24

172.17.0.0/16

192.168.11.0/24

172.16.255.3

BGP/OSPF/Static

172.17.0.0/16

192.168.11.0/24

Маршруты Фабрики


External Border – выход из фабрики по умолчанию

Роли устройствBorder Nodes - External

• Подключение к «Неизвестным» сетям (Интернет).


• Не импортирует неизвестные сети в Фабрику! Используется только если маршрут до сети не зарегистрирован на Control-plane node.

• Если External Border несколько, то трафик балансируется между ними (per-flow).

C

B

Маршруты ФабрикиBGP/OSPF/Static

router lisp

service ipv4

use-petr 172.17.73.1

use-petr 172.17.73.2

B

172.17.73.1 172.17.73.2

1.1.0.0/16

8.8.8.0/24

<…>

<…>

<…>

77.77.0.0/16


(Интернет)

Anywhere Border – комбинированный вариант (Internal & External)

Роли устройствBorder Nodes - Anywhere

• Подключение к «Неизвестным» сетям (Интернет).

• Прием и регистрация Всех сетей на Control-plane node, кроме маршрута 0.0.0.0/0


• Если маршрут до сети не зарегистрирован на Control-plane Node, то Anywhere Border используется как шлюз по умолчанию.

C

B


router lisp

service ipv4

use-petr 172.17.73.1

use-petr 172.17.73.2

172.17.73.1 172.17.73.2

1.1.0.0/16

8.8.8.0/24

<…>

<…>

<…>

77.77.0.0/16

172.17.0.0/16

192.168.11.0/24

B

172.17.0.0/16

192.168.11.0/24

1.1.0.0/16

<…>



* = Some locators are down or unreachable

# = Some registrations are sourced by reliable transport



site_uci 3w5d yes# 172.16.255.3 4099 172.17.0.0/16

3w5d yes# 172.16.255.3 4099 192.168.11.0/24

172.16.255.3 4099 1.1.0.0/16

Необходимо контролировать количество маршрутов, регистрируемых на Control-plane Node

Известные сети Неизвестные

Сети(Интернет)

DNAC:

Роли устройствНастройка Border Node в DNAC

Опция “Connected to the Internet” не используется для случая с одним Сайтом Фабрики(необходима для Сайта с доступом в Интернет, при использовании SDA Transit)

Nexus 7K*

• Nexus 7700• Sup2E

• M3 Cards

• NXOS 8.2.1+

Catalyst 3K

• Catalyst 3850• 1/10G SFP+

• 10/40G NM Cards

• IOS-XE 16.6.3+

Catalyst 6K

• Catalyst 6800• Sup2T/6T

• 6840/6880-X

• IOS 15.4.1SY4+

Border NodesПлатформы

* Только External Border

Catalyst 9K

• Catalyst 9500• 10/40G SFP/QSFP

• 10/40G NM Cards

• IOS-XE 16.6.3+

ASR1K & ISR4K

• ASR 1000-X/HX

• ISR 4300/4400

• 1/10G/40G

• IOS-XE 16.6.3+

• VNs: 64• IPv4 TCAM: 16K/8K

• VNs: 256• IPv4 TCAM: 96K/48K

• VNs: 512• IPv4 TCAM: 256K

• VNs: 4K• IPv4 TCAM: 1M

• VNs: 500• IPv4 TCAM: 1M

E



• Edge Node – предоставляет сервисы Фабрики для подключенных пользователей.

Роли устройствEdge Nodes – Подробнее

• Аутентификация проводных пользователей(MAB, 802.1X).

• Регистрация пользователей (/32) на Control-Plane Node.

• Одинаковый IP шлюза по умолчанию на всех Edge Nodes (L3 Anycast).

• Осуществляет инкапсуляцию / декапсуляциютрафика от всех подключенный устройств.

C

B

*MAB - MAC Authentication Bypass



(Интернет)B

Fabric Edge NodesПлатформы

Catalyst 9200

• Catalyst 9200/L

• 1/mG RJ45

• 1G SFP (Uplinks)

• IOS-XE 16.10.1s

Catalyst 9400

• Catalyst 9400

• Sup1/XL

• 9400 Cards

• IOS-XE 16.6.3+

Catalyst 9300

• Catalyst 9300

• 1/10G RJ45, SFP

• 10/40/MG NM Cards

• IOS-XE 16.6.3+

Catalyst 4K

• Catalyst 4500

• Sup8E/9E (Uplink)

• 4700 Cards

• IOS-XE 3.10.1E+

Catalyst 3K

• Catalyst 3650/3850

• 1/10G RJ45, SFP

• 10/40G NM Cards

• IOS-XE 16.6.3+

Fabric Edge NodesПлатформы


1. Underlay2. Virtual Network3. Host Pool4. Anycast GW5. Layer 3 Overlay6. Layer 2 Overlay

Underlay ФабрикиПоддерживаемые типы топологий

• Дизайн Underlay топологии не ограничен

• Fabric Edge могут подключаться цепочками,

длина цепочки не ограничена

• Рекомендуется использовать топологию из CVD*

для кампусной сети:


*CVD – Cisco Validated Design

Pnp Agent Pnp Agent

Pnp Agent Pnp Agent Pnp Agent

Seed Seed

Pnp Agent Pnp Agent Pnp Agent

Seed Seed

3-уровневый дизайн2-уровневый дизайн

Ядро

Распределение

Доступ

B B

https://www.cisco.com/c/en/us/td/docs/solutions/Enterprise/Campus/routed-ex.html

Underlay – на что обратить внимание

• Протокол маршрутизации – IS-IS или OSPF.

• VxLAN добавляет 50 Байт нагрузки. Включить “Jumbo Frame” (9100 Байт) внутри Фабрики.

• Рекомендован IS-IS, используется при автоматической начальной настройке (PnP) устройств Фабрики.

• Если впоследствии решим удалить устройства из Фабрики, будет удалена конфигурация, созданная PnP

• PnP поддерживает до трёх уровней иерархии:


*PnP – Plug and play

Pnp Agent

Seed

DNAC

Pnp Agent

Pnp Agent

Pnp Agent

Seed

DNAC

Pnp Agent

Pnp Agent

Seed

DNAC

2-уровневый 3-уровневый n-уровневый

https://www.cisco.com/c/en/us/td/docs/cloud-systems-management/network-automation-and-management/dna-center/tech_notes/b_dnac_sda_lan_automation_deployment.html

• “Virtual Network” ≈ “VN” ≈ “VRF”

• “Host Pool” ≈ “IP подсеть”

• “Fabric Site” ≈ “Набор Control-Plane, Border, Edge nodes”

• “Fabric Domain” ≈ “Набор Fabric Sites” + “Transit”

Новая терминология Фабрики



Virtual Network – виртуальная таблица маршрутизации (VRF) на устройствах Фабрики

Компоненты ФабрикиVirtual Network– Подробнее

• Разделяет маршрутную информацию на макро-уровне (разные сущности)

VNCampus

VNGuests

VNPhones

Неизвестные сети


B

C

B

Virtual Network (VN) – виртуальная таблица маршрутизации (VRF) на устройствах Фабрики

Компоненты ФабрикиVirtual Network– Подробнее

• Control-Plane хранит базу сетей отдельно для каждого VN ID

POD1-FE-01#show ip vrf

Name Default RD Interfaces

Campus <not set> Vl1022

Vl1024

Guest <not set> Vl1034

POD1-FE-01#




site_uci 3w5d yes# 192.168.0.2 4099 172.17.0.0/16

1w5d yes# 192.168.0.2 4099 192.168.10.2/32

3w5d yes# 192.168.0.2 4099 192.168.10.3/32




site_uci 3w5d yes# 192.168.0.2 4100 172.17.0.0/16

1w5d yes# 192.168.0.2 4100 192.168.5.1/32

3w5d yes# 192.168.0.2 4100 192.168.5.4/24

POD1-BR-01#

VN ID

Segment ID

VXLAN Flags RRRRIRRR

• VN ID передается в заголовке VxLAN• Представлен обычным VRF на устройстве

• Выяснить на этапе проектирования:

• Матрицу взаимодействия между VN.

• Выяснить, для каких VN необходимы стыки с внешними сетями и доступ в Интернет.

• Выяснить в каких VN необходим сервис DHCP.

• Протокол маршрутизации для передачи маршрутной информации из Фабрики.

• Оптимизировать стоимость решения за счет использования Catalyst 9200 vs 9300 (ограничение 4xVN).

• Взаимодействие между VN-только через внешнее устройство, необходимо оценивать потоки трафика при разделении по VN.

• IP Base с DNA Advantage на Catalyst3650/3850 – максимум 3xVN.

Virtual NetworkНа что обратить внимание



Компоненты ФабрикиHost Pools – Подробнее


• Host Pool – IP подсеть для оконечных устройств, подключаемых к Фабрике.

• Представлена интерфейсом VLAN с IP адресом• Каждый Host Pool принадлежит определенному

VRF (VN).• При подключении пользователя, его адрес

регистрируется на Control Plane Фабрики (per Instance ID).

• Адрес пользователю может назначаться статически или динамически, с помощью DHCP.

Неизвестныесети

Известныесети

B

C

B

Pool.17

Pool.13

Pool.23

Pool.4 Pool

.8

Pool.12

Pool.11

Pool.19

Pool.25

interface Vlan1022

mac-address 0000.0c9f.f45d

vrf forwarding Campus

ip address 172.16.10.1 255.255.255.0

ip helper-address 192.168.11.8

lisp mobility 172_16_10_0-Campus

• “Anycast GW” ≈ “Одинаковый SVI, IP + Mac на всех Fabric Edge”

• “Layer 3 Overlay” ≈ “IP Clients” ≈ “Anycast + Host Pool”

• “Layer 2 Overlay” ≈ ”Non-IP Clients” ≈ “Multipoint Tunnel”

Новая терминология Фабрики



Anycast GW - L3 шлюз по умолчанию.

Новая терминология ФабрикиAnycast Gateway– Подробнее

• Тот же принцип, что и у HSRP/VRRP с“Виртульным” IP и MAC адресом.

• SVI настроен на КАЖДОМ Fabric Edge, с одинаковым Virtual IP и MAC.

• Control-Plane хранит базу соответствий IP (Host) -> Fabric Edge.

• При переключении устройства между Fabric Edge Nodes, адрес шлюза не изменяется. GW GW GW



B

C

B

GW GW

interface Vlan1021

mac-address 0000.0c9f.f45c


ip address 172.17.0.254 255.255.255.0


<…>

lisp mobility 172_17_0_0-OFFICE

!



L3-подсеть «растягивается» на все Fabric Edge коммутаторы Фабрики.

Новая терминология ФабрикиLayer 3 Overlay – Подробнее

43

• Пользователь подключается к SVI на FE-коммутаторе и маршрутизируется через Overlay Фабрики.

• При переключении на новый FE- коммутатор, LISP сообщит Фабрике о новом местонахождении пользователя.

• Пользователи, подключенные к разным FE могут иметь IP-адреса из одной подсети.

• Широковещательный домен ограничен SVI на каждом FE-коммутаторе

• Одинаковый адрес шлюза (Anycast gateway) на каждом коммутаторе

L3 -подсеть



B

C

B

GW GW GW 192.168.1.1192.168.1.1

192.168.1.5 192.168.1.22



Два варианта:

1. L2 Overlay без опции Layer-2 Flooding –> передача non-IP трафика, без L2 Broadcast/Multicast.

2. L2 Overlay с опцией Layer-2 Flooding –> поддерживает L2 Broadcast/Multicast.

45

VLAN VLANVLAN

L2 Overlay

C• Поддержка L2 Overlay включается на уровне

подсети (IP Pool).• Каждый Layer-2 Flooding Overlay представлен

Multicast-группой в Underlay.• Layer-2 Flooding следует включать только

если действительно нужно (Silent hosts).

54ee.75cb.222254ee.75cb.1111

Платформы Версия ПО

C3K, C9K 16.9.1s

Layer-2 Flooding поддержка:

VLAN VLAN

Новая терминология ФабрикиL2 Overlay– Подробнее

Размерность подсетей для Фабрики

Для L3/L2 Overlay (без Layer-2 Flooding):

• Широковещательный домен ограничен SVI на каждом FE-коммутаторе

• Количество подсетей (IP Pools) – до 500

➢ Для новых подсетей (Pools), без L2 Flooding, рекомендуется использовать крупные подсети(/22)

Один из подходов по выделению IP адресации:

1. Underlay (крупный блок)• Loopbacks

• P2P

• L3 Handoff

• Lan Automation (минимум /24, чтобы запустить процесс автоматизации больше 1 раза)

2. Overlay (крупный блок)• Новые сети без L2 Flooding (/22)

• Новые сети с L2 Flooding (/24)

• Старые сети – как есть


Внешние сервисы для Фабрики

Shared Services

T5/1T1/0/1

T5/1

T5/2

Fusion RouterBorder Node

ASA(ЗащитаShared Services)

Control Plane

Shared Services – сегмент с инфраструктурными сервисами, доступ к которым необходим из всех VN (или из части).Shared Services расположены вне Фабрики.

Включают:• DHCP• ISE (Guest portal, Posture, BYOD, SXP) • DNAC (Admin access)• DNS• NTP• MS AD

B

C

Edge Node КампуснаяФабрика

DHCP

DNAC

ISE

Shared Services

WAN/Интернет

BGP

OSPF

Fusion router

INFRA_VN (GRT*)

BGP

SVI AG0/0/3

T5/1T1/0/1

T5/1

T5/2BGP VRF Phones

BGP VRF Campus

VRF CampusSVI 1021

VRF PhonesSVI 1022

SVI B

SVI C

Ten0/0/0.B

Ten0/0/0.С

Fusion Router

Border Node

Control Plane

ip vrf Campus

rd 1:4099

route-target export 1:4099

route-target import 1:4098

!

ip vrf Phones

rd 1:4098

route-target export 1:4098

route-target import 1:4099

Внешнее устройство, подключается к Border nodes:• Обмен маршрутами между VN (route-leaking).• Связь с Фабрики с Shared Services.• Fusion router настраивается вручную (не с DNAC).Стык на Border node настраивается DNAC (пока только BGP),остальные протоколы: OSPF/EIGRP/Static – вручную.

B

C

VRF Campus

VRF Phones

GRT*

*GRT – Global Routing Table

Ten0/0/0.A

Edge Node

LISP

ip vrf Campus

import ipv4 unicast map RM_FROM_GRT_SHARED

export ipv4 unicast map RM_GRT_TO_CAMPUS

!

ip vrf Phones

import ipv4 unicast map RM_FROM_GRT_SHARED

export ipv4 unicast map RM_GRT_TO_PHONES

!

LAN/WAN

Как быстро настроить Fusion router? (BGP)

INFRA_VN (GRT*)

BGP

Ten0/0/0.ASVI A

BGP VRF Phones

BGP VRF Campus

SVI B

SVI C

Ten0/0/0.B

Ten0/0/0.C

Fusion Router

BGP AS65010

Border Node

2) Создаем IP Transit в DNAC – Стык фабрики с Fusion router по BGP. [Provision -> Fabric]

B

BGP AS65001

VRF Campus

VRF Phones

GRT

*GRT – Global Routing Table

3) Указываем параметры IP Transit (физический интерфейс, BGP AS, VNs)

1) Сохранить текущую конфигурацию Border node: #copy running-config flash:before-vn

Как быстро настроить Fusion router? (BGP)1) Проверить конфигурацию, которая поступила на Border node:#show archive config differences flash:before-vn

POD1-BR-01# show archive config differences

flash:before-vn

router bgp 65001

neighbor 172.17.19.6 remote-as 65010

neighbor 172.17.19.6 update-source Vlan3007

!

address-family ipv4

<...>

neighbor 172.17.19.6 activate

neighbor 172.17.19.6 weight 65535

exit-address-family

!

address-family ipv4 vrf Campus

<...>





exit-address-family

!

interface Vlan3007

description vrf interface to External router

ip address 172.17.19.5 255.255.255.252

no ip redirects

ip route-cache same-interface

!

<…>

Fusion router:

router bgp 65010



!

address-family ipv4

<...>



exit-address-family

!


<...>





exit-address-family

!

interface Vlan3007

description vrf interface to External router

ip address 172.17.19.6 255.255.255.252

no ip redirects

ip route-cache same-interface

!

<…>

2) Чтобы создать конфигурацию для Fusion router достаточно «перевернуть» конфигурацию Border node

3) Добавить BGP allowas-in на Border node.

neighbor 172.17.19.6 allowas-in

neighbor 172.17.19.10 allowas-in

Firewall в качестве Fusion router?

INFRA_VN (GRT*)

BGP

Ten0/0/0.ASVI A

BGP VRF Phones

BGP VRF Campus

SVI B

SVI C

Ten0/0/0.B

Ten0/0/0.C

Fusion ASA

BGP AS65010

Border Node

B

BGP AS65001

GRT

*Рекомендуется использование платформы Cisco Firepower для большей производительности.

1. Плюсы:• Использование stateful правил (ACL) между VN и Shared Services.• Возможность включить передачу тегов (SGT) между Border Node <-> Fusion ASA*.

Нюанс:ASA не поддерживает VRF -> нет возможности контролировать передачу маршрутов между VN (route-leaking).Решение: контроль взаимодействия между VN только с помощью ACL.

2. Рекомендуется использовать BGP:• автоматизация конфигураций на Border Node• поддерживает BFD (Bidirectional Forwarding Detection)

Cisco Catalyst:interface Te1/0/1

cts manual

Cisco Router:interface Te1/0/1.A

cts manual

Включить передачу SGT (Inline-SGT) c Border Node -> Fusion ASA:

Cisco ASA:interface Te1/0/1.A

nameif inside

cts manual

Выбор протокола маршрутизациидля стыка с Fusion router

Для стыка Border Node с Fusion router рекомендуется использовать eBGP:

• Настройка автоматизируется с DNAC

• Простой route-leaking на стороне Fusion router

Остальные протоколы: OSPF/EIGRP/Static – настройка вручную.

• Необходимо увеличить MTU до 9К, между Border Node <-> Fusion

Фабрика

E

B

B

DHCP

DNAC

ISE

Shared Services

E

eBGP

eBGP

Border Node 2

Border Node 1

Fusion router 2

Fusion router 1

iBGPiBGP

LISP

Типовой дизайн Фабрик


Обычно необходимо уменьшить количество Сайтов Фабрики

Иногда может потребоваться увеличить количество Сайтов Фабрики

Transit

Small

Medium

Large

S

M

LS

S S

M

Типовые дизайны Фабрик

На что обратить внимание?

Underlay сеть (MTU 9К)

Wireless Client Roaming (< 20ms RTT)

Локальный доступ в Internet (на Удаленных площадках)

Отказоустойчивость Удаленных площадок (Локальные

Control-Planes/Borders)

Поддерживается только на Catalyst 9000*

Оптимизация затрат дляSDA на “mini” Сайтах

Может быть стек C9300

C9800 eWLC с 1.2.8(поддерживается на C9300)

IP

Сайт

DC

ISE1 PAN + PXG

+ PSN

DDI1 DHCP + DNS

+ IPAM

DNAC1 NCP + NDP

ClusterISP

Internet

CP EB

“FABRIC IN A BOX”

Small Site (XS) – “Fabric in a Box”

FE

*кроме C9200L


SDA 1.2.6Октябрь 2018

IP

Сайт

DC

ISE1 PAN + PXG

+ PSN

DDI1 DHCP + DNS

+ IPAM

DNAC1 NCP + NDP

ClusterISP

Интернет

CP EB CP EB

Small Site (S) – Небольшой офис или удаленный филиал


Параметр Количество

Оконечные устройства < 1К

IP Pools < 100

Control-plane/Border2 Control/Border

(Collocated)

Сайт

DC

ISE2 PAN + PXG

2 PSN

DDI1 DHCP + DNS

1 IPAM

DNAC3 NCP + NDP

ClusterISP

Интернет

IP

CP

EB

CP

EB

Medium Site – Средний офис



IP Pools < 250

Control-plane/Border2 Control2 Border

(Distributed)


DC

Сайт

External

WAN

ISE2 PAN 2 PXG

5-10 PSN

DDI1 DHCP 1 DNS

1 IPAM

DNAC5-7 NCP + NDP

ClusterISP

Интернет

CP

IB

CP

IB EB EB

Large Site – Большой кампус

Internal



IP Pools < 500

Control-plane/Border2 Control

2-4 Border (Distributed)


Миграция на SDA

Подходы к миграции на SDA

Подходы к миграции

Параллельный Последовательный

Ядро сети

B BBC C

Текущая сетьSDA сегмент

... ...

Underlay

B BC B CB

SDA сегмент

B C B C

Текущая сеть

...

Ядро сети

(По одному коммутатору)

Параллельный подход к миграции

Миграция – параллельный подход

1. Подключить DNAC/ISE в сегмент Shared Services (DC)

Ядро сети


...

Основные этапы:

DHCP

DNAC

ISE

Shared Services

2. Подключить оборудование SDA-фабрики

SDA сеть

...

SDA сегмент

SDA сеть

...



Ядро сети


...


DHCP

DNAC

ISE

Shared Services


3. Настроить связность Underlay Фабрики -> Shared Services

4. Настроить Underlay Фабрики (вручную или PnP)

Underlay

SDA сегмент



Ядро сети


...


DHCP

DNAC

ISE

Shared Services




5. Добавить устройства в DNAC

SDA сеть

...

Underlay

SDA сегмент

SDA сеть

...

Underlay

B BC

SDA сеть

...

B C



Ядро сети


...


DHCP

DNAC

ISE

Shared Services





6. Добавить устройства в Фабрику (Provision)

SDA сегмент

Ядро сети

DHCP

DNAC

ISE

Shared Services

Текущая сетьSDA сеть

...

Underlay

B BC

SDA сеть

B C









7. Настроить IP Transit для стыка всех VN

SDA сегмент

Ядро сети

B BBC C

DHCP

DNAC

ISE

Shared Services


... ...










8. Протестировать взаимодействие SDA сегмент


...

Ядро сети

B BBC C

DHCP

DNAC

ISE

Shared Services

SDA сеть

...


Основные этапы (продолжение):

…8. Протестировать взаимодействие

9. Начать перевод пользователей

10. Демонтировать прежнюю сеть

SDA сегмент

Последовательный подход к миграции

SDA сегмент

Миграция – последовательный подход


Ядро сети


...


DHCP

DNAC

ISE

Shared Services

2. Подключить оборудование Control/Border Nodes

SDA сегмент

SDA сеть



Ядро сети


...


DHCP

DNAC

ISE

Shared Services


4. Добавить устройства Control/Border Nodes в DNAC

5. Добавить устройства Control/Border Nodes в Фабрику (Provision)

BB C


BB C

SDA сегмент

Ядро сети

DHCP

DNAC

ISE

Shared Services


...

Underlay

B BC

SDA сеть

B C




7. Настроить L2 Handoff (опция) если переносим сети в SDA «как есть»

L2 Handoff






SDA сегмент

Ядро сети

DHCP

DNAC

ISE

Shared Services


...

Underlay

B BC

SDA сеть

B C

Ядро сети

DHCP

DNAC

ISE

Shared Services


... ...

Underlay

B BC

SDA сеть

B C





L2 Handoff






8. Перенести шлюзы «растянутых» VLAN в Фабрику

SDA сегмент

SVI ASVI B

8. Перенести шлюзы «растянутых» VLAN в Фабрику

Ядро сети

DHCP

DNAC

ISE

Shared Services


...

Underlay

B BC

SDA сеть

B C

Ядро сети

DHCP

DNAC

ISE

Shared Services


... ...

Underlay

B BC

SDA сеть

B C





L2 Handoff






9. Установить новый FE Node

10. Отключить прежний коммутатор и перевести пользователей в Фабрику

SDA сегмент

Ядро сети

DHCP

DNAC

ISE

Shared Services


...

Underlay

B BC

SDA сеть

B C

Ядро сети

DHCP

DNAC

ISE

Shared Services


... ...

Underlay

B BC

SDA сеть

B C



L2 Handoff

…

11. Повторить для остальных коммутаторов

SDA сегмент

Ядро сети

DHCP

DNAC

ISE

Shared Services

Underlay

B BC B C

Ядро сети

DHCP

DNAC

ISE

Shared Services

B

SDA сегмент

B C B C



L2 Handoff

…

11. Повторить для остальных коммутаторов

SDA сегмент

12. Отключить L2 Handoff

13. Переключить текущий уровень распределения в Border Nodes Фабрики

Подходы к миграции на SDAПараллельный и Последовательный



Небольшой кампус/филиал Любой размер кампуса

Требует новых кабельных ресурсов Использует текущие кабельные ресурсы

Электропитание и место для

параллельной сети

Незначительное требование к

электропитанию и месту

Замена всех сетевых устройств кампуса Замена части сетевых устройств

кампуса

Возможность полностью протестировать

Фабрику перед миграцией

Частичный тест Фабрики

Какой подход к миграции выбрать?

Условие Параллельный Последовательный (новые сети)

Последовательный (текущие сети)

Имеется дополнительное место, электропитание и кабельные ресурсы

✓

Физическая топология текущей сети соответствует CVD ✓ ✓

Планируете изменить физическую топологию текущего кампуса

✓

Наличие устройств без поддержки DHCP (IOT/камеры)

✓

Быстрая миграция ✓

Текущие сети удовлетворяют потребности дальнейшего роста

✓

Сложность с изменением ACL на межсетевых экранах

✓

Миграция – «растягивание» подсетей между Текущей сетью и Фабрикой

• Layer 2 Border регистрирует устройства из «растянутых» VLAN Текущей сети на Control plane Node

• С помощью функционала Layer2 Handoff, «растягиваем»VLAN между Текущей сетью и Фабрикой

• SVI для VLAN текущей сети, располагается на L2 Border

• Роли Layer 2 и Layer 3 Border могут быть совмещены

SVI300Ядро сети

Пользователь 1IP: 10.2.2.0/24

Пользователь 2IP: 10.2.2.0/24

Layer 2

Border

Устройства в Address Pool (1021)

Устройства вVLAN (300)

E

B Стек или VSS

SDA сегмент Текущая сеть

Фабрика


• SDA Transit и Layer 2 Handoff не поддерживаются на одном Border Node

• Каждый VLAN из Текущей сети может быть «растянут» только через один Layer 2 Border

• Layer 2 Border поддерживает до 4К устройств суммарно во всех «растянутых» VLAN

• Разные VLAN из текущей сети могут «растягиваться» через разные Layer 2 Border

Layer 2

Border

B Стек или VSS

SDA сегмент Текущая сеть

Фабрика

Layer 2

Border#2

BE

vlan300

vlan300


Фабрика

Layer 2

Border

B vlan4006

Te1/0/14

Настройка в DNAC:

E

172.16.48.0/24

172.16.48.0/24

L2 Extension должен быть включен для «растягиваемого» IP Pool


Фабрика(LISP)

Layer 2

Border

B vlan4006

Te1/0/14

Конфигурации на устройстве:

E

172.16.48.0/24 172.16.48.0/24

vlan 4006

name 172_16_48_0-Campus

interface Vlan4006

description Configured from apic-em

mac-address 0000.0c9f.f460


ip address 172.16.48.1 255.255.255.0



router lisp

instance-id 4099

dynamic-eid 172_16_48_0-Campus

database-mapping 172.16.48.0/24

locator-set border

instance-id 8190

service ethernet

eid-table vlan 4006

database-mapping mac locator-set

border

router lisp

instance-id 8190

service ethernet

eid-table vlan 1025

database-mapping mac locator-set

border

!

interface Vlan1025


ip address 172.16.48.1

255.255.255.0


<…>


Vlan1025 vlan4006

Миграция на SDAНа что обратить внимание


Нужно ли взаимодействие между Virtual Networks (VN)

Определить количество VN

Определить группы микро-сегментации

Используем новые или текущие сети? DHCP?

PBR, WCCP перенести с Distribution Layer вне Фабрики

Сетевая часть: MTU, топология, IP-адресация для Underlay и Overlay, расположениеShared Services

Подводные камни

Вариант отказа для резервируемых External bordersИ как с ним справиться

Фабрика

E

B B

E

Border Node 2Border Node 1

LISP

• Не импортирует неизвестные сети в Фабрику! Используется только если маршрут до сети не зарегистрирован на Control-plane node.

• Если External Border несколько, то трафик балансируется между ними (per-flow).

router lisp

service ipv4

use-petr 172.17.73.1

use-petr 172.17.73.2

172.17.73.1 172.17.73.2

External border:

Внешние сети

eBGPeBGP


Фабрика

E

B B

E


eBGP

LISP

eBGP

• Внешний интерфейс на Border Node 2 выходит из строя.

router lisp

service ipv4

use-petr 172.17.73.1

use-petr 172.17.73.2

172.17.73.1 172.17.73.2

Сценарий отказа:


• С Border Node 2 удаляется маршрутная информация о внешних сетях.

• Fabric Edge коммутаторы продолжают направлять половину потоков на Border Node 2

• Потоки отбрасываются на Border Node 2


Фабрика

E

B B

E


eBGP

LISP

eBGP

Настроить дополнительные iBGP-сессии в каждом VN, между Border Node.

router lisp

service ipv4

use-petr 172.17.73.1

use-petr 172.17.73.2

172.17.73.1 172.17.73.2

Решение:


VRF Campus

VRF Phones

iBGP

iBGP

Border Node 1 Border Node 2 interface Vlan2500

vrf forwarding OFFICE

ip address 172.17.12.0 255.255.255.254

bfd interval 100 min_rx 100 multiplier 3

!

router bgp 65001




neighbor 172.17.12.1 fall-over bfd



Фабрика

E

B B

E


eBGP

LISP

eBGP

• Внешний интерфейс на Border Node 2 выходит из строя.

router lisp

service ipv4

use-petr 172.17.73.1

use-petr 172.17.73.2

172.17.73.1 172.17.73.2

Сценарий отказа после исправления:


• Border Node 2 начинает использовать iBGP маршруты.

• Fabric Edge коммутаторы продолжают направлять половину потоков на Border Node 2

• Border Node 2 отправляет потоки наBorder Node 1 с помощью iBGPмаршрутов

iBGP

iBGP сессии после перезагрузки External bordersКакой отказ помогают решить

Фабрика

E

B B

E


eBGP

LISP

eBGP

• Border Node 1 включился

172.17.73.1 172.17.73.2

Сценарий отказа без iBGP-сессий:


• Border Node 1 установил eBGP-сессию. LISP-сессии с Fabric Edge еще не установлены

• Трафик «север-юг» начинает поступать на Border Node 1

• У Border Node 1 нет LISP записей о маршрутах оконечных устройств. Трафик отбрасывается.

iBGP сессии после перезагрузки External bordersКакой отказ помогают устранить

Фабрика

E

B B

E


eBGP

LISP

eBGP

• Border Node 1 включился

172.17.73.1 172.17.73.2

Сценарий отказа с iBGP-сессиями:


• Border Node 1 установил iBGP/eBGP-сессии. LISP-сессии с Fabric Edge еще не установлены

• Трафик «север-юг» начинает поступать на Border Node 1

• У Border Node 1 нет LISP записей о маршрутах оконечных устройств, но есть iBGP маршруты.

Трафик отправляется на Border Node 2.

iBGPB

SVI интерфейсы в сторону Fusion routerДолгое восстановление связи при отказе

Фабрика

E

B B

E


eBGPeBGP

Исходные данные:В качестве Border Node используются коммутаторы (например Cat9K, Cat3K)

Проблема:Наблюдается долгий перерыв связи, при отключении интерфейса Border Node 1 -> Fusion router

172.17.73.1 172.17.73.2


iBGP

SVI интерфейсы в сторону Fusion routerПричина долгого восстановления связи при отказе

Фабрика

E

B B

E


eBGPeBGP

172.17.73.1 172.17.73.2


iBGP

Причина:Для связности между Border Node 1 -> Fusion используется SVI*

router bgp 65001






!

interface TenGigabitEthernet1/0/3

description “LINK TO EXT-1”

switchport mode trunk

!

Te1/0/3

SVI* - Switch Virtual Interface

SVI интерфейсы в сторону Fusion routerВарианты устранения долгого перерыва связи

Фабрика

E

B B

E


eBGPeBGP

172.17.73.1 172.17.73.2


iBGP

1. Удалить vlan3003 со всех trunk-интерфейсов

Tex/x/x

switchport trunk allowed vlan remove 3003

Te1/0/3

SVI* - Switch Virtual Interface

2. Настроить BFD для SVI интерфейсов

router bgp 65001


neighbor 172.17.14.10 fall-over bfd

!

Варианты устранения:

• Для работы DHCP в SDA Фабрике необходима DHCP опция-82.

• Если сервер возвращает DHCP пакет без опции-82, то такой пакет будет отброшен на входе в Фабрику.

Клиенты не получают адрес по DHCPНа что обратить внимание

4

BE10.1.18.0/24

1 DHCP

Запрос

2

SVI

10.1.18.1

SVI

10.1.18.1

• Опция 82 = “1.1.1.1”(FE loopback) и “10” VN-ID• GIADDR = 10.1.18.1 ( SVI address) 3

192.168.0.1

DHCP запрос

Отправляется

серверу

GIADDR - Gateway IP address – Адрес DHCP relay

B C

Общие рекомендации

Рекомендации по миграции и внедрению

Тестируйте изменения в лаборатории

Используйте временные IP Pools перед вводом в промышленную

эксплуатацию

Следуйте стандартному процессу проектирования

Используйте проактивные сервисные запросы в TAC

Обучайтесь технологии SDA для управления сетью

Используйте рекомендуемые и проверенные версии ПО для SDA:SD-Access Hardware and Software Compatibility Matrix

https://www.cisco.com/c/en/us/solutions/enterprise-networks/software-defined-access/compatibility-matrix.html

Процесс проектирования

Проектирование

Настройка

Тестирование

Перевод пользователей

Усиленный мониторинг после внедрения

Сбор требований

Архитектура SDA не меняет стандартного подхода к проектированию:

Заключение

SDA = Кампусная Фабрика + DNAC + ISE

BB

КампуснаяФабрика

C

DESIGN PROVISION POLICY ASSURANCE

DNA Center Простые Процессы

Архитектура SDA

Ключевые моменты Фабрики




На что обратить внимание

• Overlay поддерживает L2 + L3

• Мобильность пользователей с помощью Anycast Gateway

• Информация о SGT теперь в VXLAN заголовке

CB B

C

B


B

ВнешниеСети

Роли устройств в Фабрике

• Edge Node – предоставляет сервисы Фабрики для подключенных пользователей.

• Control-Plane Node база соответствий “IP -> Loopback” устройства Фабрики.

• Border – Стык Фабрики с внешними

сетями.

Подходы к миграции на SDA

Подходы к миграции


Ядро сети

B BBC C

Текущая сетьSDA сегмент

... ...

Underlay

B BC B CB

SDA сегмент

B C B C


...

Ядро сети


Миграция и внедрение

Следуем рекомендациям по миграции и внедрениюТестирование!!!

Учитываем подводные камни

Выбираем подход к миграции (последовательный или параллельный)

Выбираем один из четырех типовых дизайнов Фабрики (XS, S, M, L, XL)

Скрытые слайды

Поддержка SDA на платформах

ASR-1000-X

ASR-1000-HX

ISR 4430

ISR 4450

МаршрутизаторыКоммутаторы

Catalyst 9400

Catalyst 9300

Catalyst 4500E Catalyst 6800 Nexus 7700

Catalyst 3650 and 3850 ISRv/CSRv

Catalyst 9500

Catalyst 9200NEW

Дальнейшие шаги

106

ИзучитеТехнологию

SDA

И….

Запланируйтемиграцию

Проверьте поддержку

SDA на своих

устройствах

Будьте на волне цифровизации!

Дополнительные ресурсы по SDA

108

cisco.com/go/cvd• SD-Access Design Guide - Dec 2018

• SD-Access Deploy Guide - Oct 2018

cisco.com/go/dnacenter• DNA Center At-A-Glance• DNA Center 'How To' Video Resources• DNA Center Data Sheet

cisco.com/go/sdaccess• SD-Access At-A-Glance• SD-Access Design Guide• SD-Access FAQs• SD-Access Migration Guide• SD-Access Solution Data Sheet• SD-Access Solution White Paper

https://cisco.com/go/cvd

https://www.cisco.com/c/dam/en/us/td/docs/solutions/CVD/Campus/CVD-Software-Defined-Access-Design-Sol1dot2-2018DEC.pdf

https://www.cisco.com/c/dam/en/us/td/docs/solutions/CVD/Campus/CVD-Software-Defined-Access-Deployment-Guide-Sol1dot2-2018OCT.pdf

https://cisco.com/go/dnacenter

https://www.cisco.com/c/dam/en/us/products/collateral/cloud-systems-management/dna-center/at-a-glance-c45-739010.pdf?oid=aagen000249

https://www.cisco.com/c/en/us/support/cloud-systems-management/dna-center/video-resources.html

https://www.cisco.com/c/en/us/products/collateral/cloud-systems-management/application-policy-infrastructure-controller-enterprise-module/datasheet-c78-739052.html

https://cisco.com/go/sdaccess

https://www.cisco.com/c/dam/en/us/solutions/collateral/enterprise-networks/software-defined-access/at-a-glance-c45-738181.pdf?oid=aagen000292

https://www.cisco.com/c/dam/en/us/td/docs/solutions/CVD/Campus/CVD-Software-Defined-Access-Design-Guide-2017AUG.pdf

https://www.cisco.com/c/en/us/solutions/enterprise-networks/software-defined-access/q-and-a-listing.html

https://www.cisco.com/c/en/us/solutions/collateral/enterprise-networks/software-defined-access/guide-c07-739524.html

https://www.cisco.com/c/dam/en/us/solutions/collateral/enterprise-networks/software-defined-access/solution-overview-c22-739012.pdf?oid=sowen000311

https://www.cisco.com/c/en/us/solutions/collateral/enterprise-networks/software-defined-access/white-paper-c11-739642.html

Спасибо за внимание!

www.facebook.com/CiscoRu


www.instagram.com/ciscoru

www.youtube.com/user/CiscoRussiaMedia

www.vk.com/cisco

Оцените данную сессию в мобильном приложении конференции

Контакты:

Тел.: +7 495 9611410www.cisco.com

Documents

Внедрение SDA для кампусных сетей – R&S · Внедрение SDA для кампусных сетей –R&S Алексей Сажин Инженер-консультант,