Июнь 2016

Open Ethernet – открытый подход к построению

Ethernet сетейАлександр Петровский – Mellanox Technologies

© 2016 Mellanox Technologies 2

Смена парадигмы в истории IT

От эры мейнфреймов

• Закрытая архитектура

• Проприетарные интерфейсы

• Проприетарное ПО

• Вертикальная Scale-up маштабируемость

К эпохе PC

• Открытая расширяемая архитектура

• Стандартные интерфейсы

• Огромный выбор ПО

• Горизонтальная Scale-out масштабируемость

* PDP-11/70 minicomputer * Racks of OCP servers in Facebook

© 2016 Mellanox Technologies 3

Смена парадигмы в наше время

Wall street IT Web-scale IT

CLOS Fabric

Scale-out

Distributed

Автоматизация, DevOps

Open source

Гиперконвергенция

Software-defined

Scale-up

Centralized

Традиционное управление

Проприетарное ПО

Виртуализация

Hardware-defined

“By 2017, Web-scale IT will be an

architectural approach found

operating in 50 percent of

global enterprises…”

Gartner, March 5, 2014

© 2016 Mellanox Technologies 4

Закрытая платформа- Привязка к одному вендору

- Дорого!

- Медленный цикл разработки

Open Ethernet = Open Source в мире сетей

Возможность выбора- Лучшего железа

- Лучшего ПО

- Быстрое внедрение

hardware

operating system

app app app

Дезагрегация инфраструктуры:- ONIE, SDK API, SAI

SONiC

© 2016 Mellanox Technologies 5

Открытые платформы и API

1. Открытые Ethernet платформы

- Выбор сетевой ОС, платформы коммутатора

и приложений

- Open Compute Project

2. Стандартные, открытые API

- OCP ONIE, SAI

- Linux Switchdev

3. Открытые интерфейсы автоматизации и

оркестрации

- REST API

- Chef, Puppet, Ansible

Стандартные протоколы и приложения

1. Routing: Quagga, Bird

2. Switching: OpenMLAG

3. SDN: OpenFlow, Overlays (VXLAN)

Ключевые компоненты Open Ethernet

Open Ethernet для ускорения инноваций

+NOSs

© 2016 Mellanox Technologies 6

Spectrum 100G Ethernet ASIC – платформа Open Ethernet

Лидер по производительности• Неблокирующая коммутация 6.4Tb/s

• <300ns задержки на L2/L3 от 64b до 9Kb

• Zero Packet Loss

Масштабируемость для облаков• Поддержка виртуализации

• Оптимизация пропускной способности

• Гибкие SDN возможности

Функциональность• 32 порта по 100 / 56 / 40GbE

• 64 порта по 50 / 25 / 10GbE

• RDMA over Converged Ethernet

• Программируемость для SDN и поддержка Overlay (VXLAN, NVGRE, Geneve) и MPLS

© 2016 Mellanox Technologies 7

Чип Mellanox Spectrum – лучший в индустрии

50

60

70

80

90

100

Packet Size (Bytes)

Broadcom

50

60

70

80

90

100

Packet Size (Bytes)

Spectrum

LatencyFairness Zero Packet Loss

Стабильно низкая задержка для любого типа трафика и любых размеров пакетов

Равномерное распределение полосы

Отсутствие потерь пакетов любых размеров при любой

нагрузке

BroadcomSpectrum

www.zeropacketloss.com

www.Mellanox.com/tolly

• Отчет Tolly раскрывает фундаментальные различия в

характеристиках коммутаторов на базе Mellanox Spectrum и

Broadcom Tomahawk

• На базе Broadcom делают свои коммутаторы ведущие

производители – Cisco, Juniper, Extreme, Arista, Huawei и многие

другие

© 2016 Mellanox Technologies 8

Выбор сетевой ОС на Spectrum – уже реальность

6 коммутаторов Spectrum :

• Cumulus Linux

• Mellanox OS

• Microsoft ACS (SONiC)

• HP OpenSwitch (future)

• MetaSwitch (future)

• BaiduOS (future)

OCP Summit March 2016 – Live Demo

© 2016 Mellanox Technologies 9

Open Compute Project

Open HW

Switch Abstraction Interfaces

Any NOS

Open Network Linux

Unified Platform

Interfaces

Testing and Benchmarking

Suits

Open Network Install

Environment

Сообщество разработки открытых

архитектур оборудования

Выбор строительных блоков

инфраструктуры через открытые

интерфейсы

Экосистема производителей и

потребителей

Возможность выбора любого компонента

на любом уровне архитектуры (HW, SW,

platform):

• Server

• Storage

• Networking

• Rack

• Management

• Data Center physical environment

© 2016 Mellanox Technologies 10

ONIE – открытый загрузчик сетевых ОС

ONIE – Open Network Install Environment

• Загрузчик + Ядро Linux + BusyBox

• Аналог BIOS/UEFI в серверах

Выбор – любая ОС на любом железе

First power up

(or upgrade)

ONIE boot on local CPU

Connect to management

network

Download NetOS installer via FTP or TFTP

Execute NetOS

installer

Install the NetOS

Boot from NetOS

ONIE Operation

© 2016 Mellanox Technologies 11

Что такое SAI? User-space абстракция ASIC

OCP спецификация для абстракции

интерфейсов управления коммутатором

• Обертка над SDK API

• Вендоронезависимые интерфейсы управления

основными функциями коммутатора

- Init, startup/shutdown, Port, L2, L3, ACL, QoS

- vendor-specific функциональность и расширения

• Развивается открытым сообществом

• Лидеры: Microsoft, Dell, Facebook, Broadcom, Intel,

Mellanox

• Обеспечивает совместимость с любым HW

• Позволяет разработать собственную сетевую ОС

Вклад Mellanox

• Mellanox – один из авторов спецификации SAI

• SAI встроен в Spectrum SDK

• Сетевые ОС на базе SAI:

- OpenSwitch

- SONiC

© 2016 Mellanox Technologies 12

Что такое Switchdev? In-Kernel абстракция ASIC

Драйвер Linux ядра, позволяющий сделать offload сетевого стека (dataplane) на ASIC

Разрабатывается сообществом Linux

Полностью открытое решение

Использует стандартные Linux APIs

• Open-source протокол для аппаратного ускорения сетевых функций Linux

• Можно поставить Linux на коммутатор и сразу же получить wire-speed производительность на L2/L3

HW

p3p2p1

p5

Router Vlan 2

SwitchDev

Policy management

Spectrum Port net

dev

mlxsw_pci

mlxsw_core

mlxsw_spectrum

Spectrum Port net

dev

Spectrum Port net

dev

Spectrum Port net

dev

Port Config(NDO) ,hw event

Packet rx/tx

Port Config(NDO) hw event

Packet rx/tx

Port Config(NDO) ,hw event

Packet rx/tx

Port Config(NDO) ,hw event

Packet rx/tx

switchdev_ops,hw event

Linux bridge

TC

Router

FDB APIs

FIB APIs

FlowAPIs

© 2016 Mellanox Technologies 13

Пример работы Switchdev (Linux запущен на Spectrum)

panther # brctrl addbr br0

panther # brctrl addif br0 eth29

panther # brctrl addif br0 eth28

host-2 # iperf –s –i1

host-1 # iperf -c 192.168.1.1 -i1 -P 8

------------------------------------------------------------

Client connecting to 192.168.1.1, TCP port 5001

TCP window size: 85.0 KByte (default)

------------------------------------------------------------

[ 9] local 192.168.1.2 port 38848 connected with 192.168.1.1 port 5001

...

[ 7] local 192.168.1.2 port 38844 connected with 192.168.1.1 port 5001

[ 10] local 192.168.1.2 port 38846 connected with 192.168.1.1 port 5001

[ ID] Interval Transfer Bandwidth

[ 9] 1.0- 2.0 sec 1.25 GBytes 10.7 Gbits/sec

[ 3] 1.0- 2.0 sec 1.28 GBytes 11.0 Gbits/sec

…

[ 7] 1.0- 2.0 sec 1.44 GBytes 12.4 Gbits/sec

[ 10] 1.0- 2.0 sec 1.36 GBytes 11.7 Gbits/sec

[SUM] 1.0- 2.0 sec 10.5 GBytes 90.6 Gbits/sec

© 2016 Mellanox Technologies 14

Первая Open Source реализация протокола MLAG

Open MLAG

• Стандартная реализация MLAG для

различных программных и аппаратных

платформ

• Протокольная совместимость MLAG

MLAG• Синхронизация параметров распределенных

LAG портов между коммутаторами

• Хост (или коммутатор) подключенный к MLAG паре, прозрачно использует LAG

• Балансировка нагрузки, fail-over SONiC

© 2016 Mellanox Technologies 15

Единственный адаптер Multi-Host Ethernet для сервера Facebook Yosemite

Первый в мире адаптер 25/50Gb Ethernet для сервера Facebook Leopard

Первый в мире адаптер 50Gb Ethernet для сервера OpenPower Rackspace Barreleye

OCP адаптеры Mellanox

Yosemite Leopard Barreleye

50GbE

Multihost NIC 50GbE

NIC

25GbE

NIC

© 2016 Mellanox Technologies 16

Facebook Yosemite: дезагрегированный Multi-Host сервер

Серверная Quad Core Multi-host платформа Facebook Yosemite

100Gb/s

Copper

Cable

ConnectX-4

OCP2.0 100Gb/s

Multi-Core Adapter

Multi-Host

PCI-Express

Host Connections

100Gb/E

QSFP

Yosemite Sled

With Quad CPU Cards

© 2016 Mellanox Technologies 17

OCP • Open SDK on GitHub

• OCP Switch Hardware

• OCP Adapters

Open mLAG • Contributed to GitHub

SAI,

Switchdev

• Switch Abstraction Interface

• Enables MSFT ACS (SONiC)

• Mellanox Switchdev driver in upstream

ONIE• All Spectrum

switches have ONIE

Выбор NOS

• MLNX-OS

• Cumulus

• OPS, SONiC (future)

Вклад Mellanox в Open Ethernet и Open Networking

© 2016 Mellanox Technologies 18

1. Выбирайте любые программные компоненты в сети (ОС, ПО, Стеки протоколов)

2. Выбирайте самую лучшую аппаратную платформу

В заключение об Open Ethernet…

Спасибо!Александр Петровский – alexpe@mellanox.com