ルーター開発～むつかしき問題～

大江 将史<masa@fumi.org>

国立天文台

2014/6/11 Interop2014_C2-08 1

インタロップ２０１４講演資料抜粋

おことわり

詳細な調査に基づく発表としております．しかしながら，諸事情により，具体的な製造元などを細かくお伝えできない場面があることをご理解ください．

本資料は，公開用のため，確信は記載されていません．講演に参加された方のみぞ知る話です．

2014/6/11 Interop2014_C2-08 2

ルーターとスイッチングハードウェアの今を知る

何がむつかしいのかを知るために

2014/6/11 Interop2014_C2-08 3

ことばの確認ルータとスイッチングハブ（スイッチ）

•ルータとは？•Ｌａｙｅｒ－３（Ｌ３）のＩＰ層において，異なるネットワーク間の通信を中継する機器

•ルータの基本•ルーティング

•届いたＩＰパケットの「宛先」を「経路表（ルーティングテーブル）」を参照し，次の宛先，インターフェース等を把握

•経路表は，ＯＳＰＦやＢＧＰといったルーティングプロトコルでコントロールされる．

•フォワーディング

•次の宛先へＩＰパケットを送ること

2014/6/11 Interop2014_C2-08 4

ここでのルータとは・・・

• １０Ｇ・１００ＧｂＥのような広帯域に対応し，キャリアにおいてインターネットの全経路（通称フルルート）を処理する能力を有する機器

• ルーティングプロトコルの信頼性が高い．

2014/6/11 Interop2014_C2-08 5

ことばの確認ルータとスイッチングハブ（スイッチ）

•Ｌａｙｅｒ２（Ｌ２）スイッチとは？•データリンク層（Ｅｔｈｅｒｎｅｔ）において，適切なインターフェースへ通信を中継する

•Ｌ２スイッチの基本•スイッチング

•届いたＥｔｈｅｒｎｅｔフレームの「宛先ＭＡＣ」を，ＦＩＢ（フォワーディングインフォメーションベース）から適切な宛先インターフェースを把握

•フォワーディング•宛先へＥｔｈｅｒｎｅｔフレームを送ること

•Ｌ３スイッチ＝ルータのようにルーティング（＝スイッチング）とフォワーディングする．

• 基本機能は，ルータに同じ

2014/6/11 Interop2014_C2-08 6

ポイント

•Ｌ２でもＬ３でも

•ルータでもスイッチングハブでも，

「受信」「宛先を検索」「送信」

が基本です．

2014/6/11 Interop2014_C2-08 7

今の通信機器10GbE/40GbE L2/L3 スイッチ，ルータと呼ばれる製品の内部構成

ブロードコムBCM56840シリーズ

スイッチ機能制御部

スイッチ機能ＬＳＩ

拡張Ｉ／Ｆ

電源

メーカーＡ

2014/6/11 Interop2014_C2-08 8

今の通信機器10GbE/40GbE L2/L3 スイッチ，ルータと呼ばれる製品の内部構成

スイッチ機能ＬＳＩＢＣＭ５６８４０

10GbE x 24 40GbE x 2 (10GbE x 4 x 2)

スイッチ機能制御部

メーカーＢ

2014/6/11 Interop2014_C2-08 9

コアの部品は，同じ

•汎用ＬＳＩの活用が垣間見れる•Broadcom Trident I / BCM56841A3KFRBG US$ 500

Cisco Nexus 3000/ Arista 7050 / Force 10 S4810 / Juniper QFX3500 他などＥｔｈｅｒｎｅｔ スイッチングＬＳＩのベースに製品を仕上げる

＝

2014/6/11 Interop2014_C2-08 10

（参考）ＬＳＩ・ＡＳＩＣ・ＦＰＧＡ•ＬＳＩ

•ターゲット・クロックを元に回路デザインをして作成，製造

•コスト高い，高性能を追及できる．ＣＰＵ等

•汎用ＬＳＩ一般に販売されている．既製品

•専用ＬＳＩメーカ専用品

•ＡＳＩＣ•既成のＡＳＩＣ上に，必要な機能を実装する．

•高性能を追及ができないが，ＬＳＩより安価に開発，量産効果

•ＦＰＧＡ•メモリーのお化け，いつでも自由に回路を書き換えられる．

•規模が大きくなるといろいろ課題も生じる．ＦＰＧＡそのものが高価

•たくさん使うなら，ＡＳＩＣほうが安いとも．

2014/6/11 Interop2014_C2-08 11

機器の構成イメージ

コア機能

制御部（x86/PorwerPC）Linux / *BSD /

等OS

ソフトウェア制御

• ルーティングプロトコル

• ループ検出• スタッキング制御• ＣＬＩ

（ＦＰＧＡ）（ＡＳＩＣ）（汎用ＬＳＩ）

• 独自プロトコルなどの実装用• 独自のスイッチング実装

汎用ＬＳＩのＳＥＲＤＥＳなど一部機能のみを利用する場合もある

専用ＬＳＩや汎用ＬＳＩＡＳＩＣを利用

この点の実装で汎用ＬＳＩであっても製品間の違いがでてくる．

2014/6/11 Interop2014_C2-08 12

（参考）Ｌ２／Ｌ３ ＬＳＩ機能ブロックデザイン( 10GbE x 64 ports )

Forwarding Engine

TCAM L3 Longest Prefix Match

L2MACTCAM

Buffer memory

SERDES

SERDES

ACL TCAM

SERDES: シリアル-パラレル変換

SERDES

SERDES

2014/6/11 Interop2014_C2-08 13

（参考）汎用ＬＳＩシャーシスイッチ・高機能化

•スケーラビリティ：多段構成を組める•ボックススイッチからシャーシスイッチまで可

•Broadcom Trident II StrataXGS BCM56850

•1.28T/960G/720Gbpsのシリーズ

•1.28Tbps : 32port 40GbE •HiGIG （Broadcom バックプレーン間接続用通信方式）とファブリックモジュール用BCM56750 によるモジュラー構造構成

•高機能サービス実装•FCoE / VxLAN 出典: Broadcom BCM56850 data sheet

2014/6/11 Interop2014_C2-08 15

ベンダーの開発動向

• スイッチ・ルータ用に独自ＬＳＩを設計・製作するベンダー

• 上位機種に採用，汎用ＬＳＩも併用• 下位機種は，汎用ＬＳＩを採用

• 高性能を手に入れ，マーケティングやビジネス上のリスクも負う

• スイッチ・ルータ用に独自ＡＳＩＣを製作するベンダー

• ベースとなるＡＳＩＣのチップ上に設計パターンを乗せるイメージ• ちょっと前までは，ＡＳＩＣで十分な性能でした．

• 汎用ＬＳＩの機能を利用，独自実装するより安い

• スイッチ・ルータ用に汎用ＬＳＩを活用するベンダー

• ホワイトボックススイッチの台頭

2014/6/11 Interop2014_C2-08 16

何がそんなに大変なの？ワイヤーレートとデバイスの限界

•ワイヤーレートでのルーティングを達成すること•パケットを受信

•ルーティングテーブル参照

•フォワーディング

•パケット送信次のフレームが来るまでに完了させないといけない．

•処理能力は，バンド幅（ｂｐｓ）ではなく，フレーム（パケット）数（ｆｐｓ・ｐｐｓ）を基準に考える．•バンド幅の拡大＝１フレームの処理の猶予が少なくなる

Ｉ／Ｆバンド幅 ワイヤーレート時百万FPS

フレーム処理時間

１Ｇｂｐｓ １．４８８０９５ ６７２μｓ

１０Ｇｂｐｓ １４．８８０９５ ６７．２ｎｓ

４０Ｇｂｐｓ ５９．５２３８ １６．８ｎｓ2014/6/11 Interop2014_C2-08 17

帯域が拡大高速化は幅ではなく時間が効いてくる

！10Gbps = 約67nsの猶予

•ＤＲＡＭ•ＤＤＲ／ＤＤＲ２／ＤＤＲ３と高速化！

•いやそれは，車線（アクセス幅）が広くなっている．

•車の速度，ビットを取り出せる時間はあまりかわらない．•遅延 ４９ｎｓ～＋アクセスタイム

•まとまったデータを取り出すのは早いけど，初動が重い．

•ＳＲＡＭ•ＣＰＵのキャッシュなど，高価で電力も必要

•Sandy Bridge Core i3 3.3GHzの場合，L1：4Cycle(1.2ns) L2: 12Cycle(3.6ns) L3:27.85Cycle(8.355ns) / 1Cycle =0.3ns

•初動が速いけど，コスト（ＤＲＡＭの４倍～），電力消費（ＤＲＡＭの４倍）

2014/6/11 Interop2014_C2-08 18

処理の猶予とメモリデバイスの速度

• ＴＣＡＭ（ＴｅｒｎａｒｙＣＡＭ）• ＭＡＣやＩＰを高速に一定時間で検索する

• 連想メモリ，保存ではなく「検索」のメモリー

• ０－１ーｄの3ステートにより，Ｌｏｎｇｅｓｔ Ｍａｔｃｈ検索やワイルドカードで検索できる．

• ＳＲＡＭの８倍以上の価格，ＳＲＡＭの２倍以上の消費電力

• ＴＣＡＭとＳＲＡＭを組み合わせる• どんな問い合わせでも一定時間（２クロック）で答えが出る．

• 実装上はすごく有利

• ＡＣＬ，Ｌ２，Ｌ３の検索に活用

• ４０Ｍｂｉｔ品でＩＰｖ４が１００万エントリ

• ５１．２万経路 で１８Ｍｂｉｔ必要・ＩＰｖ６なら１２．８万経路

2014/6/11 Interop2014_C2-08 19

ＴＣＡＭ

経路検索

インデックス

ＳＲＡＭ

参照

経路確定

ＴＣＡＭの乗せれば解決？

•いわゆる力技・正攻法•消費電力大，冷却設計，回路線長の限界

•いわゆる逃げ•１００万経路（相当）対応，相当って？

•経路の特性を利用して，経路を圧縮，ＴＣＡＭを圧縮

2014/6/11 Interop2014_C2-08 20

ここまでのまとめ

•ハードウェア視点から見ると，広帯域化は，Ｌ３・Ｌ２の宛先検索がボトルネックになる

Ｌ３フルルート（１００万経路越え）

Ｌ２ＭＡＣアドレステーブル（大量のＭＡＣ）

デカいテーブルは，デバイス技術の観点から

コスト・消費電力・設計が大変．

2014/6/11 Interop2014_C2-08 21

ディスカッション

2014/6/11 Interop2014_C2-08 22

テーマ

•生き残れるのはどこだ！

•スイッチング機器

•ルータ機器

2014/6/11 Interop2014_C2-08 23

生存競争

１）運用やプロトコルにより，開発制約を緩くする

２Ａ）直球で勝負

ハード・ソフト開発の正常進化

２Ｂ）アイデアで勝負できる

実用性に耐えうる実装をアイデアで開発

３）別の道へ進む

2014/6/11 Interop2014_C2-08 24

生き様１）冒険して高性能達成ミッド・バックプレーンを廃止

•もちろん，ブレークスルーするベンダーもあります．

•例）ファブリックと各ＩＯモジュールを直交接続化

• ミッドバックプレーンは，線路長が与える物理的な制約により，高速化・低遅延化がむつかしくなる．

•ＡＳＩＣ＋汎用ＬＳＩで広帯域化・低遅延を実現

• ただし，モジュールスロットのバリエーションが組めない．

2014/6/11 Interop2014_C2-08 25

生き様２）経路を圧縮してＴＣＡＭ削減

•もちろん，ブレークスルーするベンダーもあります．

•例）ＴＣＡＭを増やすのではなく，ハッシュ化や，多段構成で検索するなどにより，フルルート相当を実現．

2014/6/11 Interop2014_C2-08 26

生き様概況・生き残れる？

•ルーター直球開発

•ルーター変化球

•フルルートルーターじゃないけど・

•用途の集約化で設計効率を高める

•汎用ＬＳＩ活用

2014/6/11 Interop2014_C2-08 27

鍛え上げられる＝完成度が高くなるシェアを落とす＝完成度は？？

•生き残るためにベンダーは，生存競争を正攻法やアイデアで生き抜く

2014/6/11 Interop2014_C2-08 28

変化球

• ハッシュなど経路の圧縮によるＴＣＡＭ削減

• 必要十分に絞ったＴＣＡＭ量

• カスタムＬＳＩ，汎用ＬＳＩ，ＡＳＩＣ

正攻法

• カスタムＬＳＩ

• 十分なＴＣＡＭ

ハードウエア屋の悩みを知ると，ダメなところが見えてくる

•デバイスの壁にぶち当たってるベンダーから話を聞くと，ＩＰｖ６は罪作りなプロトコル•「ハードウェアにやさしい」なんて教えられましたが・・・

•ルーティングテーブルがデカくなる可能性がある

•デュアルスタック＝ＴＣＡＭ２倍以上

•運用の「もしかして」に備えた「余裕」により設計がむつかしくなる•２００万ルート，それとも１００万ルート？

•ベンダーは黙々と頑張りますが，こんな状況にみなさんはどうお考えですか？

2014/6/11 Interop2014_C2-08 29

マルチから特定用途機器へ変化

•マルチこなす機器から特定用途向け視点を持った進化•データセンタ事業者・キャリア事業者の視点でどうとらえていますか？

•たとえば？•ＤＣに必要な機能に絞ったホワイトボックススイッチ＋オリジナルＯＳ？

•（参考）ルーター＆スイッチのトレンド•低遅延性

•Ｌ２／Ｌ３テーブルサイズ

•ＶｘＬＡＮ・ＳＤＮ

•ＯｐｅｎＦｌｏｗ

•ＰＴＰ，パケットへのタイムスタンプ挿入

•スタッキング・ループ防止

•スイッチング帯域

多機能から費用対効果を考慮した用途別すみわけ

2014/6/11 Interop2014_C2-08 30