28
1 Proprietary to PALTEK CORPORATION CONFIDENTIAL PCI Express IP Solution PCI Express IP Solution

PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

1

Proprietary to PALTEK CORPORATION

CONFIDENTIAL

PCI Express IP SolutionPCI Express IP Solution

Page 2: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

2CONFIDENTIAL

PCI Expressを使用する理由

プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ

ム間において、従来よりも高速なインターフェイスが必要

I/O間にて安定性のある十分なデータ帯域を、CUPやメモリにお

いて保障する必要が出てきた

高帯域をサポート– PCI Expressはx1, x2, x4, x8, x12, x16, x32 レーン幅にて構成が可能

x32リンクモードでは各方向に対して10GB/sの転送が可能

• 8b/10bエンコードのオーバーヘッドを考慮すると実質レートは8GB/s

PCI Express 1.0/1.1: 2.5 Gbit/sPCI Express 2.0: 5.0 Gbit/s

Page 3: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

3CONFIDENTIAL

PCI Expressの特色

単一ピンに対する高い帯域

デバイス間におけるPoint-to-pointシリアルインターフェイス

– 専用のリンク => 共有バスの為のアービトレーションは必要なし

低消費電力とパワーマネージメント機能

デバイスhot-plugとhot-swapQoSリンクコンフィグレーションとアービトレーション機能

パケット転送、レイヤ別プロトコル構造

過去 現状 今後 過去 現状 今後32bit, 33MHz 1056 132 半二重 Std Std Std32bit, 66MHz 2112 264 半二重64bit, 33MHz 2112 264 半二重64bit, 66MHz 4224 528 半二重 Std Std Std64bit, 100MHz 6400 800 半二重64bit, 133MHz 8512 1064 半二重 Std Std Stdx1 2000 250 全二重 Std Std Std Stdx4 8000 1000 全二重 Limited Std Limited Stdx8 16000 2000 全二重 Limited Limitedx16 32000 4000 全二重 AGP Std Std AGP Std Stdx32 64000 8000 全二重

PCI Express

双方向スピード(Mbyte/s)スピード(Mbit/s)種類規格Desktop Server

PCI

PCI-X

Page 4: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

4CONFIDENTIAL

PCにおける構造

チップセット = ノースブリッジ + サウスブリッジ

PCI形式 PCI Express形式

チップセット = メモリコントローラハブ + I/O コントロールハブ

FSBチップセットチップセットCPUCPU

ビデオ

AGP

SDRSDRAM

ハードドライブ

IDE

PCI

FSBチップセットチップセットCPUCPU

ビデオ

x16 PCI Express

DDR1/2SDRAM

ハードドライブ

SATA

x1, x4, x8PCI Express

カードスロット

カードスロット

Page 5: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

5CONFIDENTIAL

PCIとPCI Expressの構造比較

CPUCPU

ホスト ペリフェラル

エンドポイントルートコンプレックス PCI Express

PCI

コンフィグレーションリクエストの生成

コンフィグレーションリクエストの認識

コンフィグレーション処理の管理

コンフィグレーション

データ転送

リクエスタ コンプリータ

ターゲットに対してデータの入出力リクエスト

マスタに対してデータの受け渡し

マスタ ターゲット

PCI Express

PCI

PCIと違い、PCI-X, PCI ExpressはリクエスタとCompleter機能を持つ

Page 6: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

6CONFIDENTIAL

レイヤ構造

ボード

チップセット

パケットの有効性(CRC)

パケットの受け渡し

ビットの有効性(8B10B ラインコード)

ルートコンプレックス エンドポイント

PCI Express

コア

カードスロット

ソフトウェア

ユーザロジック

FPGA

データ下り

データ上り

メカニカル層

物理層

データリンク層

トランザクション層

ドライバ

アプリケーション

アプリケーション

メカニカル層

物理層

データリンク層

トランザクション層

Page 7: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

7CONFIDENTIAL

ボードの種類

アドインカード – PCIのアドインカードと同サイズExpressCard – PCカードと同サイズMini Card – PCIミニカードと同サイズ (ノートPCにて使用)ExpressModule – コンパクトPCIカードに類似

x8 アドインカード

x1アドインカード

Express Card

Mini Card

Express Module

Page 8: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

8CONFIDENTIAL

一般的なPCI Expressデザイン– 3ポート構成

PCI Expressポートからデータを取り出し、DDR SDRAMに一時的に保存する

DDR SDRAMよりデータを取り出し、後段のアプリケーションに受け渡す

アプリケーションポートからデータを受け取る

PCI Expressコア

PCI Expressコア

DMAエンジン

DMAエンジン

アプリケーションインターフェイス

PCIExpress

アプリケーションロジック

アプリケーションロジック

DDR1/2 SDRAMコントローラ

DDR1/2 SDRAMコントローラ

DDR1/2 SDRAM

FPGA

Page 9: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

9CONFIDENTIAL

高帯域を可能とするDMA転送

PCチップセットは1クロックサイクルにてリード・ライトのみ行なう

– 非常に低いスループット

– PCI, PCI Express

内蔵DMA(Direct Memory Access)により、高帯域を実現!– System側メモリに対してバースト転送を可能とする

– ソフトウェアドライバ側からDMAエンジンに対してデータの受け渡しのコントロールを行なう

PCI Expressコア

PCI Expressコア

DMAエンジン

DMAエンジン

アプリケーション

インターフェイス

PCIExpress

アプリケーション

ロジック

アプリケーション

ロジック

DDR1/2 SDRAMコントローラ

DDR1/2 SDRAMコントローラ

DDR1/2 SDRAM

FPGA

チップセットチップセット

FSBCPUCPU

システムメモリ

システムメモリ

Page 10: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

10CONFIDENTIAL

一般的な帯域 (x1)

コンピュータ:Dell 8400

チップセット:Intel 945P

ペイロード:128 Byte

2 Mbyte/s 14 Mbyte/s

205 Mbyte/s 145 Mbyte/s

Page 11: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

11CONFIDENTIAL

一般的な帯域 (x4)

コンピュータ:D975BX

チップセット:Intel 975

ペイロード:128 Byte

2 Mbyte/s 70 Mbyte/s

710 Mbyte/s 440 Mbyte/s

Page 12: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

12CONFIDENTIAL

その他考慮すべき点

ペイロードサイズ– ペイロードサイズは128から4096バイトまで対応(コンフィグレーション中にネゴシ

エーションを行なう)– 現在のインテルチップセットでは128バイト(デスクトップ)、256バイト(サーバ)に対

応– Northwest Logic社は全てのペイロードサイズに対応

• 推奨:64もしくは128バイト• それ以上に関してはさらに多くのRAMが必要

仮想チャンネル(Virtual Channels)– 複数仮想チャンネルを使用することにより、異なったトラフィッククラスに対して

優先順位をつけることができる– 一般的にはアプリケーション側のロジックも優先順位をつけることができる– インテルチップセットと標準的なドライバは現状1仮想チャンネルのみサポート– ほとんどのアプリケーションは1仮想チャンネル以上必要とはしない– Northwest Logic社は標準コアにおいて1仮想チャンネルサポート

• さらに追加は可能

Page 13: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

13CONFIDENTIAL

Northwest Logic社 PCI Expressソリューション

Page 14: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

14CONFIDENTIAL

Northwest Logic社 PCI Expressソリューション

IPコア

– x1, x4, x8 PCI Expressコア

– x1, x4, x8 PCI Express Complete版コア

– リファレンスデザイン

検証用ボード

ドライバ – Windows & Linux

リンク試験用ソフト – GUI

Northwest Logic社より提供可能

リファレンスデザイン

Windows

Windows

or Linux

Windows

or Linux

ドライバ

OS

GUI

マザーボード

検証用ボード

FPGA

Page 15: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

15CONFIDENTIAL

PCI Expressコア

PCI Expressコア– x1, x4, x8 エンドポイントコア– PCI Express バックエンド (ターゲットロジックとDMAエンジン) – ソース提供可能

PCI Express Completeコア– PCI ExpressコアとPCI Expressバックエンドを統合– x1, x4, x8エンドポイントコア

PCI Expressリファレンスデザイン– PCI Express Completeコア、DDR SDRAMコントローラコアを統合

– システム検証用ツールとドライバ

PCI Expressシミュレーション用ファイル

Page 16: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

16CONFIDENTIAL

PCI Expressコア

PH

Y In

terf

ace

Tx

物理

Tx

データ

リンク

Tx

トランス

ポート

Rx

物理

Rx

データ

リンク

Rx

トランス

ポート

PCI Expressコア

クロック, コンフィグレーション

マネージメント

コンフィグレーションレジスタ

PHY

内部

もしくは

外部

PHY

内部

もしくは

外部

VC0_TXローカル

インターフェイスP

CI E

xpre

ss x

1, x

4, x

8

VC0_RX

MGMT

CFG_EXP

PHY

TX

PHY

RX

Status

Error info

Serial TX

Serial RX

Page 17: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

17CONFIDENTIAL

PCI Express Completeコア

RX

モニタ

Completion

モニタ

PCI Expressバックエンド

PCI

Express

コア

PCI

Express

コア

PC

I Exp

ress

x1,

x4,

x8

アービタ

アービタ

DMA

レジスタ

DMA

Queue

DMA

Queue

DMAエンジン

ターゲットインターフェイスモジュール

RX

TX

ターゲット

インターフェイス

レジスタ

インターフェイス

DMA

インターフェイス

Page 18: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

18CONFIDENTIAL

PCI Expressリファレンスデザイン

PCI Express

Complete

コア

PCI Express

Complete

コア

ユーザ

レジスタ

レジスタ

インターフェイス

ケーブルヘッダー

DDR2/DDR

SDRAM

SRAM

SDRAM

インターフェイス

モジュール

DDR2/DDR

SDRAM

コントローラ

IP

DDR2/DDR

SDRAM

コントローラ

IP

PC

I Exp

ress

x1,

x4,

x8

ターゲット

インターフェイス

DMA

インターフェイス

拡張コネクタ

Page 19: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

19CONFIDENTIAL

PCI Expressコアシミュレーション方法

bfm_memReceive

Loop

Root Complex

Bus function

model

Pcie_bfm

Test Control Scripts Log

Phy

モデル

PCI

Express

Device

Under

Test

chec

k_m

em

req_

mem

Primary

Transfer

Task

Completion

generation

Tasks

TX TX

RXRX

DUT-Specific

I/O

Ref_design_ts

Link

Stat

us

DUT

pcie_model

Page 20: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

20CONFIDENTIAL

FPGAを使用したPCI Expressの実現

外付けPHY– 低価格なFPGAを使用することが可能

– 内蔵PHYと同等な帯域の確保ができる

– x1とx4のみ対応

内蔵PHY– 高価なFPGAを使用する為、複雑なデザインの構成が必要

– 回路規模を小さくすることが可能

– ピン数とボードスペースの削減

– x1, x4, x8を実現可能

PCI ExpressPHY

PCI ExpressPHY FPGAFPGAPIPE DataPCI Express

PIPE = Physical Interface for PCI Express

DataPCI Express FPGAFPGA

Page 21: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

21CONFIDENTIAL

FPGAの内部PHYを使用した場合

さまざまな規模のPHY内蔵FPGAを使用できる

内蔵PHYは100MHzのリファレンスクロックから、125MHzを作り出す必要が

ある

– SSCジッタを考慮する必要がある

• 内部DLL回路のジッタ成分が大きすぎるために、ICS 874003を使用

内蔵PHYはRX検出、電気的Idle、 Beaconをサポートできない可能性あり

– 使用するFPGAによる

– PCI Expressエンドポイントのアプリケーションには必須ではない

Northwest Logic社は全てのPHY搭載FPGAに使用可能

Page 22: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

22CONFIDENTIAL

PCI Expressコアの規模

Northwest Logic社の強み: IPコアは遅いスピードグレードのFPGAを

使用できるため、価格メリットをだすことができる

デバイス x1 x4 x832bit/62.5MHz 128bit/62.5MHz

7000LUTs 16000LUTs32bit/62.5MHz 64bit/125MHz 64bit/125MHz

7000LUTs 12000LUTs 18000LUTs

NA低価格FPGA

高機能FPGA

Page 23: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

23CONFIDENTIAL

評価用ボード

Northwest Logic社ボード– Virtex-2Pro (x8) – Spartan-3 (x1) – ECP (x1) – Daughter Cards

• Genesys Logic PHY (x1/x4)

3rdベンダー– Virtex-4FX (x8) – Spartan-3E (x1) – Spartan-3 (x4)

Page 24: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

24CONFIDENTIAL

PCI Express検証ボード

拡張コネクタ

ケーブルヘッダ

DDR2/1 SDRAMSO-DIMM(256 Mbytes)

PHY DaughterCard コネクタ

PHY DaughterCard

PCI Expressコネクタ

JTAG コネクタ

Spartan3

Genesys PHY

Page 25: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

25CONFIDENTIAL

Software

ドライバ– GUIとリファレンスデザインを使用することによって完全なPCI Expressのシステ

ムを構築できる– 評価用APIのサンプルコード提供可能(要相談)

– WindowsとLinuxバージョン

デモGUI (Windowsベース)– コンフィグレーション領域、メモリ回路、

ボードテスト、スループットの解析可能

– CPUとDMA転送でのパフォーマンスの表示

– ハードウェア、ドライバ、アプリケーション層におけるパフォーマンスを見ることができる

Page 26: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

26CONFIDENTIAL

PCI Express認証

PCI-SIG認証取得に必要な項目– Interoperability Test

• さまざまなマザーボード、スイッチにおけるエンドポイントカードのテスト• テストに使用したマザーボード、スイッチの情報に関してはNorthwest Logic社

へお尋ねください– Electrical Test

• ジッターなどの実測。 PCI-SIG Electrical Test Boardsを使用– Data Link/Transaction Layer Test

• Agilent社 Protocol Test Cardを使用

Northwest Logic社は2005年12月 PCI SIG Compliance Workshopを取得– See the PCI-SIG Integrator’s List for more information (www.pci-sig.com)

さらにNorthwest Logic社は以下を使用してのPCI Express検証を実施– nSys nVS PCI Express Verification IP & Compliance Suite– Catalyst SpekChek– LeCroy Compliance Test Suite

Page 27: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

27CONFIDENTIAL

まとめ

開発におけるリスク、コスト、時間を短縮する為の完全なソリューション!容易に使用できる– PCI Express MACにてパケットのデコーダ後にローカルインターフェイス

への受け渡しが容易に行なえる– ステータスポートより現在のステータス情報、ローレベルのデータを取り

出すことが可能– PCI Expressコアの後段に対するDMAデザインの提供が可能– PHYモデルを含んだテストベンチの提供

柔軟に対応– 外部PHY、内蔵PHY対応が可能

システムコストの低減– 遅いスピードグレードのFPGAに対応可能

技術サポートカスタマイズ可能

Page 28: PCI Express IP Solution...CONFIDENTIAL 2 PCI Expressを使用する理由 プロセッサ,グラフィック,ネットワーク,ストレージなどのサブシステ ム間において、従来よりも高速なインターフェイスが必要

28CONFIDENTIAL

Memo