MEC用マルチノード統合システムの開発

研究提案者 天野英晴（慶應義塾大学）

共同研究者（1） 飯田全広（熊本大学）

共同研究者（2） 菅谷みどり（芝浦工業大学）

共同研究者（3）西宏章 (慶應義塾大学）

共同研究者（4）若林一敏（日本電気（株））

1

戦略的創造研究推進事業（CREST) 研究領域「コンピューティング基盤」

背景：エッジの高機能化がSociety5.0実現の鍵

2

Society5.0の実現には、エッジ領域の高機能化による、個人情報のカプセル化、IoTのローカルな管理、クラウドへの情報輻輳を防ぐ事前処理などによる、クラウドとのシームレスな連携や、情報管理が不可欠

Cloud

Edge

IoT

クラウドによるSociety5.0インフラ

本研究提案で目指すSociety5.0インフラ(IEEE-SA Vision Project提案済)

×通信遅延の問題×個人情報移動の

問題

〇サービス対象と実態が近く低遅延

〇通信遅延に応じたサービス提供場所

〇個人情報が適所に適した形で存在

〇総合処理性能

５Gの発達によりこの状況がより現実的になってきた →MEC(Multi-Access edge Computing)

MEC

Edge

５G通信の普及Edge

3

本提案が目指すこと

• MEC(Multi-access Edge Computing）によるSociety5.0の実現• MECとは？

→エッジデバイスがつながる無線網の基地局近傍に計算資源を配置して行う処理• 基地局近傍に配置→性能・電力的に制限のあるエッジデバイスの処理をオフロード

• 低遅延・無制御の輻輳が発生しない→通信性能の点では準リアルタイム処理が可能

• 当該基地局につながる様々なデバイスを同時サポート→クラウド的共有資源

• 基地局の消費電力削減が必要→低消費電力への要求が大きい

• 工場制御、交通制御、電力制御などの準リアルタイム処理への適用

• 将来は自動運転など本格的なリアルタイム処理も期待されている。

ナッジスマートホームサービス

HEMS

HEMS

家庭領域

BLE位置情報システム

街区領域

分散電源管理

電子マネーカード情報(WAON)

活動量情報

スマートメータ情報

スマートメータ

自転車位置情報

ペット位置情報 衝突回避

通学児童位置情報

商業領域

セキュリティ

スマートコミュニティでの応用（西G)

4

省電力・情報のカプセル化・匿名化・低遅延化などのユビキタスソリューション・位置情報サービス：位置情報をローカルにカプセル化、タイムクリティカルな衝突回避をローカルで解決・健康・購買サービス：購買情報即時匿名化とカプセル化、健康情報匿名化と地域健康サービス（健康ポイント）・家庭領域：家庭にける個人情報をローカルにカプセル化、ローカル電力需給の即時制御各種プロトコル対応・IEEE 1451, IEEE 1888, IEEEP2805, OpenADR, ECHONET Lite, MQTT, SNMP, XMPP, SOAP, REST, etc.実際にスマートタウン情報（さいたま市浦和美園地区UDCMi 代表など）を利用した評価を行う

MEC

MEC

体組成計情報

MEC

マルチドメインマルチプロトコル

FPGA

DSA

FPGA

MemoryCPU

Switch

Core

DSA

FPGA

MemoryCPU

Switch

CoreFPGA

FPGA

MemoryCPU

Switch

Core

クラウド

5

本提案でやること

• MECのためのコンピューティングシステムを開発する。• 低消費電力で準リアルタイム処理（処理時間・スループット保証）

• リアルタイム処理が行えるFPGA, DSAを使用• 複数のFPGA, DSAの資源プールから、要求に応じてエッジデバイスに一部を割り当て

• 個々の用途に性能を保証するハードウェア環境を提供

• 個々の処理ノードよりも重要なのは• どのように接続し

• どのように制御し

• どのようにプログラミングするか？

• 複数の異種のノード（FPGA, DSA)を、スイッチ内データ処理機能を持つ「Crust-Core型スイッチHUB」により接続したヘテロジーニアスシステム

システム構成

6

ミドルウェア/ランタイムAPI

高位合成システム

Reconfigurable Core

制御プロセッサ

SERDESHw.

Switch

Hard Crust（Shell) シリアルリンク

組み込みまたは積層

SERDESHw.

Crust-Core HUB

Hwアクセラレータ

SLM細粒度ロジック

目的特化CGRA

FPGA

FPGA

DSA

DSA

Crust Core HUB

Crust Core HUB

Crust Core HUB

Crust Core HUB

Crust Core HUB

Crust Core HUB

FPGA

FPGA

DSA

DSAF

PG

A

FP

GA

DS

A

DS

A

Edge Device Edge Device Edge Device Edge Device

5G Radio

5G Control Plane

5G User Plane

Multi-AccessEdge

クラウド

分散制御OS

Crust-Core型HUB：ノード間を接続するスマートHUBH

yp

erR

AM

SE

RD

ES

128bit程度に展開

HyperBus/xSPISTDM/

パケット可変switch

100-200MHz程度で動作

Crust部：固定、スイッチの構造は変更可能

Core部：SLM再構成ロジック（飯田G)

制御プロセッサ

SE

RD

ES

HyperBus/xSPI

ハードウェアによる固定領域高速入出力インタフェース：

ノード、エッジデバイスの接続スイッチ機能：

サーキットスイッチによる固定遅延、帯域確保

制御プロセッサ：スイッチ内機能の制御

HUB内アクセラレータ領域目的特化CGRA、ハードウェアア

クアクセラレータ、SLM細粒度再構成ロジックなどを実装して、用途ごとの処理を実装

スイッチ内で固定遅延、スループット保証のストリーム型データ処理を行う

Crust部

Core部

マルチFPGA、マルチCrust-Core高位合成環境 （若林G）

センサ値センサ入力

画像入力

フィルタ処理

PID制御

停止判断

画像

フィルタ後データ

推論処理

モータ駆動モータ出力値

特徴量特徴量抽出

学習用画像選択

学習用画像学習処理

推論結果

学習結果

学習結果重み更新

マイクロ秒オーダの最大遅延要求

ミリ秒オーダの最大遅延要求

Crust VMM・OSを用いたヘテロジニアスなシステムの支援

・DSA/FPGAの仮想化→ヘテロジニアスなシステムの統一的な扱いが可能

・MECコンポーネント・スケジューラ→ソフトウェアから複数DSA/複数FPGA間接続を効率よく使用可能

・5Gネットワークによる仮想専用線通信を活用した三段構成の全体システム→暗号化によるセキュアなデータ通信

Crust-Core型再構成デバイス(複数 中規模デバイス)

AI-DB バッチ学習連携

Cloud Edge IoTDevice

認識処理

機械学習

最適化

匿名化処理

アクセラレータ

暗号化処理

様々な要求を持つデータ

パーソナルデータ

CrustVMM

ITOS

MEC コントローラースケジューラ

仮想専用線通信(5G) , 遅延・帯域保証

大量のストリームデータ

学習データモデルレポジトリ

FPGA

DSA

FPGA

CPU

Switch

Core

DSA

FPGA

DSA

FPGA

MemoryCPU

Switch

Core

基盤ソフトウェア環境（菅谷G)

Sensor / Actuator

Crust-Core型再構成デバイス(小規模デバイス)

FPGA

DSA組込みRTOS

CrustVMM

準タイムクリティカル処理

ローカル通信、遅延・帯域保証

処理（MECコンポーネント)データ

操作

データフロー

IT OS

リアルタイムフィードバック

(マイクロ秒)

MECコンポーネントによるシステムモデルからのプログラム生成

・ソフト/DSA/FPGAの区別無く表現→電力制約・リアルタイム性要求モデルによる最適化・処理をCloud/MEC/Edgeに自由に配置 →コンポーネント再利用による開発生産性向上

システムモデル例

・DNN推論処理のDSA/FPGAによる高エネルギー効率な実現→低消費電力エッジノードによるAI実行環境

・大量のセンサデータを収集し効率よくバッチ学習用データを収集→高機能AI学習環境と低消費電力エッジAI実行環境の連携

タイムクリティカル処理

RTOS

ファームリアルタイムフィードバック

(サブミリ秒)

省電力

mruby/C

ソフトリアルタイムフィードバック

(数百ミリ秒, ジッタ)

非リアルタイム

オンライン学習

Multi accessEdge (MEC)

飯田G再構成ロジック

天野GCrust-Core型 HUB

2019 2020 2021 2022 2023

細粒度再構成用CAD開発

TEGリメイク

フィードバックによるチップ改善あるいはリメイク

若林G高位合成

菅谷Gシステムソフトウェア

西Gアプリケーション

FPGA版用統合高位合成ツール開発

マルチFPGA用ミドルウェア開発

マルチFPGA・DSA版による統合システムソフトウェア開発

コミュニティデータ収集 マルチFPGA・DSA混合環境による社会実験

Crust- Core実用チップ

FPGA HUBロジック開発

2024

Crust-Core HUBによる社会実験

Crust-Core型TEG

シリアルリンク、CPUスイッチIP設計

マルチFPGA・DSA用高位合成ツール開発

関数型言語によるマルチFPGA・Acc用高速設計環境

Crust-Core HUB用高位合成ツール開発

Crust-Core型CAD開発

Crust-Core HUB版統合システムソフトウェア開発

10

第一期の計画：プロトタイプとしてのFiC

Hyp

erR

AM

SE

RD

ES

128bit程度に展開

HyperBus/xSPI

STDM/パケット

可変switch

100-200MHz程度で動作

Crust部：固定、スイッチの構造は変更可能

Core部：SLM再構成ロジック（飯田G)

制御プロセッサ

SE

RD

ES

DDR4SDRAM（16GB×2）高速シリアル

リンク9.9Gbps

Rasbpi-3

Crust-Core型HUBチップ

FiC-SWボード

Kintex UltrascaleXCKU115/095

The current FiC with 24 boards

STDM (Static Time Division Multiplexing)

12

Port1

Port2

Port3

Port 4

Port1

Port2

Port3

Port 4

S1

S2

S3

S4

S1

S2

S3

S4

S1

S2

S3

S4

S1

S2

S3

S4

P2S1 P2S2 P1S3 P3S4 P2S1 P2S2P1S3 P3S4…. ….port1

• 出発地、目的地間にサーキットスイッチを形成

• 固定バンド幅とレイテンシィを実現

0

0.5

1

1.5

2

2.5

3

3.5

4

4 32 256 2048 16384 131072 1048576

バン

ド幅

(GB

/sec

)

データサイズ(Byte)

GPUtoGPU(PEACH3)

GPUtoGPU(PEACH2)

GPUtoGPU(MPI/IB)

Transferred Data (Byte)

Ban

dw

idth

(G

B /

sec）

FiC 2slot

PEACH2/3、 MPI/Infinibandとの比較（バンド幅）

Kaneda, et.al “Performance Evaluation of PEACH3: FPGA switch for Tightly Coupled Accelerators,”

HEART 2017

0

1

2

3

4

5

6

8 32 128 512

レイ

テン

シ(μsec)

データサイズ(Byte)

GPUtoGPU(PEACH3)

GPUtoGPU(PEACH2)

GPUtoGPU(MPI/IB)

Late

ncy

(μsec）

Transferred Data (Byte)

FiC 2slot (450ns)

K’s Tofu (100ns)

Ajima, et.al “The Tofu Interconnect,” Hot Interconnect 2012

PEACH2/3、 MPI/Infinibandとの比較（レイテンシィ）

15

本研究のアピールポイント

• アプリケーションからチップまでの垂直統合チーム

• 異文化技術の相互利用

• オープンな技術、国産技術主導

• 各技術項目• Crust-Core型再構成デバイス、設計環境

• 現在のハイエンドFPGAと同程度の転送容量を約半分のエネルギーで実現• STDMスイッチによる帯域、レイテンシ保証、パケット交換方式に切り替え可能• 分散スイッチにより40nmプロセスでありながら最新のStratix 10並の動作周波数を実現• 現在のFPGAよりも面積効率に優れたCore部、目的に応じて様々なアクセラレータも搭載可能

• 基盤ソフトウェア構成• Crust VMMによるDSA/FPGAの抽象化 → ヘテロジニアスなシステムの統一的な扱いが可能• Edge, Multi-Edge, Cloudの三段構成により、実時間処理と消費電力制約を満たす最適なシステムを実現• 仮想専用線通信(5G) ・DSA暗号化を用いることで、遅延・帯域・セキュリティを考慮したAI-DBバッチ学習の

標準環境を実現• 高位合成

• Crust-Core型再構成デバイス内のSLM回路の自動生成、複数FPGA,DSAに跨った統合設計環境• アプリケーション

• 実際のスマートコミュニティ（さいたま市浦和美園地区）を利用した実証実験

16

将来展望

• ５G技術との連携

• 規格化、標準化• ヘテロジーニアス、実時間処理用ソフトウェア環境の標準化

• マルチFPGA用CADシステムの公開

• SLM細粒度デバイス、STDMスイッチIPの公開

• アプリケーションに関する標準化• IEEE-SA Vision Project : 階層・匿名インフラ等、提案済技術標準化シードを実現

• IEEE P2805, 1451シリーズ : 提案済IoT向け情報管理・エッジシステムで標準獲得

• 学術分野の立ち上げ• MECを念頭に置いた組み込みソフトウェア、高位合成、リコンフィギャラブルシ

ステム、スマートシティなど、本プロジェクトでの異文化交流を発展させる

• MECによるSociety5.0の実現に向けた学術分野を立ち上げる