社団法人 電子情報通信学会THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報TECHNICAL REPORT OF IEICE.

Responsive Linkを用いた通信遅延を考慮したパケットスケジューリング

大沢 幸平† 萩原 秀磨†† 久村 雄輔††

溝谷 圭悟†† 高須 雅義†† 山崎 信行†

† 慶應義塾大学 理工学部†† 慶應義塾大学 大学院理工学研究科E-mail: †ohsawa@ny.ics.keio.ac.jp

あらまし 近年，複数のプロセッサから構成される分散システムが多く登場してきている．中でもヒューマノイドロ

ボットなどシステム全体の処理に対して時間制約のある分散リアルタイムシステムにおいては，ノード間の通信にも

リアルタイム性が求められる．本研究では分散リアルタイム向け通信規格である Responsive Linkを対象とし，リア

ルタイム性を満たすようなパケットのスケジューリング手法を提案する．Responsive Linkは優先度によるパケット

の追い越しが可能である．提案手法では，通信遅延とタスクのデッドラインの差から得られる余裕時間を元にパケッ

トの優先度を決定する．評価に先立ち，予備実験として Responsive Linkのホップによる通信遅延を実機で計測した．

予備実験の結果を提案手法に適用することで，より実システムに近い環境におけるシミュレーション評価を行った．

評価より，提案手法を用いることによって既存手法よりスケジューラビリティが向上したことを示す.

キーワード Responsive Link，パケット追い越し機構，分散リアルタイムシステム，リアルタイム通信

A Latency-Aware Packet Scheduling on Responsive Link

Kouhei OSAWA†, Shuma HAGIWARA††, Yusuke KUMURA††,

Keigo MIZOTANI††, Masayoshi TAKASU††, and Nobuyuki YAMASAKI†

† Faculty of Science and Engineering, Keio University

†† Graduate School of Science and Technology, Keio University

E-mail: †ohsawa@ny.ics.keio.ac.jp

Abstract Recently, distributed systems with multiple processors are now quite widespread. In particular, dis-

tributed systems with timing constraints such as humanoid robots require not only in-node real-time capability

but also inter-node real-time capability. In this research, we propose the real-time packet scheduling technique for

Responsive Link, the communication standard for distributed systems. Responsive Link has a priority based packet

overtaking functionality. In the proposed technique, the packet priority is determined based on the slack time which

is the difference between the deadline of the task and the communication latency. In order to evaluate the effect of

the technique, we first measured the hop latency of Responsive Link. And we conducted the simulation evaluation

with the measured communication latency data considered in order to obtain more realistic results. Simulation

results show that the proposed technique improves the schedulability compared to the existing techniques.

Key words Responsive Link，Packet Overtaking Mechanism，Distributed Real-Time System，Real-Time Com-

munication

1. 序 論

今日，我々の生活を支えるシステムの中でも自動車や航空機

に代表されるリアルタイムシステムは，その重要性を増してい

る．近年ではヒューマノイドロボットなどの複雑なシステムの

登場により，機能分散やシステム全体の耐故障性の向上などが

要求される．そのため，複数のプロセッサからなる分散リアル

タイムシステムの研究が進められている．

分散リアルタイムシステムはノード内の処理においてリアル

タイム性を保証するだけでなく処理の結果やセンサデータ，画

— 1 —

像データなどのやり取りが発生し，ノード間の通信において

もリアルタイム性を満たさなければならない．通信のリアル

タイム性を保証可能な通信規格には Controller Area Network

(CAN) [1]，FlexRay [2]，Time Triggered Ethernet (TTEth-

ernet) [3]，および Responsive Link [4] などがあり，自動車や

ヒューマノイドロボットなどの制御に応用されている．

分散リアルタイム通信規格である Responsive Link は，パ

ケットの優先度に応じてノード毎にパケットの追い越し機能を

備えているため，リアルタイムシステムにおけるスケジューリ

ング理論が適用可能である．

本研究では Responsive Linkを対象に実際のパケットの通信

遅延を考慮し，よりスケジューラビリティを向上させるパケッ

トのスケジューリング手法を提案する．

本論文の構成は以下の通りである．2.では本研究の対象であ

る Responsive Linkについて述べる．3.では提案する手法につ

いて述べ，4.では実機による実際のパケットの通信遅延の計測

について述べる．5.ではシミュレーションによる評価を行い，

最後に 6.で本稿をまとめる．

2. Responsive Link

Responsive Linkは分散制御を目的としたリアルタイム通信

機構として研究開発されており，ISO/IEC 24740 [5]として国

際標準化されている．本章では Responsive Linkの特徴につい

て述べる．

2. 1 通信の分離

リアルタイム通信では，転送データ量は少ないが通信遅延に

対する制約の厳しいハードリアルタイム通信と，転送データ量

が多くバンド幅を必要とするが通信遅延に対する制約の緩いソ

フトリアルタイム通信の 2種類に大別される．ヒューマノイド

ロボットを例に取ると，駆動系の制御パケットなどがハードリ

アルタイム通信，カメラから取得した画像データの転送などが

ソフトリアルタイム通信に相当する．

スループットと通信遅延はトレードオフの関係 (表 1) にあ

り，Responsive Linkでは図 1のようにハードリアルタイム通

信とソフトリアルタイム通信の通信ラインを物理的に分離して

いる．ハードリアルタイム通信のための通信ラインをイベント

リンクといい，通信遅延を短くするためにパケットサイズは 16

バイトとなっている．対してソフトリアルタイム通信のための

通信ラインをデータリンクといい，こちらはスループット向上

のためにパケットサイズを 64バイトとしている．

表 1 スループットと通信遅延のトレードオフ

ソフトリアルタイム通信 ハードリアルタイム通信

パケットサイズ 大 小

スループット 大 小

通信遅延 大 小

2. 2 優先度に基づくパケット追い越し機構

Responsive Linkではパケットに 0から 255までの 256段階

の優先度が付加され，優先度によるパケットの追い越しを行う．

図 1 Responsive Link の通信ラインの分離

��

��������

�� ��

��������

�� ��

��������

�� ��

��������

�� ��

��������

�� ��

�����

���� ���

�����

�����

��������

�������

������

�����������

��������

�������

������

�����������

��������

�������

������

�����������

��������

�������

������

�����������

��������

�������

������

�����������

�����

���

�� ����

����

�� �

����

�� �

����

�� �

����

�� �

����

�� �

���

�� �

���

�� �

���

�� �

���

�� �

���

�� �

図 2 Responsive Link のネットワークスイッチ

Responsive Linkは 1つのノードに 5つの入出力のポートを持

ち，複数のパケットの出力ポートが競合した場合に優先度の高

いパケットが優先的に送信される．パケットの追い越しによっ

てパケット到着時間は Response Time Analysis (RTA) [6] に

より解析可能となり，通信のリアルタイム性を保証することが

できる．パケットの追い越しを行うため，Responsive Linkは

優先度アービタと追い越し用のバッファ，追い越し用のバッファ

が溢れた際のパケット退避先となる外部記憶インターフェース

を内蔵したスイッチを持っている (図 2)．スイッチの持つ 5つ

の入出力ポートのうち 0番は自ノード，1から 4番は他ノード

への入出力として使用される．パケットの追い越しは通信にお

けるプリエンプションに相当し，リアルタイムタスクのスケ

ジューリング理論を通信に応用することが可能となる．

2. 3 スイッチの転送方式

Responsive Link ではスイッチの転送方式をストアアンド

フォワード (SaF)とバーチャルカットスルー (VCT)の 2種類

から選択可能である．ストアアンドフォワード方式ではパケッ

ト全体を受信してから送信するため通信遅延が大きくなるが，

パケットの追い越しを受け付ける時間が長いため高優先度のパ

ケットの遅延が小さくなりやすい．また，バーチャルカットス

ルー方式ではパケットのヘッダ部を受信した時点でパケットを

— 2 —

送信するため通信遅延が小さい．しかし，パケットの追い越し

を受け付ける時間が短く高優先度のパケットの遅延が大きくな

りやすいという関係にある．

2. 4 Responsive Linkにおけるリアルタイムスケジュー

リング

Responsive Linkを用いた代表的なリアルタイムスケジュー

リングとしては，Virtual Deadline Monotonic (VDM) [7]が挙

げられる．Responsive Linkではホップ毎にパケットの追い越

しが発生するため，ホップ数の多いメッセージほどデッドライ

ンミスしやすくなってしまう．VDMはパケットの追い越しを

考慮し，ホップ数で相対デッドラインを割った値をあるノード

におけるメッセージの相対デッドラインと仮定して，Deadline

Monotonic (DM) [8] スケジューリングを行い，スケジューラ

ビリティを向上させる手法である．DMスケジューリングは相

対デッドラインが周期より短い場合の固定優先度スケジューリ

ングでは最適であることが証明されている．しかし，VDMに

は通信遅延を考慮していないという問題点がある．

3. 提 案 手 法

本章では，Responsive Linkを対象とし，通信遅延を考慮す

ることで実システムにおけるスケジューラビリティ向上を目的

とするパケットスケジューリング手法について述べる．

3. 1 ネットワークモデル

Responsive Linkを用いたネットワークでは各ノードは point-

to-pointで結合され，各通信リンクは双方向通信を行う．各ノー

ドは 4 つのポートを持ち，通信パケットが複数のノードを経

由するマルチホップネットワークを構成する．また，トポロジ

フリーであるため任意のトポロジのネットワークを構築可能で

ある．

本研究では周期処理を行うタスクを生成するシステムを想定

し，各周期タスクは周期的に通信を行う．低通信遅延でかつ高

スケジューラビリティを実現するために，通信リンクはイベン

トリンク，スイッチの転送方式にはバーチャルカットスルー方

式を採用した．システム内の総ノード数を N とし，i 番目の

ノードを Ni とする．システム内のタスクは τ で表し，j 番目

のタスク τj は周期メッセージmj を生成する．システム内には

M 個のメッセージがあり，メッセージ mj は送信周期 Tj，各

周期で転送される最大データ量 Cj，相対デッドラインDj のパ

ラメータを持つ．また，Dj <= Tj とし，通信の周期，データ量，

相対デッドラインは変化しないものとして扱う．

3. 2 通信遅延を考慮したパケットの優先度決定方法

図 3のようなネットワークにおけるパケットの追い越しによ

る遅延発生の様子を図 4に示す．図 4が示すように，パケット

の転送には通信遅延とパケットの衝突時に高優先度パケットに

よる追い越しのための遅延が発生する．特に通信遅延につい

ては，相対デッドラインの大きいメッセージもデータサイズに

よっては余裕時間がほとんど無く，高優先度のパケットによる

追い越しの遅延によってデッドラインミスを引き起こす可能性

がある．また，相対デッドラインが等しい 2つのメッセージに

ついてもホップ数が異なれば通信遅延も変わるため，余裕時間

図 3 追い越しの発生するネットワーク例

図 4 遅延発生の例

Algorithm 1 Decision of Priority to All Message

1: for i = 0 to M do do

2: Li = li × (hi + Ci/PACKET SIZE − 1)

3: D′i = Di − Li

4: use DM to decide priority

5: end for

が異なる．相対デッドラインから通信遅延を引いた余裕時間は，

高優先度パケットによる追い越しでパケットがブロックされて

もデッドラインミスとならない時間と言い換えることができ

る．通信遅延は大きく分けてパケットの転送時間と転送オーバ

ヘッドの 2 種類の遅延に分類することができる．図 5(a) と図

5(b)はそれぞれ転送オーバヘッドを考慮する場合としない場合

のメッセージの通信遅延を表しており，転送オーバヘッドによ

りメッセージの余裕時間が変わる．このため，転送オーバヘッ

ドを含めた通信遅延を考慮し余裕時間に応じてパケットの優先

度を決定すべきである．

そこで本研究では，静的に解析可能な通信遅延を用いてパ

ケットの優先度を決定する手法を提案する．提案手法の計算ア

ルゴリズムを Algorithm 1に示す．メッセージmi の通信遅延

Li は図 5(b)より，パケットの通信遅延 li とパケット数，ホッ

プ数 hi の式で表される．Li を Di から引いた値を新たな相対

デッドライン D′i とし，D

′i に対して DMスケジューリングを

元にパケットの優先度を決定する．

4. 予 備 実 験

3. で示したパケットスケジューリング手法についてシミュ

レーション評価する．本章では，予備実験として行ったパケッ

トの通信遅延の計測に関して述べる．ここで得られた通信遅延

をパケットの優先度決定手法に組込んで提案手法を評価する．

4. 1 計 測 方 法

Responsive Link は Responsive Multithreaded Processor

System on Chip (RMT Processor SoC) [9]および RMT Pro-

cessor を小型化した I/O Core SoC [10] 上に実装されている．

今回の計測は I/O Core SoC が実装された I/O Core System

— 3 —

(a) オーバヘッド無し

(b) オーバヘッド有り

図 5 オーバヘッドを考慮したネットワークの例

図 6 I/O Core SiP

in Package (SiP)(図 6)を用いて実際の通信遅延の計測を行う．

Responsive LinkとプロセッサはDual Port Memory (DPM)

を介してデータの送受信を行う．DPMはポートを 2つ持ち，片

方はプロセッサバス，もう一方は Responsive Linkのポート 0

番に接続されている．通信遅延の計測は図 7のように複数のノー

ドを数珠つなぎにしたリングトポロジを構築し，Responsive

Linkがパケットの送信を開始した時点を始点，パケットがリン

グトポロジを 1周して受信側の DPMに書き込まれた時点を終

点とし，その差をホップ数分の通信遅延とする．表 2に計測環

境を示す．

4. 2 計 測 結 果

通信遅延の計測パケット以外のパケットが流れていない理想

図 7 計 測 環 境

表 2 通信遅延計測環境

通信速度 200M bps

伝送路符号Bit Stuffing (BS) +

Non Return to Zero Inverted (NRZI)

ビットエラー訂正 ハミング符号

イベントパケットサイズ 16 バイト

データパケットサイズ 64 バイト

転送パケット数 1 パケット

最大ノード数 10

スイッチ転送方式 SaF, VCT

計測回数 10 回

0

100

200

300

400

500

0 1 2 3 4 5 6 7 8 9 10 11

Ave

rage

Lat

ency

(µs

ec)

Hop Number

Data LinkEvent Link

図 8 ストアアンドフォワード方式

的な環境における各方式での通信遅延は図 8, 9 のようになっ

た．図より，ストアアンドフォワード方式とバーチャルカットス

ルー方式共にホップ数の増加に伴って線形に通信遅延が増加し

ていることがわかる．また，ストアアンドフォワード方式はパ

ケットを全部受信してから次のノードに送信するためパケット

サイズの違いが傾きに現れているが，バーチャルカットスルー

方式ではヘッダを受信した時点で送信するためイベントリンク

とデータリンク共に傾きが等しく，理論通りの傾向が現れてい

ることがわかる．

5. 評 価

本章では，4.の結果を元に提案手法のシミュレーション評価

を行う．

5. 1 想定するネットワークトポロジ

シミュレーションには予備実験の計測値を利用するため，用

— 4 —

0

20

40

60

80

100

120

0 1 2 3 4 5 6 7 8 9 10 11

Ave

rage

Lat

ency

(µs

ec)

Hop Number

Data LinkEvent Link

図 9 バーチャルカットスルー方式

図 10 ヒューマノイドロボットトポロジ

意した全てのトポロジ内の任意のノード間の最小ホップ数は 10

以下になるように設定した．シミュレーション評価には次の 3

種類のトポロジを使用し，経路選択には Shortest Path First

を用いる．

• ヒューマノイドロボット

• 4× 4メッシュトポロジ

• 11ノードのランダムトポロジ

ヒューマノイドロボットは図 10のように 17ノードで構成され

ている．図のトポロジはヒューマノイドロボット小次郎 [11] を

参考にした．また，ランダムトポロジでは連結グラフとなるよ

うにトポロジの生成を行う．

5. 2 評 価 方 法

3. 1で定義したネットワークモデルに基づいて Javaで Re-

sponsive Link向けのネットワークシミュレータを実装した．こ

のシミュレータはシステム内の周期メッセージの挙動をパケッ

ト単位で，かつ任意のトポロジ上で再現することができる．各

ノードで用いるプロセッシングコアは I/O Coreを想定し，パ

ケットの通信遅延 lには予備実験の結果を用いる．評価には提

案手法，DM，VDMの 3種類のスケジューリングアルゴリズ

ムを用い，メッセージは表 3のパラメータを用いてインジェク

0

20

40

60

80

100

0 1 2 3 4 5 6 7

Sch

edul

abili

ty (%

)

Injection Rate (Mbps / Node Num)

Proposal MethodDM

VDM

図 11 ヒューマノイドロボットトポロジにおけるスケジューラビリティ

0

20

40

60

80

100

0 1 2 3 4 5 6 7

Sch

edul

abili

ty (%

)

Injection Rate (Mbps / Node Num)

Proposal MethodDM

VDM

図 12 メッシュトポロジにおけるスケジューラビリティ

ションレートを元に生成する．インジェクションレートを 0.1

から 7.0Mbps/NodeNumの間で増加させながら，トポロジ毎

に各アルゴリズムのシミュレーションを 100回ずつ行い，スケ

ジューラビリティを評価する．

表 3 メッセージのパラメータ

周期 T (µsec) 50, 100, 150, . . ., 400

絶対デッドライン d 次周期の開始時刻

データ量 C (バイト) 16, 32, 48, . . ., 160

5. 3 スケジューラビリティの評価

図 11，12，13に各トポロジーにおけるインジェクションレー

ト毎の平均スケジューラビリティをそれぞれ示す．VDMに対

しては提案手法は常に高いスケジューラビリティを出すこと

ができており，それぞれ最大でヒューマノイドロボットトポロ

ジが 3.58%，メッシュトポロジが 3.76%，ランダムトポロジが

2.17%のスケジューラビリティの向上が見られた．VDMは 2. 4

で指摘したように通信遅延を考慮していないという問題点が

あったため，遅延を考慮した提案手法の有用性を示すことがで

きた．一方で，いずれのトポロジにおいても提案手法は DMに

— 5 —

0

20

40

60

80

100

0 1 2 3 4 5 6 7

Sch

edul

abili

ty (%

)

Injection Rate (Mbps / Node Num)

Proposal MethodDM

VDM

図 13 ランダムトポロジにおけるスケジューラビリティ

近いスケジューラビリティを示しているが，インジェクション

レートが低い時は多くの場合にスケジューラビリティが向上せ

ず，インジェクションレートが高くなると DMよりも 0.5%程

度スケジューラビリティの向上が見られた．これは，インジェ

クションレートが低い場合に不必要な優先度変更が行われるた

めである．インジェクションレートが低い場合はネットワーク

全体でアイドル時間が多いため，追い越しが発生しにくい．こ

の時，通信遅延を考慮したために余裕時間を超えるデータ量に

追い越されてデッドラインミスが発生してしまい，インジェク

ションレートが高くなるに連れて提案手法の効果が現れる．

6. ま と め

本研究では，パケットの追い越しが可能な通信規格である

Responsive Linkにおけるパケットの通信遅延を考慮した優先

度決定手法を提案した．提案手法ではメッセージの転送に生じ

る通信遅延を静的に解析して相対デッドラインに反映し，そ

の値を元に DM スケジューリングを行う．また，Responsive

Link を実装した実機を用いてマルチホップの通信遅延を計測

した. この結果を元に提案手法をシミュレーションできる環境

を構築し，ランダムに生成した周期メッセージを転送するシス

テム内でスケジューラビリティの評価を行った．評価の結果，

DMに対してはネットワークの負荷が大きい時に，VDMに対

しては恒常的に，スケジューラビリティが向上することを示し

た．今後の課題としては，インジェクションレートが低い時に

不必要な優先度の変更を行わないような方法の検討や，動的に

優先度を変更する方法の検討を行う．

謝辞 本研究は科学技術振興機構 CRESTの支援によるもの

であることを記し，謝意を表す．

文 献[1] “ISO 11898:1993. Road vehicles: Interchange of Digital In-

formation: Controller Area Network (CAN) for High Speed

Communication,” Dec. 2014.

[2] T. Nolte, H. Hansson, and L.L. Bello, “Automotive Com-

munications - Past, Current and Future,” 10th IEEE Con-

ference on Emerging Technologies and Factory Automation

(ETFA), vol.1, pp.985–992, 2005.

[3] T.C. AG, “TTEthernet - A Powerful Network Solution

for All Purposes,” http://www.tttech.com/fileadmin/

content/white/TTEthernet/TTEthernet_Article.pdf, 2009.

[4] N. Yamasaki, “Responsive Link for Distributed Real-Time

Processing,” International Workshop on Innovative Archi-

tecture for Future Generation High-Performance Processors

and Systems (IWIA2), pp.20–29, 2007.

[5] “ISO/IEC: 24840:2008,” http://www.iso.org/iso/home/

store/catalogue_tc/catalogue_detail.htm?csnumber=50352.

[6] N.C. Audsley, A. Burns, M.F. Richardson, and A.J.

Wellings, “Real-Time Scheduling: The Deadline-Monotonic

Approach,” Proceedings of IEEE Workshop on Real-Time

Operating Systems and Software, pp.133–137, 1991.

[7] S. Kato, Y. Fujita, and N. Yamasaki, “Periodic and Ape-

riodic Communication Techniques for Responsive Link,”

RTCSA’09. 15th IEEE International Conference on Embed-

ded and Real-Time Computing Systems and Applications,

pp.135–142, 2009.

[8] J.Y.-T. Leung and J. Whitehead, “On the Complexity of

Fixed-Priority Scheduling of Periodic, Real-time Tasks,”

Performance evaluation, vol.2, no.4, pp.237–250, 1982.

[9] N. Yamasaki, “Responsive Multithreaded Processor for Dis-

tributed Real-Time Systems,” Journal of Robotics and

Mechatronics, vol.17, no.2, pp.130–141, 2005.

[10] “I/O Core Specification - Yamasaki Lab.,” http://www.ny.

ics.keio.ac.jp/research/rmt/, Dec. 2014.

[11] I. Mizuuchi, Y. Nakanishi, Y. Sodeyama, Y. Namiki, T.

Nishino, N. Muramatsu, J. Urata, K. Hongo, T. Yoshikai,

and M. Inaba, “An Advanced Musculoskeletal Humanoid

Kojiro,” 2007 7th IEEE-RAS International Conference on

Humanoid Robots, pp.294–299, 2007.

— 6 —