10. ベクトル処理

AdvancedComputer

Architecture

10. ベクトル処理

五島正裕

Advanced Computer Architecture

内容

1. ベクトル型並列計算機2. 並列計算機の分類3. SIMD 型並列計算機4. MIMD 型並列計算機5. SIMD 命令

AdvancedComputer

Architecture

ベクトル型並列計算機

ベクトル処理

ベクトル： 1 次元配列データ

ベクトル演算：ベクトル和 z = x + y

内積　　　 z = x ∙ y

for (i = 0; i < N; ++i)

z[i] = x[i] op y[i];

ベクトル演算器

ベクトル演算器ベクトル単位の演算

n 要素のベクトル○○算を 1 命令で

構成：パイプライン化された演算器＋制御レジスタ

制御レジスタ：カウンタベクトル長開始アドレス，ストライド（ロード / ストアの場合）

主記憶

ベクトルロード

ユニット

ベクトルストア

ユニット

ベクトル加算器

ベクトル乗算器

ベクトル除算器

ベクトル○○ 器

ベクトルレジスタ

スカラレジスタ

スカラユニットキャッシュ

64 本 x 256 語 x 64b

x8 セット

半性能長

スタートアップ・タイム： S

（処理時間）= S ＋（投入間隔 = 1 ） × （ベクトル長）

（スループット）= （ベクトル長） ÷ （処理時間）= （ S ÷ （ベクトル長）＋ 1 ）− 1

半性能長：スループットが 1/2 になるベクトル長

ベクトル長

スループット

O半性能長

ベクトル処理とスパコン

昔，マルチメディアとかなかったころ，ベクトル処理といえば，

大規模数値処理ベクトル・マシンといえば，

スパコンの代名詞

PVP (Parallel Vector Processor)

ベクトル処理とスパコン

日本のベクトル・スパコン Cray を打ち負かした

貿易摩擦「公的機関でちょっと速い計算機を買うときは国際競争入札に」

地球シミュレータ (NEC)

Sputnik にちなんで“ Computnik” と呼ばれた最後のベクトル・スパコン？

PC クラスタに押されて消える？

地球シミュレータ

http://www.es.jamstec.go.jp/

AdvancedComputer

Architecture

並列計算機の分類

計算の 2 つのストリーム

計算の 2 つのストリーム： Instruction Stream （命令流） Data Stream （データ流）

演算器

命令流

データ流

Flynn の並列計算機の分類 (1966)

Data Stream

Single Multiple

Instru

SISD （スカラ） SIMD

ltiple

MISD （？） MIMD （普通の MP ）

AdvancedComputer

Architecture

SIMD 型並列計算機

Control Unit

Interconnection Network

PE : Processing Element

Memory Memory Memory

Single Instruction/Multiple Data Stream

すべての PE で同じ命令を実行

if-then-else

PE ごとに，実行フラグ条件 ⇒ フラグ・セットフラグがたっている / いない PE だけ実行

SIMD 型並列計算機の利点 / 欠点（当時）

利点：コントロール・ユニットが 1 つですむので，安い

すべての PE で同じことをするので，プログラミングが容易

欠点：スケーラブル (scalable) でない

多数の PE に命令を放送するのは困難 if-then-else の実行効率が低い

SIMD 型並列計算機の利点 / 欠点（近代）

利点：コントロール・ユニットが 1 つですむので，安い

ウソ．汎用のプロセッサを買ってくるほうが安いすべての PE で同じことをするので，プログラミングが容易

ウソ．すべての PE で同じことしかできない欠点：

スケーラブル (scalable) でない多数の PE に命令を放送するのは困難

if-then-else の実行効率が低い

MIMD に取って代わられた

SIMD 型並列計算機の利点 / 欠点（当時）

Control Unit

MIMD 型並列計算機

SIMD 型並列計算機の最期

Thinking Machine 社：最後の SIMD ベンダ Connection Machine シリーズ

CM-4 (SIMD)

CM-5 (MIMD)

SPMD (Single Program/Multiple Data Stream, spim-dee)

ユーザは MIMD が嫌いだった！

AdvancedComputer

Architecture

MIMD (Multiple Instruction/Multiple Data Stream)

要はマルチプロセッサ

（非学術的）分類： SMP (Symmetric Multi-Processor)

メモリ・バスを共有 2 ～ 128 プロセッサ

MPP (Massively Parallel Processor)

一般のネットワーク～数 K プロセッサ

MPP の最期

90 年代： RISC スーパスカラの普及期に，たくさん並べてみたくなった「高速で安価な RISC プロセッサの普及により，数千個のプロセッ

サを持つ超並列計算機が，次世代のスーパコンピュータとして注目を集めいている．」

2000 年代 PC クラスタに押されて消えたマルチコアとして復活？

AdvancedComputer

Architecture

SIMD 命令

SIMD 命令（スーパ）スカラ・プロセッサの（拡張）命令セット 1 本のレジスタに 2 ～ 8 個のデータをパック 1 命令で同種の演算を 2 ～ 8 個程度同時に実行

SIMD 命令の変遷 (Sun)

VIS (Visual Instruction Set) for SPARC

既存の 64 ｂ浮動小数点レジスタ既存の 64 ｂ浮動小数点演算器を 4 x 16b にスライスして使用

追加 HW コストはごくわずか CG における座標変換，同次座標の行列―ベクトル積を CPU で

SIMD 命令の変遷 (Intel)

MMX (Multi-Media eXtension?) for Pentium 8 x 64 ｂ専用レジスタ MM0 ～ MM7 64 ｂ専用演算器汎用マルチメディア処理

飽和演算（ｘ 87 浮動小数点命令が非効率すぎる）

SSE (Streaming SIMD Extensions) for Pentium III 8 x 128 ｂ専用レジスタ XMM0 ～ XMM7 128 ｂ専用演算器暗号，ストリーミング処理

シャフル命令キャッシュ制御命令

SSE2 for Pentium 4 レジスタの増量

SSE3 水平型命令

SIMD 命令の変遷 (Others)

3DNow! for Athlon

MMX ， SSE と互換

AltiVec for PowerPC

Photoshop

Digital Media Extension for MIPS

SIMD 命令の変遷 (GPU)

GPU (Graphics Processing Unit)

Programmable Shader （ DirectX 8 以降） SIMD 命令

– 同次座標　 (x, y, z, w)

– 色と透明度 (r, g, b, a)

SIMD 命令の変遷 (Cell)

Cell = PPE (Power Processing Element = PowerPC) + SPE (Synergistic Processing Element) x 7

SPE 128 x 128b SIMD レジスタ SIMD 命令を 1 サイクルに 2 命令

AdvancedComputer

Architecture

データ並列性

データ並列性 (data parallelism) ：異なるデータに対して（ほぼ）同型の処理を行うときに生じる

制御並列性？ (control parallelism ?) ：データ並列性がない（少ない）

ベクトル， SIMD によるベクトル処理：データ並列性を利用

RISC スーパスカラとの違い

RISC スーパスカラ複数のパイプライン化された FPU を持つ FPU を追加すれば，能力的にはほぼ同等

だが…

RISC スーパスカラデータ流量＝命令流量

ベクトル， SIMD

データ流量＞命令流量

AdvancedComputer

Architecture

今日のまとめ

Flynn の並列計算機の分類 (1966)

Data Stream

Single Multiple

Instru

SISD （スカラ） SIMD

ltiple

MISD （？） MIMD （普通の MP ）

主記憶

ベクトルロード

ユニット

ベクトルストア

ユニット

ベクトル加算器

ベクトル乗算器

ベクトル除算器

ベクトル○○ 器

ベクトルレジスタ

スカラレジスタ

スカラユニットキャッシュ

Control Unit

SIMD 命令

SIMD 命令（スーパ）スカラ・プロセッサの（拡張）命令セット 1 本のレジスタに 2 ～ 8 個のデータをパック 1 命令で同種の演算を 2 ～ 8 個程度同時に実行

データ並列性

データ並列性 (data parallelism) ：異なるデータに対して（ほぼ）同型の処理を行うときに生じる

ベクトル， SIMD によるベクトル処理：データ並列性を利用

RISC スーパスカラとの違い

RISC スーパスカラ複数のパイプライン化された FPU を持つ FPU を追加すれば，能力的にはほぼ同等

だが…

RISC スーパスカラデータ流量＝命令流量

ベクトル， SIMD

データ流量＞命令流量

今後の予定

7/12 休講

7/19 マルチスレッド・プロセッサ

レポート課題

課題： 1 は任意， 2 は必須

1. 遅延分岐では， compare & branch に完全に対処することは困難であると思われる．実際のパイプライン・マシン (ex. MIPS R2000/3000) ではどうなっているのか調べよ．

2. コンピュータ・アーキテクチャにおける種々の投機技術に対し，現実世界における類似の技術を挙げ，それらの間の相違点について論ぜよ．

提出方法： e-mail

To: goshima@mtl.t.u-tokyo.ac.jp Subject: 「 ACA 」，「レポート」を含めること

様式，フォーマット，分量自由

期限 8/16 （火）

10. ベクトル処理

Documents

分散処理システム - Tohoku University Official ... · 5.1.2 分散処理分散処理の特徴分離(Separation) システムの構成要素の、物理的、および論理的分離

1.1 自然言語処理と機械学習処理の概要002 Chapter 1 自然言語処理と機械学習処理とは 1.1 自然言語処理と機械学習処理の概要ここでは、本書で学ぶ「自然言語処理」と「機械学習処理」とは、いかなるものか、その概要につ

純水装置から排水処理まで協和水処理サービス株式 …純水装置から排水処理まで協和水処理サービス株式会社

言葉の脳内処理機構 - mind.c.u-tokyo.ac.jpmind.c.u-tokyo.ac.jp/Sakai_Lab_files/Staff/KLS_PaperJ/KLS2005Jb.pdf · シンポジウム：感情的処理と知的処理の脳内機構

サーバーレスのおさらい - AWS€¦ · 処理リソースにおける失敗・エラー処理 • 基本的な考え⽅: 処理リソースの単位（ファンクション）でエラー処理を考慮する

PLATING & SURFACE TREATMENT メッキ・表面処理 BANGKOK … · 696 タイ日系企業年鑑めつ〔メッキ・表面処理〕 plating & surface treatment メッキ・表面処理

UNIVERSAL BOND FLOWFLOW UNIVERSAL BOND 処理面未処理面処理面未処理面ジーシー研究所測定データジーシー研究所測定データ水洗不要のシンプルなボンディングステップ

IPv4 ブロードキャストパケット処理の設定 - Cisco...IPv4 ブロードキャストパケット処理の設定 IPv4 ブロードキャストパケット処理について3

不二WPC | マイクロディンプル処理®（WPC処理®）

理学部ry.rikkyo.ac.jp/syllabus/pdf/2016/gaku_ri.pdf11. ベクトルと行列（2） 12. ベクトルと行列（3） 13. ベクトルと行列（4） 14. ベクトルと行列（5）

分散処理フレームワークHadoopを用いたクラウド型大規模ゲノ … · (1)並列分散処理が可能分散処理フレームワークHadoopを解析処理基盤として

12. ベクトル処理アーキテクチャ

20131226 情報処理学会

非同期処理の通知処理 with Tatsumaki

UNICORN7 データ処理目次

画像処理システム論（視覚情報処理論）kato/IPS10/IPS-101216-a.pdf画像処理システム論（視覚情報処理論） Image Media Systems 視覚感性と画像処理（5）

Stanの事後処理 LTver

通信・データ処理アーキテクチャスペースリンクプロトコル …JERG-2-400-TP103 通信・データ処理アーキテクチャスペースリンクプロトコル

あらためて今後の再処理について - aesj.or.jprecycle/2015_semi_01.pdf · 六ヶ所再処理工場累積処理量東海再処理工場累積処理量海外委託累積処理量