课程编号： 13041000

山东大学软件学院

戴鸿君

计算机系统结构（ 2012 年春）---- 基本概念：

并行与计算机发展

山东大学计算机学院 戴鸿君 dahogn@sdu.edu.cn

课程编号： 13041000

山东大学软件学院

戴鸿君

并行性发展及计算机系统的分类并行性概念 计算机系统的并行性发展 并行处理系统的结构与多机系统的耦合

度 计算机系统的分类

课程编号： 13041000

山东大学软件学院

戴鸿君

并行性概念 只要在同一时刻或是在同一时间间隔

内完成两种或两种以上性质相同或不同的工作，它们在时间上能互相重叠。 ◦同时性（ Simultaneity ）：两个或多个事

件在同一时刻发生。◦并发性（ Concurrency ）：两个或多个事

件在同一时间间隔内发生。

课程编号： 13041000

山东大学软件学院

戴鸿君

从计算机系统中执行程序角度来看 并行性等级：指令内部 （硬件和组织的设计）指令之间（处理好指令间的关联）任务或进程之间（任务分解）作业或程序之间 （并行算法）

课程编号： 13041000

山东大学软件学院

戴鸿君

从处理数据的并行性来看 并行性等级：位串字串位并字串位片串字并全并行

课程编号： 13041000

山东大学软件学院

戴鸿君

从信息加工的并行性来看并行性等级：存储器操作并行（并行存储器系统、相联处理

机）处 理 器 操 作 步 骤 并 行 （ 流 水 线 处 理

机）处理器操作并行（阵列处理机）指令、任务、作业并行 （多处理机）

课程编号： 13041000

山东大学软件学院

戴鸿君

并行性开发途径 时间重叠（ Time Interleaving ）是

在并行性概念中引入时间因素，让多个处理过程在时间上相互错开，轮流重叠地实用同一套硬件设备的各个部分，以加快硬件周转而赢得速度。◦举例：流水线◦分离、细化功能部件→流水线→功能不同

的多机系统→异构型多处理机系统

课程编号： 13041000

山东大学软件学院

戴鸿君

指令流水线举例

取指 分析 执行

k K+1

k

k

K+1

K+1

K+2

K+2

K+2

部件

分析

取指

执行

时间

课程编号： 13041000

山东大学软件学院

戴鸿君

并行性开发途径（续）资源重复（ Resource Replication ）：

是在并行性概念中引入空间因素，通过重复设置硬件资源来提高可靠性或性能。◦多操作部件和多体存储器→相联、并行处

理机→同构型多处理机系统

课程编号： 13041000

山东大学软件学院

戴鸿君

CU

PE(0) PE(1) PE(N-1)

资源重复的例子

课程编号： 13041000

山东大学软件学院

戴鸿君

并行性开发途径（续）资源共享（ Resource Sharing ）：是利

用软件的方法让多个用户按一定时间顺序轮流地使用同一套资源，以提高其利用率，这样也可以提高整个系统的性能。◦多道程序、分时 OS → 真正的处理机代替

虚拟机→分布处理系统

课程编号： 13041000

山东大学软件学院

戴鸿君

计算机系统的并行性发展 1960 年以前

◦ 算术运算的位运算（ EDSAC 、 EDVAC 、 UNIVAC1 ）

◦ 输入输出间操作的并行◦ 直接存储器访问（ DMA ） IBM709 系列

1960 年至 1970 年◦ 流水线单处理机◦ 多功能部件流水线◦ 高速缓冲存储器 Cache

课程编号： 13041000

山东大学软件学院

戴鸿君

计算机系统的并行性发展( 续）1970 年至 1980 年

◦多种并行处理系统结构，例：向量、阵列、相联等

1980 年至 1990 年◦RISC 、多处理机、数据流机、智能机

1990 年以来◦MPP◦Cluster

课程编号： 13041000

山东大学软件学院

戴鸿君

多机系统的耦合度 为了反映多机系统中各级器之间物理连接的紧密程

度和交叉作用能力的强弱。 最低耦合系统（ Least Coupled System ）：各种

脱机系统 松散耦和系统（ Loosely Coupled System ）：如

果多台计算机通过通道或通信线路实现互连，共享某些磁带、磁盘等外围设备，以较低频带在文件或数据集一级相互作用。间接耦合系统

紧密耦合系统（ Tightly Coupled System ）：如果多台机器之间通过总线或高速开关互连，共享主存，并有较高的信息传输速度，可以实现数据集一级、任务级、作业级的并行。直接耦合系统

课程编号： 13041000

山东大学软件学院

戴鸿君

P/ C

LM

NI C

定制网络

(c)MPP

P/ C

LM

NI C

MB MB

…VP

SM

交叉开关

(a)PVP

VP VP

SMSM

… P/ C

SM SM I / O

总线或交叉开关

(b)SMP

P/ C P/ C…

P/ C

LM

NI C

DI R

MB

定制网络

(d)DSM

P/ C

LM

NI C

DI R

MB

…

LD

P/ C

M

MB

I OB

(e)COW

LD

P/ C

M

MB

I OB

( ATM etc. )商品网络 以太网， ，

Bri dge

NI CNI C

Bri dge …

多机系统的耦合度

课程编号： 13041000

山东大学软件学院

戴鸿君

MIMD

多计算机( )多地址空间非共享存储器

( I BM SP2, DEC TruCl usterTandem Hymal aya, HP,

Mi crosof t Wol fpack, etc)

NORMA

UMA

NUMA

Cluster

MPP( I ntel TFLOPS)紧耦合

PVP(Cray T90)

SMP( I ntel SHV, SunFi re, DEC 8400,

SGI PowerChal l enge, I BMR60, etc. )

COMA (KSR-1, DDM)

CC-NUMA(Stanford Dash,

SGI Ori gi n 2000, Sequent NUMA-Q,HP/ Convex Exempl ar)

NCC-NUMA (Cray T3E)

DSM(TreadMarks,Wi nd Tunnel ,I VY, Shri mp,

etc. )

（ ）

松散耦合（ ）

中央存储器

分布存储器

多处理机单地址共享

（）

空间存储器

MIMD 的分类

课程编号： 13041000

山东大学软件学院

戴鸿君

计算机系统的分类 采用的基本器件 计算机系统成本1966 年 Michael J,Flynn 1978 年 David J.Kuck ：用指令流和

执行流（ Execution Stream ）及其多倍性来描述计算机系统总控制器的结构特征

1972 年冯泽云：提出用数据处理的并行度来定量地描述各种计算机系统特性 。

课程编号： 13041000

山东大学软件学院

戴鸿君

按采用的基本器件分类计算机的更新换代

◦第一代 电子管计算机◦第二代 晶体管计算机◦第三代 中小规模集成电路◦第四代 大或 超大规模集成电路◦第五代 VLSI （甚大规模集成电路）

计算机性能的大幅度提高或更新换代，一方面依靠器件的不 断更新，同时也依赖系统结构的不断改进。

课程编号： 13041000

山东大学软件学院

戴鸿君

第一代1945~1954

电子管继电器

存 储 程 序 计算机程序控制 I/O

机器语言汇编语言

普林斯顿ISA 、 ENIAC、 IBM701

第二代1955~1964

晶体管、磁芯印刷电路

浮点数 据表示、寻址技术 、 中断、 I/O 处理机

高 级语言、编译、批处理监控程序

Univac LARC 、 CDC 1604IBM 7030

第三代1965~1973）

多层印刷电路微程序

流 水线 、 Cache、 先 行 处理、系列机

多道程序分时操作系统

IBM 360/370CDC 6600/7600DEC PDP-8

第四代1974~1990

LSI 、 VLSI半导体 存 储器

向量处理分 布式存 储器

并行和分布处理

Cray-1 、 IBM 3090DEC VAX 9000Convax-1

第五代1990~

高 性 能微处理器高密度电路

超标量 、超流水、 SMP 、MP 、 MPP

大规模、 可扩展 并 行 与分布处理

SGI Cray T3EIBM 、 SP2 、 DECAlphaServer 8400

五代计算机的特征表

课程编号： 13041000

山东大学软件学院

戴鸿君

按计算机系统成本分类巨型计算机、超级计算机

SuperComputer大型计算机 MainComputer中型机算机 MidComputer小型计算机 MiniComputer微型计算机 MicroComputer 工作站介于小型机和微型机之间，具有小型机的性能，微型机的价格。

课程编号： 13041000

山东大学软件学院

戴鸿君

本人的分类（从应用、成本）高性能计算机（ MPP 、 Cluster 、

SMP ）服务器工作站台式机便携机手持式终端（ PDA 、 MP3 、手机）

课程编号： 13041000

山东大学软件学院

戴鸿君

Wrist PC

Desktop PC

Tablet PC

Pocket PCPhone PC

无线连接

Wearable computer

课程编号： 13041000

山东大学软件学院

戴鸿君

Michael J,Flynn 分类指令流：是指机器执行的指令序列。 数据流：是指指令流调用的数据序列，包括

输入数据和中间结果。多倍性：是指在系统性能瓶颈部件上处 于同

一执行阶段的指令或数据的最大可能个数。

课程编号： 13041000

山东大学软件学院

戴鸿君

Michael J,Flynn 分类SISD 单指令流单数据流

◦ 传统的单处理机属于 SISD 计算机SIMD 单指令流多数据流

◦ 并行处理机是 SIMD 计算机的典型代表MISD 多指令流单数据流

◦ 实际上不存在，但也有学者认为存在MIMD 多指令流多数据流

◦包括了大多数多处理机及多计算机系统

课程编号： 13041000

山东大学软件学院

戴鸿君

CU PU MMCS DS

IS

SISD

CU ：控制部件， PU ：处理机， MM ：贮存模块， SM ：共享主存IS ：指令流， CS ：控制流， DS ：数据流

CU

PU1

PU2

PUn

MM1

MM2

MMm

DS1

DS2

DSn

CS

IS

SIMD

SM

Michael J,Flynn 分类

课程编号： 13041000

山东大学软件学院

戴鸿君

CU1 PU1

PU2

PUn

MM1 MM2 MMm

DS

DS

CS1

ISn

MISD

SM

CU2

CUn

CS2

CSn

IS2

IS1

CU ：控制部件， PU ：处理机， MM ：贮存模块， SM ：共享主存IS ：指令流， CS ：控制流， DS ：数据流

Michael J,Flynn 分类

课程编号： 13041000

山东大学软件学院

戴鸿君

CU1 PU1

PU2

PUn

MM1

MM2

MMm

DS1

DSn

CS1

ISn

MIMD

CU2

CUn

CS2

CSn

IS2

IS1

DS2

CU ：控制部件， PU ：处理机， MM ：贮存模块， SM ：共享主存IS ：指令流， CS ：控制流， DS ：数据流

Michael J,Flynn 分类

课程编号： 13041000

山东大学软件学院

戴鸿君

Von Neumann 结构计算机

运算器ALU

控制器

输出设备输入设备

存储器

课程编号： 13041000

山东大学软件学院

戴鸿君

Von Neumann 机结构的主要特征 存储器是顺序线性编址的一维结构

◦ 按地址访问、单元位数固定、运算速度与访存次数有关

指令 = 操作码+ 地址码 ◦ 操作数的类型由操作码决定

指令在存储器中是按其执行顺序存储存储器内指令和数据同等看待二进制编码、运算以运算器为中心， I/O 与存储器之间数据通过

运算器，运算器、存储器、 I/O 设备的操作及之间的联系，由控制器控制

课程编号： 13041000

山东大学软件学院

戴鸿君

Von Neumann 型结构的局限性

以数值计算为主，对自然语言、图像、图形和符号处理的能力较差；

程序算法在整体上位顺序型，限制并行操作发挥；

软件系统 越来越复杂，正确性不能保证，软件生产效率低；

硬件投资大，可靠性 差，体系结构受限制；应用人员既懂专业知识，又具备编程技巧；

课程编号： 13041000

山东大学软件学院

戴鸿君

Von Neumann 型结构的缺点 存在两个瓶颈

◦ 物理瓶颈： CPU 与存储器之间频繁交换信◦ 智能瓶颈：每次只能顺序执行一条指令

低级的机器语言与高级语言程序设计之间存在巨大的 语义差距

复杂的数据结构对象无法直接放到一维线性结构地址空间存储器中，必须经过地址映像

课程编号： 13041000

山东大学软件学院

戴鸿君

Von Neumann 型结构的改进 增加了新的数据表示：浮点数、字符串 采用虚拟存储器，方便了高级语言编程引入堆栈，支持过程调用、递归机制采用变址寄存器，并增加间接寻址方式增加 CPU 内的通用寄存器和增设 Cache采用存储器交叉访问技术，以及无冲突并行存储器采用指令流水技术采用多功能部件采用支持多处理机采用自定义数据表示使程序和数据空间分开

课程编号： 13041000

山东大学软件学院

戴鸿君

四十年来计算机系统结构的改进 串行算法 -----〉适应并行算法

◦ 出现向量计算机、并行计算机、多处理机高级语言与机器语言的语义差距减少

◦ 出现面向高级语言计算机机器和直接执行高级语言机器

硬件系统与操作系统和数据 库管理系统软件相适应◦ 出现面向操作系统机器和数据库计算机

指令驱动型 -----〉数据驱动型、需求驱动型◦ 出现数据流计算机和规约机

课程编号： 13041000

山东大学软件学院

戴鸿君

四十年来计算机系统结构的改进出现专用计算机

◦ 快速傅里叶变换计算机、过程控制计算机提高可靠性

◦ 出现容错计算机计算机系统功能分散化、专业化

◦ 出现各种功能分布计算机、外围计算机、通讯处理出现与大规模、超大规模集成电路相适应的计

算机系统结构出现非数值化信息的智能计算机，如自然语言、声音、图形和图像处理

课程编号： 13041000

山东大学软件学院

戴鸿君

工作站 Workstation以个人计算环境和分布式网络环境为前提的

高性能计算机。◦ 70 年代末期，美国 Xero公司 Alto 机

工作站的特点◦ 32 位或 64 位微处理器◦ 内存 64MB 或 128MB 以上，硬盘容量 10GB 以

上◦采用开放式 OS 和良好的人机交互界面例 UNIX 、

Linux 、 NT◦具有高分辨率显示器， 1024*768 以上◦ 内置网络环境◦采用国际标准；

课程编号： 13041000

山东大学软件学院

戴鸿君

工作站实例

联想补天工作站

SGI OCTANE2 工作站

SGI O2 工作站

Sun Blade™ 2000 工作站 HP Unix 工作站