云计算技术教学专题云计算技术教学专题

“ 云计算”课程的教学设计与实验安排

解放军理工大学胥光辉

(xu_guanghui@126.com)

2

教学设计• 教学对象

• 教学内容

• 实验内容

• 课时安排

3

教学设计• 教学对象

• 教学内容

• 实验内容

• 课时安排

云计算课程教学对象• 本科生（面向全校学员开放的公共选修课，限定 100 人）

– 计算机科学技术专业 – 软件工程– 信息与通信相关专业

• 研究生– 前沿论文研读（不占用课内学时） – 讨论交流（占用课内学时）

• 在职轮训– 具备一定工作经验和专业知识背景的部队技术干部，通过短期培

训，使其进行知识更新。

5

教学设计• 教学对象

• 教学内容

• 实验内容

• 课时安排

云计算课程教学内容• 云计算基础概念与理论知识

– 什么是云计算、云计算的分类与特点、云计算的竞争优势以及云计算的发展现状和趋势等；

• 典型云计算解决方案– 了解不同解决方案的特点、异同和应用场景，理解云计算架构中

实现可靠性、可伸缩性的方法，掌握云计算的并行计算思维，了解云计算对于大数据处理的重要意义；

• 云计算技术应用实践– 基于现实问题（如海量数据存储、大数据排序处理、计算 π 值等

问题），通过开源云计算系统应用实践，进一步加深对云计算技术的理解。

7

教学设计• 教学对象

• 教学内容

• 实验内容

• 课时安排

云计算课程实验内容• 贯彻“学以致用”的思想，以知识验证、知识综合、创新

设计为原则，设计课程实践内容。 主要包括– Linux 基本操作实践– 基于虚拟机搭建 Hadoop 云计算运行环境– 云存储系统搭建与应用实践– 基于 MapReduce 的海量数据处理技术应用实践

9

教学设计• 教学对象

• 教学内容

• 实验内容

• 课时安排

云计算课程课时安排• 面向本科生

– 强调云计算基础知识普及教育和云计算基础应用实践，对于专业性较强或前沿知识涉及较少。课程为 20 学时，其中实验课程占10 学时。

• 面向研究生– 注重系统架构、技术原理和实现细节分析，提高学员的动手实践

能力，培养其并行思维。研究生云计算课程为 40 学时，其中理论课时 28 学时（含 2 学时前沿论文研读讨论），实验课时 12 学时。

• 面向轮训学员– 在课程知识体系上，轮训学员掌握的知识比本科学员深入，同时

移除了研究生学员的前沿论文研读部分，使其将重点聚焦到云计算的概念、体系架构、技术原理和应用场景中。在课时设置上，轮训学员云计算课程为 30 学时，其中理论课时 12 学时，实验课时 18 学时。

序号 知识分类 课程内容 知识点学员分类

本科生 研究生 轮训学员

1 云计算的概念与现状

云计算的概念1.1 云计算概念的起源1.2 云计算的特征1.3 云计算的分类1.4 云计算的体系结构

***○

****

****

云计算的发展现状

1.5 Google 、 Amazon 、微软等国际知名公司云计算发展现状

1.6 中移动、阿里巴巴和盛大等国内公司云计算发展现状

1.7 云计算与物联网、 3G 和移动互联网等新技术的关联

1.8 云计算的优势（成本优势、规模优势）

**○○

***

**

****

2 云计算的关键技术

海量数据存储技术

2.1 云计算海量数据存储需求分析2.2 Google 分布式文件系统 GFS2.3 Amazon 的基础存储架构 Dynamo 和简单存

储服务 S32.4 Windows Azure 存储服务 2.5 开源系统 Hadoop 的云存储系统 HDFS

*****

******

**

******

**

海量数据处理技术2.5 海量数据处理技术需求分析2.6 Google 的分布式数据处理模型 MapReduce2.7 Windows Azure 计算服务2.8 MapReduce 编程技术

**○○

*****

*****

海量数据管理技术

2.9 数据管理技术基础2.10 Google 的分布式结构表 BigTable2.11 Google 的结构化数据管理技术 Megastore2.12 Amazon 的简单数据库服务 SimpleDB2.13 Amazon 的关系数据库 RDS2.14 微软云关系数据库 SQL Azure

**○*○○

**********

***○*○*

虚拟化技术2.15 Amazon 的弹性计算云 EC22.16 VMWare 的云战略架构2.17 VMWare 的云管理平台 vCenter2.18 VMWare 的网络和存储虚拟化技术

**○○

***

****

***○*

序号 知识分类 课程内容 知识点学员分类

本科生 研究生 轮训学员

2云计算的关键技术 其他关键技术

2.19 Google 的分布式锁服务 Chubby2.20 Google 应用程序引擎 AppEngine2.21 Google 大规模分布式系统的监控基础架构Dapper2.22 Amazon 的简单队列服务 SQS2.23 Windows Azure AppFabric2.24 Hadoop 的协调器 ZooKeeper

○*○○○○

*******

***○*○*

3开源云计算系统及应用实践

开源云计算系统

3.1 Google 云计算开源实现 Hadoop3.2 Amazon 云计算开源实现 Eucalyptus3.3 Cassandra3.4 Hive3.5 VoltDB

**○○○

******

**○○○

开源云计算系统Hadoop 应用实践

3.6 基于 VMWare 虚拟机的 Hadoop 集群运行环境搭建3.7 HDFS 存储环境搭建与可用性实践3.8 基于 MapReduce 的大数据排序编程实践3.9 基于 MapReduce 的圆周率计算实践

**○○

*******

****

4

云计算的研究热点与发展趋势

云计算的研究热点

4.1 云计算体系结构研究4.2 云计算关键技术研究4.3 云计算支撑平台研究4.4 云计算应用技术研究4.5 云安全技术研究

○○○○○

*****

*****

云计算的发展趋势 4.6 经典云计算学术论文研读4.7 最新云计算前沿论文研读与交流

○○

****

○○

【注】在学员分类下， * 表示该知识点为该类学员了解内容， ** 为该类学员重点掌握内容，○表示该知识点不需要该类学员掌握。

13

实验安排• 云计算实验需要达到的目标

• 云计算实验应包含的内容

• 已开展的实验方案简介

• 正在进行的一些新的尝试

14

实验安排• 云计算实验需要达到的目标

• 云计算实验应包含的内容

• 已开展的实验方案简介

• 正在进行的一些新的尝试

15

云计算实验需要达到的目标• 理解云计算的基本工作模式

– 多个计算、存储结点“绑”在一起– 通过虚拟化提高利用率– 面向服务的基本体系结构

• 理解云系统的特征– 大量结点一起– 适合处理大任务或大量任务– 通过软件松散的耦合系统要素

16

云计算实验需要达到的目标• 巩固以前学过的知识并能加以综合运用

– 云计算本身就是综合众多传统技术的新型计算模式– 加深学生对操作系统、网络、分布式系统、数据库、程序设计语言、计算机系统结构等方面知识的理解

• 提高动手能力– 实验过程中必然遇到诸多问题，而且现象迥异– 要求学生能够在理解理论知识的基础上，积极思考、细致分析、

不断尝试

17

实验安排• 云计算实验需要达到的目标

• 云计算实验应包含的内容

• 已开展的实验方案简介

• 正在进行的一些新的尝试

18

云计算实验应包含的内容

• 云计算的两大使能技术– 虚拟化– 面向服务的体系结构

• 云计算本身的特点– 通过软件把能力划分或整合，充分利用资源

19

云计算实验应包含的内容• Linux 操作系统环境的熟悉

– 几乎所有开源云计算平台都基于 Linux 系统，在没有 Linux 系统的环境里搭建云计算系统是难以想象的

– 大多学生对 Linux 系统并不熟悉

• 集群技术– 把众多商用服务器联合起来，虚拟成一个整体，对外统一提供

“超级”的服务能力

20

云计算实验应包含的内容• 虚拟机

– 隔离：用户角度是一台完全独立的计算机系统– 共享：可向进程一样共享 CPU资源、共享统一的存储资源、在虚

拟网络实体网络间共享网络资源– 高度可配置：用户需要的资源可方便的配置和更改，资源不足时

可进行在线的虚拟机迁移

• 虚拟网络– 灵活高效连接虚拟机的保证– 虚拟网络与实体网络共同构建通信环境

21

实验安排• 云计算实验需要达到的目标

• 云计算实验应包含的内容

• 已开展的实验方案简介

• 正在进行的一些新的尝试

22

已开展的实验方案简介

• Linux 基本操作（ 2 学时）– 实验在 VMWare 下进行– 安装 ArchLinux 系统，能够从比较基本的概念去了解操作系统– 熟悉基本 Linux 工作方式，掌握基本操作命令– 后面的实验基于本次实验所构建的系统进行– 复制虚拟机磁盘文件并开启多台虚拟机，直观理解虚拟化概念

23

已开展的实验方案简介

• 简单云存储系统：MooseFS 文件系统的搭建（ 4 学时）– 最简单的集群系统– 理解如何“绑”在一起提供服务– 可先独立单机搭建再分组构建分布式环境– 元数据服务器– 数据存储服务器– 客户端

24

已开展的实验方案简介• 全分布式的 Hadoop 搭建（ 10 学时）

– 分组进行（ 5-6 人 /组）– HDFS （ Hadoop 文件系统）

• Master （主结点）• Chunkserver （存储节点）

– Zookeeper （分布式锁管理器）• Paxos 算法选举 Leader

– HBase （ Hadoop 下 NOSQL 数据库）• NOSQL 的工作特点• 存储仍在 HDFS

25

已开展的实验方案简介• 全分布式的 Hadoop 搭建（ 10 学时）

– 进行单词计数 (Wordcount) 应用的实验– 进行单机 C语言程序的单词计数实验– 比较小数据（几兆字节）、大数据（几百兆字节或更大）用两种

方式计算的效果差异– 理解 Hadoop 是成熟、完备的分布式处理框架的概念– 有余力的同学可仿照例程自行设计分布式处理程序

26

实验安排• 云计算实验需要达到的目标

• 云计算实验应包含的内容

• 已开展的实验方案简介

• 正在进行的一些新的尝试

27

正在进行的一些新的尝试• 原有实验条件的限制

– 许多机器对硬件虚拟化支持不足（即“半虚拟化”技术）– 与传统实验环境冲突（实验室多门课程公用）

• 拟开展的新的实验方案– 虚拟化实验– 虚拟网络实验

28

正在进行的一些新的尝试• 虚拟化实验

– 新的实验室条件：新的对虚拟化支持较好的服务器• 8 Cores x 8CPUs• 128G RAM• 100TB集中存储

– 一台主机足以支持至少 50 人同时实验– 通过虚拟化嵌套

• 可做出虚拟机创建、删除、迁移等实验• 学生可开设更多虚拟机• 虚拟机资源可共享

OpenStack 简介• OpenStack 的重要构成部分：

– Nova -  计算服务– Swift -  存储服务– Glance - 镜像服务– Keystone - 认证服务– Horizon - UI服务

实验 一： OpenStack 的安装与部署

实验二： OpenStack镜像管理• 创建 Linux镜像• 创建Windows镜像

– （一）安装操作系统

– （二）上传Windows镜像

实验 三： KVM迁移到 OpenStack• 原有 KVM迁移到 OpenStack 中管理

– 可以在 OpenStack管理平台中对 KVM 进行重启，删除，暂停 /恢复， VNC 操作

– https://github.com/lightcloud/kvm2openstack

– 1. 通过 libvirt 将 KVM 的数据采集后存储到 nova 的 db 中– 2 修改 KVM 主机名– 可以通过 dashboard管理 KVM– 修改主机名的过程需要重启 KVM

实验四： OpenStack 动态迁移• OpenStack 使用的是块迁移，因为没有共享存储只能做块迁移，同时

OpenStack也支持共享迁移，共享迁移只能在有共享存储的情况下才被使用。

• 执行迁移动动作 :

– 首先会去检查目标物理服务器是否有足够的内存，虚拟 CPU ，磁盘，磁盘大小必须大于当前所要迁移的虚拟机磁盘大小

– 同步文件到目标物理服务器 rsync -rS /var/.../vmdir nova9x:/var/.../vmdir

– 检查目标物理服务器是否已经存在 backingfile ，如果存在不同步，否则同步

– 执行迁移 xm migrate xmname destHost --live

– 删除源物理服务器虚拟机 xm delete vmname

实验五： OpenStack 构建私有云

35

谢谢！