55
云计算与开源 2010-3 世纪互联 刘黎明

云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

  • Upload
    votruc

  • View
    255

  • Download
    8

Embed Size (px)

Citation preview

Page 1: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

云计算与开源2010-3

世纪互联 刘黎明

Page 2: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

内 容

●云计算定义

●云计算市场

●IaaS 技术体系

●IaaS 开源

●Cloudex 介绍

●推荐资料

Page 3: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

演讲人介绍

刘黎明 毕业于北京科技大学计算机系,计算机系统结构硕士学

位 曾任北京科技大学研究生会主席 曾于思科系统(中国)研发有限公司工作 ,负责 UDF 文

件系统开发 曾于世纪互联任国内第一个云计算产品线的产品经理和

研发经理,通过与世界领先的合作伙伴的交流和学习,负责云计算新产品概念发掘、产品定义、产品规划、技术合作、产品设计、技术架构与开发,推出国内第一个云计算产品

中国开放云计算联盟 www.chinacloud.org 创始人 北京锋迈正德科技有限公司创始人 现世纪互联云计算产品线总监

Page 4: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

定义云计算

云计算关键特征:

● 通过互联网提供自助式服务

● 快速获得服务

● 按需扩展和使用

● 按使用量付费

Page 5: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

为什么说云计算是一场变革

从云计算对信息行业的影响,从以下几个方面看,已经可以称为一场变革:从影响的领域看,云计算已经从最开始的IT基础设施领域扩展到硬件和设备制造、软件开发平台、软件部署、软件销售、IT服务,几乎涵盖所有的IT硬件、软件、服务领域,甚至已经扩展到非IT领域,比如一些创意、人工智能仓库等。从专业化角度讲,云计算体现了专业的服务由专业的组织和人员提供更为高效的原理。这一点有些人进行放大,认为世界最后只剩下几朵云,这是有些极端的看法。从规模化角度讲,云计算体现了规模化采购减低采购成本,规模化运营降低人力成本,规模化服务提高峰值复用水平。可以用电网和单个电厂的对比来看这个问题。从服务模式角度讲,云计算体现了用户自助式服务和服务商的自动化服务的趋势。传统那个的连看一样商品都要柜台服务员参与的供销社模式与后来的超市模式,与云计算的产生有共同之处。从精细化、标准化程度讲,云计算体现了对服务的精细测量和计费的趋势。云计算服务都能从相当小的粒度上做到按需使用、按使用量付费。

Page 6: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

云计算变革的推动因素

主要推动因素包括:●虚拟化技术的快速发展●CPU等硬件的快速发展●宽带网络的快速发展●企业对IT基础设施的需求快速增长●互联网行业对IT基础设施的需求变化迅速●市场对云计算商业模式逐渐认可●少数云计算先行者已经获得一定成功●经济危机迫使用户降低总体拥有成本和减少一次性投入

Page 7: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

云计算市场划分

基础设施制造商

基础软件供应商

服务器制造商

网络设备制造商 通风设备制造商制冷设备制造商

存储设备制造商处理器制造商

操作系统供应商

基础设施管理系统供应商分布式存储系供应商

虚拟化管理器供应商

基础设施即服务

平台即服务

一切皆服务

计算服务 非结构化存储服务 结构化存储服务

开发平台 运营平台测试平台

软件即服务 安全即服务 集成即服务

Page 8: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

IaaS 技术体系

● 虚拟化

– 软件虚拟化

– 硬件辅助虚拟化

– 操作系统级虚拟化

– 虚拟化管理

● 分布式文件系统

– 普通分布式文件系统

– 容错分布式文件系统

– 并行分布式文件系统

– 并行容错分布式文件系统

– 点对点文件系统

● 浏览器异步交互技术 (AJAX)

– 浏览器异步交互技术 (AJAX) 介绍

– XML– Javascript框架

– CSS– HTML5– SVG 与 Canvas

● 网络服务

– 网络服务概述

– SOAP– REST– IaaS API 设计

● 安全与身份验证

– 加解密

– 密钥分发与身份验证

数据安全

Page 9: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

●IaaS 开源

● 开源服务器虚拟化

● 开源虚拟化管理系统

● 公有云私有云互操作性平台

● 开源虚拟化工具

● 存储系统

● 开源 PaaS 平台

● 开源基础设施监控项目

● 其他开源项目

Page 10: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源服务器虚拟化 -xen

在 Xen虚拟化架构中,一个纤薄的软件层( Xen hypervisor )取代了原有运行

在服务器和桌面机上的操作系统。这个软件层很好地抽象了物理资源,有效地

将操作系统(以及运行其上的应用程序)和下面的物理服务器剥离开,从而允

许一台物理服务器上同时运行一个或多个虚拟服务器。

Xen Hypervisor在一些虚拟机中部署了一整套管理服务,用于硬件资源访问控制、虚拟机间的通信、虚拟机启动 /停止和其他一些必要的服务功能。这些基于管理目的的虚拟机创建于系统启动阶段,可以安全的管理整个系统。

Xen Hypervisor 支持两种类型的虚拟机:一种基于类虚拟化( para-virtualized )技术,为运行在虚拟平台上引入特别的优化;另外一种虚拟机则相反,无需任何修改而被称作完全虚拟化( full-virtualized )。

Page 11: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源服务器虚拟化 -kvm

KVM 的方法与 Xen不同,后者使用轻便的“ hypervisor” 基础和特权操作系统(作为代表的就是 Linux )的组合管理着对硬件的访问。

KVM 方法在概念上接近 VMware 所使用的两种方法中的其一,即一种用于免费 VMware Server 和 Player 的产品的“主机”模式。在这种模式中,客户虚拟机在操作系统之上运行。在第二种用于更高端 ESX Server 产品的 VMware 方法中,一种重量级的 hypervisor管理程序管理着对底层硬件的访问。

Page 12: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源虚拟化管理系统

– Convirt– Ovirt– Virt-manager–

– Xen Cloud Platform – Eucalyptus– ganeti– Nimbus– Deltacloud– Enomolism– OpenNebula

Page 13: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Convirt虚拟化管理系统,具有开源版本和企业版本。

采用基于模板的部署、集中监控、配置管理、自动化能力、灵活的计费策略。

目前支持的 Hypervizor包括 KVM 、 Xen 。

其开源版本提供基本的框架和功能。

其开源版本具有如下特征:

拥有可视化 web 界面;

被管理物理机上不需部署代理程序;

基于模板的部署;

实时性能监控;

可浏览历史信息;

被管理物理机维护模式;

调整正在运行的虚拟机资源;

拖拽式迁移操作;

智能虚拟机资源匹配;

数据中心级的存储和网络视图。

其商业版本则具备更多功能:虚拟机与物理机的容错;备份和恢复;Vlan;更细致的访问控制;提醒和通知;

Page 14: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Convirt

Page 15: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Virt-managerVirt-manager 是 Redhat 发布的虚拟化管理的可视化桌面软件,可以管理多台机器。支持虚拟机创建、性能监测等功能。

Virt-manager 原本是用来管理本地虚拟化的工具,后来发展到可以管理远程服务器的虚拟化。

该项目还包括了虚拟机安装、虚拟机复制、虚拟机镜像、虚拟机 Viewer 几个工具。

该项目对单机的虚拟化管理功能相对较为成熟,但对数据中心级的管理控制基本没有。

Page 16: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Xen Cloud Platform Xen Cloud Platform 是由开源 hypervisor Xen 的开发者社区发起的项目,致力于提供给服务商一个完整的基础设施平台,具备开放和基于标准的 API ,多用户租赁,服务水平协议保障,按需计费的特点。

该项目起始于 09年中,目前处于快速开发中,系统不够成熟,并且安装配置较为复杂。

Xen Cloud Platform 目前的版本:

● 基于 Xen 3.4.1

● 基于 Linux 2.6.27 Kernel

● windows PV 驱动

● 虚拟机管理

● 资源池化

Page 17: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

EucalyptusEucalyptus是用于实现云计算件基础设施的软件,让用户充分利用自己的服务器群。

Eucalyptus 仅实现基本的简单的虚拟机管理功能,其主要目标不是管理功能的强大,而是将基本的虚拟化管理 API化。

它具有以下特性:

与 EC2接口兼容(主要接口) 用 Rocks 集群管理工具,安装和部署都很简单 安全的内部通信, 使用 SOAP和 WS-Security 叠加式的工作方式,无需修改目标 Linux环境 基本的“云管理”工具,实现系统和用户帐户管理 可将多个集群配置成单个云

Page 18: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

EnomalyEnomaly 基于浏览器的虚拟化管理工具,支持多数据中心管理、实时监控和性能限制、多级访问权限控制、智能部署、提供控制 API 和超额认购机制。

Enomaly 是开源软件中名气较大、可用性较差的产品代表。

Page 19: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

公有云私有云互操作性平台Deltacloud

该开源项目旨在建立一个由开发者、工具、脚本和应用程序组成的生态系统,可同时管理公共和私有云。 现在,各基础设施服务商(公共云)拥有各自的 API ,而且每一家服务商提供的 API都不相同。Deltacloud 通过提供一套通用的 API ,使公共和私有云(特别是 redhat 自己的虚拟化系统 ) 能够通过该API 展示出来。

Page 20: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

公有云私有云互操作性平台Nimbus

Nimbus 是网格中间件 Globus旗下的开源云计算项目, Nimbus 面向科学计算需求,通过一组开源工具来实现基础设施即服务 ( Infrastructure-as-a-Service , IaaS )的云计算解决方案。

Nimbus项目最初的名称为 Virtual Workspace Service ( VWS ),其中 Workspace Service 是整个 平台的核心模块。在 Nimbus 平台里,包含的组件有: Workspace Service节点管理器、基于 WSRF的 远程协议实现、基于 EC2 的 远程协议实现、云计 算客户端、 Workspace Pilot整合虚拟机等面向不同层面的应用组件, Nimbus项目各个组件在设计上非常轻量化且具备自身完备性,可以通过多种异构方式进行组合

Page 21: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

公有云私有云互操作性平台OpenNebula

OpenNebula 是一个建设私有、公共、混合云的开源工具。提供灵活的架构、接口、组件。

主要特性包括:

支持 xen , kvm , Vmware虚拟化平台

可对接 EC2 和 ElasticHost

使用 libvirt ,支持 EC2 和 OGC OCCI接口

Page 22: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源虚拟化工具 - Libvirt

libvirt 是一套免费、开源的支持 Linux下主流虚拟化工具的 C函数库,其旨在为包 括 Xen在 内的各种虚拟化工具提供一套方便、可靠的编程接口,支持与 C等多种主流开发语言的绑定。当前主 流 linux 平台上默认的虚拟化管理工具 virt-manager(图形化 ),virt-install (命令行模式)等均基于 libvirt 开发而成。

特点:

原生 C语言接口,以及其他流行语言的绑定接口

符合 CIM 和 QMF 规范

支持 Xen 、 Qemu 、 KVM 、 LXC 、 OpenVZ 、 UML 、 Virtualbox 、 VMWareESX安到 GSX

使用 TLS encryption and x509 certificates 远程管理

可管理虚拟机、虚拟网络、存储

Page 23: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Libvirt

Page 24: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源虚拟化工具 - virt-v2v Libguestfs

– Virt-v2v一个将其他格式虚拟机转化为 KVM虚拟机的工具。需要用到 libguestfs 。

– Libguestfs一个访问和修改虚拟机磁盘镜像的工具库。

利用它,可以批量修改客户虚拟机的配置,浏览和修改客户虚拟机的文件,获取客户虚拟机磁盘统计信息,转换系统到虚拟系统,执行系统的部分备份,执行系统的部分复制,复制虚拟机并修改必要的信息。

它能访问 ext2/3/4,fat,ntfs,vmdk 等文件系统镜像。

Page 25: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源集群文件系统

– Gluster– Lustre– HDFS–

– Sector

Sector/Sphere 支持利用大量的普通服务器进行分布式数据储存,是一个具有简单编程接口的该性能并行数据处理引擎,类似于 GFS/MapReduce 原理,但在一些关键设计选择和性能上有不同。

有数据显示其性能优于 Hadoop 。

数据自动复制,保证可靠性和可用性。主服务器和数据服务器可以运行时动态添加和移除,支持多台主数据服务器。

– kosmos(cloudstore)

分布式文件系统,是 GFS 的开源实现,用 C++实现,元数据管理采用集中式方式实现,数据实体先分片然后分布式存储。

KFS 采用 B+树存放文件系统的结点信息,各结点存有父结点的索引,从而实现文件夹、文件和 Chunk 的层次关系。

Page 26: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源 PaaS平台 -Appscale

AppScale 是一个能让用户部署和监控 AppEngine应用的开源云计算平台。

AppScale 环境包含四个主要组件。 AppScale 通过构建和扩展来自 Google App Engine 的 SDK 并实现由此 SDK 公开的开放 API 补充了 Google App Engine 所提供的功能。 AppScale 内的多个组件可自动化系统的部署、管理、伸缩以及系统容错以便执行 App Engine 应用程序。

无需对应用程序进行更改,即可在 AppScale 内部署和运行 Google App Engine 应用程序。 AppScale 并不意味着要代替或与 Google 的 App Engine 竞争。它只是用来进行云基础设施试验的一个框架,并不会向上伸展为 Google 自以为豪的基础设施。

AppScale 自带容错功能。它能承受 AppServer 、 Database Slave 、 AppLoadBalancer 和 AppController 组件内的故障。

AppScale 团队现在正在研究各种故障场景以及它们对系统的影响。他们亦在寻找如何为已部署的 AppScale 环境内的这些错误实现容错方式。

AppScale 为创建一个能推进实用计算模型的完整的端到端开源云堆栈提供了可能性。 Tim O’Reilly 还为之取了一个名字 LEAP (意思是 Linux 、 Eucalyptus 、 AppScale 和 Python )。此外,还有一些其他的项目也在试图提供类似的解决方案。其中最有希望的当属 TyphoonAE (参见 参考资料),它是一个开源项目,旨在执行基于 Python 的 Google App Engine 应用程序,后者具有可移植的数据存储、消息传递和缓存模块。在我写作本文之时, TyphoonAE 还只有测试版,不过此项目开发得相当迅速。

Page 27: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Appscale

AppScale 组件是:

AppServer

用来执行 App Engine 应用程序的一个主要组件。它是为了本地执行 App Engine 应用程序而对 Google App Engine SDK 的一个扩展。每个 AppServer 一次只可执行一个应用程序。为了托管多个应用程序,可以添加多个 AppServer 。

AppLoadBalancer

此组件负责分发来自用户的初始请求。在用户成功登录后,负载均衡器就会将请求路由给适当的 AppServer 以便为该应用程序实际处理请求。此后,负载均衡器就不再参与,用户被路由到适当的 AppServer 。从这种意义上讲,它与传统的负载均衡器有些许不同。负载均衡器是一个 Ruby on Rails 应用程序,负载均衡功能也是通过使用称为 nginx 的开源 Web 代理提供的。

Database Master

对数据仓库的主要接口。它提供了对 MySQL 、 Cassandra 、 Voldemort 、 MongoDB 、 HBase 和 HyperTable 各种可用数据仓库实现的访问。对其他的数据库(包括 CouchDB )的支持也将很快就可实现。

Database slaves

一个或多个数据库 slave 提供了分布式的、可伸缩的容错数据管理能力

Page 28: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Appscale

Page 29: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源基础设施监控项目

– zabbix – Nagios – opennms – Cacti – collectd – GroundWork – Hyperic– Zenoss – Pancho

Page 30: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源数据库项目 -CouchDB

CouchDB不是一个传统的关系数据库,而是面向文档的数据库,其数据存储方式有点类似lucene的 index文件格 式, CouchDB最大的意义在于它是一个面向 web应用的新一代存储系统,事实上, CouchDB的口号就是:下一代的 Web应用存储系统。

CouchDB是分布式的数据库,他可以把存储系统分布到 n台物理的节点上面,并且很好的协调和同步节点之间的数据读写一致性。这当然也得以于 Erlang无与伦比的并发特性才能做到。对于基于 web的大规模应用文档应用,然的分布式可以让它不必像传统的关系数据库那样分库拆表,在应用代码层进 行大量的改动。

CouchDB是面向文档的数据库,存储半结构化的数据,比较类似 lucene的 index结构,特别适合存储文档,因此很适合 CMS,电话本,地址本等应用,在这些应用场合,文档数据库要比关系数据库更加方便,性能更好。

CouchDB支持 REST API,可以让用户使用 JavaScript来 操作 CouchDB数据库,也可以用JavaScript编写查询语句,我们可以想像一下,用 AJAX技术结合 CouchDB开发出来的 CMS系 统会是多么的简单和方便 。

Page 31: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源数据库项目 - MongoDBMongo 是一个高性能,开源的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键 /值存储方

式。 Mongo 使用 C++开发,提供了以下功能:

   ◆ 面向集合的存储:适合存储对象及 JSON形式的数据。

  ◆ 动态查询: Mongo支持丰富的查询表达式。查询指令使用 JSON形式的标记,可轻易查询文档中内嵌的对象及数组。

  ◆ 完整的索引支持:包括文档内嵌对象及数组。 Mongo 的查询优化器会分析查询表达式,并生成一个高效的查询计划。

  ◆ 查询监视: Mongo包含一个监视工具用于分析数据库操作的性能。

  ◆ 复制及自动故障转移: Mongo数据库支持服务器之间的数据复制,支持主 -从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。   ◆ 高效的传统存储方式:支持二进制数据及大型对象(如照片或图片)。

  ◆ 自动分片以支持云级别的伸缩性(处于早期 alpha阶段):自动分片功能支持水平的数据库集群,可动态添加额外的机器。  

MongoDB的主要目标是在键 /值存储方式(提供了高性能和高度伸缩性)以及传统的 RDBMS系统(丰富的功能)

架起一座桥梁,集两者的优势于一身。根据官方网站的描 述, Mongo适合用于以下场景:

  ◆ 网站数据: Mongo 非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。

  ◆ 缓存:由于性能很高, Mongo也适合作为信息基础设施的缓存层。在系统重启之后,由 Mongo搭建的持久化缓存层可以避免下层的数据源过载。   ◆ 大尺寸,低价值的数据:使用传统的关系型数据库存储一些数据时可能会比较昂贵,在此之前,很多时候程序员往往会选择传统的文件进行存储。

   ◆ 高伸缩性的场景: Mongo 非常适合由数十或数百台服务器组成的数据库。 Mongo 的路线图中已经包含对

MapReduce引擎的内置支持。

   ◆ 用于对象及 JSON数据的存储: Mongo 的 BSON数据格式非常适合文档化格式的存储及查询。

Page 32: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源数据库项目 - CassandraApache Cassandra 是一套开源分布式数据库管理系统。它最初由 Facebook 开 发,用于储存特别大的数据。

主要特性:

● 分布式

● 基于 column 的结构化

● 高伸展性

Cassandra 是一个混合型的非关系的数据库,类似于 Google 的 BigTable 。 Cassandra 的主要特点就是它不是一个数据库,而 是由一堆数据库节点共同构成的一个分布式网络服务,对 Cassandra 的一个写操作,会被复制到其他节点上去,对 Cassandra 的读操作,也会被路由到某个节点上面去读取。对于一个 Cassandra群集来说,扩展性能 是比较简单的事情,只管在群集里面添加节点就可以了。

和其他数据库比较, Cassandra 有三个突出特点:

● 模式灵活 :使用 Cassandra ,像文档存储,你不必提前解决记录中的字段。你可以在系统运行时随意的添加或移除字段。这是一个惊人的效率提升,特别是在大型部 署上。

● 真正的可扩展性 : Cassandra 是纯粹意义上的水平扩展。为给集群添加更多容量,可以指向另一台电脑。你不必重启任何进程,改变应用查询,或手动迁移任何数据。

● 多数据中心识别 :你可以调整你的节点布局来避免某一个数据中心起火,一个备用的数据中心将至少有每条记录的完全复制。

Page 33: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源系统管理工具 - Cfenginecfengine 是一个功能强大的自动化系统管理工具 .引用其官网的说法 "cfengine 是一种 UNIX 管理工具,其目的是使简单的管理的任务自动化,使困难的任务变得较容易。它的目标是使系统从任何状态收敛到一种理想状态。依照它的作者 Mark Burgess 所说, cfengine 总是使您的系统更接近于您所定义的配置;它决不会使系统变得更糟。

cfengine 大概的功能有:

·检查和配置网络接口 ·编辑系统和用户的文本文件 ·维护符号链接 ·检查和设置文件的权限 ·删除垃圾文件 · 检查重要文件和文件系统的存在 ·控制用户脚本和 shell命令的执行 · 基于类的判定结构 · 进程管理

Page 34: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

开源虚拟化管理系统比较

2008-7 分值 Enomalism Convirt Ovirt Virt-manager

安装启动过程 10 6.0 8.8 7.5 7.5

基本功能 20 6.2 11.8 11.2 12.4

网络功能 10 1.7 0 1.5 6.2

存储管理功能 10 7.0 2.6 2.6 4.2

高级功能:迁移、快照、备份

10 1.2 1.0 0.5 0

监控和统计功能对比

10 2.5 2.9 2.8 3.5

用户和客户管理功能对比

10 1.5 0 1.2 0

软件架构对比 10 6.0 6.5 4.7 4.5

软件质量对比 10 3.0 7.0 5.0 8.0

总计 100 35.1 39.6 37 46.3

Page 35: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 云平台架构

物理层 普通的物理服务器、存储、带宽、机柜、 IP地址、交换机等

资产管理层 资产管理、 IDC节点建设

服务管理层 服务开通系统、服务保障系统、运维管理

云计算基础设施服务门户

客户管理 渠道 / 合作伙伴管理

计费系统

销售 / 订单管理 计费数据计量和采集

计费管理

业务流程分析与集成

第三方应用

CRM 系统

服务交付客户服务系统

产品管理

分布式资源管理层

IaaS

API

物理层 普通的物理服务器、存储、带宽、机柜、 IP地址、交换机等

虚拟化及管理层 Xen, CloudEx VI, CloudEx FS 等

计费数据处理

结算 收费 催缴 续费服务支持

物理和虚拟资源池管理

系统监控和故障报警平台

安全防护系统

Page 36: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx – 跨区域的数据中心资源管理

网络状况

资源监控

系统故障

网络安全故

障的

处理

应用

的监

系统

的升

监控

的问

增加

新节

备份

与迁

统一管理跨区域数据中心

CloudEx 可以让管理者仅通过一个管理平台便可管理、监控所有区域内的数据中心资源,统一控制与运营

北京机房

亦庄机房太原机房 济南机房

广州机房

上海机房

成都机房

西安机房

Page 37: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx解决方案组成部分基础模块 优化的 Xen虚拟化引擎及 OS 内核

集群虚拟化管理系统

BOSS系统

客户自服务系统

备案系统

增强模块 数据容灾和快速恢复系统

快速部署系统

云存储系统

外围支撑模块 NOC系统

流程管理系统

Xmonitor 用户体验监控系统

Page 38: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

虚拟化管理平台

● 虚拟机创建与管理

● 虚拟机监控和报警

● 计算虚拟化模块设计与实现

● 接口设计与实现

● 快照策略和实现

● 备份策略和实现

● agent 设计与实现

● 软件打包与升级

● 网络启动( PXE )与远程安装

● 计算资源快速伸缩

● 计算资源和映像文件的动态扩展

储 管 理存 管理

储 和 网 络 接 口 对 虚 拟 机 的存 和网 接口 虚 机的结 合支持和 合

储 和 网 络 管 理 模 块 设 计 与存 和网 管理模 与实 现

对 备 份和快照功能的支持

资 源 管 理跨数据中心 源管理

计 费 模 式 设 计 与 实 现按流量 模式 与

拟 机 独 享 带 宽 功 能 研 究 与虚 机独享 功能研究与实 现

安全性管理和研究

Page 39: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

单个服务器管理模块

Page 40: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

单个集群管理模块

Page 41: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 解决方案软件基础模块 - ① 优化的虚拟化引擎 Xen

Hardware (x86 CPU, 物理内存 , 网络 , SCSI/IDE)

Domain0Control

Interface

Virtual x86 CPU

Virtual Phy Mem

Virtual Network

Virtual Blockdev

XenHypervisor

APP

Windows Server

APP

SUSE

APP

CentOS

APP

Redhat

Guest OS Guest OS Guest OS Guest OS……

u优化的高安全的 Xen Hypervisor 为虚拟机提供了几近原生的性能

u透过 API 提供对操作系统、节点机和应用一键快速部署的支持

u优化裁剪的内存操作系统内核

Page 42: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 解决方案软件基础模块 - ② CloudEx 集群虚拟化管理系统

u通过 Portal 集中管理部署在不同地区数据

中心的所有物理和虚拟资源

u透过 API 实现操作系统、应用的一键快速

部署

u透过 API 支持面向应用的产品和服务整合

X86 硬件

Xen HyperVisor

微内核

VM VM

管理 Agent

VM

X86 硬件

Linux OS

Monitor Provision Logger Security

DHCP TFTP NBD 数据库

Policies Virtual Infrastructure Management

Authentication Physical Infrastructure Management

Web Service API

管理网络

公共网络

内部网络

存储网络

Page 43: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 解决方案软件基础模块 - ③CloudEx 云 BOSS

资产管理系统

服务运行维护管理系统

CloudEx Iaas BOSS Portal

计费营帐管理系统

客户服务系统

IaaS

API

Vianet Cloud Platform

业务管理系统( 含直销、渠道 )

知识管理系统

服务监控系统

虚拟化管理系统

数据采集处理系统

Open

Cloud

Interface

互联网站备案管理系统

Page 44: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 解决方案软件基础模块 - ③CloudEx 云 BOSS 各子系统示意图

Page 45: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 解决方案软件基础模块 - ③CloudEx 云 BOSS Portal

云计算管理 Portal 主界面 – 一站式管理

u 跨数据中心虚拟服务器管理u 虚拟服务器配置变更管理u 虚拟服务器远程控制

虚拟服务器管理功能

日志管理功能系统镜像功能

Page 46: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 解决方案软件基础模块 - ④CloudEx 客户自服务系统

自服务系统

CloudEx 客户自服务系统

n 即时的网络节点选择n 即时的虚拟服务器配置选择n 即时的服务器“上架”与“调试”n 灵活拥有服务器数量与配置的伸缩性n 备份与快速部署功能

Page 47: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

CloudEx 解决方案软件基础模块 - ⑤ ICP 和网站备案系统

Page 48: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

云计算标准● CSA (云计算安全联盟)的目标是为云计算的安全保证提供实践指南,同时提供如何安全地利用云计算方面的指导。

● DMTF (分布式管理工作组)通过开放云计算标准孵化器致力于互操作和安全机制方面的标准化。

● ETSI (欧洲电信标准协会)致力于信息技术和电信融合的问题。

● NIST (国家标准核技术研究院)致力于云计算概念的定义。

● OGF (开放网格计算论坛)通过 OCCI (开放云计算接口)工作组提出 IaaS 的接口标准。

● OMG (对象管理工作组)致力于云上的应用和服务的建模和部署。

● SNIA (存储网络行业协会)通过云存储技术工作组开发了一个云存储系统实现的体系结构,并希望能主导制定一系列云存储相关的标准。

● OCC (开放云计算联盟)主要是支持不同云之间交互的云计算标准的制定,以及制定一个云计算测试基准,支持开源云计算实现。

● CCIF (云计算互操作性论坛)则提出了一个通用云计算接口以屏蔽不同的基础设施服务接口。

Page 49: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

IaaS相关标准

关于 IaaS 方面的标准会集中于如下方面:虚拟机镜像分发,虚拟机部署和控制,云内部虚拟机之间的交流,持久存储,虚拟机服务水平标准,安全的虚拟机配置等。但是目前关于 IaaS 的标准还较少讨论到基础设施除了虚拟机和持久存储之外的一些问题,比如虚拟路由器和交换机,虚拟防火墙,虚拟负载均衡器,虚拟设施和物理设施的配合等。

在 iaaS 领域目前比较成熟的可能成为通用标准的是 DMTF 的 OVF , OGF 的 OCCI , SNIA 的CDMI 。 CSA 的安全云计算指南也有一定参考意义。 DMTF也试图将 CIM 和 WBEM纳入云计算标准中。

OVF 正如其名字所示,是一个开放虚拟化格式,描述了一个用来封装和分发运行在虚拟机上的软件的安全的、开放的、可移植的、有效的、可扩展的格式。主要特点如下:易于分发;简单、自动的用户体验;支持单虚拟机和多虚拟机部署;可移植的虚拟机封装;独立于供应商和平台;可扩展;易于本地化。一个 OVF包含如下内容:一个 OVF描述符文件,以 ovf 为后缀; 0或 1 个OVF清单文件,以 mf 为后缀; 0或 1 个 OVF证书文件,以 cert 为后缀; 0或多个磁盘镜像文件; 0或多个资源文件,比如 iso镜像。下图是 OVF 的使用示意图。

● OCCI 提供一个一扩展的 Restful 的 API 。每个资源用同一资源标识符标识。资源通过一组操作(建立、获取、更新、删除)来控制,建立操作用 POST请求,获取操作用 Get请求,更新或建立用 Put请求,删除操作用 Delete请求。此外,如下 HTTP请求也被用到: COPY 、 HEAD 、MOVE 、 OPTIONS 。目前可管理三种资源:存储、网络、计算。将这些资源组合在一起,加上必要的属性,就形成一个虚拟机。下图是 OCCI 的概要图。云计算标准,为时尚早还是呼之欲

● CDMI即云数据管理接口,提供了一个在云存储环境中具有互操作性的传输和管理数据的规范。参与制定该规范的企业包括: Bycast , Cisco , Ologic , Qlogic , SUN , XyRatex 。当然,SNIA 的董事会单位不止这些企业。

Page 50: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

托管 vs. 主机租用 vs. 云主机

托管 主机租用 云主机

时间 数周至数月 数天至数周 几分钟

扩展性 缓慢、无法保护投资 缓慢、无法保护投资 即时供应、按需扩展

成本 一次性支付 CapEx 高、 Opex 高

季付年付成本高、 Opex 较高

低成本:月付无押金、按需使用、基本零维护

安全可靠性 取决于投入 普通服务器故障率高 基本无 ARP 和DDOS 防范能力

内置 ARP 防范,规模化提升 DDOS 防攻击能力,分享品牌企业级服务器的性能和可靠性,可内置 HA

“ 云快线”基础产品 – 云主机

Page 51: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Cloudex – 世纪互联云计算平台

Page 52: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

Cloudex – 世纪互联云计算平台

Page 53: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

推荐文章

● 云计算之变革已经开始【软件世界】 -- 主要从云计算概念、定义和产业变革解读探讨云计算;云计算之起源探析 — 主要从云计算概念的发展历史做一些探讨;

● 云计算之炒作面面观 — 主要从一个新 IT名词的炒作周期和生命周期来讨论;

● 云计算产业链初成中国落后两年 — 主要从云计算产业链构成和发展状况来探讨;

● 云计算标准,为时尚早还是呼之欲出 – 主要在云计算标准的发展进程和主要标准方面做一些介绍。

Page 54: 云计算与开源 - subject.csdn.netsubject.csdn.net/cloudpractice/download/3.pdf– ganeti – Nimbus – ... 支持Xen、Qemu、KVM、LXC、OpenVZ、UML、Virtualbox、VMWareESX安到GSX

推荐链接

● http://www.chinacloud.org● http://blog.sina.com.cn/liuliming● http://labs.chinamobile.com/community/my_blog/74856● http://blog.csdn.net/liuliming3000● http://www.slideshare.net/liuliming 演讲稿分享

● http://www.myplick.com/user/luliming 演讲稿分享

● http://www.opencloudcomputing.blogspot.com/● http://twitter.com/liuliming● http://www.linkedin.com/in/liuliming