True cloud 业界云计算技术汇报 aws 精简v5 0

Copyright © 2014 Oracle and/or its affiliates. All rights reserved.

业界云计算技术汇报 True Cloud Zero To Cloud. Accelerated.

1

郭峰资深销售顾问甲骨文中国系统事业部 June 2014

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

云计算概述

IaaS PaaS SaaS


传统IT和云计算的区别 Pet vs. Cattle

微软 William Baker的出名文章 Pets vs. Cattle 的比喻可以看出OpenStack和VMware等传统虚拟化的关系。比喻是这样说的：在传统服务模式下，你可以想象你的主机就是你的宠物，你给他们取名字，比如dusty、cern等等，他们被精心抚养长大。当他们生病了，你得修复他们。在云计算型应用服务模型中，虚拟机被看做是农场中的公牛，他们的名字通常都是编号，牛和牛长得也差不多，当他们生病了，你就杀掉他，用一头新牛代替。

VS.


传统IT和云计算IT的技术核心集中式 vs 分布式

云计算型应用共同特点分布式、非共享、横向扩展无状态、软状态失效切换在应用端扩展性在应用端开源、简陋的操作UI 标准化困难

传统型应用共同特点集中式、共享架构客户端-服务器架构难以横向扩展失效切换在服务端扩展性在服务端软件标准化设计超大规模部署面临拆库、应用改造等问题

共享存储

X86虚拟化

服务器池

共享存储

SPARC 虚拟化

服务器池 Oracle

VM

集中式、共享架构

分布式、多中心


分布式系统面临的挑战和定位

集中式应用

数据库Oracle、DB2、SQL Server

大型系统SAP、EBS、CRM、HCM

关注业务一致性、复杂业务逻辑

关注可用性、软件标准化

大多数应用软件不具备分布式部署能力

分布式应用标准化困难

关于Oracle

由于Oracle数据库和企业应用都不是分布式的，集中式的软件只能使用纵向扩展系统SPARC和Power，也许这是Oracle收购SUN的深层原因。

如果没有UNIX小型机，Oracle应用软件可能也面临困难。

大多数应用软件不具备分布式部署能力、特定系统特定对待

分布式应用系统 OpenStack\Scalr\Hadoop

集中式应用系统

备份系统

实时处理


分布式设计的核心思想

• 分布式文件系统

MooseFS\Ceph\GlusterFS\Lustre\HDFS

统一的读写接口、文件系统的名字空间 (namespace)

存储节点是分散的、数据动态分布

透明的动态横向扩展

分散的具体实现、统一的逻辑架构 • 分布式数据库

数据库访问点是统一的

SQL计算和数据存储是分散的

透明的动态横向扩展、数据动态平衡、避免或减少分库

Exadata是具备分布式数据库特点的、可以被称为云数据库

数据网络

计算处理

数据存储

横向扩展

横向扩展

数据读写

逻辑统一


分布式应用的场景

• 2014年5月27日，中国气象局公共气象服务中心与阿里云达成战略合作，共同挖掘气象大数据的深层价值。海量气象数据将通过阿里云计算平台，变成可实时分析应用的“活数据”。

• 目前，我国每年新增的气象数据达到PB量级，较上世纪90年代增长了数千倍，并仍在快速增长中。阿里云每天可支持上百PB的数据处理，是中国每天新增气象数据量的数万倍。

• 中国气象局公共气象服务中心计划深度挖掘利用的数据包括：60多年来的历史气象数据；全国2万多个观测站、卫星、雷达监测的气象观测数据，包括降水、温度、风力风向、地面结冰、太阳辐射、酸雨、空气能见度等30余种要素；短期、中期、长期的精细化气象预报数据品；通过国际交换获取的全球气象观测、预报数据。

• 未来，高德地图将告诉你15分钟后1公里内的天气状况，以及某条街道24小时前刮过很大的西北风，前方500米的立交桥下有3米深的积水，某条路因为暴雨可能爆发泥石流等等。据介绍，基于构建在阿里云上的高德LBS服务，高德地图将可以实现基于位置的天气预警服务，主要应用在包括旅行、交通、自然灾害、城市突发天气的预警等方面。

• 阿里云计算总裁王文彬表示：气象是飘在天空中的‘云’，阿里云是提供海量计算能力的‘云’。这两朵云结合将推动气象大数据在中国的应用。

中国气象局与阿里云达成战略合作


气象大数据不仅可以让人们知道天气，更重要的是帮助企业从天气中减少损失或盈利

中国气象局公共气象服务中心副主任潘进军介绍，国外的气象大数据应用已经比较成熟，英国的气象服务已经全部商业化，年产值达到2600亿美元，美国1600亿美元，日本100亿美元，而中国只有6亿美元，专业的气象数据服务在中国市场前景巨大。国外气象数据在保险领域的应用成为重点。极端天气事件不仅影响人们的正常生活，还给农业、旅游业、娱乐业等对气象敏感的行业带来了不小的经济损失。为了减少损失，“气象保险”在美国、日本等国家应运而生，“樱花保险”、“酷暑保险”、“浮冰保险”、“台风保险”、“旅游气象保险”、“下雪保险”等五花八门，各具特色。一家德国研究机构的研究结果表明，全球每年需要100亿美元气象保险资金。


主流云计算厂商和技术其实很多厂商都在尽量做得更全、云计算技术也在相互集成融合

IaaS

PaaS

SaaS cloud foundry


IaaS

Cloud @ Oracle


没Oracle啥事

基础设施即服务（IaaS）魔力象限 2013年8月


Amazon Web Services



Amazon Web Services • Amazon EC2 提供可调整的云计算能力。该服务旨在降低开发人员和系统管理员进行网络规模计算时的难度。

• Auto Scaling，您可以根据您定义的条件自动向上扩展或向下收缩 Amazon EC2 容量。

• Elastic Load Balancing 可以跨越多个 Amazon EC2 实例自动分配应用程序的传入流量。

• Amazon WorkSpaces 是云中的一种完全托管型桌面计算服务，可使终端用户通过他们选择的设备访问所需文档、应用程序和资源。

• Amazon S3 (Simple Storage Service) 提供了完全冗余的数据存储基础设施，以便随时从 Web 的任何位置存储和检索任意数量的数据。

• Amazon Glacier 是成本极低的存储服务，为数据存档和备份提供安全而耐用的存储。

• AWS Storage Gateway 服务将本地软件设备与基于云的存储连接起来，在组织的本地 IT 环境和 AWS 的存储基础设施之间提供无缝、安全的集成。

• Amazon EBS (Elastic Block Store) 提供块级存储卷以用于 Amazon EC2 实例。Amazon EBS 卷是永久不受实例生命周期约束的非实例存储。

• AWS Import/Export 使用便携式存储设备进行传输，可加快大量数据移入和移出 AWS 的速度。

• DynamoDB 是具有高度可扩展性的完全托管 NoSQL 数据库服务。它具有无缝吞吐量和存储扩展以及自动的 3 种方式复制功能，使您从耗时的数据库管理任务中解脱出来，以便专注于您的应用程序和业务。

• Amazon RDS (Relational Database Service) 可用于在云中轻松地设置、操作和扩展 MySQL、Oracle、SQL Server 或 PostgreSQL 数据库。它提供了经济高效且可调整容量的数据库服务，同时还管理耗时的数据库管理任务。

• Amazon CloudWatch 是一种 Web 服务，用于监控通过 Amazon EC2 启动的 AWS 云资源。

• AWS Elastic Beanstalk 是一种易于使用的服务，可用于部署和扩展通过常用的编程语言如 Java、.NET、PHP、Node.js、Python 和 Ruby 开发的 Web 应用程序和服务。


Amazon Web Services • Amazon Redshift 是一种可轻松扩展的完全托管型 PB 级数据仓库服务，可与您现有的商业智能工具协作。它通过使用列存储技术和并行

化多个节点的查询来提供快速的查询性能。

• Amazon VPC (Virtual Private Cloud) 使您能够在 AWS 云中预配置出一个私有的、隔离的部分，让您在自己定义的虚拟网络中启动 AWS 资源。借助 Amazon VPC，您可以定义一个与自己数据中心内运行的传统网络非常相似的虚拟网络拓扑。

• Amazon Route 53 是一种可用性高、可扩展性强的域名系统 (DNS) Web 服务。

• Amazon CloudFront 是一项内容传输 Web 服务。使用该服务与其他 Amazon Web Services 集成，开发人员和企业能够向最终用户轻松发布内容，实现低延迟、高速数据自由传输。

• AWS Direct Connect 是一种网络服务，可以在使用 AWS 云服务时作为 Internet 的替代选择。

• Amazon EMR (Elastic MapReduce) 是一种能让企业、研究人员、数据分析师和开发人员轻松和经济高效地处理大量数的 Web 服务。Amazon EMR 使用称为 Hadoop 的开源框架将您的数据分布在可重新调整大小的 Amazon EC2 实例集群中并进行处理。

• Amazon Kinesis 是一种完全托管的服务，可进行实时的流数据导入和处理 – 您只需创建流，让该服务为您完成余下的工作。

• AWS Data Pipeline 是一种 Web 服务，可帮助您在指定的间隔中，可靠地在不同 AWS 计算与存储服务以及内部数据源之间移动数据。

• Amazon SWF (Simple Workflow Service) 是一项用于云应用程序的任务协调和状态管理服务。

• Amazon SES (Simple Email Service) 是一种托管于云中，高度可扩展且经济高效的批量事务处理电子邮件发送服务。

• Amazon SNS (Simple Notification Service) 是一项快速灵活且完全托管的消息推送服务。

• Amazon SQS (Simple Queue Service) 提供了托管队列，当消息在计算机之间传输时用来存储消息，从而让用户能够轻松在 Web 服务之间构建自动工作流程。

• AWS OpsWorks 是一项应用程序管理服务，可便于 DevOps 用户设计和管理从负载均衡器到数据库的整个应用程序。


EC2-Elastic Compute Cloud • An Amazon Machine Image (AMI) is a template that contains a software configuration (for example, an operating

system, an application server, and applications). From an AMI, you launch an instance, which is a copy of the AMI running as a virtual server in the cloud.You can launch multiple instances of an AMI, as shown in the following figure.

Instance Store-backed Instances(停机后删除 /dev/sda) Amazon EBS-backed instances(停机后不会删除 /dev/sda)

Amazon EC2 Amazon S3

Amazon EBS


Amazon EBS or instance store

Amazon EBS instance


Amazon S3

Amazon S3 is a repository for Internet data. Amazon S3 provides access to reliable and inexpensive data storage infrastructure. It is designed to make web-scale computing easier by enabling you to store and retrieve any amount of data, at any time, from within Amazon EC2 or anywhere on the web. For example, you can use Amazon S3 to store backup copies of your data and applications.

Amazon S3

instance


Regions and Availability Zones

Code Name

ap-northeast-1 Asia Pacific (Tokyo) Region

ap-southeast-1 Asia Pacific (Singapore) Region

ap-southeast-2 Asia Pacific (Sydney) Region

eu-west-1 EU (Ireland) Region

sa-east-1 South America (Sao Paulo) Region

us-east-1 US East (Northern Virginia) Region

us-west-1 US West (Northern California) Region

us-west-2 US West (Oregon) Region

Amazon EC2 is hosted in multiple locations world-wide. These locations are composed of regions and Availability Zones. Each region is a separate geographic area. Each region has multiple, isolated locations known as Availability Zones. Amazon EC2 provides you the ability to place resources, such as instances, and data in multiple locations. Resources aren't replicated across regions unless you do so specifically.


Region:

不同国家和地区

Availability Zone:

不同数据中心


Elastic IP (EIP) address


Amazon Virtual Private Cloud (Amazon VPC)

虚拟私有网络、子网


Oracle 和 Amazon Web Services • Amazon Web Services (AWS) 和 Oracle 合作，为客户在 AWS 云中部署企业应用程序提供了一些便捷的选项。客户不

仅能够使用 Oracle 的数据库和中间件软件构建运行于 AWS 云中的企业级 Oracle 应用程序，还能够从 Amazon EC2 上的 Oracle 系统启动整个企业软件堆栈。

• 您可通过两种不同的许可模式运行 Amazon RDS for Oracle，即“附带许可”和“使用自有许可 (BYOL)”。在“附带许可”服务模型中，您无需单独购买 Oracle 许可；Oracle 数据库软件软件由 AWS 提供授权许可。“附带许可”的起价为 0.04 USD/小时，其中包含软件、底层硬件资源，以及 Amazon RDS 管理功能。如果您已拥有 Oracle Database 许可，可以使用“BYOL”模型在 Amazon RDS 上部署 Oracle，其起价为 0.025 USD/小时。“BYOL”模型设计为面向选择使用现有的 Oracle 数据可许可或直接从 Oracle 购买新许可的客户。


多种计算实例类型选择…

instances AMI DB on instance

instance with CloudWatch

optimized instance


实例类型

• 通用实例：通用实例可在一个低成本平台上为客户提供一套均衡的资源以及高级别的处理性能。此系列中的实例非常适合要求均衡 CPU 和内存性能的应用。可以从通用实例中受益的典型应用包括：编码、高流量内容管理系统，以及分布式高速缓存系统 (memcached)。

• m3.medium：3.75 GiB 内存，1 个 vCPU，4GB SSD 本地实例存储，64 位平台

• m3.large：7.5 GiB 内存，2 个 vCPU，32GB SSD 本地实例存储，64 位平台

• m3.xlarge：15 GiB 内存，4 个 vCPU，80GB SSD 本地实例存储，64 位平台

• m3.2xlarge：30 GiB 内存，8 个 vCPU，160GB SSD 本地实例存储，64 位平台

• 计算优化型实例：这一系列的实例较之于其他实例，其 CPU 资源比例要高于内存 (RAM)，因此非常适合计算密集型应用。

• c3.large：3.75 GiB 内存，2 个 vCPU，32GB SSD 本地实例存储，64 位平台

• c3.xlarge：7 GiB 内存，4 个 vCPU，80GB SSD 本地实例存储，64 位平台

• c3.2xlarge：15 GiB 内存，8 个 vCPU，160GB SSD 本地实例存储，64 位平台



• GPU 实例：这一系列的实例可以向受益于高度并行化处理的应用程序（包括 3D 图形、HPC、渲染和媒体处理应用程序）提供具备高 CPU 和网络性能的图形处理器 (GPU)。详细了解如何将这类实例用于 HPC 应用程序。

• g2.2xlarge：15 GiB 内存，1 个 NVIDIA GRID GPU (Kepler GK104)，60GB 本地实例存储，64 位平台

http://aws.amazon.com/cn/hpc/


实例类型 • 内存优化型实例：该系列实例可为高吞吐量的应用程序（包括关系数据库和 NoSQL 数据库、内存分析解决方案、科学计算和其他的内存密集的应用程序）

提供大容量内存。

• r3.large：15 GiB 内存，2 个 vCPU，1 个 32GB SSD 实例存储，64 位平台

• r3.xlarge：30.5 GiB 内存，4 个 vCPU，1 个 80GB SSD 实例存储，64 位平台

• r3.2xlarge：61 GiB 内存，8 个 vCPU，1 个 160GB SSD 实例存储，64 位平台

• r3.4xlarge：122 GiB 内存，16 个 vCPU，1 个 320GB SSD 实例存储，64 位平台

• r3.8xlarge：244 GiB 内存，32 个 vCPU，2 个 320GB SSD 实例存储，64 位平台，10GB 以太网

• 存储优化型实例：该系列实例可提供极高的磁盘 I/O 性能或较高的单实例存储密度比例，是受益于大数据集中高顺序 I/O 性能的应用程序的理想之选。存储优化型实例还可提供高级别 CPU、内存和网络性能。有关具体的使用案例以及 AWS 中“大数据”选项的详细信息，请访问大数据解决方案页面。

• i2.xlarge：30.5 GiB 内存，4 个 vCPU，800GB SSD 实例存储，64 位平台

• i2.2xlarge：61 GiB 内存，8 个 vCPU，2 个 800GB SSD 实例存储，64 位平台

• i2.4xlarge：122 GiB 内存，16 个 vCPU，4 个 800GB SSD 实例存储，64 位平台

• i2.8xlarge：244 GiB 内存，32 个 vCPU，8 个 800GB SSD 实例存储，64 位平台，10GB 以太网

• hs1.8xlarge：117 GiB 内存，24 个 2TB 硬盘本地实例存储，64 位平台，10GB 以太网

• 微型实例：微型实例供了少量一致性 CPU 资源，可在存在更多周期时在短时间内突增 CPU 容量。这种实例非常适合需要定期附加计算周期的低吞吐量应用程序和网站。您可以通过 Amazon EC2 文档详细了解如何使用微型实例和相应的应用程序。

• t1.micro：（默认情况下）613MiB 内存，1 个 vCPU，仅限 EBS 存储，32 位或 64 位平台

• m1.small：1.7 GiB 内存，1 个 vCPU，160GB 本地实例存储，32 位或 64 位平台

http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/concepts_micro_instances.html




创建一个AMI Instance 的步骤

AMI



AMI



AMI



AMI



AMI



AMI



AMI



AMI



AMI


AWS Instance的登入 • PuTTYgen 转换pem为private key .ppk

• PuTTY 加载 ppk文件

• ec2-user登入，密码为空

• sudo su 转换为root


AMI


Redhat AMI httpd的配置

yum install httpd

ls –laZ

chcon -R -h -t httpd_sys_content_t /home/www/html

/etc/init.d/httpd start

setup 设置自动启动，或者 sudo chkconfig httpd on

AWS httpd


AMI

AWS OpsWorks

layers stack


创建托管数据库

为了让用户获得托管式服务体验，Amazon RDS 未提供对数据库实例的Shell 访问权限，并且限制对需要高级特权的某些系统程序和表的访问权限。

Amazon RDS



Amazon RDS



MySQL DB instance


创建数据库

Amazon RDS



MySQL DB instance



MySQL DB instance



MySQL DB instance



MySQL DB instance


Auto Scaling Group CloudWatch alarm


Load Balancer

Elastic Load Balancing


VPC/Subnet/Router Table

route table virtual private gateway

virtual private cloud

Internet gateway


软件定义数据中心

Availability Zone #1 security group

Auto Scaling group

security group EC2 instance

Apache web

server

Elastic Load Balancing

Corporate data center

Customer

AWS cloud

Auto Scaling group


PHP app

server

Virtual private cloud

security group

Auto Scaling group


Auto Scaling group


Staff

VPN connection

HA Proxy

HA Proxy

Availability Zone #2

Backups

AWS Import/Export

EIP

EIP

AWS Storage Gateway

SSL

SSL

Amazon EBS

Amazon EBS

Amazon Route 53

CloudFront

AWS Region

Snapshot

Store Static Object

Amazon S3

snapshot bucket With

objects

Apache web

server

PHP app

server

CloudWatch

Alarm

Auto Scaling

Internet

Mobile Device


CloudFront

AWS全球基础设施帮助客户数分钟内走向全球

10 Regions 区域 26 Availability Zones 可用区 51 CloudFront 边缘站点


Flipboard如何使用 AWS



初创公司


大企业客户


蓬勃发展的生态系统

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 56

阿里云

•阿里云技术特点

•阿里云功能与服务

•应用场景比较


和AWS提供的功能差不多


Android和阿里云OS的架构

• Android = Linux kernel + shell tools + Dalvik VM + Android Framework + Android Apps

• 阿里云OS = Linux kernel + shell tools + Ali VM + Android Framework + HTML5 API + Ali Apps

为什么阿里云要搞成这个样子呢？说来就话长了，话说当年阿里云刚成立的时候，还是很有追求滴，当时收购了一家国内做Java虚拟机的公司（叫“猛犸科技”），同时还找了一帮MOTO做Linux内核的人，想搞个自己的操作系统出来。阿里云的CEO叫王坚，和李开复一样都是从微软研究院出身，但是颇看不起李开复搞的“点心OS”，认为“拿个Android来改一改，多土啊！我们要搞自己的操作系统！”于是呢，阿里云的一帮人就吭哧吭哧搞“自己的操作系统”了。结果呢，大家脚趾头都能想到，从头搞一个操作系统哪有那么容易，做了半年没做出来，咋给马云交差呢？于是也顾不上土不土了，拿Android改吧。虚拟机是现成的，那就换掉Android的虚拟机吧，好歹能算是自己的工作成果。但光换个虚拟机意义也不大啊，HTML5和WebOS的概念比较新潮，那就再加个“云服务”的概念吧，也算是国内HTML5的倡导者了。HTML5通过浏览器引擎跑，性能肯定比不上原生应用，那怎么保证操作流畅呢（特别是桌面Launcher，天天用，要是太卡，用户就疯了），那还是用原生应用来实现吧……于是，最后阿里云OS就长成现在这样了。

去IOE之后开始去开源


阿里云的管理平台没有使用OpenStack等开源产品，更

多的是参考之后自己做！


大规模的Linux集群系统大规模分布式计算系统

飞天开放平台: 5000台机器的云计算的集群:“飞天的5K集群”,这个机房不是阿里巴巴的，是华数的

飞天 -- 阿里云的核心


与AWS关注的问题相似： VPC、Security Group、EBS、

S3等


AWS的EBS也是采用的分布式存储


对象存储S3作为虚拟机snapshot的保存和备份

空间

飞天盘古KVEngine应该就是S3的角色


EBS的大规模分布式文件系统


虚拟机的卷存储故障恢复为分钟级别


虚拟机卷为3重镜像容易保存


一致性、读写性能、冗余备份


OSS对应S3，提供多个AZ中部署EC2


机房优势：避免联通、电信收费问题；BGP稀缺资源；AWS系统通过CDN方式解决问题，在国内找

了两家网络公司合作


架构和AWS也是类似的，CDN即为CloudFront，另外还有ELB


OSS=S3 RDS = RDS SLB = ELB

OTS = DynamoDB



阿里云

•阿里云技术特点

•阿里云功能与服务

•应用场景比较


阿里云的区（地）域

不同地域之间内网不互通：

1）杭州地域的云服务器、青岛地域云服务器、北京地域云服务器、香港地域云服务器内网不互通。

2）不同地域之间的云服务器、RDS内网不互通。

举例：杭州地域的云服务器和青岛地域的RDS内网不互通。

3）不同地域之间的云服务器、OSS内网不互通。

举例：杭州地域的云服务器和青岛地域的OSS内网不互通；青岛地域的云服务器和杭州地域的OSS内网不互通。

4）不同地域之间的云服务器不能跨地域部署SLB 。

购买页面会展示地域的选择，登陆云账号的状态下即可查看“我的产品地域”。

74


云服务器 ECS

• 如何使用

• 注册阿里云帐号并在线购买云服务器实例

• 登录阿里云管理控制台进行云服务器的基本管理，如修改密码、重启、更换操作系统等，您还可以通过API的方式来管理云服务器

• 远程登录到云服务器后运行程序或脚本，Linux系统可以使用SSH，Windows系统可以使用远程桌面登录，登录后的管理方式和物理服务器没有差别

• 安装Apache/Nginx, MySQL等应用软件

• 通过管理控制台查看云服务器的基本运行性能指标（CPU利用率、网络带宽、磁盘读写速率等），强烈建议您通过云监控部署更多的性能监控指标

Elastic Compute Service

稳定服务可用性99.95%，数据可靠性99.999% 自动宕机迁移数据备份和回滚系统性能报警安全防DDoS系统安全组规则保护多用户隔离防密码破解多线BGP网络多线接入基于BGP的最优路由算法弹性 10分钟内可启动或释放100台云服务器 5分钟内停机升级CPU和内存在线不停机升级带宽

AWS EC2


购买ECS 种类较AWS少很多，没有

功能性区分


弹性计算服务ECS API

• 产品功能：

• 1.对云服务器的操作系统（Linux和Windows）拥有完全控制权及基本云管理操作，如启动、停止、重启、重置、修改密码以及更换操作系统等;

• 2.对云服务器的磁盘数据生成快照，用快照恢复磁盘数据;

• 3.针对已经安装了应用软件包的云服务器生成自定义镜像，并采用镜像来启动其他云服务器;

• 4.通过安全组功能对一台或多台云服务器设定访问权限。

云服务器（ECS）是一种处理能力可弹性伸缩的计算服务，其管理方式比物理服务器更简单高效。


负载均衡 SLB

• 产品功能

• 提供4层（TCP协议）和7层（HTTP协议）的负载均衡服务。

• 可以对后端云服务器进行健康检查，自动屏蔽异常状态云服务器，待该云服务器恢复正常后自动解除屏蔽。

• 提供会话保持功能，在Session的生命周期内，可以将同一客户端请求转发到同一台后端云服务器上。

• 支持加权轮询（WRR），加权最小连接数（WLC）转发方式。WRR的方式将外部请求依序分发到后端云服务器上，WLC的方式将外部请求分发到当前连接数最小的后端务器上，后端云服务器权重越高被分发的几率也越大。

• 可以支持公网或私网类型的负载均衡服务。

负载均衡（Server Load Balancer，简称SLB）是对多台云服务器进行流量分发的负载均衡服务。SLB可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。

AWS ELB


关系型数据库服务 RDS 稳定 99.95%的服务可用性 RDS采用主从热备的架构，主机故障时后备机秒级完成无缝切换

可靠 99.9999%的数据可靠性自动多重备份数据库，可回滚到任意备份点采用高可靠的磁盘阵列

弹性在线无缝升级，数据库访问不间断内存和磁盘可灵活扩容磁盘（随机读写）IOPS可达12000

如何使用注册阿里云帐号，选择RDS实例类型进行购买，可以通过实例核算器帮您推荐一个合适的RDS实例登录阿里云管理控制台进行RDS实例管理，如数据库创建删除、帐号管理、安全授权、备份策略和回滚以及查看实例信息等通过程序或客户端（如MySQL-Front或SQL Server Management Studio）连接RDS实例执行SQL语句注：如原有数据库需要迁移到RDS：请参考阿里云提供的迁移帮助 AWS

RDS

只有MySQL和MS SQL


购买RDS

AWS RDS


关系型数据库RDS API

• 一、RDS 基本功能

• 1. 实例管理：一个独立占用物理内存的数据库服务进程，用户可配置不同的内存和空间，其中内存的规格会决定该实例的性能（包含 IOPS、连接数）。可进行实例创建、删除、变更和查看等功能。

• 2. 数据库管理：是在一个实例下创建的逻辑单元，一个实例可以创建多个数据库，在实例内数据库命名唯一，所有数据库都会共享该实例下的资源；其中 MySQL 最多可创建 200 个数据库；SQL Server 最多可创建 20 个数据库。

• 3. 帐号管理：帐号是标识数据库的访问权限，一个帐号也可关联多个数据库，一个数据库也可关联多个帐号，其中 MySQL 最多可创建 50 个帐号；SQL Server 最多可创建 10 个帐号；可在实例内进行帐号的创建、删除、修改等操作。

• 二、RDS 扩展功能

• 1. 安全设置：用以授权允许访问的 IP。

• 2. 备份恢复：用以创建备份，查看备份列表及实例的恢复。

• 3. 监控查询：用以监控实例下资源的使用状况。

• 三、调用方式对RDS API 接口调用是通过向 RDS API 的服务端地址发送 HTTP GET 请求，并按照接口说明在请求中加入相应请求参数来完成的；根据请求的处理情况，系统会返回处理结果。

RDS是一种处理能力可弹性伸缩的在线数据库服务。对RDS API接口调用是通过向RDS API的服务端地址发送 HTTP GET 请求，并按照接口说明在请求中加入相应请求参数来完成。


开放存储服务 OSS 开放存储服务（Open Storage Service，简称OSS）是支持任意数据类型的存储服务，支持任意时间、地点的数据上传和下载，OSS中每个存储对象（object）由名称、内容、描述三部分组成。 OSS使您获得更稳定更安全的存储服务，使您开发大容量和高并发系统变得更容易，按量付费的方式能帮助您降低财务风险和成本。

产品功能提供对象（object）的读、写、删除和拷贝等基本功能支持大文件的分片并发上传和下载，支持断点续传随访问量和存储量的增长，OSS后台会自动扩展，无需用户干预通过加密身份验证机制确保数据安全，并支持以bucket为单元设定访问权限，一个bucket可以包含无限多的object，一个object必须属于一个bucket 提供日志记录功能，方便追查访问来源以及进行多维度的统计分析提供标准 RESTful协议的API接口以及多语言的SDK

AWS S3


开放存储服务OSS API

• 一、使用流程： 1. 注册阿里云帐号 2. 进入OSS产品介绍页，一键开通OSS服务，并获得访问密钥（AccessKeyID）； 3. 在管理控制台中可以体验可视化的文件上传下载、设置bucket的访问权限等基本操作； 4. 在程序中调用API/SDK进行OSS的所有操作。

• 二、应用场景： 1. 存储在线访问的文件，譬如互联网应用中的图片、音频、视频、视频流、文本等，单个文件最大5TB，文件类型和个数不限； 2. 存储各种应用系统的日志、公司运营记录、用户信息等需要存档的历史数据，以便于未来做全面的数据分析； 3. 海量数据的灾备和恢复，譬如交通部门的监控视频、证券历史交易数据、科研原始数据等。

阿里云存储服务（OpenStorageService，简称OSS）提供Java、Python、PHP SDK，简化用户的编程。基于OSS，用户可以搭建出各种多媒体分享网站、网盘、个人企业数据备份等基于大规模数据的服务。

AWS S3还有很多衍生应用Storage Gateway、 Glacier、

Import/Export等


内容分发网络 CDN

• 产品功能

• 提供静态文件加速服务

• 提供频道的添加、删除、停止等基本操作

• 支持内容刷新功能

• 提供计费报表和流量带宽实时查询

• 提供标准RESTful协议的API接口

• 如何使用

• 注册阿里云帐号，选择购买您需要的CDN套餐

• 登录阿里云管理控制台进行CDN服务管理，如：添加域名或BUCKET进行加速，您还可以通过API来管理

• 添加域名加速后，您将得到一个CDN的域名解析服务的域名

• 在您的DNS服务商的配置服务中，将源站地址做CNAME指向这个CDN域名

• 通过浏览器正常访问您的域名

内容分发网络（Content Delivery Network，简称CDN）将加速内容分发至离用户最近的节点，缩短用户查看对象的延迟，提高用户访问网站的响应速度与网站的可用性，解决网络带宽小、用户访问量大、网点分布不均等问题。

AWS Cloud Front

阿里云还不具备全球分发的能力


开放结构化数据服务 OTS

• 产品功能

• 提供表、视图、表组的创建、删除等基本功能

• 支持单条数据的插入、查询、修改、删除

• 支持批量数据的插入、查询、修改、删除

• 支持事务性操作，保证事务内操作集合的原子性

开放结构化数据服务（Open Table Service，简称OTS）是一种支持海量结构化和半结构化数据存储与实时查询的服务。

AWS DynamoDB

NoSQL KV数据库


云引擎 ACE

产品功能

• 支持NodeJS 环境和 PHP 环境两种语言环境

• 模板库，支持在线快速创建应用

• 应用管理和配置，支持应用的创建、启动、停止、更新、查看等操作

• 对消耗的资源有详细的统计记录

• 分布式session，开发者无需考虑跨多台机器的session处理

• 基于开放式存储服务，支持多台机器的同时访问

• 分布式缓存，有效解决memcache的多机共享，和实例重启引发的缓存清空

• 通过函数调用方式，支持定时和定期执行任务

• mysql数据库支持，双机热备，支持在线迁移和备份，单表可支持上亿记录

云引擎（Aliyun Cloud Engine，简称ACE）是一个基于云计算基础架构的网络应用程序托管环境，帮助应用开发者简化网络应用程序的构建和维护，并可根据应用访问量和数据存储的增长进行扩展。 ACE支持PHP,NODE.JS语言编写的应用程序，支持在线创建MYSQL远程数据库应用。

ACE应该是一个PaaS产品


AWS EC2和阿里云作比较亚马逊在产品方面占有绝对优势,阿里云在价格上具有绝对的优势

87


阿里云

阿里云技术特点阿里云功能与服务应用场景比较


云服务器 ECS应用场景及案例

• 在云服务器上安装各种应用软件，譬如Apache/Nginx、企业ERP/CRM管理软件、游戏软件、教育软件等

• 负载均衡服务SLB和多个云服务器连接成应用服务集群, 后端数据库采用高性能的关系型数据库服务RDS，此结构下应用系统的服务能力可以水平扩展

• 云服务器与开放存储服务OSS, 开放结构化数据服务OTS结合使用以提供更大的存储和访问能力

小熊在线IT007（小熊在线）创立于2001年，是云南地区第一家专业IT网络媒体，也是迄今为止云南最大最专业的IT网站。在云南IT网络广告市场拥有超过90%的市场占有率，具备完善的公司架构和丰富的客户资源。

使用产品：云服务器+ 关系型数据库

TCL通讯TCL通讯是全球最大的消费电子制造商之一TCL集团的成员公司，其产品销往全球超过120个国家和地区。作为全球性的手机制造商，TCL通讯始终坚持“中国价值，世界品质”的理念，努力改善全球消费者的数字化无线通讯生活。

用产品：云服务器+ 开放存储服务

http://www.aliyun.com/customer/detail/it007?spm=5176.383518.5.5.O7Du6K

http://www.aliyun.com/customer/detail/tcl/?spm=5176.383518.5.7.O7Du6K

http://www.aliyun.com/customer/detail/tcl/?spm=5176.383518.5.7.O7Du6K


负载均衡 SLB 应用场景及案例

• 横向扩展应用系统的服务能力，适用于各种web server和app server。

• 消除应用系统的单点故障，当其中一部分云服务器宕机后，应用系统仍能正常工作。

• 博客园博客园作为国内知名的程序员在线学习和交流社区，日常访问流量很大。博客园在使用SLB后，有效的解决了单点故障的问题，极大的降低了因为容灾需要而投入的设备成本，并且能够非常灵活的根据业务的发展来进行水平扩展。

• 使用服务：云服务器 + 负载均衡

• DeNA china DeNA作为日本知名的游戏及社交网络服务提供商，在中国也展开了相关的游戏业务。SLB帮助其游戏系统具备横向扩展的能力，尤其是当新游戏上线时，能够自如应对远超日常情况的访问请求，保障了客户商业游戏服务的稳定运营。

• 使用服务：云服务器 + 负载均衡


关系型数据库服务 RDS应用场景及案例 • 网站后台关系型数据库，譬如会员数据库、产品数据库、交易数据库等

• 企业ERP或CRM系统后台关系型数据库，譬如供应链信息数据库、库存数据库、财务数据库、数据分析结果数据库等

• 政府和银行后台关系型数据库，譬如医疗卫生数据库、专利信息数据库、证券交易信息数据库

• 其他一切可以使用关系型数据库的场景

• 煎蛋网煎蛋以译介方式传播网络新鲜资讯，目的是为了让中文网友了解其他国家的信息。煎蛋以高频度的持续更新和有趣的内容而获得数千万读者的支持，站内有各种奇怪的新闻及游戏、视频、图片等，用户讨论氛围热烈。成立以来总浏览量数亿，订阅用户逾一百五十万。使用产品：云服务器+关系型数据库

• 忍者来了MobyGame(墨白科技)成立于2012年,专业从事移动开发。2013年推出手机网游《忍者来了》,在91平台获得不俗业绩使用产品：云服务器+关系型数据库+开放存储服务

• 天祈科技天祈科技是一家年轻、富有创意、充满活力的专业从事网络游戏开发和运营的公司。秉承创新、完善、为广大玩家提供更高品质网络游戏产品的理念.自2012年开始代理一些国内的mmorpg（大型多人在线角色扮演游戏）游戏。使用产品：云服务器+关系型数据库

• 欢乐逛欢乐逛是一家从草根开发者成长起来的应用开发商，是淘宝卖家熟知的“疯狂打折助手“的软件提供商，仅此一款应用拥有7.5万注册用户。使用产品：云服务器+关系型数据库

• 游任堂杭州游任堂信息科技有限公司是一家专注于移动互联网网络游戏的游戏开发及运营商。产品主要覆盖经营策略类游戏与休闲类游戏。在新的机遇期公司规模日益扩大、人才配置日趋完善，其中专业技术人员占80%以上，是一支创新、高效的精英团队使用产品：云服务器+关系型数据库

http://www.aliyun.com/customer/detail/mobygame.php?spm=5176.383715.5.11.soa2rx

http://www.aliyun.com/customer/detail/tqfy0.php?spm=5176.383715.5.15.soa2rx

http://www.aliyun.com/customer/detail/hlg?spm=5176.383715.5.7.soa2rx

http://www.aliyun.com/customer/detail/yourentang.php?spm=5176.383715.5.13.soa2rx


开放存储服务 OSS应用场景及案例

• 存储在线访问的文件，譬如互联网应用中的图片、音频、视频、视频流、文本等，单个文件最大5TB，文件类型和个数不限

• 存储各种应用系统的日志、公司运营记录、用户信息等需要存档的历史数据，以便于未来做全面的数据分析

• 海量数据的灾备和恢复，譬如交通部门的监控视频、证券历史交易数据、科研原始数据等

• 品茗造价以全过程工程造价管理信息化为主线，工程造价管理软件。正式用户：超过10万急需解决：页面访问量过大，带宽不够用，传统服务器扩容成本过高。使用产品：开放存储服务

• 够快网盘

• 提供基于云存储的文档协同服务，用户规模100多万

• 急需解决：用户量容量，服务器投入成本过高问题

• 使用产品：云服务器+开放存储服务+ 开放结构化数据服务（OTS）

• 卡卡记账移动APP应用，下载超过50万急需解决：文件存储、带宽成本持续升高。需要严格控制成本。百兆共享带宽成本不低，速度不行。使用产品：开放存储服务

http://www.aliyun.com/customer/detail/pinm

http://www.aliyun.com/customer/detail/gk?spm=5176.383663.5.5.1fhaRI

http://www.aliyun.com/customer/detail/kk?spm=5176.383663.5.7.1fhaRI


内容分发网络 CDN应用场景及案例

• 手机APP应用，分发用户交付的图片、音视频、文本等

• 游戏网站、下载类网站，譬如游戏地图、安装包文件等

• 访问量较大的行业网站，政府机构网站等

• 唱吧作为移动APP应用的典型代表，唱吧拥有百万级的日活跃用户。对音视频数据和图片数据都拥有大量需求。同时，基于阿里云提供的简单直接的云基础服务，唱吧技术人员可以将更多精力投入上层业务搭建。使用服务：开放存储服务+内容分发网络

http://www.aliyun.com/customer/detail/changba.php


开放结构化数据服务 OTS应用场景及案例

• 存储应用产生的海量数据，如电商交易信息、系统详细日志、科研原始记录等，单表数据量能达到百TB级别，支持分区存储

• 低延迟的实时数据查询，如实时交易处理、历史数据展示等

• 高并发数据访问，如拥有千万级甚至更多用户的网站交互信息、大量数据采集源的物联网应用等

• 够快够快是基于阿里云的存储应用软件，提供文档协作、共享及统一管理的服务。使用够快可以构建统一有序的文件知识管理体系，积累团队智慧，提高工作效率。使用服务：开放结构化数据服务+ 开放数据处理服务

• 施耐德电气施耐德电气基于云服务器、开放结构化数据服务、开放数据处理服务，开发远程能源管理系统（REM）, 面向楼宇、厂房、酒店、医院、电信等全球行业客户提供灵活扩展、按需付费的远程海量能源数据采集、存储、分析及咨询服务使用服务：开放结构化数据服务+ 开放数据处理服务

http://www.aliyun.com/customer/detail/gk/

http://www.aliyun.com/customer/detail/snd/?spm=5176.383723.5.1.U37k8H


云引擎 ACE 应用场景及案例

• 各种互联网应用、企业门户、站长应用、基于web的SaaS应用。

• 拼图工厂拼图工厂是一款由个人开发的淘宝店铺视觉营销工具。服务各个行业、各种风格的网店，目前为4万多家店铺提供服务。使用产品：关系型数据库+云引擎

• 欢乐逛欢乐逛是一家从草根开发者成长起来的应用开发商，是淘宝卖家熟知的“全能促销助手“的软件提供商，仅此一款应用拥有17.5万注册用户，其中付费用户3.5万。使用产品：云服务器+关系型数据库+云引擎

http://www.aliyun.com/customer/detail/pingtugongchang.php

http://www.aliyun.com/customer/detail/hlg?spm=5176.383729.5.1.t3Lk7T


阿里云和Oracle技术体系比较

• 阿里云：技术体系封闭，软件局限比较适合开源软件，硬件仅限X86.

• Oracle：技术体系开放，有广泛的商业和开源软件支持。硬件平台灵活。

应用数据库操作系统编程语言服务器存储

阿里云 Apache， Nginx

MySQL， SQL Server， NoSQL

Linux、 Windows

PHP， NodeJS

X86 类Hadoop分布式对象存储

Oracle

Weblogic， GlassFish， WebSphere

Oracle， DB2， Sybase， SQL Server， MySQL， Timesten， Oracle NoSQL

Linux、 Windows、 Solaris、 Oracle Linux、 AIX

Java， .Net

X86、 SPARC、 Power

SAN、 NAS、 Hadoop


阿里云和Oracle平台支持的技术比较

GNU软件微软 IBM SAP Oracle

阿里云支持支持否否否

Oracle平台支持支持支持支持支持

Oracle有十分广泛的商业软件支持，并且很多企业核心类应用包括：ERP、CRM、HR、SOA、ESB、BPM以及企业数据仓库等都在Oracle平台上有丰富的技术实现。而阿里云缺乏这样的生态环境。

对第三方软件技术的支持情况


应用场景比较

结论：阿里云：技术成熟度较低、适应的软件技术局限；适合互联网应用、中小企业、创业者。 Oracle平台：技术成熟稳定，适合成熟企业的核心应用，适应场景宽泛。

技术类型用户类型应用类型

阿里云 LAMP（X86）小企业、创业者互联网应用、一般应用

Oracle平台普遍适用普遍适用普遍适用

应用场景比较


淘宝海量数据产品技术架构 www.alidata.org

淘宝自主研发的数据传输组件DataX、DbSync和Timetunnel准实时地传输到一个有1500个节点的Hadoop集群上，这个集群我们称之为“云梯”，是计算层的主要组成部分。它的定位只是做离线计算的，无法支持较高的性能和并发需求。存储层基于MySQL的分布式关系型数据库集群MyFOX和基于HBase的NoSQL存储集群Prom。

关系型数据库仍然是王道关系型数据库（RDBMS）自20世纪70年代提出以来，在工业生产中得到了广泛的使用。经过三十多年的长足发展，诞生了一批优秀的数据库软件，例如Oracle、MySQL、DB2、Sybase和SQL Server等。尽管相对于非关系型数据库而言，关系型数据库在分区容忍性方面存在劣势，但由于它强大的语义表达能力以及数据之间的关系表达能力，在数据产品中仍然占据着不可替代的作用。


淘宝MySQL www.alidata.org

淘宝数据产品选择MySQL的MyISAM引擎作为底层的数据存储引擎。在此基础上，为了应对海量数据，我们设计了分布式MySQL集群的查询代理层——MyFOX，使得分区对前端应用透明。

存储在MyFOX中的统计结果数据已经达到10TB，占据着数据魔方总数据量的95%以上，并且正在以每天超过6亿的增量增长着。这些数据被我们近似均匀地分布到20个MySQL节点上，在查询时，经由MyFOX透明地对外服务。

“热节点”存放最新的、被访问频率较高的数据。对于这部分数据，给用户提供尽可能快的查询速度，所以在硬盘方面，选择了每分钟15000转的SAS硬盘，按照一个节点两台机器来计算，单位数据的存储成本约为4.5W/TB。相对应地，“冷数据”选择了每分钟7500转的SATA硬盘，单碟上能够存放更多的数据，存储成本约为1.6W/TB。


MySQL Fabric MySQL Fabric provides high availability and database sharding for MySQL Servers

• Both features are implemented in two layers:

• The mysqlfabric process which processes any management requests. When using the HA feature, this process can also be made responsible for monitoring the master server and initiating failover to promote a slave to be the new master should it fail.

• MySQL Fabric-aware connectors store a cache of the routing information that it has fetched from MySQL Fabric and then uses that information to send transactions or queries to the correct MySQL Server.

• Sharding - Scaling out : When nearing the capacity or write performance limit of a single MySQL Server (or HA group), MySQL Fabric can be used to scale-out the database servers by partitioning the data across multiple MySQL Server "groups". Note that a group could contain a single MySQL Server or it could be a HA group. The administrator defines how data should be sharded between these servers; indicating which table columns should be used as shard keys and whether HASH or RANGE mappings should be used to map from those keys to the correct shard.If further shards are needed then MySQL Fabric can split existing shards; it is also possible to relocate shards.

101


从Oracle到MySQL，余额宝云实践分享 http://www.csdn.net/article/2013-11-07/2817426-interview-financial-case-yuerbao-aliyun

鲜为人知的技术实战。从传统封闭的IOE格局迁移到更加动态扩展、成本更经济的云平台中，要跨越的障碍实在不少。

国际上，金融行业还也没有采用公有云平台的先例。这不仅是单纯的技术障碍，还是意识、理解、勇气和监管要求等复杂交织的结果。

去IOE，硬件相对容易些，最难的是与应用密切相关的数据库。 Oracle数据库向MySQL转换的时候，连最简单的批量插入，由于对于底层理解的不同，都有很多问题。在Oracle中，开发者是不需要关心底层问题的，但在MySQL则不同，要关注很多。批量提交，事务开启还是关闭，都需要人为干预。

业内认为MySQL无法支撑大数据清算，这是有根据的。总归是可以化整为零，用水平化、分库分表等方式，并行化思路来解决，用小单位来解决问题的。虽然在迁移中，对中间层的要求更高，但是可行的。

采用了50个MySQL实例的方式。但需要天弘将业务逻辑、应用层所用的数据库通过一个维度来进行水平拆分，然后将这些业务平均分配在这50个MySQL实例上，以保证每一个MySQL的性能负载比较平均，从而实现用50个MySQL来支撑的大业务量。

余额宝是有一期和二期工程的,一期的时候是采用传统IOE的架构，总投资400多万。二期时，如果还采用IOE的模式，初步估算至少需要投入5000万（主系统+同城灾备+异地灾备等）


Google、阿里云、亚马逊等互联网公司给行业架构变革的启示：

提高系统弹性，按需扩展；

水平扩展架构具有无可比拟的优势；

大数据对存储能力的要求更高；

存储系统水平扩展意义重大，提高数据的交互能力；

提高存储计算能力，广泛采用SSD和flash存储技术；

现有大多数应用软件都是集中式设计、而非分布式设计；

分布式应用系统难以标准化，企业软件更加关注应用逻辑；

数据库系统水平扩展是技术难点；

项目建设周期长，DIY的方式，成功经验较难复制；

需要大量的软件研发和系统维护人员；

IT公司核心竞争力.

给其它行业的启发


OpenStack


4个主要云计算开源组织活跃度（IaaS）


OpenStack Adoption OpenStack User Survey October 2013


OpenStack 101 So What is OpenStack?


OpenStack是由Rackspace和NASA共同开发的可以用来建立私有云和公有云的开源云计算平台，

帮助服务商和企业内部实现类似于Amazon EC2和S3的云基础架构服务(IaaS)。

用Python语言编写

良好的框架，具有良好的扩展性

经过验证：swift已经支撑100PB存储

虚拟化管理工具

未来可能云计算的标准

Openstack基金会管理的项目

Redhat，Novel（Suse），Canonical（Ubuntu），Rackspace ， IBM，Dell，HP，Cisco

OpenStack简介

OpenStack现在采用6个月一个开发周期的方式，每个代号均为首字母按字典顺序排到的某个城市名，依次是Austin、Bexar、Cactus、Diablo、Essex、Folsom、Grizzly 和 Havana。接下来的版本，叫 Icehouse。


OpenStack Foundation A much wider ecosystem …

Platinum Members

(8)

Gold Members

(19)

Corporate Sponsors (63)

Supporting Organizations

(248)

and more … and more …

and more …


OpenStack的主要组件 Each component available in two flavors – Implementation and API

Source: https://www.redhat.com/rhecm/rest-rhecm/jcr/repository/collaboration/sites%20content/live/redhat/web-cabinet/static-files/images/openstack-horizon


OpenStack的主要组件

组件功能描述

Compute (Nova) 根据需求提供虚拟服务。Rackspace公司和HP提供商业计算服务正是建立在Nova之上，Mercado Libre和NASA（Nova项目的起源地）内部也是使用的Nova。

Block Storage (Cinder)

提供稳定的数据块存储服务。这个项目的很多代码最初是来自于Nova之中（就是the nova-volume service）。但是请注意，这是块存储（或者volumes），而不是类似于NFS或者CIFS文件系统，Cinder在Folsom中也是一个全新的项目。除了这些核心项目之外，也有一些“孵化”项目，未来可能会考虑列入到OpenStack的核心项目之中。

Networking (Neutron)

在接口设备之间提供“网络连接作为一种服务”，而这些接口设备主要靠其他的OpenStack服务进行管理(最有可能是Nova)。该服务允许用户创建自己的网络，然后连接接口。Quantum提供一个可插拔的体系架构，它能支持很多流行的网络供应商和技术。

Authentication (Keystone)

为所有的OpenStack服务提供身份验证和授权。它还提供了一个在特定OpenStack云服务上的服务目录。

Image Management (Glance)

是一个虚拟机镜像的存储、查询和检索系统，它提供了一个虚拟磁盘映像的目录和存储库，这些磁盘映像常常广泛应用于OpenStack Compute之中，而且这种服务在技术上是属于可选的，任何规模的云都适用于它。

Dashboard (Horizon)

为所有OpenStack的服务提供了一个模块化的web-based用户界面。使用这个Web GUI，可以在云上完成大多数的操作，如启动实例，分配IP地址，设置访问控制等。

Object Storage (Swift)

允许进行存储或者检索文件。目前已经有几好家公司开始提供基于Swift商业存储服务，这些公司包括KT，Rackspace公司（Swift项目的发源地）和Internap，而且很多大公司内部也使用Swift来存储数据。

And More… Application orchestration (Heat), Metering/Monitoring (Ceilometer), …

http://www.rackspace.com/

https://www.hpcloud.com/

http://www.rackspace.com/


OpenStack vs AWS 组件对应


OpenStack组件关系图

In OpenStack the base operating system is usually copied from an image stored in the OpenStack Image service. This is the most common case and results in an ephemeral instance that starts from a known template state and loses all accumulated states on shutdown. It is also possible to put an operating system on a persistent volume in the Nova-Volume or Cinder volume system. This gives a more traditional persistent system that accumulates states, which are preserved across restarts.


Dashboard （Horizon）


Compute (Nova) 支持多种虚拟化技术

虚拟机文件格式 Raw is natively supported by both KVM and Xen hypervisors /dev/sda to a file using the dd command. Qcow2 The qcow2 (QEMU copy-on-write version 2) format is commonly used with the KVM hypervisor. AMI/AKI/ARI The AMI/AKI/ARI format was the initial image format supported by Amazon EC2. VMDK VMWare's ESXi hypervisor uses the VMDK (Virtual Machine Disk) format for images. VDI VirtualBox uses the VDI (Virtual Disk Image) format for image files. None of the OpenStack Compute hypervisors support VDI directly, so you will need to convert these files to a different format to use them with OpenStack. VHD Microsoft Hyper-V uses the VHD (Virtual Hard Disk) format for images. VHDX The version of Hyper-V that ships with Microsoft Server 2012 uses the newer VHDX format, which has some additional features over VHD such as support for larger disk sizes and protection against data corruption during power failures. OVF OVF (Open Virtualization Format) is a packaging format for virtual Machines OpenStack Compute does not currently have support for OVF packages,so you will need to extract the image file(s) from an OVF package if you wish to use it with OpenStack.

虚拟机类型 KVM - Kernel-based Virtual Machine. The virtual disk formats that it supports is inherited from QEMU since it uses a modified QEMU program to launch the virtual machine. The supported formats include raw images, the qcow2, and VMware formats. LXC - Linux Containers (through libvirt), use to run Linux-based virtual machines. QEMU - Quick EMUlator, generally only used for development purposes. UML - User Mode Linux, generally only used for development purposes. VMware vSphere 4.1 update 1 and newer, runs VMware-based Linux and Windows images through a connection with a vCenter server or directly with an ESXi host. Xen - XenServer, Xen Cloud Platform (XCP), use to run Linux or Windows virtual machines. You must install the nova-compute service in a para-virtualized VM. Hyper-V - Server virtualization with Microsoft's Hyper-V, use to run Windows, Linux, and FreeBSD virtual machines. Runs nova-compute natively on the Windows virtualization platform. Bare Metal - Not a hypervisor in the traditional sense, this driver provisions physical hardware through pluggable sub-drivers (for example, PXE for image deployment, and IPMI for power management).


Neutron简介

• Neutron 是 OpenStack 的一个网络子模块，它的实质是一个定义良好的框架用来驱动 L2-L7 层不同的底层网络技术来为第三方应用独立地提供租户隔离的虚拟网络服务。

• Neutron将网络按照三层交换机的概念分为：Network：相当于交换机根据vlan创建的一个三层接口；Subnet：相当于交换机创建了一个三层接口地址；Port：相当于交换机的一个物理端口，但是这个端口有一个MAC地址；

Neutron支持的plugin有： Open vSwitch Plugin Cisco UCS/Nexus Plugin Linux Bridge Plugin Modular Layer 2 Plugin Nicira Network Virtualization Platform (NVP) Plugin Ryu OpenFlow Controller Plugin NEC OpenFlow Plugin Big Switch Controller Plugin Cloudbase Hyper-V Plugin MidoNet Plugin Brocade Neutron Plugin Brocade Neutron Plugin PLUMgrid Plugin Mellanox Neutron Plugin Mellanox Neutron Plugin Embrane Neutron Plugin Plugin使用统计

http://www.openvswitch.org/

http://www.openvswitch.org/

http://wiki.openstack.org/cisco-quantum

http://wiki.openstack.org/Quantum-Linux-Bridge-Plugin

http://wiki.openstack.org/Neutron/ML2

http://www.nicira.com/



http://www.osrg.net/ryu/using_with_openstack.html





https://wiki.openstack.org/wiki/Neutron/NEC_OpenFlow_Plugin

https://wiki.openstack.org/wiki/Neutron/NEC_OpenFlow_Plugin

http://docs.projectfloodlight.org/display/floodlightcontroller/Quantum+REST+Proxy+Plugin

http://docs.projectfloodlight.org/display/floodlightcontroller/Quantum+REST+Proxy+Plugin

http://www.cloudbase.it/quantum-hyper-v-plugin/





http://www.midokura.com/

https://github.com/brocade/brocade

https://github.com/brocade/brocade

http://www.plumgrid.com/

https://wiki.openstack.org/wiki/Mellanox-Neutron




https://wiki.openstack.org/wiki/Neutron/EmbraneNeutronPlugin





三节点网络架构 (Neutron)


Network connectivity for physical hosts(Neutron)

Networking agents

General distinct physical data center networks


Open vSwitch介绍 Open vSwitch是一个由Nicira Networks主导的开源项目，遵从Apache2.0许可下的产品级质量的多层虚拟交换标准。

OSI 网络七层模型 L7，应用层：FTP协议、HTTP 协议 L6，表示层 L5，会话层 L4，运输层：结合端口 PORT 来唯一标志一个应用程序，UDP、TCP协议 L3，网络层：通过 IP 地址进行包转发 L2，数据链路层：通过 MAC 地址进行帧转发 L1，物理层

利用 L3 层扩展 L2 层的遂道技术 VXLAN 与 SDN 的本质 L2 数据链路层通过交换机设备进行帧转发。交换机在接收到帧之后(L2 层叫帧，L3 层叫包)先解析出帧头中的 MAC 地址，再在转发表中查找是否有对应 MAC 地址的端口，有的话就从相应端口转发出去。实际上，遂道技术并不能完全归类于 L2 层。因为有基于 L2 层的遂道协议，例如 PPTP 和 L2TP 等；也有基于 L3 层的遂道，如 GRE、VXLAN、NVGRE 等；但是这些遂道从技术原理上讲差不多，所以技术上作为“大L2层”放在一块来描述。 Neutron 开发了对 GRE 模式的支持。GRE 是 L3 层的遂道技术，本质是在遂道的两端的 L4 层建立 UDP 连接传输重新包装的 L3 层包头，在目的地再取出包装后的包头进行解析。因为直接在遂道两端建立 UDP 连接，所以不需要在遂道两端路径的物理交换机上配置 TRUNK 的操作。


基于Open vSwitch的虚拟网络架构

Compute host config

two tenants, two networks, two routers

Network host config


易失性和持久性虚拟机

• 在OpenStack Nova中存在两种类型存储，一类是本地易失性存储，另一类是持久块设备。两者最明显的特征就是持久块设备由Cinder项目管理，并且具备大量API进行管理，如Snapshot，Backup等。而本地易失性存储由Nova的hypervisor实现，如在libvirt中目前支持Qcow，LVM镜像类型。这类存储只具备简单的创建和删除设备能力，主要用作创建Root，Swap，Empheremal磁盘分区的后备。

• Ephemeral storage is associated with a single unique instance, and it exists only for the life of that instance. The amount of ephemeral storage is defined by the flavor of the instance.Generally, the root file system for an instance will be stored on ephemeral storage.

• Persistent volumes can be configured as bootable and used to provide a persistent virtual instance similar to traditional non-cloud-based virtualization systems.

Users can launch any number of instances from the same image.


运行一个虚拟机需要的存储

• To launch an instance, select an image, a flavor, and other optional attributes. The selected flavor provides a root volume, labeled vda in this diagram, and additional ephemeral storage, labeled vdb. In this example, the cinder-volume store is mapped to the third virtual disk on this instance, vdc.

• The base image is copied from the image store to the local disk. The local disk is the first disk that the instance accesses, and is labeled vda. By using smaller images, your instances start up faster as less data needs to be copied across the network.

• A new empty disk, labeled vdb is also created. This is an empty ephemeral disk, which is destroyed when you delete the instance.

• The compute node is attached to the cinder-volume using iSCSI, and maps to the third disk, vdc. The vCPU and memory resources are provisioned and the instance is booted from vda. The instance runs and changes data on the disks as indicated in red in the diagram.

Images and instances

• The additional ephemeral block device vdb of between

20 and 160GB. These sizes can be configured to suit

your environment. This is presented as a raw block

device with no partition table or file system. Cloud-aware

operating system images can discover, format,and mount

these storage devices. For example, the cloud-init

package included in Ubuntu's stock cloud images format this space as an ext3 file system and mount it on /mnt.


Block Storage (Cinder) To use different volume drivers for the cinder-volume service

Volume drivers Ceph RADOS Block Device (RBD) Coraid AoE driver configuration Dell EqualLogic volume driver EMC SMI-S iSCSI driver GlusterFS driver HDS iSCSI volume driver HP 3PAR Fibre Channel and iSCSI drivers HP / LeftHand SAN Huawei storage driver IBM XIV/DS8K volume driver IBM GPFS volume driver IBM Storwize family and SVC volume driver NetApp unified driver Nexenta drivers NFS driver SolidFire VMware VMDK driver Windows XenAPINFS XenAPI Storage Manager volume driver Zadara

Backup drivers Ceph backup driver The Ceph backup driver backs up volumes of any type to a Ceph back-end store. The driver can also detect whether the volume to be backed up is a Ceph RBD volume, and if so, it tries to perform incremental and differential backups. IBM Tivoli Storage Manager backup driver The IBM Tivoli Storage Manager (TSM) backup driver enables performing volume backups to a TSM server.The TSM client should be installed and configured on the machine running the cinder-backup service. See the IBM Tivoli Storage Manager Backup-Archive Client Installation and User's Guide for details on installing the TSM client. Swift backup driver The backup driver for Swift back-end performs a volume backup to a Swift object storage system.To enable the Swift backup driver, include the following option in the cinder.conf file.

In the Grizzly release, Fibre Channel supported only the KVM hypervisor.


Ceph is a massively scalable, open source, distributed storage system. It is comprised of an object store, block store, and a POSIX-compliant distributed file system.

To store and access your data, you can use the following storage systems: RADOS. Use as an object, default storage mechanism. RBD. Use as a block device. The Linux kernel RBD (rados block device) driver allows striping a Linux block device over multiple distributed object store data objects. It is compatible with the KVM RBD image. CephFS. Use as a file, POSIX-compliant file system. Ceph exposes RADOS; you can access it through the following interfaces: RADOS Gateway. OpenStack Object Storage and Amazon-S3 compatible RESTful interface (see RADOS_Gateway). librados, and its related C/C++ bindings. rbd and QEMU-RBD. Linux kernel and QEMU block devices that stripe data across multiple objects.


分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较 MooseFS(MFS) Ceph GlusterFS Lustre

Metadata server 单个MDS。存在单点故障和瓶颈。

多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈。

无，不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。

双MDS(互相备份)。MDS不可以扩展，存在瓶颈。

FUSE 支持支持支持支持访问接口 POSIX POSIX POSIX POSIX/MPI 文件分布/数据分布文件被分片，数据块保存在不

同的存储服务器上。文件被分片，每个数据块是一个对象。对象保存在不同的存储服务器上。

Cluster Translators(GlusterFS集群存储的核心)包括AFR、DHT（和Stripe三种类型。AFR相当于RAID1，每个文件都被复制到多个存储节点上。Stripe相当于RAID0，文件被分片，数据被条带化到各个存储节点上。 Translators可以组合，即AFR和stripe可以组成RAID10，实现高性能和高可用。

可以把大文件分片并以类似RAID0的方式分散存储在多个存储节点上。

冗余保护/副本多副本多副本镜像无数据可靠性由数据的多副本提供可靠性。由数据的多副本提供可靠性。由镜像提供可靠性。由存储节点上的RAID1或RAID5/6提供可靠性。

假如存储节点失效，则数据不可用。备份提供备份工具。支持远程备份。故障恢复手动恢复当节点失效时，自动迁移数据、重

新复制副本。当节点、硬件、磁盘、网络发生故障时，系统会自动处理这些故障，管理员不需介入。

无

扩展性增加存储服务器，可以提高容量和文件操作性能。但是由于不能增加MDS，因此元数据操作性能不能提高，是整个系统的瓶颈。

可以增加元数据服务器和存储节点。容量可扩展。文件操作性能可扩展。元数据操作性能可扩展。

容量可扩展。可增加存储节点，提高容量可文件操作性能，但是由于不能增加MDS，因此元数据操作性能不能提高，是整个系统的瓶颈。

安装/部署简单简单简单复杂。而且Lustre严重依赖内核，需要重新编译内核。

开发语言 C C++ C C 适合场景大量小文件读写小文件适合大文件。对于小文件，无元数据服务设计解决了元数据的问题。

但GlusterFS 并没有在I/O方面作优化，在存储服务器底层文件系统上仍然是大量小文件，本地文件系统元数据访问是瓶颈，数据分布和并行性也无法充分发挥作用。因此，GlusterFS的小文件性能还存在很大优化空间。

大文件读写

产品级别小型中型中型重型应用国内较多无较多用户使用 HPC领域。优缺点实施简单，但是存在单点故障。不稳定，目前还在实验阶段，不适

合于生产环境。无元数据服务器，堆栈式架构(基本功能模块可以进行堆栈式组合，实现强大功能)。具有线性横向扩展能力。由于没有元数据服务器，因此增加了客户端的负载，占用相当的CPU和内存。但遍历文件目录时，则实现较为复杂和低效，需要搜索所有的存储节点。因此不建议使用较深的路径。

很成熟、很庞大。


Object Storage (Swift) • Proxy servers. Handle all of the incoming API

requests.

• Rings. Map logical names of data to locations on particular disks.

• Zones. Isolate data from other zones. A failure in one zone doesn’t impact the rest of the cluster because data is replicated across zones.

• Accounts and containers. Each account and container are individual databases that are distributed across the cluster. An account database contains the list of containers in that account. A container database contains the list of objects in that container.

• Objects. The data itself.

• Partitions. A partition stores objects, account databases, and container databases and helps manage locations where data lives in the cluster.


Hadoop分布式文件系统和OpenStack对象存储有何不同？

• “HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”RackSpace的OpenStack Swift开发者Chuck Their发表了如下观点：

虽然HDFS与Openstack对象存储(Swift)之间有着一些相似之处，但是这两种系统的总体设计却大不一样。

1. HDFS使用了中央系统来维护文件元数据(Namenode，名称节点)，而在Swift中，元数据呈分布式，跨集群复制。使用一种中央元数据系统对HDFS来说无异于单一故障点，因而扩展到规模非常大的环境显得更困难。

2. Swift在设计时考虑到了多租户架构，而HDFS没有多租户架构这个概念。

3. HDFS针对更庞大的文件作了优化(这是处理数据时通常会出现的情况)，Swift被设计成了可以存储任何大小的文件。

4. 在HDFS中，文件写入一次，而且每次只能有一个文件写入；而在Swift中，文件可以写入多次，在并发操作环境下，以最近一次操作为准。

5. HDFS用Java来编写，而Swift用Python来编写。

另外，HDFS被设计成了可以存储数量中等的大文件，以支持数据处理，而Swift被设计成了一种比较通用的存储解决方案，能够可靠地存储数量非常多的大小不一的文件。


手工创建Images

# qemu-img create -f qcow2 /tmp/centos-6.4.qcow2 10G # virt-install --virt-type kvm --name centos-6.4 --ram 1024 --cdrom=/data/isos/CentOS-6.4-x86_64-netinstall.iso --disk /tmp/centos-6.4.qcow2,format=qcow2 --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole --os-type=linux --os-variant=rhel6


OpenStack vs. Oracle Unified Archive Integration with OpenStack

Cloud VM

Cloud VM

Nova

Cloud VM

Compute Virtualization

Neutron

Cloud Networking

Cloud Storage

Cinder Swift

Image Deployment

Glance

Horizon

Cloud Management

Cloud APIs

Oracle Enterprise Manager

Oracle VM Zones & Kernel Zones

Oracle Virtual Networking Elastic Virtual Switch

Oracle ZS3, Oracle Axiom, Oracle StorageTek Tape

Oracle VM Templates Unified Archives


OpenStack-compliant hybrid cloud computing platform

Next Gen Exalogic Elastic Cloud Software

Network Storage Compute

Nimbula REST API

Exalogic IaaS

UI CLI

OpenStack API


Next Gen Exalogic Elastic Cloud Software

Seamless federation across multiple clouds

On Premise

Private Cloud

Oracle

Public Cloud

3rd Party

OpenStack Cloud


COMPLETE.

SDN Virtualization OpenStack OS


Oracle Solaris Enterprise OpenStack

x86

x86 OVM for X86

Shared Storage

Horizon Cloud Management


Oracle Solaris OpenStack Dashboard


PaaS

Cloud @ Oracle


Google

• App Engine is Google's Platform-as-a-Service (PaaS). Develop your application easily using built-in services that make you more productive. Deploy to a fully-managed platform and let Google carry the pager. Just download the SDK and start building immediately for free with no credit card required.

• Compute Engine is Google's Infrastructure-as-a-Service (IaaS). Run large-scale workloads on virtual machines hosted on Google's infrastructure. Choose a VM that fits your needs and gain the performance and consistency of Google’s worldwide fiber network. With per-minute billing, you pay only for what you use.

App Engine & Compute Engine


国内PaaS厂商更加特色化

游戏云身份认证玩家互动支付平台用户分析游戏推广

电商云(在研) 消费行为分析商家决策建议 VC服务网站上线服务

百度开放云服务是百度开放其基础能力，为开发者提供的基于“云”的服务的统称，包括应用引擎(BAE)，云存储、云推送、媒体云等各项服务、集成开发环境、移动测试以及移动建站工具等，未来还会加大对移动应用开发的支持。

数据库服务：MySQL、MongoDB、Redis、 SQL Server 语言环境：Node.js、PHP、Python、Java 应用服务器Apache/Nginx 操作系统：Linux、Windows


应用引擎BAE3.0 BAE3.0 是一种基于Linux Container的资源独享型PaaS：基本技术： Linux Container

BAE3.0底层采用的是Linux Container这种轻量虚拟机技术，相对于传统的kvm, xen 等虚拟机技术来说，它可以更好的适应云计算的需求。关于Container技术的详细介绍，可以参考这里 http://linuxcontainers.org/

操作系统 Ubuntu 12.04 Server

轻量虚拟机内部，我们采用的是64位的 Ubuntu 12.04 Server。资源配额每个轻量虚拟机都具有一定的资源配额，应用如果使用了超过配额的资源，就可能出现不可预期的错误。例如疯狂分配内存，大量占用磁盘空间等等。

•内存：默认 256M；可通过套餐来调整大小 •磁盘： 2G(此为临时文件系统，非代码空间，也不可长期存储文件；代码空间限制为100M) •CPU：与其它轻量虚拟机分享CPU •网络：流入5Mbytes/秒；流出5Mbytes/秒

部署应用代码应用代码部署在 /home/bae/app 目录下，其权限为 bae 账号所有执行应用代码应用代码以 bae 账号来运行；因此应用代码对于 /home/bae 目录下具有任意的读写和访问权限，同时对 /tmp 目录也具有读写和访问权限

http://linuxcontainers.org/


PaaS主要的技术实现 • RightScale是业界领先的多云管理引擎，可以支持亚马逊、GoGrid、Eucalyptus和Rackspace。还致力于支持Chef开源系

统集成规范。Chef完全是为云计算设计的。

• Cloud Foundry是VMware于2011年4月12日推出的业界第一个开源PaaS云平台，它支持Spring for Java、Ruby on Rails、Node.js以及多种JVM开发框架和MongoDB, MySQL and Redis ，使开发人员能够在几秒钟内进行应用程序的部署和扩展，无需担心任何基础架构的问题。它本身是一个基于Ruby on Rails的由多个相对独立的子系统通过消息机制组成的分布式系统，使平台在各层级都可水平扩展，既能在大型数据中心里运行，也能运行在一台桌面电脑中，二者使用相同的代码库。底层资源隔离机制是CGROUP。

• OpenShift是红帽公司推出的一个云计算服务平台，开发人员可以用它来构建和发布web应用。Openshift广泛支持多种编程语言Java、Python、PHP、Perl、Ruby和开发框架Spring、Seam、Weld、CDI、Rails、Rack、Symfony、Zend Framework、Twisted、Django和Java EE的等。另外它还提供了多种集成开发工具如Eclipse integration，JBoss Developer Studio和 Jenkins等。数据库MySQL、 PostgreSQL、MongoDB等。 OpenShift旨在终结PaaS的厂商锁定，使用户可以选择自己应用运行在哪个云提供商的云中。底层资源隔离机制是CGROUP。

• Scalr是托管在Google Code和Scalr.net上的一个新兴项目，与Kaavo和RightScale相似的地方是，它在亚马逊平台上创建动态集群。Scalr不像实力最强大的竞争对手那样支持数量众多的平台、操作系统、应用程序和数据库，它坚持采用传统的扩展LAMP架构(LAMP加上Ruby和Tomcat等)，这种架构包含许多内容系统。底层虚拟机是OpenStack等管理的VM。


OpenShift 在OpenShift上，免费版本叫FreeShift，付费版本叫MegaShift

OpenShift是红帽公司推出的一个PaaS云计算服务平台，开发人员可以用它来构建和发布web应用。Openshift广泛支持多种编程语言：如Java、Python、PHP、Perl和Ruby,框架JBoss、Tomcat、Spring、Seam、Weld、CDI、Rails、Rack、Symfony、Zend Framework、Twisted、Django和数据库MySQL, MongoDB, MemBase，Memcache 。另外它还提供了多种集成开发工具如Eclipse integration，JBoss Developer Studio和 Jenkins等。OpenShift 基于一个开源生态系统为移动应用，数据库服务等，提供支持。 OpenShift使用Linux cgroups实现应用上下文隔离，与LXC类似。每个免费用户可以最多创建3个App，共有1.5G内存，3G的硬盘。


System Overview Broker The Broker is a Rails application that manages all application control, user authentication, and DNS updates within the Origin PaaS. Users interact with the Broker via the following means, which all leverage the Broker’s REST API: The OpenShift Origin web console (this is installed with the Broker) The rhc command-line utility (which can run on any ruby-capable host) The Eclipse IDE (via JBoss Tools) The Broker uses a MongoDB database to keep a record of users and their applications. The Broker manages user authentication and DNS changes through the use of provided plugins.

Nodes Node servers are the systems that host user applications. In order to do this, the Node servers are configured to support the following Origin components: Gears: A gear represents the slice of the Node’s CPU, RAM and base storage that is made available to each application. An application can never use more of these resources than is allocated to the gear, with the exception of storage . OpenShift Origin supports multiple gear configurations, enabling users to choose from the various gear sizes at application setup time. When an application is created, the Broker instructs a Node server to create a new gear to contain it. Built-In Cartridges: Cartridges represent pluggable components that can be combined within a single application. These include programming languages, database engines, and various management tools. Users can choose from built-in cartridges that are served directly through OpenShift Origin, or from community cartridges that can be imported from a git repository. The built-in cartridges require the associated languages and database engines to be installed on every Node server.


Gears • Gears combine the partitioning capabilities of control groups with the security features of

SELinux. In this manner, OpenShift Origin can serve user applications without (additional) virtual machine overhead. Whenever a new Gear is created on a Node server, CPU and RAM "shares" are allocated for it and a directory structure is created as below.

① Environment variable value storage ② The persistent data directory available from

$OPENSHIFT_DATA_DIR ③ The repo directory available from

$OPENSHIFT_REPO_DIR ④ Platform support for dependency management

(for cartridges such as php which don’t have their own)

⑤ The hooks directory is owned by root to prevent users from modifying it

⑥ The post-receive hook invokes the build and deployment


Proxy Ports • Proxy ports allow Gears to expose internal

services for the purposes of load balancing or providing its services to related application Gears.

• Each gear can allocate up to 5 proxy ports. These are exposed on a routable address so that a related gear can connect to them even if that gear exists on a separate node.

• Proxy ports are enabled by HAProxy running as a system service and configured to proxy raw TCP connections; as opposed to the HAProxy cartridge which provides web load balancing sevice. In the future, they will be the underlying mechanism which is used to provide TCP connections described by Application Descriptors.


Simple application creation This flow describes the case of creating and deploying a simple PHP application.


Application deployment using Jenkins OpenShift Origin also provides a Jenkins-based build workflow for all applications. The Jenkins server runs as a separate application that uses one of the user gears. The Jenkins builder agent also runs as a separate application that uses SSH/REST APIs to interact with the broker and the application being built.


Create a New Application

创建应用配置应用


Create a New Application

配置数据库连接


Docker 简介

• Docker是用Go语言编写的一个开源的应用容器引擎，可以自动化地部署应用到可移植的的容器中，这些容器独立于硬件、语言、框架、打包系统。一个标准的Docker容器包含一个软件组件及其所有的依赖 ——二进制文件，库，配置文件，脚本等等。Docker扩展了LXC，使用高层的API，提供轻量虚拟化解决方案来实现进程间隔离。可以运行在任何支持 cgroups跟AUFS 的 64位Linux内核上。

• Heat在OpenStack 中提供资源协调功能，与AWS 的 CloudFormation 兼容，允许用户上传描述资源的模版。使用Heat的插件机制，用户可以基于传统OpenStack部署方式部署跟管理Docker容器。Heat 插件已经被OpenStack 社区接受，将包含在Icehouse版本中。

从OpenStack Icehouse开始，Docker将与Heat集成。


Scalr 应用部署管理系统 Scalr与OEM Cloud Control非常相似

• Role are used in Farms. In this context, they are called Farm Roles. When a Farm is launched, Farm Roles are instantiated into Servers. Roles are composed of: Images & Automation；The Image is a snapshot of a Server's filesystem (or part thereof). It contains definitions such as configuration files, binary packages, and application code. For example, a "MySQL" Role's Image would contain the binary packages for MySQL.

• Farm is a unit of infrastructure. It is a blueprint for your architecture, and you design it by adding Roles to it and then configuring them. When a Role is taken in the context of a Farm, it is called a Farm Role.

• Farm Roles are configured Roles. Farm Roles are exclusively considered in the context of a Farm.

• Servers are Instances of a Farm Role. Scalr will automatically provision Servers from your Cloud Platforms when you Launch a Farm.

Server Lifecycle Statuses


Scalr支持多种IaaS云管理系统

Multi-Cloud 多云支持


Scalr应用部署和Farm Roles Farm Designer

These actions are performed in the Farm Designer, which is accessible in Scalr for Adding a Farm or Configuring an Existing Farm. The Farm Designer will appear as shown below:

In Scalr, a Farm is a group of configured Roles - tasks that you want to provision Servers for. It is a blueprint for your architecture, you design a Farm by adding Roles to it and then configuring them.


Scalr支持的数据库（Role）

Database Role Type Replication Auto-scaling Backup Additional features

MySQL SQL - Relational Database Management System

Master-Slave Supported Automatic & Manual

PHPMyAdmin included

Percona SQL - Relational Database Management System


PHPMyAdmin included

PostgreSQL SQL - Object-Relational Database Management System


/

MongoDB NoSQL - Document-Oriented NoSQL Database System

Replicas & Shards Not supported No backup option

/

Redis NoSQL - Advanced Key-Value Store


Snapshotting and Append-Only persistency supported

Scalr proudly supports MySQL, Percona, PostgresSQL, Redis and MongoDB databases within a unified platform. Scalr comes with pre-configured databases and here is an overview and of the variances between the different Roles:

Base Roles support many operating systems such as CentOS, Ubuntu, Windows 2008 Server, Windows 2003 Server...

https://scalr-wiki.atlassian.net/wiki/display/docs/MySQL

https://scalr-wiki.atlassian.net/wiki/display/docs/Percona

https://scalr-wiki.atlassian.net/wiki/display/docs/PostgreSQL

https://scalr-wiki.atlassian.net/wiki/display/docs/MongoDB

https://scalr-wiki.atlassian.net/wiki/display/docs/Redis


Scalr支持的数据库（Role）

• Scalr runs MySQL 5.5 by default available on Cent OS 6.4 and Ubuntu 12.04 LTS. Scalr previously ran MySQL 5.1.41 by default.

• Scalr's Roles run PostgreSQL version 9.0 where this is the OS base version (Ubuntu 10.04 or CentOS 5). For Ubuntu 11.10 and later, Scalr's Roles runs PostgreSQL 9.1 and later. We encourage Scalr users to migrate to the OS newest version instead of performing partial software updates. You may do so at your own risk.

• Scalr runs Percona 5.5 by default and is available on the Cent OS 6.4 and Ubuntu 12.04 LTS operating systems.

• Scalr's Roles run PostgreSQL version 9.0 where this is the OS base version (Ubuntu 10.04 or CentOS 5). For Ubuntu 11.10 and later, Scalr's Roles runs PostgreSQL 9.1 and later. We encourage Scalr users to migrate to the OS newest version instead of performing partial software updates. You may do so at your own risk.

• The MongoDB Role runs the latest 2.0.X MongoDB version.

• The Redis Role currently uses 2.2.X (2.2.5 on CentOS and latest 2.2.X branch from apt repository on Ubuntu).


Scalr支持的应用服务器（Role） • Scalr runs Tomcat 6.0.x by default on the Cent OS 6.4 Final operating system and Tomcat 7.0.x on

the Ubuntu 12.04 Precise operating system.

• Apache version varying based on the selected OS:

– CentOS 5.5 Final

– CentiOS 5.8 Final

– CentOS 6.1 Final

– Ubuntu 10.04 Lucid

– Ubuntu 12.04 Precise

• This is new in the Scalarizr v0.21.0. See update.scalr.net for details.

• Nginx & HAProxy:A Load Balancer (or reverse proxy) is used to distribute workload evenly across two or more computers, network links, CPUs, hard drives, or other resources.

• The RabbitMQ Role includes RabbitMQ Server v. 2.7.0.

• Scalr uses Memcached Version 1.4.2 for Ubuntu 10.04 Lucid and Memcached Version 1.4.5 for CentOS 5.5 and 6.1 Final operating systems.Memcached is an open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load.

• The Cloud Foundry Role uses version 0.999 and is designed for the Ubuntu 10.04 Lucid operating system.


Role Builder

Cloud Environment： Location, Architecture, and Operating System.

Create new role

If you cannot find a QuickStart Role to fit your needs, you can use our Role Builder to easily build a Custom Role. The Role Builder allows you to:

Create a Role for a specific Cloud Environment: Amazon Web Services, Rackspace...

Choose your OS: A limited number of OS's are supported by Scalr for the time being.

Select one Behavior: MySQL, Apache. You can select multiple behaviors but we do not recommend it. Create a seperate Role for MySQL, Apache...

Select add-ons, like Chef. Install additional software using Chef.

https://scalr-wiki.atlassian.net/wiki/display/docs/QuickStart+Roles



https://scalr-wiki.atlassian.net/wiki/display/docs/Role+Builder

https://scalr-wiki.atlassian.net/wiki/display/docs/Custom+Roles

https://scalr-wiki.atlassian.net/wiki/display/docs/MySQL

https://scalr-wiki.atlassian.net/wiki/display/docs/Apache

https://scalr-wiki.atlassian.net/wiki/display/docs/Chef+Addon


配置管理工具puppet与chef对比分析

• 1、都是基于ruby语言

• 2、对要配置的对象提供了跨平台的抽象，用户大部分时间只跟这些抽象的资源打交道，而不用关心实现，如只需关心要添加什么软件或用户，不需要关心这些用户或软件是怎么添加上去的

• 3、都有配置中心服务器，在每台要配置的客户端上都需要安装客户端，客户端跟服务器端用证书认证

• 4、配置应用过程都有两个阶段，第一个阶段在配置中心进行，由配置中收服务器针对客户端生成资源列表，第二个阶段在客户端运行，将应用收到的资源列表。

• 5、都提供了扩展的方式，puppet用的是模块的方式，而chef用的是cookbook的方式。chef的cookbook方式更灵活和易于分享，但是这两者实质是一样的

• 1、puppet提供的配置语言更通用和高级，用户不需要懂ruby语言。而对于chef，没有专门的配置语言，用户需要了解比较多的ruby语言。

• 2、puppet资源之间有显式的依赖关系，按照这些关系去实现，而跟这些资源在配置文件的位置或前后没有关系。而看了一下chef的一些例子，更像是ruby脚本，从前到后按顺序执行

• 3、puppet安装简单，需要的支持软件也少，服务器端也是这样。而chef在配置中心服务器端需要依赖软件比较多，需要couchdb、RabbitMQ和Solr，这样连带需要安装java和erlang，这样配置服务器过程要复杂很多

• 4、puppet服务端的配置都是一个一个的文本文件，这样易于发布、备份和扩展。而chef的服务器端的配置放在couchdb和solr索引等二进制文件中，通过远程命令工具knife来操作这些配置。这样，puppet更符合unix管理员的使用习惯。

• 5、puppet的用户很多，象Google、Redhat等大公司都在用它。而chef的用户就少多了，而且没有什么大的公司

• 6、chef从puppet身上学到或借用了很多有用的概念，但是没有什么超越的地方。而puppet比以前的cfengine工具多出了很多的亮点，这也是我愿意从一个cfengine用户转到puppet用户的原因。但是，如果让我从puppet往chef上转，确实缺少动力。chef可能更适合专业用户，用在云计算这种需要更多定制的场合


Farm Lifecycle Management • The following pages cover actions that will effect your infrastructure by launching servers, terminating servers,

or altering running servers.

– Launching a Farm

– Terminating a Farm

– Replacing a Role

– Editing a Running Farm

– Changing a Farm's Scalarizr Branch


Servers are Instances of a Farm Role. Scalr will automatically provision Servers from your Cloud Platforms when you Launch a Farm.

To login to one of your Servers using the Scalr SSH Launcher, locate your Server in the Servers List, and click the Black Terminal Icon in the Actions Column.


Chargeback & Billing


大数据

Cloud @ Oracle


Hadoop与DBMS性能对比

Create table 数据装载 Select 数据查询

Sum/Group By 数据聚合 Join 数据关联

Source： A Comparison of Approaches to Large-Scale Data Analysis


Hadoop & MapReduce

SHUFFLE

/SORT

SHUFFLE

/SORT

MAP

MAP

MAP

MAP

SHUFFLE

/SORT

REDUCE

REDUCE

SHUFFLE

/SORT

SHUFFLE

/SORT

REDUCE

REDUCE

REDUCE

INPUT 2

INPUT 1

MAP

MAP

MAP

MAP

MAP

REDUCE

REDUCE

REDUCE

MAP

MAP

MAP

MAP

MAP

MAP

REDUCE

REDUCE

MAP

MAP

MAP

MAP

MAP

REDUCE

REDUCE

REDUCE

ORACLE LOADER FOR HADOOP

HDFS HDFS


社交媒体数据分析及实时监测架构模型

采集组织分析

自定义关键字分类筛选

HTTP

ETL

公共API

连接器

CEP实时过滤

HDFS

MapReduce

Oracle Loader

动态关键字

Full Text Indexing

社交

分析引擎

数据仓库

案例1

批量加载

精准分析

实时分析

历史分析


大数据处理数据挖掘

数据集成

数据仓库

地理位置信息大数据分析架构模型

获取组织展现分析

CDR

User Profile

HDFS

NoSQL DB Driver

Application

164

案例2

商务智能

Hadoop数据加载

报表展现

统计分析

精准分析


大数据决策系统架构

Exalytics InfiniBand

Oracle Real-Time Decisions

BigData Exadata SuperCluster

InfiniBand

获取组织分析决策

搜索/发现

Endeca Information Discovery

Oracle 大数据连接器

CEP


Cloudera宣布商业支持Spark机器学习和数据流处理环境

Fast, Powerful Data Processing For analysts and data scientists who rely on iterative algorithms (e.g. clustering/classification), Spark is 10-100x faster

than MapReduce delivering faster time to insight on more data, resulting in better business decisions and user outcomes.

Spark is:

•Fast: Data processing up to 100x faster than MapReduce, both in-memory and on disk

•Powerful: Write sophisticated parallel applications quickly in Java, Scala, or Python without having to think in terms of

only map and reduce operators

•Integrated: Spark is deeply integrated with CDH, able to read any data in HDFS and deployed through Cloudera

Manager

Easy, Real-Time Stream Processing Spark Streaming extends Spark with an API for working with streams, providing exactly-once semantics and full fault

tolerance for mission-critical environments. With common code across your batch and streaming applications, you can

build sophisticated unified analytic applications quickly and easily.

Spark Streaming is:

•Easy: Built on Spark’s lightweight yet powerful APIs, Spark Streaming lets you rapidly develop streaming applications

•Fault tolerant: Unlike other streaming solutions (e.g. Storm), Spark Streaming recovers lost work and delivers exactly-

once semantics out of the box with no extra code or configuration

•Integrated: Reuse the same code for batch and stream processing, even joining streaming data to historical data


Spark作为Apache顶级的开源项目 Apache Spark™ is a fast and general engine for large-scale data processing.

Spark是一个基于内存计算的高效分布式计算系统，相比Hadoop，它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。使用Scala开发，项目的core部分代码只有63个Scala文件，非常短小精悍。

Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup,mapValues, sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count, collect, reduce, lookup, save等多种actions操作。 Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小（大数据库架构中这是是否考虑使用Spark的重要因素）


腾讯的观点

• 腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询计算以及允许误差范围的快速查询计算，目前腾讯大数据拥有超过200台的Spark集群，并独立维护Spark和Shark分支。Spark集群已稳定运行2年。

• 尽管MapReduce适用大多数批处理工作，并且在大数据时代成为企业大数据处理的首选技术，但由于以下几个限制，它对一些场景并不是最优选择：

– 缺少对迭代计算以及DAG运算的支持

– Shuffle过程多次排序和落地，MR之间的数据需要落HDFS文件系统

• Spark在很多方面都弥补了MapReduce的不足，比MapReduce的通用性更好，迭代运算效率更高，作业延迟更低，它的主要优势包括：

– 提供了一套支持DAG图的分布式并行计算的编程框架，减少多次计算之间中间结果写到hdfs的开销

– 提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销

– 使用多线程池模型来减少task启动开稍，shuffle过程中避免不必要的sort操作以及减少磁盘IO操作

– 广泛的数据集操作类型

腾讯\Yahoo\淘宝\优酷土豆


SaaS

Cloud @ Oracle


Microsoft (Dynamics CRM) Microsoft offers Microsoft Dynamics CRM both online and on-premises. Here, we focus on the on-premises version. Both products are relatively the same, and the move to online is more a function of customers moving to the cloud, rather than differences in the product line. Organizations consider Microsoft Dynamics CRM on-premises primarily for: (1) the potential for more-attractive total cost of ownership (TCO) versus using cloud-based offerings, (2) integration with Microsoft Outlook and the ability to leverage the Microsoft technology stack, such as SharePoint and SQL Server, and (3) to avoid data privacy and real-time integration issues associated with the cloud.

Oracle (Siebel CRM) Oracle Siebel CRM is a viable offering for complex on-premises deployments for the foreseeable future. Although market share is less than it was three years ago, Oracle has increased the number of customers on versions 8.0 and 8.1. Oracle Siebel CRM continues to have the broadest set of SFA functions in the market. Most Oracle Siebel CRM customers buy it because they want the majority of functionality from one suite vendor. However, the broad set of functionality and on-premises delivery model are not incentives for third-party sales application independent software vendors (ISVs) to partner or preintegrate with Oracle Siebel CRM. One of the main challenges that customers have had with the Oracle Siebel CRM was the UI. Siebel was dependent on ActiveX technology and Internet Explorer. Since last year, there have been two major developments around Oracle Siebel CRM: (1) The release of the Oracle Open UI. The Oracle Open UI is not tied to a specific browser technology; therefore, it will significantly improve the user experience. There is not enough data yet to validate potential limitations. (2) The release of Oracle Siebel CRM Connected Mobile Application for any HTML5-compliant device, such as smartphones and tablets.

salesforce.com Salesforce.com continues to lead the SFA market, as demonstrated by its business growth and innovation; however, its products remain expensive. The main reasons customers choose salesforce.com is strong brand, usability, innovation and proven track record. Salesforce.com has a strong ecosystem of ISVs; however, adding multiple solutions to fill salesforce.com's functional "white space" can be expensive. Salesforce.com needs to continue to improve its geographic penetration outside its core strength in North America. Its acquisition of ExactTarget should improve the lead-through-opportunity management process.

Magic Quadrant for Sales Force Automation


2013/02/20 http://www.forbes.com/sites/louiscolumbus/2013/02/20/demystifying-cloud-vendors/





提供灵活性，支持任何部署方案

云应用基础的部署

在数据中心内部

可全面定制

成熟的最佳实践

简化操作

内部部署

云应用基础

第三方云

云应用基础

Oracle 云

云应用基础

ORACLE 云


为客户提供多种选择和灵活性根据客户的选择部署云应用基础

传统的内部部署模式









3天时间才可用

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 185


Oracle SaaS, PaaS, IaaS Cloud Offerings

Customers Marketing Sales Service People Global Human Resources Talent Management Business Financials Procurement Project Portfolio Management

Platform Database Java Database Backup Developer Documents Business Intelligence Mobile

Clo

ud

Mar

ketp

lace

Supply Chain Value Chain execution Product Value Chain Enterprise Performance Enterprise Planning Financial Planning Social Social Network Social Marketing Social Engagement & Monitoring Social Data & Insight

Infrastructure Compute Storage Messaging

Software as a Service

Infrastructure as a Service

Platform as a Service

Multi-Tenant Shared Machines* Oracle owns Hardware and Software – Customer pays for usage

* typically

186


Competitive Differentiators Offering SFDC Workday SAP Oracle

Planning & Budgeting ✓

Financials ✓ ✓

Procurement ✓ ✓ ✓

Sourcing ✓ ✓

Project & Portfolio Management ✓

Governance-Risk-Compliance ✓

Human Capital Management ✓ ✓

Payroll ✓ ✓

Recruiting ✓ ✓ ✓

Talent Management ✓ ✓

Marketing ✓ ✓ ✓

Sales Force Automation ✓ ✓ ✓

Configure Price Quote ✓

E-Commerce ✓

Customer Service ✓ ✓

Social Relationship Management ✓ ✓

Social Network ✓ ✓

Supply Chain Management ✓

Information as a Service (Data Management Platform) ✓


Commercial Cloud

PCI Certified Cloud

UK Government Cloud

US Government Cloud

US DoD Cloud

Class IV Data Centers

Logically Isolated Customer Instances and Data

Cloud – Automated Infrastructure, Platform & Application Mgmt

Cloud Elasticity – Scalability On Demand

Oracle Cloud Portal – Operational Transparency

DR – Data Redundancy, Backups & Remote Hot Site

Monitored 7x24x365 by NOC & Oracle Operations (Cleared Staff)

Oracle Cloud Dedicated Security Team (Cleared Staff)

Professional Services Available (Cleared Staff)

DISA STIG Hardened

PCI DSS Certification option option

Security Documentation Set

Government Community Cloud

Government (*.gov.uk *.gov *.mil) Address Spaces Available

ISO 27001 Certification

UK Pan Government IL2 & IL3 Accreditation

FedRAMP Moderate Authorization

ECSB DoD Addendum CUI Level 4 Authorization

Oracle Cloud: Certified & Accredited Offerings


Oracle Cloud: Summary

189

12,000+

270 PB

28 Million+

23 Billion+

Devices

Storage

Active Users/Day

Transactions/Day

19 Data Centers


Oracle Managed Cloud Services (OMCS)

Oracle Database Fusion Middleware Web Center Engineered Systems Identity Management

Extended Managed Cloud Service

Applications Managed Cloud Service

Technology Managed Cloud Service

E-Business Suite PeopleSoft Siebel J D Edwards Hyperion Business Intelligence Commerce Agile Retail Governance Risk & Compliance

Fusion Applications Demand Management Markdown Optimization Information Discovery Project Management Beehive Collaboration Transportation Management User Productivity Kit Retail Predictive Application

Backup Refresh Upgrade Migration CEMLI Management Business Transaction Monitoring Security PCI & HIPAA Compliance Disaster Recovery Non-Production Environment Service Other Extended Services

Single-Tenant Dedicated Machines Customer owns Software - Oracle owns Hardware and manages everything

Typically in the Oracle Data Center – but sometimes @customer/partner

190


Oracle VM Deployment in OMCS

Network

Server Pool

Storage

Oracle VM Manager

Zone

Self-contained Zones Even a catastrophic zone failure of one zone cannot affect the other zones

All required networking equipment Switch/Router, Load Balancer, Firewall, Security Single switch hop from any to any node in zone (full 10GigE bandwidth, no shared uplinks)

Redundant Storage NAS per Server Pool SAN per Zone

Four OVM Server Pools with 12 physical servers each (48 total)

One OVM Manager Instance Also: Legacy Zones Giant Zones, being migrated / converted

191


Global Deployment

Shared Services

Network

Server Pool

Stor age

OVM Manager

Network

Server Pool

Stor age

OVM Manager

Network

Server Pool

Stor age

OVM Manager

Data Center 1 Data Center 2

Enterprise Manager

Zone 1

Zone 2

Zone 3

7 Data Centers 4 Primary 3 Disaster Recovery

Multiple Zones

per Data Center Target 100 zones total

Shared Service Zone

Redundant or non-critical

Enterprise Manager One global Instance Redundant

Global

192


OMCS Server Hardware

• Standard Building Block Sun Server X4-2 with 24 cores (48 Threads) and 512 GB memory CPU oversubscription yields approx 50 - 100 vCPUs Bonded dual 10gigE NIC

• Specialty Configurations Sun Server X4-4 for high performance applications Sun Server X4-2L with SSD for low latency transient storage 128GB memory configuration for certain 32-bit VMs FibreChannel and Infiniband

193


Networking

• Bonded dual 10gigE NIC per physical Server vLANs in the Hypervisor

• Administrative vLANs Dom-0 login Cluster Heartbeat Live Migration NFS Network

• Separate vLANs per Customer Public and Private Middle Tier Access Privileged and Restricted Database Access Database Cluster Interconnect

194


Designed & Tested Together

• Oracle Managed Cloud Services – 15,000+ VMs

• Internal Testing 22,700 Oracle x86 servers supporting 182,400 Oracle Virtual

Machines

26,700,000 test and production hours per week

Workloads: software/hardware development, corporate infrastructure

• Test Environments Oracle x86 Server Hardware

Oracle Storage

Oracle Operating Systems (Oracle Solaris and Oracle Linux)

Oracle VM

Oracle Database , Oracle Middleware, Oracle Applications

Oracle Develops & Uses The Stack Internally

195


The VM Tetris Problem

32-bit VMs have to reside in lowest 128GB of physical Memory

Start 32-bit VMs first, then 64-bit

Repeated start-stop cycles of mixed 32-bit and 64-bit VMs lead to fragmentation

Eventually, no low memory can be found, and VMs fail to start or live migrate

Our Solution: Limit 32-bit VMs to small physical machines (128GB memory)

196


Oracle Confidential –

197
