OpenStack & Ceph integration

OpenStack H版关键更新

•  Nova(Compute): ü  Cells-Support: 现在大大增强了Cells的能力，具备了更强的调度选择和Cell内迁移能力

ü  Query-Scheduler: Scheduler增加了查询能力，可以返回符合要求的Host列表

ü  Volume-Features: 目前通过QEMU端支持卷限速，加密

ü  Image-Backend: 虚拟机本地存储增加了Ceph RBD和GlusterFS

ü  More-Drivers: Docker已经加入了Nova的Virt支持之列，包括XenServer、Hyper-V和Vmware的能力也得到加强


•  Cinder(Block Storage): ü  Volume-Resize: 在可用情况下调整卷大小 ü  Volume-Backup-To-Ceph: 现在卷可以备份到

Ceph集群中 ü  Volume-Migration: 现在不同用户间可以透明地转移和交换卷

ü  QoS: 增加限速相关的元信息供Nova和其Hypervisor使用

ü  More-Drivers: 更多的存储厂商加入和完善了自己的Cinder驱动，如Huawei，Vmware，Zadara


•  Neutron(Networking): ü  Multi-Vendor-Support:同时支持多种物理网络类型，支持Linux Bridge，Hyper-V和OVS bridge计算节点共存

ü  Neutron-Fwaas: 支持防火墙服务 ü  VPNaas: 支持节点间VPN服务 ü  More-Vendors: 更多的网络设备支持和开源

SDN实现完善和提高，新增加了ML2(The Modular Layer2)插件


•  Glance(Image Service): ü Multiple-Image-Location: 支持镜像存储到多种不同类型的存储池

ü More-Drivers: 加入了Sheepdog支持，并且Cinder也可以作为后端存储驱动之一

•  Keystone: ü  Delegated-with-Oauth: 支持Oauth 1协议支持 ü  Deployment-Improved: 授权和证书信息可以被分离存储，RBAC规则也得到更多细粒度加强

ü  More-enhanced: 更完善的LDAP和角色支持


•  Swift(Object Storage): ü Multiple-Region-Replication: 支持对象异地复制容灾

ü  Memcache: 增加对轮询Memcache连接的支持

ü More-Optimization: 并发IO支持，多网段分流支持，在多地复制情况下加强不同Proxy-Server的亲和度


•  Ceilometer(Metering/Monitoring): ü Alarm-Support: 支持类似于AWS的监控项报警机制

ü Meter-Post-API: 监控项数据推送API支持 ü Query-API-Enhanced: 监控项查询支持更多的操作如分组、限制

ü More-DB-Supported: 除了MongoDB，MySQL，Hbase以外，DB2也成为支持之列

ü More-Optimization: 增加UDP传输来减少负载，数据处理流程优化和改进细节


•  Heat(Orchestration): ü Network-Connect: 对接了Neutron的Load

Balancing和其他网络组件 ü  Native-Template-Language: 实现HOT描述语言用于应用部署描述

ü  Auto-Scaling: 透明实现应用的横向扩展 ü  MultiCloud: 使Heat能利用多个OpenStack后端的情况

ü  More-Details: 整合并运用Nova、Ceilometer、Cinder和Neutron的新功能

OpenStack与Ceph的整合及其生态系统

UnitedStack 王豪迈

Agenda

•  Ceph是什么？ •  为什么整合OpenStack与Ceph？ •  整合的效应？ •  如何整合？

1. Ceph是什么?

Ceph是统一存储，支持三种接口： � •  Objects：原生的API，兼容Swift和S3的API � •  Block：支持精简配置、快照、克隆 � •  File：强一致，支持快照 �

Ceph是分布式存储，它的优点是： � •  高性能：数据分布均衡，并行化度高。 � •  高可靠性：没有单点故障，多数据副本，自动管理，自动修复。 � •  高扩展性：使用普通x86服务器，支持10~1000台服务器，支持TB到PB级的扩展。 �

1. Ceph是什么?

•  Client和Server直接通信，不需要代理和转发 �

•  多个OSD带来的高并发度。Objects是分布在所有OSD上。 �

•  负载均衡。每个OSD都有权重值(现在以容量为权重)。 �

•  Client不需要负责副本的复制，而是由Primary来负责，这就降低了Client的网络消耗。 �

1. Ceph是什么?

2. 为什么整合OpenStack与Ceph？

2.OpenStack现有存储类型

•  本地存储(Nova): – 根分区 – 交换分区 – 易失性分区

•  块存储(Cinder) •  镜像存储(Glance) •  对象存储(Swift)

2.为什么整合OpenStack与Ceph？

Libvirt

Nova Xenserver

Vmware API

LXC

Hyper-V

……

Glance

Local Ceph RBD Sheepdog Swift

Cinder Ceph RBD

Sheepdog

GlusterFS HP 3PR

GPFS

Solidfire

…… QCOW LVM

Ceph RBD

2. OpenStack 典型数据流– 创建虚拟机

Nova(Qcow) Client Glance

(Local)

Image (Ubuntu, CentOS)

Nova Local Storage

Http

1 2 3

4 5

OpenStack默认情况下

2. OpenStack 数据流

2. OpenStack 数据流 – 整合Ceph后

2. OpenStack 典型数据流– 创建虚拟机

Nova Client Glance Image

(Ubuntu, CentOS)

Local Volume

1 2 3

4 No Migration

OpenStack+Ceph

OpenStack 数据流-创建虚拟机

•  原来的存储空间占用: 启动 10 VM 分布在3个Host = 800M(Ubuntu) * 3 + 800M(Ubuntu) * 10 = 10400M

•  整合以后的存储空间占用: 启动 10 VM 分布在3个Host ≈ 0

2. OpenStack & Ceph

Nova Cinder Glance

Ceph

Data

Data

Data

Data

Data

Data

Data

Data

创建虚拟机(nova boot) 从卷创建镜像(glance image-create)

改变虚拟机大小(nova resize)

虚拟机热迁移(nova live-migration)

从镜像创建卷(cinder create)

卷迁移(cinder volume-migration)

改变卷大小(cinder extend)

上传镜像(cinder upload-to-image)

下载镜像(glance image-download)

虚拟机创建镜像(nova image-create)

3. OpenStack基础设施与上层应用

Nova Cinder Glance

Ceph

Trove

3. Trove

•  OpenStack的DBaas项目 •  数据库管理

– 创建和删除 – 配置管理 – 网络管理 – 安全管理 – 用户管理 – 数据库实例调整

•  支持SQL和NOSQL

3. Trove Challenge

•  数据库实例扩容 •  数据库实例磁盘改变 •  数据库实例备份 •  数据库实例迁移

3. OpenStack & Ceph: Trove

•  数据库实例扩容: 在线改变数据库实例大小(CPU, Memory, Disk, Performance)，从小型VM迁移到大型VM – 热迁移(Nova live-migration) – 磁盘大小改变(Cinder extend)

3. OpenStack & Ceph: Savanna

Nova Cinder Glance

Heat

Trove Savanna

4. OpenStack & Ceph: Savanna

Ceph

GlusterFS

HBase

Cassandra

MongoDB

3. OpenStack & Ceph: Performance Pool

Nova Cinder Glance

Heat

Trove

High Performance

Pool

Middle Performance

Pool

Low Performance

Pool Ceph

Savanna

4. 如何整合？

Nova Cinder Glance

Ceph Ceph Ceph

Thanks! Weibo: @麦子迈

Technology

OpenStack & Ceph integration