IBM面向认知时代的软件定义系统平台设计和媒体行业实践 · 2016-12-16 · Media Cloud连甠ESS勤畭带文件痉痯一起搭建自剳分层存储痉痯（ PB+），对其客户提供卨体存储云

IBM面向认知时代的软件定义系统平台设计和媒体行业实践

刘鑫，[email protected]

| 2© 2016 IBM Corporation IBM / NDA 机密

程序计算

基于预先设定的参数来分析数据，进行决策• 确定性的应用• 定向的搜索• 机器语言• 直接结果

认知计算

从自身与数据、与人的持续交互中学习，通过概率性推理来不断提高自我• 概率性的应用• 定向的探索• 自然语言• 智能选项

IBM Systems | 3

机器学习领域挤满了初创企业


http://v.youku.com/v_show/id_XMTc4MTczODU2OA==.html

?from=s1.8-1-1.2&spm=a2h0k.8191407.0.0


广电行业的认知商业模式

内容生产不同用户群体的内容诉求是什么？

市场营销是否精准瞄准了合

适的用户

分发通过什么平台进行

内容分发

货币化我的内容价值几何

用户体验用户在说什么


强大的基础架构平台提升认知能力

1. 理解自然语言及人类会话，会听，会读，会看

3. 从用户的选择和反应中调整及学习

2. 为生成更好的结果产生并评估假设

认知能力

认知基础平台强大的硬件加速

高效的资源调配

海量的扩展和容错能力

容器技术 4K/8K/VR混合云

GPU

数以万计的磁盘FPGA ASIC跨域多活

IBM Systems | 7

IBM为认知优化的软件定义存储与计算平台参考架构

IBM Spectrum Cluster Foundation Open Stack/xCAT

IBM Spectrum Scale

基础架构管理云管理

数据存储和管理

技术支持和服务

IBM Spectrum Computing Resource Management & Orchestration (EGO)

IBM Spectrum Symphony

IBM Spectrum Symphony

(MapReduce)

IBM Spectrum LSF/MPI

Hadoop /Big Data 高性能计算（批处理，并行，MPI，工作流）

容器云(微服务的管理)

资源管理

负载引擎

Linux on zx86PowerDiskTape

私有云、公有云、混合云架构 (异构的分布式计算和存储环境)

FlashSystem VMDocker

Spark(企业级解决方案)

高性能分析（低延迟并行）

IBM Spectrum Conductor

IBM Spectrum Conductorwith Spark

IBM Systems | 8

让数据触手可及的统一媒体数据共享管理平台

IBM Confidential

NFS

Hadoop Transparency

OpenStack

POSIX

内容采集/编辑/播出

认知计算集群

On-Premise海量对象存储

SMBCinder Swift

GlanceManila

VMware

SRMVADPVAAI vSphere

统一命名空间

IBM Spectrum Scale统一媒体数据共享管理平台

分布式集群

Site A

Site B

Site C

GPFS AFM

远程访问私有云、混合云和公有云

外部云访问

高性能全闪存阵列

x86

中低速大容量磁盘阵列磁带库

MAM媒资应用

合适的数据、合适的位置、合适的时间、合适的性能、合适的成本

IBM Systems | 9IBM Systems

IBM Spectrum Scale价值

规模性存储管理

• 9000+节点

• 400GB/s+吞吐量

• 十亿+文件

• 新的GUI及健康监控

• 统一文件，对象以及HDFS支持

• 分布式元数据

• 元数据高速扫描（每节点每分钟一千万文件）

• QoS管理

• 通过Spectrum Control集中管理多集群

Store everywhere. Run anywhere.

• 迟延感知的高级路径选择

• 读写缓存化

• 为WAN部署的活动文件管理（Active File Management）

• 文件布局优化

• 端到端数据完整性检验

• 快照

• 同步或异步数据复制

改善数据经济

• 无缝数据分层管理

• 纳入并共享flash资

• 策略驱动的数据压缩

• 以擦除码及复制功能提供的数据保护

• 本地加密 &安全擦除符合性校验

• 对象存储及云支持

• 备份及恢复

软件定义的开放平台

• 支持异构存储，不论flash, disk 或tape结构

• Native支持NFS/CIFS

• 以软件，应用机或云载体提供数据驱动移动OpenStack SWIFT & S3文件及对象接口

• 对HDFS的透明化

• 与云的集成

| 9

IBM Systems | 10

� � �>

�.. �.. ...

Spectrum Scale – 利用策略实现自动化媒体资源分层管理

/home/appl/data/web/important_big_spreadsheet.xls

/home/appl/data/web/big_architecture_drawing.ppt

/home/appl/data/web/unstructured_big_video.mpg

/home

/appl

/data

/web




GPFS Policy

GPFS统一命名空间

Pool 1: Flash/SSD Pool 2: 高端磁高端磁高端磁高端磁盘阵列列列列 Pool 3: 低端存低端存低端存低端存储/本地磁本地磁本地磁本地磁盘

GPFS Nodes

GPFS Nodes

GPFS Nodes

Storage Controllers

Storage Controllers >

Storage Controllers

外部资源池

IBM Systems | 11

� � �>

�.. �.. ...




/home

/appl

/data

/web

GPFS Policy

GPFS统一命名空间

Pool 1: Flash/SSD Pool 2: 高端磁高端磁高端磁高端磁盘阵列列列列 Pool 3: 低端存低端存低端存低端存储/本地磁本地磁本地磁本地磁盘

GPFS Nodes

GPFS Nodes

GPFS Nodes

Storage Controllers

Storage Controllers >

Storage Controllers




外部资源池

Spectrum Scale – 利用策略实现自动化媒体资源分层管理

IBM Systems | 12

闪存时代已经到来…Flash与传统磁盘的成本已经接近

预计到2017年, 基于TLC/3D nano的闪存单位成本将低于高速SAS硬盘

GartnerGartnerGartnerGartner关于全闪存市场的预测关于全闪存市场的预测关于全闪存市场的预测关于全闪存市场的预测::::

““““到到到到2020202020202020年年年年，，，，25252525%%%%的数据中心将在的数据中心将在的数据中心将在的数据中心将在Tier1Tier1Tier1Tier1主数据主数据主数据主数据

上上上上只只只只使用全闪存存储使用全闪存存储使用全闪存存储使用全闪存存储，，，，而不是混合存储方式而不是混合存储方式而不是混合存储方式而不是混合存储方式，，，，这一比这一比这一比这一比

例今天尚不足例今天尚不足例今天尚不足例今天尚不足1%”;1%”;1%”;1%”;

购买的存储朝着闪存和大容量磁盘两极分化

来源：IDC 2014-2018 年全球和美国企业存储系统预测，IDC 存储用户需求研究，2014 年秋季发布

IBM Systems | 13IBM IBM IBM IBM Systems

|

IBM全闪存产品家族

FlashSystem V9000

FlashSystem 900

V5000F

V7000F

性能性能性能性能 $/IO$/IO$/IO$/IO

(低延迟)

扩展性扩展性扩展性扩展性 $/PB$/PB$/PB$/PB

(高密度)

价价价价值值值值 $/TB$/TB$/TB$/TB

(成本/ 性能)

应用范例应用范例应用范例应用范例

媒体娱乐

混合云

分层/混合数据中心负

载

应用加速

FlashSystem

900 with CAPI

定制化定制化定制化定制化闪存系存系存系存系统

内存数据库扩

展与加速

DS8888 “All-Flash”

微延微延微延微延迟与与与与FlashCoreFlashCoreFlashCoreFlashCore

FlashSystem

A9000/R

中小型数据中心环

境数据简化移植与

应用

DeepFlash 150

非结构化数据特性非结构化数据特性非结构化数据特性非结构化数据特性

PB级的扩充规模通常不能从数据缩减功能中获益或可数据缩

减潜力有限

读密集，吞吐量大

大数据

IBM Systems | 14IBM IBM IBM IBM Systems

|

大容量，高IO吞吐率•高达25GB/s的IO吞吐率•1.5PB的可用磁盘容量（具体视RAID方式而定）

强大的容错能力•来自于美国劳伦斯利弗莫尔国家实验室，10000+磁盘高压力生产环境考验•内置世界领先的分布式RAID技术，大幅减少磁盘重建所需时间•可以实现2路或3路的容错方案•端对端的检错功能，完全避免磁盘“突然死亡”•丰富而完善的异步磁盘与系统诊断功能

Media Cloud采用ESS和磁带文件系统一起搭建自动分层存储系统（PB+），对其客户提供媒体存储云服务Media Storage as a Service，提供的服务包括剪辑、转录、编解码、前后期处理等

基于Spectrum Scale的新一代创新性存储阵列ESS

© 2016 IBM Corporation

IBM Cleversafe，对象存储领域的王者

The Industry Leader – 行业领导者• 从2014年至今，对象存储的领导者 –IDC• 对象存储总体领导者 – 2016 – Gartner

The Scale Leader – 规模领导者• 业界超过100PB级别用户最多的供应商• 客户遍及美国、欧洲、亚太地区

The Technology Innovation Leader – 技术创新领导者• 完全软件定义 – 超过400项专利• 运行在业界标准的x86服务器硬件上，可对磁盘进行底层管理和监控• 无与伦比的性价比、可靠性和安全性

Cleversafe成立于2004年，2015年被IBM收购

IBM Systems | 1616Page© 2016 IBM Corporation

原始数据

写入数据至 Cleversafe

通过 S3 兼容 API 或 Openstack Swift 兼容 API 将对象发送至Accesser

通过 S3 兼容 API 或 Openstack Swift 兼容 API 将对象发送至Accesser

1$Accesser


原始数据

让我们存储一张图片！让我们存储一张图片！$

Accesser



每个对象将被分割为片段(Segment)。每个对象将被分割为片段(Segment)。2$



每个片段都被加密，随后切片(Slice)。（注意：加密为可选项）

每个片段都被加密，随后切片(Slice)。（注意：加密为可选项）

3$

76543

12



$

76543

12

纠删码用于将数据转换为可定制数量的切片。

纠删码用于将数据转换为可定制数量的切片。

4

1211109876543

12



$

76543

12

1211109876543

12

站点 1 站点 2 站点 3

存储节点每个切片都被写入至单独的存储节点。在此示例中，存储节点位于地理上分散的 3 个站点。

每个切片都被写入至单独的存储节点。在此示例中，存储节点位于地理上分散的 3 个站点。

5

站点 2 站点 3

站点 3站点 1 站点 2



从 Cleversafe 读取数据


存储节点

可借助 12 个切片中的任何 7 个执行读取操作• 写入时创建的切片数量称为宽度（此处为 12）• 读取时需要的切片数量称为读取阈值（此处为 7）• 该示例为“12 个”信息离散算法 (IDA) 中的 7 个


站点 2 站点 3


$



存储节点



站点 2 站点 3


$

在该 IDA 中，即使5个存储节点失效，数据仍可借助其他7个存储节点完成读取。

在该 IDA 中，即使5个存储节点失效，数据仍可借助其他7个存储节点完成读取。




存储节点



站点 2 站点 3


$

即使整个站点失效（外加另一个存储节点失效）也无影响。

� 分布式纠删码多站点多活架构

� 超过10年的客户验证

� 100 PB 以上数据量的客户最多



如何为 1 PB 可用数据构建高度可靠的海量存储系统？

RAID 6 + 复制 Cleversafe®

1 PB3.6 PB

9003.6 倍3.6 倍3 FTE

复制/备份

可用存储原始存储

4TB 磁盘所需机架占地

运维人员其他软件

$$70% 以上

TCO 节省

原始1.20 PB 原始

现场镜像1.20 PB 原始

远程复制1.20 PB 原始

1 PB1.7 PB4321.7 倍1.7 倍.5 FTE无

Cleversafe平台实现了无与伦比的经济性、可靠性和安全性


可用性 – 软件升级、硬件更新/搬迁、磁盘、节点和站点出现故障时无宕机时间。

安全性 – 单个磁盘、节点或站点不包含足以构成数据泄露的信息。

可扩展性 – 随时随地的扩展性能和/或容量，EB级别以上的海量数据管理能力

经济性 – 原始存储更少，由此可减少电力、制冷和占地成本，从而将 TCO 降至最低

可管理性 – 无需管理 RAID 集或复制方案。一名员工便可管理数十PB的数据。

Cleversafe优势回顾

IBM Systems | 27

CDN

PGC/UGC/低码率新闻素材采集

分站P/U

客户端

分站P/U

客户端

区域中心

移动客户端

移动客户端

内容合作伙伴

客户端

互联网

上传

分站自动同步到总部传输服务器

分站自动同步到总部传输服务器

内容审核

编辑制作

内容发布

谢谢！

ibm.com/systems

IBM Systems

Documents

IBM面向认知时代 的软件定义系统平台设计 和媒体行业实践 · 2016-12-16 · Media Cloud连甠ESS勤畭带文件 痉痯一起搭建自剳分层存储痉痯（ PB+），对其客户提供卨体存储云

IBM面向认知时代的软件定义系统平台设计和媒体行业实践 · 2016-12-16 · Media Cloud连甠ESS勤畭带文件痉痯一起搭建自剳分层存储痉痯（ PB+），对其客户提供卨体存储云