Embed Size (px)
Citation preview
自我介绍
• 美团云高级技术专家 ✤ 美团云存储团队TechLeader
✤ 阿里巴巴OceanBase团队UpdateServer模块TechLeader
✤ 百度Pyramid
✤ 北京邮电大学
✤ 研究方向：分布式存储、高可用、数据库
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望
美团云存储现状
• 集群规模
• PB级数据量，数亿个对象
• 日均新增数据量数TB
• 服务近百个业务线
对象存储
图片处理 视频编辑回源鉴权
CDNCDN
SDK / Rest API
美团云存储生态
美团云存储现状
• OpenStack-Swift
美团云存储现状
•
美团云存储现状
dispatcher
mysql clientswiftproxy
innerdestroyer
client
client
swiftobj
innerdestroyer
node
swiftobj
innerdestroyer
swiftobj
innerdestroyer
node
node
node
swiftproxy
innerdestroyer
node……
……
1
4
43
2
2
outerdestroyer
5
•
美团云存储现状
• Swift的发展瓶颈
• 无中心化设计
• 一致性Hash
• 最终一致性模型
• 没有将对象聚合存储
• Python项目性能和可维护性
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望
新一代系统架构
• 新一代存储系统架构亮点
• 跨机房强一致与高可用
• 集中化元数据存储
• 高并发网络框架
• 纠删码存储与在线恢复
• 多版本存储
• 数据去重
• 备份级别控制
新一代系统架构
• S3对象存储系统特点
• 用户指定对象名字（Key）
• 一次写入多次读取
• 对象元数据修改
• 小对象与大对象并存
• Http协议接口
• AWS已成为事实标准
新一代系统架构
• 技术选型
• 定制机型：带缓存Raid卡、SMR硬盘、单路CPU、万兆网卡
• 集中化元数据管理与调度，OceanBase：海量、高可用、ACID事务、MySQL兼容
• GoLang开发代理与调度节点
• C开发存储节点
• 基于libev的并发网络框架
• 基于多数派应答的跨机房强一致同步
新一代系统架构
• 数据存储与元数据模型
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望
新一代技术亮点
• 存储节点设计
• 物理存储单位：Partition
• 对象存储单位：Record
• Group Commit
• Record索引
• 数据只追加不修改
• EC实时恢复
新一代技术亮点
• 元数据设计
• Name表与ID表分离，元数据分布式缓存
• Bucket与Object多版本管理
• Object去重与引用计数
• Sharding表设计
• EC与碎片整理
• SchedServer选主
• 对象Meta存储
新一代技术亮点
• OceanBase设计
• 基线数据与修改增量分离存储
• Raft一致性日志同步
• 去中心化选主
• 多版本并发
• 30w TPS处理能力
)(
新一代技术亮点
• 并发网络框架
• 借鉴阿里libeasy设计思路
• 多epoll_wait线程
• 跨语言序列化协议
新一代技术亮点
• 跨机房高可用设计
• 本地写优化
• 多数派投票
• 冻结与恢复
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望
技术展望
• 更全面的AWS-S3接口兼容
• GoLang并发网络框架
• 冷存储成本控制
• 定制硬件、冗余度更低的EC、冷数据关机...
• 多Region与跨Region备份
• …
https://mos.meituan.com
@ http://weibo.com/mtmos
“meituanyun”
400 0015 335
谢谢
