基于集群的分布式文件系统设计

演讲者 : 王景飞指导教师 : 林思明 李清勇

To Store the World

To Store the World2基于集群的分布式文件系统设计

目 录

1. 项目背景

2. 系统设计

3. 可靠性改进

4. 性能评定

5. 结论

To Store the World3基于集群的分布式文件系统设计

目 录

1. 项目背景

2. 系统设计

3. 可靠性改进

4. 性能评定

5. 结论

4基于集群的分布式文件系统设计

互联网、搜索引擎、数据挖掘迅猛发展，网络存储需求不断增长。

国内分布式存储欠缺。

中科院计算所项目需求。

项目背景

To Store the World

To Store the World5基于集群的分布式文件系统设计

目 录

1. 项目背景

2. 系统设计

3. 可靠性改进

4. 性能评定

5. 结论

To Store the World6基于集群的分布式文件系统设计

系统设计 (1)

系统整体结构

To Store the World7基于集群的分布式文件系统设计

系统设计 (2)

主控服务器

存储并维护系统元数据；同时负责系统全局维护，为系统中的关键节点。

数据存储服务器

用户的文件在该系统中会被分成等大小的数据块，并分布的存储在系统的数据存储服务器中。数据存储服务器为最终数据载体。

客户端

客户端作为系统的一个组成部分出现，提供最终用户访问该系统的接口。

To Store the World8基于集群的分布式文件系统设计

系统设计 (3)

数据服务器和客户端服务器集群

主控服务器

实际用户接口 实际用户接口

实际系统架构

To Store the World9基于集群的分布式文件系统设计

目 录

1. 项目背景

2. 系统设计

3. 可靠性改进

4. 性能评定

5. 结论

To Store the World10

标志位 名称 标识符 父目录

标志位 标识符 数据块数 拷贝数 创建, 修改时间等

标志位 所属文件 标识符 在文件中偏移位置 版本号

目录元数据

数据块元数据

文件元数据

基于集群的分布式文件系统设计

可靠性改进 (1)

系统快照存储元数据 存储的对象为主控服务器中的元数据，包括目录、文件、数据块信息等。这些是系统运行的关键数据，存储在主控服务器的内存中，以提高访问速度。将元数据备份在磁盘上，使主控服务器可以从故障中恢复。

定时存储 因为快照操作是将元数据写入磁盘，所以频率不能太高，以免影响系统性能。

To Store the World11基于集群的分布式文件系统设计

可靠性改进 (2)

操作类型 操作参数

日志系统辅助快照 两次快照之间的时间间隔内，系统元数据也可能发生变化。引入日志系统来辅助快照完成元数据的数据备份。

记录操作 将每一个操作压缩成“操作类型 + 操作数”的形式，存放在日志文件中。通过记录快照之后的操作来记录元数据变化情况。

To Store the World12基于集群的分布式文件系统设计

可靠性改进 (3)

主控服务器热备份

备份服务器 主控服务器

数据服务器集群

备用 系统控制

内存中元数据

快照、日志文件备份

虚操作

To Store the World13基于集群的分布式文件系统设计

目 录

1. 项目背景

2. 系统设计

3. 可靠性改进

4. 性能评定

5. 结论

To Store the World14基于集群的分布式文件系统设计

性能评定 (1)

系统对于小文件的支持并不是很好，在分布式存储的情况下，小文件效率并不是很好。但如果客户端和数据服务器运行在同一台主机上时，系统对小文件会采取本地存储策略进行优化。 对于大文件的存储，已经获得较好的存储效率，速率瓶颈在于网络带宽。

文件读写效率

To Store the World15基于集群的分布式文件系统设计

TEXT

性能评定 (2)

系统故障恢复时间

系统恢复时间与存储在系统中的数据量成正比，在数据量为 4GB的 情 况 下 ， 系 统 恢 复 只 需 要200ms ，预测在数据量较大的情况下，仍然可以保证较快的故障恢复速度。

To Store the World16基于集群的分布式文件系统设计

目 录

1. 项目背景

2. 系统设计

3. 可靠性改进

4. 性能评定

5. 结论

To Store the World17

系统获得了较好的性能和可靠性，可以满足当前项目的需求。

用户在数据量较大的环境下尚未进行性能评定，尚需进一步进行研究。

基于集群的分布式文件系统设计

结论

王景飞2009.6.15