教育战线数据存储的普世化 - EOLfree.eol.cn/edu_net/down/shichengge.pdf专业机构数据存储系统的普世化（3）数据存储设备特点系统无关 • 支持CIFS,

SNASSNAS小组版权所有，保留所有权益小组版权所有，保留所有权益20062006年年1212月月11日日饮水思源，爱国荣校饮水思源，爱国荣校

20062006’’教育行业信息存储大会教育行业信息存储大会

技术报告之一技术报告之一

••教育战线数据存储的普世化教育战线数据存储的普世化

报告人：时成阁博士

Email to: [email protected]

MSN： [email protected]

mailto:[email protected]

mailto:[email protected]

饮水思源，爱国荣校饮水思源，爱国荣校

l数据存储系统的普世化

l专业机构数据存储系统的普世化

l大学数字图书馆、数据系统的普世化

l支撑技术

l问题及讨论，进一步参考的资料

目录


数据存储系统的普世化

SNASSNAS小组版权所有，保留所有权益小组版权所有，保留所有权益20062006年年1212月月11日日饮水思源，爱国荣校饮水思源，爱国荣校Source: David Moschella and EMC.

3,0001,000

100

10

01970 1980 1990 2000 2010 2020 2030

Users (Million)

MainFrame Centralized

PC Centralized

Network Centralized

Information Centralized

00

1010

100100

1000100030003000

19701970 19801980 19901990 20002000 20102010

数据存储系统的普世化（1）

Evolvement of InformationEvolvement of Information



市场对存储管理技术标准的需求市场对存储管理技术标准的需求

•• 市场对存储管理技术标准市场对存储管理技术标准的需求：的需求：

---- 存储产品厂家的存储产品厂家的““春秋战国时代春秋战国时代””---- 用户急需统一的技术标准用户急需统一的技术标准

•• 市场对存储管理技术人才的需求市场对存储管理技术人才的需求---- 用户市场对专业存储管理技术人才的需求用户市场对专业存储管理技术人才的需求

---- 缺乏认证和培训缺乏认证和培训



存储系统模型存储系统模型

Block layer

File/record layer

Storage devices (disks, …)Storage devices (disks, …)

Database(dbms)

File system(FS)

Sto

rag

ed

om

ain

Ser

vice

sS

ervi

ces

Network

Host

DeviceBlock aggregation

Application


数据存储系统的普世化（（44））

数据系统存储基础架构数据系统存储基础架构

DAS NAS SAN{远端文件服务器

{利用现有数据系统资源

{使用数据系统协议通讯

{传输速度快、距离远{使用Fiber Channel协议{支持多种上层协议

{支持多种存储应用管理

{连接结构简单

{存储资源利用率低

{管理成本高



解决方案比较：可扩展性和可用性解决方案比较：可扩展性和可用性



解决方案比较：成本解决方案比较：成本


•• SNIASNIA---- Storage Networking Industry Storage Networking Industry Association Association

•• FCIAFCIA---- FibreFibre Channel Industry Channel Industry AssociationAssociation

•• INCITSINCITS---- International Committee for Information International Committee for Information

Technology StandardsTechnology Standards


组织和标准组织和标准


Supported Solutions Forum (SSF) --SNIA

SANmark Qualified Program -- A product of FCIA

Open Standards Fabric Initiative (OSFI) -- Form by switch vendors


互操作性验证互操作性验证



存储数据系统产品提供商存储数据系统产品提供商

•• 按照按照SniaSnia的产品详细分的产品详细分

类（如下）：类（如下）：– Analysers– Arbitrated Loop Connectivity– Arbitrated Loop Switch– ASIC's and Chips– Backplanes– Bridge to ATM– Bridge to Gigabit Ethernet– Bridge to SCSI– Cabinets/enclosures– Cable Assemblies Copper– Cable Assemblies Fibre Optic– CMOS Transceiver chips and

cores– Connectivity solutions– Connectors– Consulting– Controller boards– Converters– Dark Fibre– Design and Web Services

–Extensions–Fabric Connectivity–Fabric switches–Fibre Media Converters–Gateways–GBICs–GLMs–Hard disk drives–HBA's–Hubs– Infrastructure Management–JBOD's–Link Extenders–Management software–Market Research–Media Converters–NAS–Networked Storage–Optical Transceivers

–Publications–RAID Controllers–RAID subsystems–Routers–SAN hardware–SAN integration–SAN software–SAN/WAN routers–Servers–Software–Software service–Solutions–Switches–System Integration–Tape Drives–Tape Libraries–Tape servers–Test Equipment–Training


专业机构数据存储系统的普世化（1）

学校分类学校分类

向D类过渡向D类过渡E类村小

完成C类向C类过渡完成D类向D类过渡E类城区小学（含县镇）

向C类过渡完成D类向D类过渡向D类过渡E类乡镇中心小学

实现C类向C类过渡完成D类向D类过渡E类市级示范小学

完善A类功能基本实现A类向A类过渡B类C类市级实验小学

完善A类功能达到A类标准基本实现A类B类C类省级实验小学

实现C类向C类过渡完成D类向D类过渡E类一般职中

完善A类功能基本实现A类向A类过渡B类C类省级重点职中

实现C类向C类过渡完成D类向D类过渡E类一般初中

实现C类向C类过渡完成D类向D类过渡E类市级示范初中

完善A类功能基本实现A类向A类过渡B类C类省级示范初中

实现C类向C类过渡完成D类向D类过渡E类一般完中

完善A类功能基本实现A类向A类过渡B类C类市重点高中

完善A类功能达到A类标准基本实现A类B类C类其他省重点高中

完善A类功能完善A类功能完善A类功能达到A类标准基本实现A类国家示范（含县中）

第五年第四年第三年第二年第一年

完成时间学校类别

A类：电子书籍，课件，媒体等全面数字化，完备数据存储中心； B类：电子书籍，课件，媒体等基本数字化，独立数据存储中心； C类：电子书籍，课件，媒体等基本数字化，数据存储分中心； D类：电子书籍，课件，基本数字化，数据存储分中心； E类：电子书籍，课件，基本数字化，数据存储专门化



保障措施（以市为单位）保障措施（以市为单位）

l 市教委成立教育信息化领导小组，组织和协调各部门的工作，为实施“数据存储普及化”工程提供组织保证。制定整体规划、实施方案、管理制度、考评办法。

l 加强教育信息化理论的学习和宣传，建设一支教育信息化工作骨干队伍。

l 加大“数据存储普及化”工程建设的经费投入，工作统筹安排，加快实施

l 加强督导评估检查，保障“数据存储普及化”规划的实施进度和质量。

l 积极开展学术研讨和经验交流活动，注意课题带动、典型示范和先进引导，推动全市“数据存储普及化”工程全面开展。

l 开展数据系统道德和法律教育，确保数据系统自由、开放、健康运行，保证“数据存储普及化”工程的实施效果。



数据存储设备特点数据存储设备特点

系统无关系统无关•• 支持支持CIFS, NFS, NetWare, FTPCIFS, NFS, NetWare, FTP和和HTTPHTTP多种文件及数据共享方式多种文件及数据共享方式

•• 支持支持Windows NT, Windows 2000, Linux, UNIXWindows NT, Windows 2000, Linux, UNIX（（包括包括AIXAIX））, AS400, , AS400, NovellNovell等操作系统等操作系统

•• 支持不同系统间对同一份数据的共享支持不同系统间对同一份数据的共享

简便的安装与管理简便的安装与管理•• 预装预装OSOS及相关软件，并进行软硬件预设置及相关软件，并进行软硬件预设置

•• 支持基于支持基于WebWeb的的GUIGUI远程管理远程管理

强大的系统备份与恢复功能强大的系统备份与恢复功能•• 功能强大的功能强大的SnapShotSnapShot系统备份功能，对系统进行时点即时快照系统备份功能，对系统进行时点即时快照

•• 支持文件或系统的全面恢复支持文件或系统的全面恢复

•• 结合磁带备份设备对客户数据进行完整的备份与保护结合磁带备份设备对客户数据进行完整的备份与保护



数据存储设备特点（续数据存储设备特点（续11））

优化的系统优化的系统特别为文件服务特别为文件服务 + + 备份备份 + + 系统系统//备份备份//数据系统管理数据系统管理 + + 安装安装//配置配置

而优化，并提供不同平台间数据共享功能，数据备份功能。而优化，并提供不同平台间数据共享功能，数据备份功能。

方便的容量扩充方便的容量扩充极为方便的存储容量在线扩充，可不停机完成极为方便的存储容量在线扩充，可不停机完成TBTB级的存储容量扩级的存储容量扩

充，满足运营级客户的存储发展需求。充，满足运营级客户的存储发展需求。

整体拥有成本整体拥有成本TCOTCO低低降低了对应用服务器的要求，同时减少了应用服务器的数量，在降低了对应用服务器的要求，同时减少了应用服务器的数量，在

ITIT投资预算紧缺的情况下满足客户的存储需求。投资预算紧缺的情况下满足客户的存储需求。

提供多样的数据系统文件服务提供多样的数据系统文件服务同时支持同时支持CIFS (Windows NT/2K), NFS (UNIX) ,CIFS (Windows NT/2K), NFS (UNIX) ,及及 Novell (NCP)Novell (NCP)等数等数

据系统文件系统。据系统文件系统。



多媒体教学应用解决方案多媒体教学应用解决方案

SNAS 系统是多媒体教学后台最理想的设备提供低成本/高性能的课件存储平台基于数据系统，易维护、易管理

教学客户端教学客户端教师系统

电子备课系统等

CS SNAS数据保险箱



视频与媒体存储应用解决方案视频与媒体存储应用解决方案

企业级SNAS 系统提供NSA/SAN互联方案，在视频或流媒体可作为理想的OLAP安全存放后台

视频监控摄像视频服务器SiSi

主干交换机

WEB/流媒体服务器视频后台数据库服务器监控工作站

大型磁带库

备份服务器

SAN与S2E结合可以使用FC连接

CS SNAS数据保险箱海量数据安全空间



家庭应用解决方案家庭应用解决方案

CS家用数据保险箱优异的性价比，可为家庭用户提供低成本/高安全的文档、图库、影像资料存储平台，也可以作为家庭DV摄像、高清晰大片的海量片库使用。单台电脑加HUB即可配备应用，易操作、易管理。

笔记本电脑个人电脑移动硬盘、光盘的重要资料、DVD影片等

数字高清晰彩色电视机


Internet

通过电脑播放

家庭DV、数码相机



““数据系统硬盘数据系统硬盘””服务应用解决方案服务应用解决方案

数据保险箱卓越的海量数据安全存储性能，不仅为专业机构提供了低成本/高安全的网站数据容灾备份恢复功能，还可以用来为网站的注册学生、教师开办大容量的“数据系统硬盘”服务项目，为其提供私人数据文档的安全存放空间。尤其适用于Web2.0网站，如博客、播客网站等。

移动学习

实验室学习


Internet

教室学习

网站资料备份

学校网站服务器

数据系统硬盘服务器学生、教师身份验证


大学数字图书馆、数据系统的普世化（1）

数字图书馆现状分析数字图书馆现状分析

•• 数据量分析数据量分析

–– 以国内某数字图书馆应用软件的图片格式以国内某数字图书馆应用软件的图片格式PDGPDG为例计算，一所为例计算，一所大学数字图书馆的总容量：大学数字图书馆的总容量：

按照平均每册书有按照平均每册书有300300页来计算，每一页的大小约是页来计算，每一页的大小约是35KB35KB，，一本书的大小是：一本书的大小是：35KB/35KB/页页 x 300x 300页页=10500KB=10500KB≈≈10.3MB10.3MB

那么，按照一所大学图书馆现有的藏书量那么，按照一所大学图书馆现有的藏书量8080万册计算：万册计算：

10.3MB/10.3MB/册册 x 800,000x 800,000册册=8240,000MB=8240,000MB≈≈8046.9GB8046.9GB≈≈7.9TB7.9TB

几年后这所大学图书馆的藏书量会达到几年后这所大学图书馆的藏书量会达到150150万册：万册：

10.3MB/10.3MB/册册 x 1500,000x 1500,000册册=15,450,000MB=15,450,000MB≈≈1,5087.9GB1,5087.9GB≈≈14.7TB 14.7TB



数字图书馆现状分析数字图书馆现状分析

70%

10%

10%10%

数字图书

音频资料

视频资料

多媒体资料

•• 内容分析内容分析



以存储为中心以存储为中心

•• 图书馆正逐渐认识并开始实施以信息和存储为中图书馆正逐渐认识并开始实施以信息和存储为中心来建立其基础设施心来建立其基础设施..

40%40%

25%25%

20%20%

12%12% 3%3%

Storage

Applications

Networks

OtherServers



数字图书馆现有的问题数字图书馆现有的问题

如何对现有系统进行存储集中、整合、备份、管理….？



数字图书馆的特点数字图书馆的特点

•• 信息数字化－数字图书馆信息数字化－数字图书馆

•• 管理自动化－电子图书馆管理自动化－电子图书馆

•• 服务数据系统化－数据系统图服务数据系统化－数据系统图

书馆书馆

•• 形式虚拟化－虚拟图书馆形式虚拟化－虚拟图书馆



数字图书馆的基本结构数字图书馆的基本结构

数字化信息存储系统数字化信息存储系统

智能检索系统智能检索系统

电子商务管理系统电子商务管理系统

宽带宽带高速互联网高速互联网

网上读者网上读者

信息数字化生产系统信息数字化生产系统

数字化信息存储系统数字化信息存储系统



数字图书馆数据存储系统分布数字图书馆数据存储系统分布

社区、高校数字图书馆

国家中心

城市公共图书馆

数据存储规模



数字图书馆存储系统数字图书馆存储系统

•• 国家级海量数据存储中心国家级海量数据存储中心–– 与数字信息化生产中心合一与数字信息化生产中心合一–– 数据系统信息发布中心数据系统信息发布中心–– 数据容灾中心数据容灾中心

•• 地区数字图书馆二级存储中心地区数字图书馆二级存储中心–– 省市级图书馆数字信息存储中心省市级图书馆数字信息存储中心–– 数据系统图书馆的二级存储中心数据系统图书馆的二级存储中心

•• 电子阅览数字图书馆存储系统电子阅览数字图书馆存储系统–– 面向用户的电子图书馆面向用户的电子图书馆–– 数据系统图书馆的客户服务中心数据系统图书馆的客户服务中心


•• 数据资源的分散造成数字化生产的分散数据资源的分散造成数字化生产的分散

•• 多个数据中心减少用户集中访问的瓶颈多个数据中心减少用户集中访问的瓶颈

•• 通过数据异地复制保障通过数据异地复制保障7X247X24小时信息服务小时信息服务

•• 通过数据系统构成的虚拟图书馆，采用统一通过数据系统构成的虚拟图书馆，采用统一

的数字信息资料的检索方式，保证用户在任的数字信息资料的检索方式，保证用户在任

何时间任何地点都能够获得任何有版权的数何时间任何地点都能够获得任何有版权的数

字信息字信息


数据系统存储与虚拟图书馆数据系统存储与虚拟图书馆



数字图书馆存储系统设计原则数字图书馆存储系统设计原则

•• 极高的扩展性极高的扩展性

•• 数据集中性强数据集中性强

•• 存储容量大存储容量大

•• 高性能高性能

•• 高安全性高安全性

•• 易管理易管理

•• 开放性开放性

•• 投资保护投资保护



数据存储管理数据存储管理

•• 磁盘阵列安全存储磁盘阵列安全存储

nn RAID 0,1,3,5,0+1RAID 0,1,3,5,0+1

•• 数据备份与恢复数据备份与恢复

nn NetBackupNetBackup，，LANFreeLANFree BackupBackup

•• 存储虚拟化存储虚拟化

nn Virtual StorageVirtual Storage

•• 数据远程复制和容灾数据远程复制和容灾

nn Storage ReplicationStorage Replication



数据系统存储管理软件数据系统存储管理软件

•• VERITASVERITAS

nn VFS, VVM, NBU, HSM, SRVMVFS, VVM, NBU, HSM, SRVM，，SANpointSANpoint

•• TivoliTivoli

nn TSM, TSM, SANergySANergy


虚拟存储 LAN SAN/MAN WAN

Office Building City World


数据系统存储


支撑技术（1）

NASNAS

•• 文件共享文件共享

•• 系统投资较低系统投资较低

•• 安装维护性较好安装维护性较好

•• 传输效率低传输效率低

•• 数据安全性差数据安全性差

•• 存储管理复杂存储管理复杂


支撑技术（2）

SANSAN

•• 存储设备共享存储设备共享

•• 支持数据库应用支持数据库应用

•• 数据传输带宽较高数据传输带宽较高

•• 适合数据集中管理适合数据集中管理

•• 传输距离有限传输距离有限

•• 不支持文件共享不支持文件共享

•• 部分存储设备不支持异构平台部分存储设备不支持异构平台


支撑技术（3）

数据中心级存储系统数据中心级存储系统

对外开放的数字音像图文资料库

数字音像图文资料

备份归档迁移

原始音像图文资料

数字化生产

LAN WAN

音像图文资料检索网站检索系统

电子阅览室网上读者应用服务层

数据管理层

数据中心存储系统


支撑技术（4）

数据中心级存储系统设计要求数据中心级存储系统设计要求

•• 存储系统具有很好地可扩充性存储系统具有很好地可扩充性

nn SANSAN

•• 数据存储的管理的简易性数据存储的管理的简易性

nn SANSAN

•• 海量存储系统海量存储系统,,在线存储与近线存储的组合在线存储与近线存储的组合

nn Disk+TapeDisk+Tape

•• 与应用系统的数据通道的多样性和可适应性与应用系统的数据通道的多样性和可适应性

nn SAN+NASSAN+NAS


支撑技术（5）

存储方案存储方案——SANSAN


支撑技术（6）

数据系统管理数据系统管理


LAN

Fabric

On-line系统

HSM管理服务器

Rear-line系统

迁移阀值设置High-threshold：20%Low-threshold：60%

自由空间空闲：20%自由空间空闲：60%

应用服务器

支撑技术（7）

HSMHSM分级存储架构数据迁移分级存储架构数据迁移


支撑技术（8）

存储方案设计优势存储方案设计优势————投资保护投资保护

•• 存储容量、性能可在线扩展存储容量、性能可在线扩展

•• 支持多种主机平台、支持多种主机平台、ClusterCluster结构、可在结构、可在IP SANIP SAN中任意添加存储设备中任意添加存储设备

•• TSMTSM可支持多种主机平台的可支持多种主机平台的数据备份及多种数据库的在数据备份及多种数据库的在线备份。线备份。


支撑技术（9）

虚拟存储虚拟存储——网格网格

网格：

是一种分布式计算基础设施, 在动态跨组在动态跨组织域的虚拟组织内实现协同的资源共享织域的虚拟组织内实现协同的资源共享和问题求解。


数据系统TCP/IP

信息World Wide Web

通信e-mail

网格OGSA

OGSA(Open GRID Services Architecture)

支撑技术（10）





网格的划分

n数据网格：提供对分布、异构数据的安全访问

n计算网格：聚合分布系统的处理能力

n服务网格：采用开发标准实现应用系统的访问和集成

“数据与存储虚拟化是网格运算的第一步。 ”——IBM


•设备利用率低•管理复杂•系统集成开销大•无法应对突发性的需求增长•昂贵的灾难备份

•提高设备利用率•自我管理、自我维护•采用OGSA标准•动态、灵活的系统•基于互联网的灾难备份架构


虚拟存储


SANSAN

服务器被映射到特定的设备，称为 "物理映射"

目前的SAN

StorageStorageNetworkNetwork

服务器被映射到虚拟磁盘称为 "逻辑映射"

Virtualization Layer

虚拟化的SAN


虚拟存储（续虚拟存储（续11））


Win 2KAIX Solaris LinuxHP/UX Win2K,XPAIX Solaris LinuxHP/UX

VFS w/CacheVFS w/Cache VFS w/CacheVFS w/Cache VFS w/CacheVFS w/Cache VFS w/CacheVFS w/Cache VFS w/CacheVFS w/Cache

Admin Client

External Clients

NFSCIFS

IP Network for Client/Metadata Cluster Communications

Data Store

Shared Storage DevicesMultiple Storage

Pools

Storage NetworkStorage NetworkMetadata Metadata

StoreStoreMetadata Server

Metadata Server

Metadata Server


虚拟存储（续虚拟存储（续22））


问题及讨论，进一步参考的资料

Q&A

进一步的资料：

1. 姜宁康、时成阁，《网络存储导论》，清华大学出版社，2007年7月份出版（预计）。或 bbs.dostor.com（时成阁：《网络存储导论》节选 Availible Now☺）

2. 时成阁、杨伟涛，《网络存储系统设计》，华东师范大学出版社，2007年1月份出版（计划）

Documents

教育战线数据存储的普世化 - EOLfree.eol.cn/edu_net/down/shichengge.pdf专业机构数据存储系统的普世化（3） 数据存储设备特点 系统无关 • 支持CIFS,

教育战线数据存储的普世化 - EOLfree.eol.cn/edu_net/down/shichengge.pdf专业机构数据存储系统的普世化（3）数据存储设备特点系统无关 • 支持CIFS,