中科院数据云环境与服务

中科院数据云环境与服务

中科院计算机网络信息中心科学数据中心

2013-12-17

计算云

I

数据云

软件服务云

P

S领域云

领域云

科技云

中国科学院“科技云”

数据云总体目标

构建先进的科学数据基础设施，形成中国科学院数据云整合各类数据相关资源，形

成以海量科技数据为核心的系列“海 -云”服务

逐步建成面向科技界开放共享国家级科技数据中心

以云服务的形式支持各类终端访问

高性能计算设施

数据管理服务

中国科学院数据云各种形式的云服务

文献资源处理资源存储资源

数据资源模型资源Matlab

软件资源

数据云服务层次基础设施即服务 (IaaS)

以通用和专用的访问接口提供云存储、云计算服务

数据即服务（ DaaS）以自助方式实现云端数据

建库和管理云服务以通用接口实现科研数据

共享云服务以数据应用社区提供数据

共享、交换与引用云服务软件即服务（ SaaS）

以软件云服务形式实现数据资源访问统计与评估云服务

安全控制

服务管控

共享机制

标准规范

基础设施即服务（ IaaS）(云存储等 )

数据即服务（ DaaS）（科研数据管理、共享云服务）

软件即服务（ SaaS）（数据资源访问统计与评估）

科技数据资源整合与共享工程

数据存储与管理云服务环境科学数据整合与共享服务

学科领域数据资源整合研究所数据资源整合专业数据库运行服务

海量科学术语分析与应用示范科学数据与科技文献集成服务关键技术研究与

应用示范海量科学数据分析可视化关键技术研究与应用

示范

科学数据资源整合

1 月 16 日发布项目指南，公开征集重点库 5 月份完成立项评审，支持 20 个库

其中，学科领域数据整合 13 个，研究所数据整合 7个

7 月份，组织整理重点库项目管理手册 8 月份完成重点数据库项目经费划拨

12 月 12 日，发布专业库指南，公开征集后评估专业库，截止 2014 年 1 月 20 日启动经费 + 运行服务补贴

整合建设 20个重点数据库XXH12504-2-01 紫金山天文台科研数据整合与共享应用示范XXH12504-2-02 昆明植物研究所科研数据整合与共享应用示范XXH12504-2-03 南海海洋研究所科研数据整合与共享应用示范XXH12504-2-04 南京地理与湖泊研究所科研数据整合与共享应用示范XXH12504-2-05 生态环境研究中心生态科研数据整合与共享应用示范XXH12504-2-06 中国科学院海洋研究所科研数据整合与共享应用示范XXH12504-2-07 高能物理研究所科研数据整合与共享应用示范XXH12504-1-01 资源学科领域基础科学数据整合与集成应用XXH12504-1-02 土壤学科领域基础科学数据整合与集成应用XXH12504-1-03 动物学科领域基础科学数据整合与集成应用XXH12504-1-04 植物学科领域基础科学数据整合与集成应用XXH12504-1-05 材料学科领域基础科学数据整合与集成应用XXH12504-1-06 青海湖流域基础科学数据整合与集成应用XXH12504-1-07 化学学科领域基础科学数据整合与集成应用XXH12504-1-08 空间科学学科领域基础科学数据整合与集成应用XXH12504-1-09 核能学科领域基础科学数据整合与集成应用XXH12504-1-10 名族语言信息处理学科领域基础科学数据整合与集成应用XXH12504-1-11 中文信息处理领域基础科学数据整合与集成应用XXH12504-1-12 资源环境遥感学科领域基础科学数据整合与集成应用XXH12504-1-13 植物资源保育学科领域基础科学数据整合与集成应用

专业库服务后评估

一级指标

二级指标

三级指标评测方法

数据资源数据量

记录数指标权重： 10%

计算公式 =100*10%*50%* 权重 +100*10%*50%* （新增记录数 / 当年记录数 )* 权重，公式中的权重由当年该数据库的记录数在所有参评数据库中排名确定。

数据容量指标权重： 10%

计算公式 =100*10%*50%* 权重 +100*10%*50%* （新增数据容量 / 当年数据容量 )*

权重，公式中的权重由当年该数据库的数据容量在所有参评数据库中的排名确定。

标准规范

质量规范和控制措施

指标权重： 5%

评分方式：评审专家根据参评单位提交的文档和数据访问情况进行评分。

数据库元数据指标权重： 5%

评分方式：评审专家根据参评单位注册元数据的数量和质量进行评分。

可持续性

数据更新频率指标权重： 5%

计算公式 =( 每月更新数值累计得分 )/12*100*5% 。每月如有更新，数值为 1 ，否则为0 。

镜像备份频率指标权重： 5%

计算公式 =( 每半年镜像备份累计得分 )/4*100*5% 。每半年如备份、镜像各一次，数值为2 。

在线系统服务功能

在线服务功能指标权重： 10%

评分方式：评审专家根据参评单位提交文档及实施效果进行评分。访问接口规范指标权重： 5%

计算公式 =( 每月接口规范正常数值累计得分 )/12*100*5% 。每月接口正常得 1 分，否则0 分。

软件工具

特色软件工具指标权重： 5%

评分方式：评审专家根据参评单位提交文档及实施效果进行评分。运行维护支撑

保障人才和制度指标权重： 5%

评分方式：评审专家根据参评单位提交的文档进行评分。运行时间

中断运行时间指标权重： 5%

评分方式：① <=15 天，得 5 分；② 15-30 天，得 2 分；③ >30 天，得 0 分

服务成效访问量访问人次指标权重： 5%

计算公式 =100*5%*50%* 权重 +100*5%*50%* （新增访问量 / 当年访问量 )* 权重。公式中的权重由当年该数据库的访问人次在所有参评数据库中排名确定。

下载量指标权重： 5%

计算公式 =100*5%*50%* 权重 +100*5%*50%* （新增下载量 / 当年下载量 )* 权重。公式中的权重由当年该数据库的下载量在所有参评数据库中的排名确定。

用户量用户量指标权重： 5%

计算公式 =100*5%*50%* 权重 +100*5%*50%* （新增用户量 / 当年用户量 )* 权重。公式中权重由当年该数据库的国内用户量在所有参评数据库中排名确定。

支撑科研

支撑科研指标权重： 5%

评分方式：评审专家根据参评单位注册成果数量和质量进行评分。应用案例

应用案例指标权重： 5%

评分方式：评审专家根据参评单位注册服务案例的数量和质量进行评分。

服务推广

服务响应时间指标权重： 3%

评分标准 : ①3 日响应率 >80% ，得 3 分 ;②50%<3 日响应率 <80% ，得 2 分 ;③3 日响应率 <50% ， 0 分

Voovle 收录范围

指标权重： 2%

评分方式：①收录范围 >80% ，得 2 分；② 50%<收录范围 <80% ，得 1 分；③收录范围 <50% ，得 0 分

数据云基础设施• 分布式大规模存储设施

– 1 个总中心 +1 个备份中心 +12 个区域中心

– 目前具备• 24PB 存储• 5000CPU 核

– 十二五目标• 50PB 存储• 上万 CPU 核

一、云存储服务 IaaS ：公共存储服务

提供 API, 支持云存储科研应用面向科研团队，存储资源共享分布式存储，可就近使用

应用 A

应用 BWeb Service 服务

SOAP 接口

REST 接口

C/S客户端

小数据

用户

专用客户端大数据

统一存储服务引擎

统一存储服务 CIFSWebService Block

统一存储引擎

集群存储中端盘阵高端盘阵磁带库云存储

Cloud

…… 用户……

CephMfs

Gluster…

针对不同的存储需求，研发统一存储服务引擎，提供各类在线存储服务面向云端用户及应

用提供 web service 服务接口

针对高速访问存储的需求，提供专用的 CIFS 接口

面向云计算虚拟机、物理机对块存储的需求，提供块存储接口

云存储服务接口

操作类型 RESTFUL 实现 SOAP 实现接口说明目录操作

createDir_rest createDir_soap 创建目录copyDirectory_rest copyDirectory_soap 拷贝目录

moveDirectory_rest moveDirectory_soap 移动目录

renameDir_rest renameDir_soap 重命名目录deleteDir_rest deleteDir_soap 删除目录

文件操作

getFile_rest getFile_ soap 获取文件putFile_rest putFile_ soap 上传文件copyFile_rest copyFile_ soap 拷贝文件moveFile_rest moveFile_ soap 移动文件renameFile_rest renameFile_ soap 重命名文件deleteFile_rest deleteFile_ soap 删除文件

数据检索

listFiles_rest listObject_soap 获取对象信息getFileMetadata_rest getFileMetadata_ soap 获取元数据retrievalObject_rest retrievalObject_soap 对象检索

服务平台

管理平台

•基于web 的云存储业务服务平台• 便于大数据传输的 C/S客户端工具•云存储 web service 支持服务

云存储服务系统

web service API 使用方式

下载SDK

配置参数

开始使用

apiKey= #apikey ，分配的 api密钥secretKey= # 安全密钥poolName= # 资源池名称userName= # 用户名ws.url= #webservice 服务的 urlnum= #批量操作的线程数

ObjectListing objectListing = ss.listObject(poolName,userName, filePath,api_key,secret_key);

②：将 SDK加入到Web 项目的 lib 中，并配置如下参数

③: 在 java 类中 new 一个客户端。

CngiClient ss = new Cng iClient();

调用接口，传入参数，以查询所有对象 listObject 为例：

①：用户从“帮助中心” “ SDK下载”可下载用于 web 开发的 RESTful SDK 。

CS 客户端使用方式登录上传下载

专用客户端使用方式

获取并安装客户端软件包

配置参数

使用客户端挂载存储

<Config>  <monitor ip="159.226.12.70" port="3141"/>  <interface ip="159.226.12.74" port="9001"/>  <user name="yfs_beijing_demo"/>  <ipv6>true</ipv6>  <mountpoint>/mnt/yfs_beijing_demo</mountpoint>  <export>/yfs_beijing_demo</export>  <keepcache>false</keepcache></Config>

②：并配置如下参数

③: 挂载存储

# ./YfsAP -c yfsAP_beijing_demo.xml

①：从户获取并安装存储客户端软件。

基于 Web Service 云存储应用开发●存储服务：基于 POSIX 文件存储的接口服务

●Restful 服务：基于 HTTP 的资源分布式服务架构

HTTP 报文

Http 1.1Apikey: xxxxxxxxxxSecretkey: xxxxxxxxxx

GET http://ws.dcloud.cn/LsDirectory?dirPath=/

HTTP 报文Http 1.1 200 OK

{Result:{msg:”ok”,status:”success”}}

http://ws.dcloud.cn/

云存储应用：快速建立网盘等存储

小文件传输：单次连接中不超过 100MB 大小文件的上传 / 下载；

大文件传输：支持并发上传 / 下载，断点上传 / 下载。

Web Service 云存储开发资源

开发在线帮助： http://service.dcloud.cn -->” 帮助中心”

SDK 下载： http://service.dcloud.cn -->” 资源下载”

REST API 评测： http://ws.dcloud.cn/restTest

http://service.dcloud.cn/

http://service.dcloud.cn/

http://ws.dcloud.cn/restTest

二、云计算服务 IaaS ：计算资源服务• 基于 openstack ，提供

虚拟机自定义配置• 实现虚拟机和物理机统一

管理和动态调度• 支持 Hadoop 和 MPI 等

环境的快速部署以及资源的弹性扩展

虚拟机全生命周期管理

CPU 、内存、硬盘的弹性扩展

高可靠性和高可用性的在线迁移

ECCP云主机

自助服务、秒级完成创建或删除；灵活的镜像管理系统（公有、私有镜像、镜像的分享）多样化的云主机类型：

windows 、 ubuntu 、 centos 、 Fedora；云主机的过户安全组：自定义防火墙规则云主机在线伸缩

VNC 方式浮动 IP

内网浮动 IP公网浮动 IP

端口映射

云主机的访问

云硬盘

为云主机提供独立生命周期、高可靠、高性能的块设备存储；可用作扩展云主机的磁盘空间、持久化保存数据超量分配支持多种访问协议

物理主机监控

数据实时收集、展示故障报警，先于客户第一时间发现问题开放接口

云主机的监控监控对象监控数据获取及存储数据展示云主机无需安装

AGENT

CPU 、内存和硬盘弹性扩展

应用场景• 云主机的资源无法满足用户需求。

特性价值• 可在线扩展云主机的 CPU 、内存、硬盘资源，不需要停机，保证业务的持续性。

应用场景• 云主机的资源无法满足用户需求。

特性价值• 可在线扩展云主机的 CPU 、内存、硬盘资源，不需要停机，保证业务的持续性。

弹性扩展

云主机配置：CPU ： 2 核内存： 2GB

硬盘：100GB

网卡： eth0

云主机配置：CPU ：四核内存： 4GB

硬盘：200GB

网卡：eth0 、 eth1

云主机动态迁移

迁移过程中，云主机持续可用数十秒（共享存储、千兆带宽）维护节点服务器不影响云主机的运行自动检测存储环境

云计算应用：快速部署私有云

控制台删除

云主机

创建修改

启动

暂停

休眠

恢复重启关闭下电

迁移

克隆

快照

裸硬件可靠、高效、易用的云计算基础平台

部署数据中心云计算自动批量部署的可扩展计算

资源管理和服务虚拟机全生命周期的管理灵活配置防火墙机制，具备良好安全性

实现对物理机的管控，自动负载平衡

申请院云计算服务资源按需申请自助使用弹性扩展

云主机全生命周期管理

三、云归档服务 IaaS ：海量备份长期保存

国家级数据归档中心北京怀柔

磁带库 30+ PB 盘阵 1PB 可扩展

中关村机房： 6PB CNGI 高速网络

骨干网 10 GB/s 连接全国

CNGI

典型用户：院档案馆数据院 ARP 数据

北京

广州

昆明南京

长春

两地多中心容灾 RPO 30 分钟恢复 ( 国标 5 级 )

VPN 数据通道 1PB 海量存储

灾备与生产的平滑切换云灾备技术平台动态双向迁移

地理和设施的安全环境跨地域远程 5城市电信级机房

四、云灾备服务 IaaS ：高等级数据灾备

灾备网络

重要生产系统 ERP 管理系统科研业务系统

五、大数据处理

大数据处理 IaaS ：MR-Hadoop应用环境

由 200 个计算节点构成，共 2400 个计算核心，本地磁盘存储 2.4PB

并与容量为 5PB磁带库连接，形成分级存储体系

数分钟内完成 hadoop平台搭建、支持节点的增删提升 hadoop 高可用和容错能力提升 hadoop 环境资源利用率集群易于维护和迁移

地理空间数据云 GS Cloud集成地学遥感领域的数据、存储、计算模型、在线计算的一站式服务平台

1. 海量数据时空检索

2. 互联网数据自动爬取

3. 用户私人数据空间

4. 遥感分析模型在线计算

5. 空间数据可视化

在线数据资源量达 300TB，在线用户 5.4万人，累计数据下载量 100TB

食品安全信息监测与分析平台对海量信息的实时收集、垂直集成，并与数据处

理、预警模型结合，提供再分析

六、科研数据管理云服务面向科学数据库建

设和管理需求用户不再需要考虑

计算机物理环境和数据库管理软件

满足多元数据的管理、快速建库应用

大幅降低数据管理技术门槛和维护成本

VDB Cloud

虚拟机

虚拟机

虚拟机

虚拟机

云计算管理平台计算资源网络资源存储资源

VDB Cloud 提供云端管理数据

申请

使用

申请创建

系统架构

在线申请，快速投入使用

1 ：注册登录 2 ：申请个人应用

3 ：应用创建成功4 ：登录使用

常见建库途径

远程 VDB迁移式创建

图形化建模

从 EXCEL创建

主要功能 http://www.vdbspace.cn

6大功能模块

云计算、云存储技术培训（ 2013 年 8 月、 11

月）

欢迎使用数据云服务！基础设施服务

云存储： Service.dcloud.cn云计算： Eccp.zedata.cn云归档云灾备

数据平台服务科研数据管理 : VDB Cloud科研信息推送： Scinfo

数据应用服务地理空间数据云 GS Cloud

网络中心科学数据中心虞路清 58812516 [email protected]

Documents

中科院数据云 环境与 服务

中科院数据云环境与服务