58
空空空空空空空空空 (Virtual Observatory) 空空空空空空空空空空 答答答答 答答答 答答答答 答答答 答答答答 答答答答答答答答答答答答答 答答答答 答答答答 答答答答 答答答答答答答 —— 答答答答答答答答答

空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

  • Upload
    paley

  • View
    124

  • Download
    0

Embed Size (px)

DESCRIPTION

答辩学生:傅衍杰 指导老师:邹自明 培养单位:中国科学院国家空间科学中心 申请学位:工学硕士 学科专业:计算机应用技术. —— 硕士研究生毕业答辩. 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现. Outline. 研究背景、现状、问题和动机 我的硕士工作 体系结构理论研究 运行引擎的设计和实现 系统原型和核心中间件的设计和实现 科学应用服务 总结. 1 研究背景、现状、问题与动机. 空间科学数据应用环境发展的驱动力 空间科学数据应用环境发展路线图 空间科学数据应用环境研究热点 — 虚拟观测台 - PowerPoint PPT Presentation

Citation preview

Page 1: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

空间科学虚拟观测台 (Virtual Observatory)体系结构研究与原型实现答辩学生:傅衍杰指导老师:邹自明培养单位:中国科学院国家空间科学中心申请学位:工学硕士学科专业:计算机应用技术

—— 硕士研究生毕业答辩

Page 2: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

Outline

1. 研究背景、现状、问题和动机2. 我的硕士工作

体系结构理论研究 运行引擎的设计和实现 系统原型和核心中间件的设计和实现 科学应用服务

3. 总结

Page 3: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

1 研究背景、现状、问题与动机A. 空间科学数据应用环境发展的驱动力B. 空间科学数据应用环境发展路线图C. 空间科学数据应用环境研究热点—虚拟观测台D. 国内外空间科学 VO 发展现状E. 当前 VO 研究的核心问题F. 我的研究动机

Page 4: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

空间科学数据应用环境发展的驱动力 世界各国空间探测计划的开展,使空间科学数据资源丰富度成倍增长 空间科学研究问题空前复杂化,要深入了解各圈层的完整图像和物理过程、各圈层之间的耦合机制和传输过程,需要空间科学数据应用环境支持科学问题的发现。 仿真、模式运行与大规模计算成为分析、发现和预测空间科学问题的主要手段,需要空间科学数据应用环境进行支撑服务。

Page 5: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

空间科学数据应用环境发展路线图

单机数据库式数据应用环境面向数据获取的数据应用环境

面向科学应用的数据应用环境引入网格计算等信息技术,日地 / 行星科学数据模型的虚拟观测

Page 6: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

空间科学数据应用环境研究热点——虚拟观测台 (Virtual Observatory)

虚拟观测台是依赖于人类掌握的最新空间科学知识 ,面向天、地基观测产生的海量空间科学数据资源,采用先进的信息技术,以解决海量空间科学数据协同处理、分布式集成与互操作、智能化科学应用、日地空间系统可视化虚拟表达等核心问题为目标的空间科学数据应用环境。

虚拟观测思想的本质是,缩短空间探测的空天段和地面段的“科学距离”,推进地面测控、空间探测、数据应用、先进技术的深度一体化,实现科学数据应用价值的最大化。

Page 7: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

国际空间科学虚拟观测台的进展 ——数据 / 模式组织

空间物理数据与模式联盟(HDMC)

行星科学数据系统 (PDS)空间物理归档检索抽取标准

(SPASE)

空间科学数据组织空间科学模式组织

Page 8: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

空间物理数据与模式联盟 (Heliophysics Data Model Community) 目标:基于 VO 推进数据资源、数值模拟与应用的高度集成− 国家空间科学数据中心 (NSSDC)

数据档案系统− 国家地球物理数据中心 (NGDC)

数据档案系统− 太阳数据分析中心 ( SDAC)

− 空间物理数据设施 ( SPDF)

− 一致模型中心 (CCMC)

− 美国西南研究院 (SwRI)……

HDMCHPDE coordination

VxOs & toolsResident Archives

SPASE

SPDFActive HP inventory (VSPO)Multi-mission, long-term RA

Maintainer of CDFOrbits, Tools

NSSDCLegacy data

WDC registry

SDACVSO management

Solar data archiveLong-term RA

CCMCRuns on demand

Model-data repositoryModeling services

Page 9: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

行星科学数据组织 行星科学数据模型—— PDS ( Planetary Data

System )

Page 10: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

日地空间物理数据组织 日地空间物理学科数据模型—— SPASE ( Space

Physics Archive Search and Extract )

Page 11: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

国际空间科学虚拟观测台的进展 ——科研项目 2001 年, NASA 在“与日同在计划”,

( LWS )日地空间虚拟观测台( Sun-Earth Connections VxOs )概念产生。

国际大地测量学与地球物理学联合会,发展地学空间科学的虚拟观测台成为核心任务。

2004 年 10 月, NASA 以白皮书方式提出“空间与太阳物理虚拟观测台框架”,在此框架下按照“先科学后集成”的机制推动了多个虚拟观测台发展计划。

2007 年, NASA将发展基于虚拟观测的数据应用环境列为其日地空间物理学科长远发展纲要的内容之一。

虚拟磁层观测台

空间科学 VO

虚拟太阳观测台

虚拟磁层观测台

虚拟宇宙线观测台虚拟日地观测台

虚拟空间物理观测台

虚拟辐射带观测台

NASA ”Live With Sun” VxO Project

Page 12: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

国际空间科学虚拟观测台发展现状 —— 科研项目ESA-SpaceGRID

2001 年由欧空局提出 , 目标是建立对地观测、空间物理研究(空间环境仿真、等离子体作用仿真)、日地系统研究和飞行器工程方面的综合性数据应用环境。EGSO (European Grid of Solar Observations)EGSO 是欧盟委员会第五框架计划的主题信息社会技术( IST )试点项目之一,获 NASA 的资金资助;数据范围最初是太阳数据,后扩展到地球物理数据;强调基于目录事件和特性的数据挖掘服务。

Page 13: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

国内空间科学虚拟观测台的提出与发展 中国科学院国家天文台是国内开展虚拟观测研究的先驱,虚拟观测的理念最先应用于郭守敬望远镜 (LAMOST) 项目中,同时主导了“虚拟天文台研讨会”“国际虚拟天文台联盟大会”等学术会议。 “神舟”、“风云”、“嫦娥”、“双星”、“天宫”、“子午”、“萤火”、“夸父”等重大工程,推动空间科学数据的海量增长。 在 e-Science 驱动下,“空间环境基础数据库”、“空间环境数据共享平台”、“空间物理交互数据资源” 、 “中国地球系统科学数据共享网”、 “科学数据库及其应用系统” 、 “子午工程”数据与通信系统等项目为虚拟观测( VO )奠定良好的技术基础。 在信息科学领域,计算机网络技术的发展,推动了 XML 、网格计算、云计算、云存储等新技术的涌现,使得在协同环境下,实现大规模分布式数据的共享、发现和应用成为可能。

Page 14: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

空间科学 VO 的核心问题行星科学和日地空间物理的数据管理模型异构

分布式资源的收割同步和全局发现科学工作流

空间模式等学科应用的无缝集成

空间科学虚拟观测 空间科学元数据互操作数据资源的快速加入和融合

海量空间科学数据协同处理分布式集成与互操作智能化科学应用空间系统可视化虚拟表达

通过体系结构研究去解决技术层面的问题

Page 15: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

我的研究动机对 VO 体系结构设计理论进行抽象、分析和总结

从科学工作流的角度作为切入点,构建 VO 的运行引擎,以解放研究人员对系统加载和运行的关注,使我们只需关注如何设计核心中间件和应用服务

设计和实现核心中间件和学科应用服务,构建分布式的虚拟观测 VO 的系统原型

Page 16: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2 我的硕士工作A. 空间科学 VO 体系结构的设计理论研究B. 空间科学 VO 运行引擎的设计和实现C. 空间科学 VO 系统原型、核心中间件和学科应用服务的设计与实现D. 空间科学 VO 原型系统的科学应用

Page 17: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——动机与研究思路 动机:结合空间科学数据应用研究特点,开展空间科学 VO 体系结构的设计理论探索 研究思路:紧密结合我国空间科学应用研究的特点,详细分析体系结构中的核心问题,提出空间科学 VO 的基本设计原则,面向空间科学数据特点设计空间科学数据管理模型,然后从概念框架、层次结构、交互协议和服务模型四个方面对空间科学

VO 体系结构进行理论总结

Page 18: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——我们的贡献 7个核心问题

行星科学与日地空间物理的数据管理模型异构分布式资源的全局发现数据资源在分布式环境下的收割和同步与空间模式的应用集成面向科学问题的数据发现元数据互操作分布式资源的快速加入和融合

Page 19: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——我们的贡献 5个基本设计原则

数据、计算、应用、功能等一切皆视为服务节点和服务之间是低耦合的资源描述、资源存储和资源访问异地化,以支持

VO对资源的快速准入资源收割和同步是必不可少必须具有统一的数据模型

Page 20: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——我们的贡献 公共数据管理模型

核心描述属性

标准描述属性

物理数据

面向科研应用的扩展属性

行星科学数据系统(PDS)

日地空间物理归档检索和抽取标准

(SPASE)

科学数据文件 辅助数据文件

元数据

来自标准描述属性的关键属性

Page 21: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——我们的贡献 概念框架

接入点

注册器

数据 应用

元数据

存储

服务

Page 22: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——我们的贡献 层次结构

资源注册服务

同步收割服务

资源发现服务

透明访问服务

安全监控服务

数据格式化管道服务

服务层

资源层

物理数据(FI LE)

应用层基于空间天气事件的数据关联发现

用户管理服务

元数据

核心描述属性层(DB)

标准描述属性层(XML)

与空间模式的无缝集成

科学数据阅读和转换

数据访问与存储服务

Page 23: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——我们的贡献 交互协议

同步收割服务资源发现服务 数据格式化管道服务

学科应用服务

资源注册服务

核心描述属性(数据库)

物理数据实体(文件)

核心描述属性(数据库)

核心描述属性(数据库)

标准描述属性(XML)

数据访问与存储服务

服务层

资源层

应用层

① ②

③ ③ ③

Page 24: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.1 空间科学 VO 体系结构的设计理论研究 ——我们的贡献 服务模型

学科应用服务

资源注册与发布服务

资源发现服务

资源存储和访问服务

数据高速传输服务

网格用户管理

同步和收割服务

网格安全和监控服务

冗余与透明切换服务

网格服务面向网格安全性和健壮性

面向组织管理和授权

面向网格资源

面向拓扑结构

面向学科应用

Page 25: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——动机 动机:基于 2.1提出的体系结构设计理论,构建一个框架性的运行引擎,以使得

有了它,我们可以只关注应该设计哪些服务,而不是关注如何载入和运行这些服务。有了它,我们能够灵活地把这些服务组合成任何形式的工作流,无论是简单还是复杂。有了它,我们只需要关注如何使用数据,而不是如何组织数据。有了它,我们可以反复重用之,以完成类似的数据应用环境建设项目。

Page 26: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——研究思路 研究思路:首先分析在传统数据应用环境建设中遇到的问题,基于 Model – View –

Controller (MVC) 的设计模式,提出了运行引擎的改进型设计方案。为实现该运行引擎,我们将其划分成框架、控制、视图和模型四个部分,分别进行设计和实现,最终构成一个符合空间科学数据管理模型的上松下紧的漏斗型软件执行结构,并对其工作流的完备性予以推导和证明。

Page 27: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——设计思路 我们的设计原则: simple is the best. 我们如何看待虚拟观测系统?

信息系统是一个人机交互的过程信息系统 = 科学工作流 + 科学数据科学工作流 =View (人) +Controller (机)信息系统 =View+Controller+Data把虚拟观测系统也是一个信息系统,也可以视为一个人机交互的过程。

Page 28: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——运行引擎的工作流设计思路 结论:每一个的科学工作流,不管是简单还是复杂的,都可以分解为一个或者若干个人机交互过程的组合。 证明:我们认为信息系统的工作流包含了控制( Controller )和视图( View )两种基本元素,和链接( Link )的一种运算。信息系统的工作流则可以定义为 Controller 和 View 在 Link 运算上的闭包:

其中 C 表示控制,即人机交互中的“机”;V 表示视图,即人机交互中的“人”; — > 表示业务链接的前后顺承关系,即系统先执行控制模块,再把状态改变显示到视图; 表示C 、 V 在— > 上的闭包运算。

),,( VCInfoSystem

*{}

Page 29: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——运行引擎的工作流设计思路 那么,人机交互中的 Controller 和 View 之间至少存在 4 中链接可能:

C->VV->CV->VC->C

由此,信息系统可以重新表述为如下方式: ),|||( VVCCCVVCInfoSystem

Page 30: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——运行引擎的工作流设计思路 我们对 InfoSystem 进一步化简和推导,可以发现其除 Controller -> View 之外,他三个链接模式都可以用 Controller -> View 表示:

我们得到一个重要中间结论:在链接 -> 的闭包运算上, C->V 是 V->C,C->C,V->V 的一个最小覆盖

\

)(,},{}{,},{}{,},{}{

212211

212211

212211

何功能表示空模块,不执行任

其中其中其中

CCVCVCVVVVVCVCCCVCVCVCCV

Page 31: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——运行引擎的工作流设计思路 由此, InfoSystem 可以最总化简为

由上面的推导可知,空间科学 VO 的运行引擎只需要保持:先加载 Controller ,再加载 View的方式,并通过这种 Controller->View 的叠加,就足以应付任何一类顺承逻辑的工作流。 缺点:只支持顺承逻辑,不支持循环逻辑和判断逻辑

*},{),( VCVCInfoSystem

Page 32: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——总体设计方案用户请求

(User I nterface)

运行引擎(Runni ng Engi ne Framework)

控制(Control l er)

视图(Vi ew)

模型(Model )

反复迭代构造工作流

数据库(Database)

数据库元操作

数据共享管道

控制实例 视图实例

交互状态变更结果

② ③

⑤ Framework 基于 Protocol 解释用户的请求,按照解释结果载入对应的 Controller 和

View到 Framework ,并顺序运行。 在运行过程中, Controller 和

View通过 Framework提供的Model 引用函数,获得Model的句柄,实现对Model 的各种操作。

最终把更新后的状态通过View返回给用户,实现和用户的交互。

当用户依据更新后的状态发出新请求时, Framework再次重复上述流程。

Page 33: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 —— Model 设计思路 在 Model 内部,我们旨在实现 4 点功能:

为每一个具有不同数据内容和特点的模型,设计合适的操作;实现高层操作的 SQL语法自动翻译,并确保语义的正确性;实现 Model查询返回结果的数据值的类型自动转换;对查询结果进行判断,如果数据量过大,则采用动态从数据库提取方式,这样可以避免内存占用率过高;如果数据量小,则采用内存驻留方式,直到该Model被注销,这样可以提高系统的数据读取速度。

Page 34: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 —— Model 设计思路 在 Model 外部,我们致力于面向应用需求设计不同的虚拟 Model 。每一个Model就好像一个具有各种特色操作的虚拟“仓库”,仓库里存储着许多“商品”。 针对五种常见问题,设计并实现了 5 类不同的

Model :静态单数据集 Model动态单数据集 Model可扩展属性的数据集 Model可扩展观测记录的数据集 Model基于 NoSQL 数据库的面向物理观测记录的文件级Model

Page 35: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.2 空间科学 VO 运行引擎的设计和实现 ——总结 一份运行引擎:使得我们只需要关注学科应用服务和工作流,然后把学科应用服务丢到 Controller 和 View容器,定义好工作流,剩下工作由引擎加载运行。 一个数学证明:把我为什么这么设计,形式化投影到离散数学中,用闭包运算进行证明。 两个选择性优化 : (1) 计算可以放置在 Controller( 服务器 ) ,也可以放置在

View(客户机 ); (2) Model 的数据可以视大小,预加载到内存,或等到用时才动态从数据库抽取。 两类 Model :基于关系型数据库,构建了数据粒度为元数据级的 Model;基于

NoSQL 数据库,构件了数据粒度为观测记录文件级的 Model 在元数据 Model方面,实现了如下工作的透明化:

构件了元数据库 Model SQL语法的自动翻译 数值类型的自动转换 静态单数据集 Model 动态单数据集 Model 可扩展属性的数据集 Model 可扩展观测记录的数据集 Model

开源代码: https://github.com/pipifuyj/phpframework

Page 36: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.3 空间科学 VO 原型与核心中间件的设计与实现 ——动机与工作概述 动机:基于运行引擎,设计和实现一个分布式的包括基于空间事件关联的资源发现、资源收割同步、节点监控、空间模式计算及其可视化等服务的数据应用环境。 我的工作概述:

系统设计——层次划分、主从式拓扑、数据交换协议、用户交互技术路线——编程语言、数据库的选择数据库设计项目进展报告核心中间件实现——资源发现服务、资源收割同步服务、系统集成、部署、测试和联调原型系统代码共享在: https://github.com/pipifuyj/cssdc

Page 37: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

空间科学 VO 系统原型平台拓扑结构——主从式

空间科学VO主节点

中高层大气节点

太阳节点

地磁节点

双星节点

空间中心

国家天文台

海南观测站

地质与地球物理所

中国科大

空间科学 VO由 1个主节点和 4个学科子节点组成。其中,主节点、太阳、地磁和中高层大气节点分别位于空间中心、国家天文台、地质与地球物理所、以及中科大,且都统一部署了资源注册、发现、存储与访问、同步收割、透明访问、用户管理、安全监控和数据格式化管道等服务。双星节点只部署资源存储与访问服务

Page 38: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

数据库逻辑设计

IT属性

数据集物理属性

观测记录文件物理属性 IT属性

科研工作者

资源提供者

审核管理员

发布管理员

角色分配

用户

角色权限

网格节点

空间事件

关联规则

视图映射 资源发布

学科服务

数据Pipeline事件关联

Page 39: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

数据库详细设计

网格节点

节点单位名称

节点IP

数据库类型

数据库用户名

数据库密码

数据库访问端口

用户

用户名 用户密码用户真实姓名 工作单位

电子邮件通讯地址 研究方向

角色权限分配

角色名 操作权限允许操作的数据

用户角色分配

用户名 角色名

传真

观测平台

平台分类

所属组织

卫星型号

卫星名称

观测位置

台站代号

台站名称

经度

海拔高度

纬度

观测设备设备名称

设备别名

质子事件

质子事件开始时间

最大能量值

质子事件结束时间质子事件最大能量时间

学科类别

学科类别名

类别编号

数据集

观测要素

观测区域

数据集名称

数据总量

数据格式

所属单位

审核管理员

审核答复内容

审核结果

审核状态

链接正常文件数

链接坏死文件数

资源提供者

最近申请审核时间

申请审核的性质

申请审核理由

最近审核答复时间

发布管理员

发布状态

发布结果

发布地

观测记录

文件大小

文件名

观测记录文件访问地址

标准描述文件访问地址

开始时间

结束时间

观测记录&质子事件关联

观测记录

质子事件编号

学科应用服务

服务名

服务描述

服务支持哪些数据

服务访问地址服务传参方法服务调用方式

所属数据集

用户日志

用户

对象类型(数据,服务)

时间

动作(检索数据,下载数据,使用服务)

对象编号

数据与事件关联的物理原因

被分配1个或n个角色

角色具有权限

1个数据集包含N个观测记录

被关联到

被关联到

数据集可以被发布到选定的节点

监控用户得到用户日志

物理数据被pipeline到学科服务

用户使用服务被记录

资源提供者 审核管理员 发布管理员

待审核数据集

审核通过数据集

审核失败数据集

待审核数据集

已审核数据集

待发布数据集

已发布数据集

角色分配 角色分配角色分配

科研工作者

角色分配角色分配

用户管理员

用户信息

视图映射

xx事件

xx事件开始时间

xx事件其他属性

xx事件结束时间

观测记录&xx事件关联

观测记录

Xx事件编号

数据与事件关联的物理原因

被关联到

被关联到

访问用户名

访问密码

访问路径

Page 40: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

核心服务设计——常规资源发现服务

子节点:元数据容器

子节点:元数据容器

科研工作者

学科检索逻辑组织

学科检索解析

数据库检索分发

全局元数据容器

子节点:元数据容器

学科数据需求

学科检索的数据库原语表达

学科检索

全局元数据容器连通否

数据库命令

数据库检索执行

数据库检索执行

数据库检索执行

数据库检索执行

检索结果合并器

检索结果分类

连通

不连通检索结果排序

资源发现结果返回

基于关键词的模糊检索

基于属性值的模糊检索

基于目录的精确检索

Page 41: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

核心服务设计——常规资源发现服务

Page 42: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

核心服务设计——基于空间天气事件的资源关联发现节点

学科数据需求

核心描述属性(DB)

节点 核心描述属性(DB)

SQL执行语句

同步收割服务

空间天气事件关联知识库

空间科学公共数据模型

表结构关联性

学科查询构造

数据视图查询构造

库表关联查询构造

学科查询

视图查询

查询构造引擎

API HTTP

查询结果分类

查询结果排序

SQL结果对象

查询结果引擎

HTTP

用户关注数据

API

监督知识库

把空间天气事件在时序区间、观测平台、载荷类型上与数据的关联关系视为知识库,并在其监督下进行数据发现。

Page 43: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

核心服务设计——基于推拉式收割的元数据同步中心节点

子节点

拉模式收割

子节点推模式同步

拉模式收割

推模式同步

要达到虚拟观测的效果,就必须支持自动把新注册的资源信息实时同步到其它节点,使得每一个节点都能发现全局的数据资源。当前,关系数据库的实时同步技术,是一个业界尚未完全攻克的难点。这使得我们尝试绕开底层技术,从业务流的角度解决实时同步问题。利用 VO 的资源注册、审核、发布的业务流,资源在某一子节点进行注册的同时,也把元数据写入中心节点;当中心节点完成审核进行资源发布时,再把全局元数据推送到每一个子节点的注册器上。

Page 44: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

核心服务设计——节点监控服务

Page 45: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——基于空间事件关联的数据发现服务 面向科学问题的数据发现

空间天气事件(日冕物质抛射、质子事件等)与卫星载荷数据的因果时序关联,可以分为 3 类:①先兆特征型;②伴随发生型;③后续效应型。把空间天气事件与观测数据在时序区间、观测平台、载荷类型上的关联关系视为知识库,基于知识库进行数据发现

CME事件关联库

空间科学事件

空间科学数据质子事件关联库

重大磁暴事件关联库

Page 46: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——基于空间事件关联的数据发现服务

Page 47: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——空间模式计算及其可视化 模式名称:美国海军实验室 NRLMSISE-00 Model 2001

支持 O2/N2/He/Ar/Neutral Temperature/Exospheric Temperature 的全球分布计算 通过色表映射实现基于 Google Eearth 的可视化以揭示不同大气成分的全球密度分布规律

模式名称: IGRF 地磁模型 通过等高线表现地磁分布

参数输入

计算任务提交

调度运算

计算模块

API HTTP

Googl e Earth成像

计算结果着色和渲染

计算结果坐标转化

可视化模块

API HTTP

Page 48: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——空间模式计算及其可视化

Page 49: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——科学数据在线转换和阅读服务 在线转换服务目前主要提供:

CDF-netCDF 、 FITS-CDF 、 netCDF-CDF 、 HDF4-CDF四种数据格式转换服务 支持对科学数据文件的本地或跨节点远程的转换, 与虚拟观测台中的数据发现服务链接起来,实现从数据发现到数据转换的自动传输和管道。

在线阅读服务: 实现 CDF文件阅读的在线化 科研人员可以通过该服务直接在浏览器中阅读 CDF 数据内容,而不需要安装单机版软件。 与数据发现服务链接起来,用户找到合适的数据后,点击阅读,即可阅读数据内容

Page 50: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——科学数据在线转换和阅读服务

Page 51: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务—— NASA SPASE元数据标签在线解释服务 空间物理档案搜索和抽取( SPASE )标准,是美国宇航局提出的面向日地物理学的元数据标准。 SPASE 的提出主要有 4个目的:

①基于公用元数据语言( XML ),实现空间科学数据环境的数据检索和抽取的加速;②定义和维护空间太阳物理学的元数据标准,以支持空间和太阳物理数据互操作;③使用 SPASE元数据标准为卫星观测数据创建标准数据描述;④为数据工程师和物理研究者提供SPASE元数据标准的辅助工具。

SPASE元数据标签解释服务,通过读取卫星数据的元数据标签文件( XML ),按照SPASE 标准,对XML 内容遍历,在遍历过程中同时进行语法检查和语义解释,最终把卫星数据的描述信息用一个通俗易懂的方式展示给科研工作者,以方便科研人员读懂卫星数据的来源、仪器、设备等相关信息。

Page 52: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务—— NASA SPASE元数据标签在线解释服务

Page 53: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——科学数据常规可视化服务 空间科学 VO 向科研用户提供基于 IDL 、 Matlab 等工具的常规二维科学数据在线可视化 主要分为两类:

①对物理载荷探测数据的可视化,表现形式为在时间轴上延伸的散点图、柱状图、折线图等②对天文台望远镜拍摄数据的可视化,主要为太阳跟踪拍摄 fits数据

科研用户对检索结果中的数据点击 View 、 Plot 等功能后,系统自动调用后台程序,把图片数据加载到前台,并允许用户连续播放。

Page 54: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

2.4 空间科学 VO 的学科应用服务——科学数据常规可视化服务

Page 55: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

3. 总结 理论研究

分析了体系结构设计中的核心问题,提出了空间科学 VO 的基本设计原则和空间科学数据管理模型,然后从概念框架、层次结构、交互协议和服务模型四个方面对空间科学 VO 体系结构进行研究 运行引擎(代码已开源)

设计并实现了一个运行引擎 用离散数学证明其工作流的完备性

系统设计与实现 系统设计,数据库设计,技术路线,项目进展汇报,系统集成、部署、测试、联调,与网络中心合作

核心中间件开发(代码已开源)门户服务、资源注册服务、资源发现服务、资源存储与访问服务、资源收割同步服务、学科应用服务

学科应用服务开发(代码已开源) 、基于空间事件关联的数据发现、科学数据在线可视化、科学数据在线阅读和多格式转换、 SPASE 标签语义解释、空间科学模式计算及其基于

Google Earth三维可视化

Page 56: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

论文发表期刊论文: [1] 傅衍杰,邹自明,佟继周,“空间科学虚拟观测台体系结构研

究”,天文研究与技术, 2011 ,第3期(已接收 , 待发表) [2] 佟继周,邹自明,傅衍杰,郑程,空间科学 e-Science 应用—空

间科学虚拟观测台( VSSO ),科研信息化技术与应用, 2011 年第2卷 第1期: 61-68

会议论文: [3] 傅衍杰,邹自明,佟继周,高文健,面向自主网格的空间科学

虚拟观测台体系结构研究,第十届科学数据库与信息技术会议论文, 2010 : 185-194

Page 57: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

值得继续前行的方向本文仅对工作流的讨论仅局限在控制、视图和顺承逻辑下的闭包运算里进行证明和实现

卫星数据预处理中,不全是顺承逻辑,我们可以把工作流设计拓展到顺承逻辑、循环逻辑、 判断逻辑下进行讨论本文的分布式资源同步是延迟性的,局限在各节点数据模型以及数据库结构一致的情况下的

我们可以尝试讨论在异构数据管理模型下,或者数据库不一致下的分布式资源同步本文所涉及的模式计算及其可视化虽在 Google Earth 3D 技术上实现,尚未实现 3D 可视化和物理概念的紧密结合

我们可以尝试在更先进的科学可视化基础库上,在深刻理解IGRF 、 AE8 、 AP8 等模型的基础上,做出更能反映物理本质的可视化成果

Page 58: 空间科学虚拟观测台 ( Virtual Observatory ) 体系结构研究与原型实现

谢谢大家! 我要深深感谢今天的评审专家,感谢你们在百忙中参加我的研究生毕业答辩。 在人生最重要的时刻,有你们在我身边,这是我的幸福和荣幸。