Upload
holli
View
109
Download
5
Embed Size (px)
DESCRIPTION
China-VO 的发展. 赵永恒 2003 年 8 月. China-VO. 为中国天文学家提供使用国际数据的先进平台和门户 从国际上获取数据和相关技术 将我们的数据提供给天文学界 未来: LAMOST 、 SST 、 FAST 目前: BATC 、太阳磁场、 216… 过去:天文底片(?) 培养新一代面向“虚拟天文台”的科技队伍 公众教育. 海量数据存储与管理技术. Linux + IDE 硬盘 + 软 RAID 技术 2001 年: 550GB 服务器 ADS 镜像站点 2002 年: 4.5TB 数据服务器 建立了 1TB 多波段巡天数据库 - PowerPoint PPT Presentation
Citation preview
China-VOChina-VO 的发展的发展
赵永恒赵永恒20032003 年年 88 月月
China-VO
为中国天文学家提供使用国际数据的先进平台和门户
从国际上获取数据和相关技术
将我们的数据提供给天文学界•未来: LAMOST 、 SST 、 FAST•目前: BATC 、太阳磁场、 216…•过去:天文底片(?)
培养新一代面向“虚拟天文台”的科技队伍
公众教育
海量数据存储与管理技术海量数据存储与管理技术
Linux + IDE 硬盘 + 软 RAID 技术2001年: 550GB 服务器
• ADS 镜像站点2002年: 4.5TB 数据服务器
• 建立了 1TB 多波段巡天数据库 ( WDC for Astronomy )
高性能计算技术高性能计算技术
COMA 机群: Linux + MPICH• 65 个处理器、 32.8GB 内存、 2.56TB IDE 硬盘• 峰值性能为 950 亿次 / 秒• 浮点运算的 Linpack 性能为 57.8Gflops• 在国内超级计算机 Top50 中(包括商用机器)排名
第 22 。
已开展的工作包括:• 宇宙大尺度结构及星系形成的数值模拟研究• 高阶 CDM+ 流体动力学模拟程序的并行化研究
China-VOChina-VO 的原型的原型• 巡天数据的在线服务• 本地查询和交叉证认 • 定义天文对象和方法
– 基于 OGSA/Globus• 与 Web Service 兼容: UDDI, WSDL, SOAP.
– 每个数据库都是一个 Grid Service
• 基于 Grid Service 的交叉证认• 与望远镜实时数据的互联• 可视化工具
Grid ServiceGrid Service 流程流程
UserApplication
NVSS
Storage Service Provider
DatabaseFactory
miningFactory
CommunityRegistry
DatabaseService
2MASS
DatabaseService
.
.
.
Compute Service Provider...
Database
Miner1
2
3
4
4
5
6
7
Publish Visit(jdbc)
体系结构体系结构
服务层(数据、存储、计算)服务层(数据、存储、计算)• 已解决
√ 数据服务:数据的封装√ Data VOTable
• 未解决元数据服务: DNS-like? UCD多表联合查询:存储空间服务: File, MyVO计算服务:网络中心 ?
传输层 (传输层 ( OGSAOGSA ))• 已解决
√ Stream 方式
• 未解决File 方式: GridFTP? URL?
应用层应用层• 已解决
√ 表 => 图
• 未解决可视化工具:各种各样(基于科学)基本工具:交叉证认工具:数据挖掘工具:
资源注册与发现资源注册与发现• 未解决
数据:存储:计算:工具:
一般范例一般范例• Cone Search
– 多表查询– 可视化
• 银河系化学演化– 多表查询– 计算程序(工具)– 可视化
• 科研范例?• 科学教育
LAMOSTLAMOST 的范例的范例• 多波段天体物理(输入星表)
• 多表联合查询 <= (工作星表)• 交叉证认• 多参数空间的分类 => (输入星表 III )
– QSO, AGN, CV, XRB, …
• 可视化• 光谱数据服务(输出)
• 获取光谱( 2dF, SDSS, … ) => (光谱自动分析)
• 与自动分析系统的接口?• 光谱参数?
LAMOST & China-VOLAMOST & China-VO
ImagePrecessing
LAMOSTInput Catalogue
ScientificResearch
China-VOIVO
Working Catalogues
SpectrumAnalysis
Three Layer GRID AbstractionThree Layer GRID Abstraction
Information Grid
Knowledge Grid
Computation/Data GridDat
a to
Kno
wle
dge
Con
trol
Automation
E-Science本体论 ontology
不断扩展不断扩展
NAOC
YNAO
PKU
…
Internet
CNGrid
SSC SCCAS
CNIC
THU…
IVO
NVO
…AstroGrid
AVO
China-VO
USTC
接入方式接入方式• OGSA接入
• 远程程序调用
• 使用门户
VO VO 对对 GridGrid 的功能需求的功能需求
• 基本的服务激活机制• 服务状态表达与监控• 服务间元数据传递• 机器可识别的服务描述• 统一的数据访问接口• 文件传输能力• 数据库格式动态转换能力
• 数据缓存• 服务注册和发现机制• 元数据互操作能力( Ontolog
y ) /语义网• 数据、资源的访问控制,用
户授权与认证• 工作流支持• 动态的服务上下线管理
特有的技术问题特有的技术问题
• 资源发现和注册 VO Registry
• 天文数据查询 VO Query Language
(VOQL)
• VO 数据格式 VOTable / XML
• 天文数据集的元数据 UCD / VO Ontology
• 天文数据处理与分析服务 VO Services
China-VOChina-VO 的信息技术的信息技术• 基础技术
• 海量数据的存储与管理技术• 高性能计算技术
• 信息标准化• 数据格式( XML ): VOTable 、 AML等• 接口与协议: SOAP 、 Web Service等
• 网格技术• OGSA/Globus等
• 应用技术• 数据自动分析技术• 新型统计分析技术• 数据挖掘与知识发现技术• 可视化技术
几个原则几个原则• 遵循 IVOA 的标准
–要参与进去,要有声音• 紧跟 OGSA 的发展
–需要追踪和了解• freeware 软件 + 廉价的硬件
– 天文学:“穷人的科学”–集群方式
• “ 在战争中学习战争”
Call to ActionCall to Action
• If you do data visualization: we need you(and we know it).
• If you do databases:here is some data you can practice on.
• If you do distributed systems:here is a federation you can practice on.
• If you do data mininghere are datasets to test your algorithms.
• If you do astronomy educational outreachhere is a tool for you.
• The astronomers are very good, and very smart, and a pleasure to work with, and the questions are cosmic, so …
谢谢!谢谢!
http://www.china-vo.org/