GBase 8a MPP Cluster技术白皮书€¦ · 结构化查询语言符合SQL 92标准，支持CREATE、ALTER、DROP等DDL ... over()、rank() over()、row_number() ... ETL工具：Datastage、Kettle、Informatica；

GBase 8a MPP Cluster (集群)

技术白皮书 V8.5.1.2

GBase 8a MPP Cluster 技术白皮书，南大通用数据技术股份有限公司

GBase 版权所有©2004-2016，保留所有权利。

版权声明

本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记，由南大通用数

据技术股份有限公司合法拥有，受《中华人民共和国著作权法》、《计算机软件保护条例》、

《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保

护。未经授权许可，不得非法使用。

免责声明

本文档包含的南大通用公司的版权信息由南大通用公司合法拥有，受法律的保护，南大通用

公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允许的范围内，

您可以查阅，并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。

任何单位和个人未经南大通用公司书面授权许可，不得使用、修改、再发布本文档的任何部

分和内容，否则将视为侵权，南大通用公司具有依法追究其责任的权利。

本文档中包含的信息如有更新，恕不另行通知。您对本文档的任何问题，可直接向南大通用

数据技术股份有限公司告知或查询。

未经本公司明确授予的任何权利均予保留。

通讯方式

南大通用数据技术股份有限公司

天津华苑产业区海泰发展六道 6 号海泰绿色产业基地 J 座(300384)

电话：400-013-9696 邮箱：[email protected]

商标声明

是南大通用数据技术股份有限公司向中华人民共和国国家商标局申请注册的注

册商标，注册商标专用权由南大通用公司合法拥有，受法律保护。未经南大通用公司书面许

可，任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传

播、抄录或与其它产品捆绑使用销售。凡侵犯南大通用公司商标权的，南大通用公司将依法

追究其法律责任。

GBase 8a MPP Cluster 技术白皮书

南大通用数据技术股份有限公司 I

目录

1 GBase 8a MPP Cluster产品简介 ................................. 1

产品简介 ............................................. 1 1.1

产品技术特点 ......................................... 1 1.2

产品功能简介 ......................................... 2 1.3

2 GBase 8a MPP Cluster产品架构 ................................. 4

3 GBase 8a MPP Cluster产品平台和指标 ........................... 5

支持的操作系统和平台 .................................. 5 3.1

第三方软件兼容性 ...................................... 5 3.2

硬件环境 ............................................. 5 3.3

技术指标 ............................................. 6 3.4

4 GBase 8a MPP Cluster核心技术 ................................. 7

MPP + Shared Nothing架构 ............................. 7 4.1

核心组件 ............................................. 7 4.2

高可用 ............................................... 8 4.3

高性能扩展能力........................................ 9 4.4

高性能数据加载....................................... 11 4.5

OLAP函数 ............................................ 11 4.6

行列混合存储 ........................................ 12 4.7

5 GBase 8a MPP Cluster工具 .................................... 13

图形化工具 .......................................... 13 5.1

5.1.1 企业管理工具 ..................................... 13

5.1.2 监控系统工具 ..................................... 13

备份/恢复工具 ....................................... 14 5.2

gcadmin 工具 ......................................... 14 5.3

数据重分布工具....................................... 14 5.4

数据抽取及加载工具 ................................... 15 5.5

GCMonit 监控工具 ..................................... 15 5.6

DB-Link 与透明网关 ................................... 16 5.7

Hadoop 导入导出工具 .................................. 16 5.8

6 GBase 8a MPP Cluster开发接口 ................................ 17

GBase 8a MPP Cluster ODBC ............................ 17 6.1

GBase 8a MPP Cluster JDBC ............................ 17 6.2

GBase 8a MPP Cluster ADO.NET ......................... 18 6.3

GBase 8a MPP Cluster C API ........................... 18 6.4


南大通用数据技术股份有限公司 - 1 -

1 GBase 8a MPP Cluster 产品简介

产品简介 1.1

南大通用大规模分布式并行数据库集群系统，简称：GBase 8a MPP Cluster，

它是在 GBase 8a列存储数据库基础上开发的一款 Shared Nothing架构的分布

式并行数据库集群，具备高性能、高可用、高扩展特性，可以为超大规模数据

管理提供高性价比的通用计算平台，并广泛地用于支撑各类数据仓库系统、BI

系统和决策支持系统。

产品技术特点 1.2

GBase 8a MPP Cluster具备以下技术特征：

1) 低硬件成本：完全兼容支持 x86 架构的 PC Server，不需要昂贵的 Unix

服务器和磁盘阵列；

2) 集群架构与部署：完全并行的 MPP + Shared Nothing 的分布式架构，

采用 Non-Master部署，不存在单点性能瓶颈和单点故障问题，节点对

等的扁平结构，所有节点无共享，具有对等计算能力；

3) 海量数据分布压缩存储、查询：支持海量数据存储、查询，可处理 PB

级别以上的结构化数据，采用 hash 分布、random 存储策略进行数据

存储；同时采用先进的压缩算法，减少存储数据所需的空间，可以将

所用空间减少 1~20倍，并相应地提高 I/O性能；支持实例级、库级、

表级三级压缩选项，且基于数据结构相同的列存储技术的数据编码及

高效压缩技术，压缩比可达 1:20；支持数据压缩态下的 DML操作；

4) 粗粒度智能索引：索引膨胀率不超过百分之一，数据入库时索引自动

建立，无须人工维护，数据库具备自动优化的能力；索引包含基于列

的最大值、最小值、和值等统计信息，在数据检索定位时可被直接使


- 2 - 南大通用数据技术股份有限公司

用，并能有效过滤数据，降低数据库磁盘 IO。

5) 数据加载高效性：基于策略的数据加载模式，集群整体加载速度可达

2TB/h；

6) 高性能：数据的更新、删除操作速度大于 10000行/秒；千亿行级别的

数据表间做关联（关联结果集千万以内），响应时间小于 1分钟；

7) 高扩展：支持集群节点的扩容和缩容，能够通过增加服务器节点对系

统的计算和存储能力进行扩容，且支持在线扩展，扩展过程中无需中

断当前系统的运行，性能线性提升，扩展能力可达百个节点以上；

8) 高可用：通过冗余机制来保证集群的高可用特性，数据通过副本提供

冗余保护，自动故障探测和管理，自动同步元数据和业务数据；具有

数据备份恢复能力，支持全量、增量的备份/恢复；

9) 易维护：提供图形化工具，以简化管理员对数据库的管理工作；

10) 安全性：提供完善用户账号控制和权限管理策略，数据库系统的安全

性；同时提供详尽的审计日志输出功能，记录数据库中与数据库操作

相关的所有日志；此外还可以通过图形化的监视工具实现审计管理。

11) 高并发：读写不互斥，支持数据的边加载边查询，单个节点支持并发

能力大于 300，且并发能力能够随集群规模线性提升；

12) 行列混合存储：提供行列混合存储方案，从而提高了列存数据库特殊

查询场景的查询响应耗时；

13) 标准化：支持 ANSI/ISO SQL 92标准，支持 C API、ODBC、JDBC、ADO.NET

等接口规范。

产品功能简介 1.3

功能描述

结构化查询语言符合 SQL 92 标准，支持 CREATE、ALTER、DROP等 DDL语法，

支持 SELECT、INSERT、UPDATE、DELETE、MERGE 等 DML语法，

支持单表，多表联合查询



功能描述

数据类型 INTEGER、TINYINT、SMALLINT、MEDIUMINT 、BIGINT、DECIMAL、

FLOAT、DOUBLE数值数据类型

CHAR、VARCHAR字符数据类型

YEAR、DATE、TIME、DATETIME、TIMESTAMP日期类型

TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB、TINYTEXT、TEXT、

MEDIUMTEXT、LONGTEXT大对象数据类型等

函数支持多种标准函数，包括控制流函数、字符串函数、数值函

数、日期和时间函数、转换函数、位函数、加密函数、信息

函数、辅助函数、聚集函数、 OLAP 函数（包括 avg()

over()sum() over()、rank() over()、row_number() over()

等）、正则表达式函数等。

数据库对象提供了数据库，表，索引，视图，存储过程，自定义函数等

常用数据库对象的创建，修改和删除操作，支持数据库用户

的创建，删除操作，以及用户权限的分配与回收

行列混合存储基于创建的物理表，可以实现行存列的创建，修改和删除

图形化工具提供了企业管理工具和集群监控工具。

接口符合并支持 C API、ODBC、JDBC、ADO.NET 等接口规范

外围工具提供数据加载、集群备份/恢复、数据重分布等外围工具



2 GBase 8a MPP Cluster 产品架构

图 2-1 GBase 8a MPP Cluster系统架构图



3 GBase 8a MPP Cluster产品平台和指

标

支持的操作系统和平台 3.1

支持如下的操作系统和平台：

64 位 Linux 系列 (CentOS、Red Hat 、SUSE、中标麒麟）；PowerLinux等。

第三方软件兼容性 3.2

兼容主流应用软件，包括

BI 工具：Business Objects、BI＠Report、MSTR、Cognos、R3 Query、

GBase BI；

ETL工具：Datastage、Kettle、Informatica；

中间件：SAS、WebSphere、Tuexdo、Hibernate。

硬件环境 3.3

1) 支持基于 x86_64的标准 PC服务器；

2) 支持本地存储（SATA、SAS、SSD etc）；

3) 支持阵列部署（SAN、NAS）；

4) 支持 SSD、Flash存储介质作为二级 I/O缓存；

5) 支持千兆、万兆 Ethernet网络；

6) 支持 InfiniBand网络。



技术指标 3.4

技术指标描述

集群节点的数据库实例的大小 10TB

数字精度 65

表的个数每个数据库 65536

每个表中列的个数 2000

每个表中行的个数 247

表中一行的内部长度 300000字节

一个 INTEGER类型列的长度 8 字节

日期类型列中表示年的位数 4 位

用户名包含字符的个数 16 字符

CHAR类型列的长度 255字符

BLOB列的长度 32K字节

VARCHAR 类型列长度 32K字节

行存列的长度 32KB

数据库名长度 64 字符

表名长度 56 字符

列名长度 64 字符

索引名长度 64 字符

别名长度 255字符

编码格式支持支持 UTF-8、GBK编码格式。



4 GBase 8a MPP Cluster 核心技术

MPP + Shared Nothing 架构 4.1

GBase 8a MPP Cluster采用完全并行的 MPP + Shared Nothing 的分布式

扁平架构，这种架构中的每一个节点（node）都是独立的、自给的、节点之间

对等，而且整个系统中不存在单点瓶颈，具有非常强的扩展性。

图 4-1 Shared Nothing + MPP 架构示意图

核心组件 4.2

GBase 8a MPP Cluster 产品总共包含三大核心组件，即 GCluster、GCware

和 GNode。GCWare 用于各节点 GCluster 实例间共享信息，GCluster 负责集群

调度，每个 GNode就是最基本的存储和计算单元。



GCluster：

GCluster负责 SQL的解析、SQL优化、分布式执行计划生成、执行调度。

GCWare：

GCWare 用于各节点 GCluster 实例间共享信息(包括集群结构，节点状态，

节点资源状态等信息)，以及控制多副本数据操作时，提供可操作节点，并在多

副本操作中，控制各节点数据一致性状态。GCWare对于集群的管理工作是以节

点为基本单位的。

GNode：

GNode 是 GCluster中最基本的存储和计算单元。GNode 是由 GCWare管理的

一个 8a 实例，每个 GCluster 节点上有一个 GNode 实例运行。GNode 负责集群

数据在节点上的实际存储，并从 GCluster接收和执行经分解的 SQL 执行计划，

执行结果返回给 GCluster。数据加载时，GNode 直接从集群加载服务接收数据，

写入本地存储空间。

GCMonit：

GCMonit 用于定期监测 GBase 8a MPP Cluster 服务程序的运行状态, 一旦

发现某个服务程序的进程状态发生变化，就会根据配置文件中的内容来执行相

应的命令。GCMonit 进程监控程序为集群中的每个组件提供各自的启停脚本，

提供的总脚本可以一次性启停所有模块的服务。

高可用 4.3

GBase 8a MPP Cluster通过 SafeGroup组内冗余机制来保证集群的高可用

特性：

1) 每个 SafeGroup可提供 1个或 2个副本数据冗余;

2) SafeGroup 内数据副本自动同步;

3) 复制引擎自动管理数据同步。



图 4-2 SafeGroup高可用性管理示意图

高性能扩展能力 4.4

GBase 8a MPP Cluster具备高性能扩展能力：

1) 通过 SafeGroup 动态扩展集群节点；

2) 每个节点可以处理 10TB有效数据，同时提供计算和存储能力；

3) GCware 负责新节点的数据同步。



图 4-3 GBase 8a MPP Cluster扩展技术示意图

因为 GBase 8a MPP Cluster采用高性能单节点的 MPP扁平架构，因此进行

集群扩展时，可以保证平滑扩展和性能的线性增长特性。

图 4-4 GBase 8a MPP Cluster高性能高扩展示意图



高性能数据加载 4.5

数据加载功能作为 GBase 8a MPP Cluster的一部分而存在，目的是将用户

从其他数据源得到的原始数据文件，按照某种加载规则分发至集群节点，集群

各节点接收数据入库保存到本地磁盘。

集群加载采用 C/S 架构，包括数据分发服务器和数据分发客户端两个应用

程序。数据分发服务器接收到客户端的数据加载请求后，服务器端负责原始数

据文件切分和数据文件的下发；各节点调用本地的集群加载服务接收数据入库

并保存到本地磁盘。

图 4-5数据加载示意图

OLAP 函数 4.6

GBase 8a MPP Cluster 提供 OLAP函数，用于支持复杂的分析操作，侧重

于对决策人员和高层管理人员的决策支持。可根据分析人员的要求，快速灵活

地进行大数据量的复杂查询处理，以便他们准确掌握企业的经营状况，了解被

服务对象的需求，制定正确的方案。



行列混合存储 4.7

GBase 8a MPP Cluster采用的行列混合存储的存储结构，改善了当需要物

化的列数较多，查询命中的数据记录又非常离散时，会频繁访问 I/O的状况，

大大缩短了查询耗时，从而提高了查询效率。

GBase 8a MPP Cluster提供的行列混合存储技术，它通过创建行存列的机

制，减少 I/O访问的次数，从而有效地提高 I/O 性能。



5 GBase 8a MPP Cluster 工具

图形化工具 5.1

为用户提供配套的企业管理工具和集群监控系统工具，可以对数据库的各

项功能进行集中式统一管理，同时对系统运行状态、资源占用、任务执行情况

进行监控和自动调优。

5.1.1 企业管理工具

图形化的查询和管理工具，提供用于访问、控制和管理 GCluster集群环境。

使用 GBase 8a MPP Cluster企业管理器可以完成如下工作：

1) 查看管理集群、集群服务器；

2) 查看管理数据库、表、索引；

3) 查看所有连接到当前集群环境中的用户；

4) 在 SQL 编辑器中创建和执行 SQL 语句；

5) 其它管理，例如创建和执行存储过程、自定义函数等。

5.1.2 监控系统工具

GBase 8a Cluset提供了图形化的监控系统工具，该工具提供以下功能：

1) 实时的集群监控信息；

2) 及时的报警功能；

3) 直观的趋势展示；

4) 可靠的数据分布视图；

5) 详尽的审计日志功能；



备份/恢复工具 5.2

通过集群的 gcrcman 的命令行工具，可以实现集群的备份/恢复功能，支持

全量/增量备份和恢复：

1) 查看备份记录；

2) 备份、恢复；

3) 删除数据备份；

4) 清除无效备份；

gcadmin 工具 5.3

对于数据库集群用户，尤其是系统管理员来说，实时查询、调整集群以及

各节点工作状态，尤为重要。GBase 8a MPP Cluster为管理员提供了命令行工

具 gcadmin。该工具能实现 SafeGroup 的增加、移除，切换集群模式，查看集

群状态等管理功能。

数据重分布工具 5.4

数据库集群，通过扩展集群的 SafeGroup 来增加存储容量和提升查询性能。

扩展集群 SafeGroup后，需要将原集群 SafeGroup中的数据，根据数据分布策

略重新分布。因此 GBase 8a MPP Cluster提供了一个数据重分布的管理工具，

用来进行集群增加节点后的数据重分布的操作，使得数据能够按照重分布策略

分布到各节点上。

数据重分布的过程是在线进行的，也就是说无需停止 GBase 8a MPP Cluster

的服务即可实现，数据重分布可以与查询操作并发。



数据抽取及加载工具 5.5

db2to8a/orato8a 工具是南大通用数据技术股份有限公司提供的,可以从

db2/oracle 数据库系统中抽取数据的工具，使用它可以从 db2/oracle 系统中

抽取出用户所需要的数据，并以文件的形式保存下来，该文件可以作为其它数

据库（包括 GBase 8a数据库系统）的数据源文件。

数据分发服务程序是集群为用户加载数据提供的一个工具，此工具由数据

分发服务端程序(dispserver)和数据分发客户端程序(dispcli)两个可执行文

件组成，实现将数据源文件（从 oracle 系统或 db2 系统获取的文件）加载到

GBase 数据库系统的功能。数据分发服务程序的工具包是以 tar.bz2 的压缩形

式提供给用户的。

GCMonit 监控工具 5.6

Monit是开源工具，在某些 unix 或 linux系统中运行会存在一定程度的兼

容性问题（suse系统中会出现不能监控进程的问题）；另外，被监控进程还需

要提供相应的 pid文件给 Monit；它本身也不支持高可用运行模式。因此我们

依照 GBase 8a的自身需求和 Monit工具的基本功能，开发 GBase 8a GCMonit

来满足多 unix（或 linux）系统的运行需求。

GCMonit 功能如下：

实时监控 Gbase 8a集群服务程序（目前主要包括 gbased，gclusterd，

gcrecover，gcmetarecover 和 gc_sync_server）的运行状况，一旦发现某个服

务程序的进程状态发生变化，就会根据配置文件中的内容来执行相应的命令脚

本。

提供用户指定的配置文件，可配置内容包括：需要监控的服务程序名称，

服务进程状态变化时所要执行的方法，检测服务程序的时间间隔，日志文件路

径和名称等。

记录日志信息。



实现 GBase8a GCMonit的高可用性

具体请参见《GBase 8a MPP Cluster GCmonit与集群启停工具使用手册》。

DB-Link 与透明网关 5.7

DB-Link：GBase 8a 集群内部提供的远程数据库链接功能，通过与透明网

关服务的协同工作，实现透明访问异地集群中的数据库的数据表或者远程数据

库的数据表。

透明网关服务：一个独立运行的进程，负责连接 GBase 8a 集群之外的其

他数据库（通过标准 JDBC 接口，也可以支持 GBase 8a 集群间的远程访问），

并完成数据抽取的工作。

通过 DB-Link 功能，客户可以实现：

1） GBase 8a 集群的应用程序可以访问一个外部数据源，外部数据

库是 GBase 8a集群。可以查询外部数据源的数据，也可以将外

部数据源的数据与本地集群中的数据进行关联运算。

2）远端数据库是 GBase8a集群，并且网络通信没有限制的情况下，

可以对这种场景进行定向优化，以提升性能。

3）不支持异构数据源

Hadoop 导入导出工具 5.8

通过 GBase 8a MPP Cluster Hadoop 导入导出工具，客户可以实现：

1) 将 8a集群数据导出到指定的 hadoop目录上，支持全量和多表导出；

2) 从指定的 hadoop 目录（8a导出成功的目录）导入数据，支持全量和

单表导入；



注：集群数据：包括数据库的用户、权限、存储过程、函数、库、表结构、

表数据等

具体请参见《GBase 8a MPP Cluster Hadoop导入、导出手册》。

6 GBase 8a MPP Cluster 开发接口

GBase 8a MPP Cluster ODBC 6.1

GBase 8a MPP Cluster ODBC 是 GBase 8a MPP Cluster 的 ODBC驱动程序，

它提供了访问 GBase 8a MPP Cluster的所有 ODBC功能。GBase 8a MPP Cluster

ODBC 支持 ODBC 3.5X 一级规范（全部 API + 2 级特性）。用户可以通过 ODBC

数据源管理器调用 GBase 8a MPP Cluster ODBC驱动访问 GBase 8a MPP Cluster

数据库或者直接调用 GBase 8a MPP Cluster ODBC 驱动访问 GBase 8a MPP

Cluster ，另外通过可视化编程工具如 C++ Builder、 Visual Studio 等也可

以利用 GBase 8a MPP Cluster ODBC 访问。GBase 8a MPP Cluster ODBC支持

所有 GBase 8a MPP Cluster 支持的 Windows、Linux 、AIX平台。

GBase 8a MPP Cluster JDBC 6.2

GBase 8a MPP Cluster JDBC 是一种兼容 JDBC 规范 3.0、4.0 （类型 4）

的驱动，这意味着它是符合 JDBC 3.0、4.0版本规范的一种纯 Java程序，并能

使用 GBase协议直接和 GBase服务器通信。

GBase 8a MPP Cluster JDBC为使用 JAVA程序语言的客户端应用提供访问

GBase 8a MPP Cluster接口。

1) GBase 8a MPP Cluster JDBC 支持 JDBC规范 3.0、4.0版本；

2) GBase 8a MPP Cluster JDBC 使用 GBase 协议直接和 GBase 8a MPP

Cluster 服务器通信；



3) GBase 8a MPP Cluster JDBC 在 Sun’s JDBC 实验平台上通过率达到

95%。

GBase 8a MPP Cluster ADO.NET 6.3

GBase 8a MPP Cluster ADO.NET 是一款提供.NET 应用程序与 GBase 数据

库之间方便、高效、安全交互的接口程序，使用 100%纯 C#编写，并继承了

Microsoft ADO.NET 类。开发人员可以使用任何一种.NET开发语言（C#、VB.NET、

F#）通过 GBase 8a MPP Cluster ADO.NET 操作 GBase数据库。

GBase 8a MPP Cluster ADO.NET支持以下全部特性：

1) 支持集群高可用功能、负载均衡功能；

2) 支持 GBase 数据库全部特性，如：存储过程、视图等；

3) 支持协议压缩，允许对客户端和服务器之间交互的数据流进行压缩；

4) 支持 Windows平台下的 TCP/IP套接字连接；

5) 支持 Linux平台下的 TCP/IP套接字或 Linux套接字连接；

6) 无需安装 GBase 数据库的客户端，可通过 GBase 8a MPP Cluster

ADO.NET 类库实现完整的管理功能。

GBase 8a MPP Cluster C API 6.4

GBase 8a MPP Cluster C API 是 GBase 8a MPP Cluster 数据库提供的 C

语言访问库。应用可以通过调用 GBase CAPI访问 GBase 8a MPP Cluster数据

库。GBase CAPI 提供了如下功能：

1) 创建和断开客户端与服务器的连接；

2) 直接执行 SQL语句；

3) 通过预处理模式操作数据库；

4) 获取执行 SQL的结果集；



5) 获取错误信息。

Documents

GBase 8a MPP Cluster技术白皮书€¦ · 结构化查询语言 符合SQL 92标准，支持CREATE、ALTER、DROP等DDL ... over()、rank() over()、row_number() ... ETL工具：Datastage、Kettle、Informatica；

GBase 8a MPP Cluster技术白皮书€¦ · 结构化查询语言符合SQL 92标准，支持CREATE、ALTER、DROP等DDL ... over()、rank() over()、row_number() ... ETL工具：Datastage、Kettle、Informatica；