Embed Size (px)
DESCRIPTION
Sybase在2008年大中华区用户大会上正式发布”Sybase列式数据库机“(Sybase Analytic Appliance)
Citation preview
市场机会 :
实施 :
数据仓库机市场机会到 2012 将达到 $12 亿 (IDC) 30% 的中型及 25% 企业级用户有意在一年之内购买数据仓库机
(IDC) 在预测和分析中复杂即席查询的增长以及 EDW 的不佳表现刺激
了分析型专用机的发展 通过可实现的、快速创造价值的方式改善分析性能—数据仓库机
将加大整个 BI 市场的规模
2008 年 5 月推出列式数据库机， 2008 年 8 月正式发布 2008 年第四季度开始推广到全球各个地区
背景
数据仓库机
数据仓库机市场每年成长 35-45%. (IDC)
30% 的中型及 25% 企业级用户有意一年之内购买 (IDC)
专用机市场代表持续的商业机会 “ IDC 认为 DWA 市场将持续成长。它不仅从企业级数据仓库厂商手里抢走生意， 而且也通过
公司开发分析型功能，使得 Appliance 在整个企业中大量部署。” (IDC 2008 年 5 月 )
Source: IDC Business Analytics Appliance; Novelty to Necessity, Dan Vesset June 2008
© 2007 Sybase, Inc. and IBM Corporation
Sybase 列式数据库机
Sybase 列式数据库机是灵活的、高性价比的数据仓库解决方案，能加速复杂即席查询和报表、提供超高速的分析性能，是成熟的企业级数据仓库的技术领导者。
• 组件 Sybase IQ: 列式数据库 Sybase ETL Power Designer 数据建模 数据仓库机控制台 -
Console MicroStrategy 商务智能工具 IBM P 系列服务器 (p520,
p550) IBM 存储
• 单一厂家支持维护• 高性价比的扩展策略
最佳成分组合
高性能且很容易嵌入到现有的数据库环境中
数据加载
报表
复杂查询分析
即席查询
DW/ 交易数据库混合负载
Sybase 列式数据库机
已获证明的分析服务器：比传统DW 快 10 到 100 倍
数据建模 : 自动产生模型
快速的数据加载 集成了 ETL 工具
统一管理 维护成本低
领先的 BI 工具 : 易于建分析和报表
为分析作的配置和性能调优
传统负载的配置
• 为交易而优化，非分析• 数据加载窗口在缩小• 对于即席查询报表需要大
量调优
工具
• MicroStrategy• 领先的 BI 工具独立供应商 ，提供绩
效管理和 仪表盘报表解决方案
• Sybase ETL • 从异构数据源抽取数据，转换后加载
到一到多个目标中。
• PowerDesigner• Sybase 提供的企业级建模工具
ETL Tool 数据库 / 数据模型 报表工具 / 用户界面
Sybase IQ
• IWS
• ASE*
功能结构
Sybase PowerDesigner
Sybase Replication Server
(for Staging)
Sybase ETL
MicroStrategy
控制台
IBM P 系列服务器和存储
实用案例
Finance Apps
ORACLEORACLE Sybase IQ
• Report Server• Compliance Reporting• Operational BI
生产数据库服务器生产数据库服务器 列式数据库机列式数据库机
原有金融服务器
新的金融服务器
实用复制案例
Finance Apps
Sybase Rep AgentFor Oracle
Sybase Rep AgentFor Oracle
Sybase复制服务器
Sybase复制服务器
ORACLEORACLE
Sybase IQ中间库中间库
• Report Server• Compliance Reporting• Operational BI
生产数据库服务器生产数据库服务器 列式数据库机列式数据库机
近实时更新近实时更新
原有金融服务器
新的金融服务器
• 列式数据库机软件组件• 成熟的分析引擎 : 行业领先的列式分析引擎，在全球
有大量成功案例。不需要额外索引。数据缺省是索引化的，且能压缩 70% 。
• 快速的数据装载和卸载 : 可以快速加载新数据，从而保证实时数据处理。 ETL 工具已集成在系统中。
• 快速备份和恢复 : 提供高速的备份和恢复能力。 • 领先的数据建模和 ETL: 可以很容易地实现数据库逆
向工程和转换。还提供金融、健康、银行、保险和电信行业的数据模型选件。
• * 领先的商务智能工具 : 使用 MicroStrategy来创建报表和分析有助于做出更加明智的决策。
• 管理工具 : 包括 DBA 和系统管理工具都提供了易于使用的界面，来实现权限管理、监控、诊断、问题解决和其他管理功能。
IBM 硬件组件• 同类最佳的服务器和存储技术 : 基于 IBM
P 系列• 模块化 : 从 2核扩展到 16核• 更多内存 : 可以高达 256GB
• 数据保护 : 带热交换冗余组件的高可用性结构，多种 RAID 级别
• 低 TCO: 使用 DS3000 和 DS4000 系列，带 3 年服务保证，保护投资
*Included for up to 10 users
主要特征
列式数据库机的配置
入门级 标准级 企业级•IBM P520 2核 P6 4.2GHz •IBM P550 2核 P6 4.2GHz •IBM P550 4核 P6 4.7GHz
•8GB RAM ， DS3400 控制器， 2.6TB-7TB 用户数据
•8GB RAM ， DS4700 控制器， 3TB-8TB 用户数据
•16GB RAM ， DS4700 控制器， 3TB-8TB 用户数据
•软件： AIX ， Sybase IQ EEE(单核 ) ， Sybase IQ-ETL ， Sybase PowerDesigner，控制台， MicroStrategy
•软件： AIX ， Sybase IQ EEE(2 核 ) ， Sybase IQ-ETL， Sybase PowerDesigner ，控制台， MicroStrategy
•软件： AIX ， Sybase IQ EEE(4 核 ) ， Sybase IQ-ETL， Sybase PowerDesigner ，控制台， MicroStrategy
•扩展能力： 28TB 用户数据 •扩展能力： 56TB 用户数据（通过 SAN则没有限制）， 32GB 内存， 8 处理器
•扩展能力： 56TB 用户数据（通过 SAN则没有限制）， 64GB 内存， 16 处理器
•选项：低数据冗余 (Sybase Replication Server)高可用性 , 行业数据模型 , Sybase IWS第三方 BI 工具： Cognos ， Business ObjectsETL ： IBM WebSphere DataStage ， Informatica
Sybase 列式数据库机的优势
快速见效 – 预配置和调优
高性价比 –以主流 Appliance 厂家 1/2 的成本实现高速即席查询分析—价格对比 Netezza 和Teradata
易于管理 –易管理的统一控制台；单一厂家支持，轻松扩展到上千用户、 PB 级数据规模
企业级规模 –通过组合先进的企业级软、硬件，使即席查询和复杂查询的性能比传统数据仓库解决方案提高 10 到 100 倍。
1 Source: www.sybase.com/detail?id=1056783 “Pricing Comparison vs. Netezza and Teradata” , April 2008.
快速见效
预配置和调优，强有效的组件
统一的控制台：点击控制台即可管理和监控系统健康状态
打包的报表和仪表盘生成工具
打包的数据抽取、转换和加载工具：点击拖拽即可从数据源抽取数据，执行数据转换并加载到列式数据库机中。
打包的模型工具 : 自动向列式数据库机生成 DW 模型，不需要SQL编码
打包的带演示报表的测试数据库
15© 2008 Sybase, Inc. and IBM Corporation
高性价比
解决方案 #1:Sybase 列式数据库机
解决方案 #2:Netezza
解决方案 #3:Teradata 系列
Analytics Server Offload Add Capacity
“12 TB 用户数据， 25 个用户运行即席查询分析，如何才能有出色的响应能力？”
Sybase 列式数据库机以另两个解决方案 1/4 到 ½ 的成本提供同样的效果。源自 : www.sybase.com/detail?id=1056783 “Pricing Comparison Sybase Analytic Suite on IBM Power Systems vs. Netezza and Teradata” 2008 年 4 月，基于 Sybase针对S/W 、服务器、存储与 Netezza 和 Teradata 在相似配置下的价格比较。 Sybase配置了 IBM Power 550 、 DS 4700 和 Sybase IQ 。
16
易于管理
需求增加了可以经济且便捷地增加处理器和磁盘存储
统一的控制台，管理容易
由于是列式结构，模型修改灵活 – 容易增加字段
由于能自动利用删除数据后的空余空间，所以不需要做重组
不需要数据分区或担心数据分布不均
管理
管理功能• 用户 – 管理已有用户及创建
新用户• 认务调度 - 管理已有任务及
创建新的任务• 数据库 – 创建新库，备份和
恢复• IQ 服务器
• 建 DB 及 IQ 实例• 管理数据库连接• 修改 IQ配置文件• 启动 /停止服务器• 查看日志文件
监控
监控功能• 用户活动• OS 活动• CPU 使用情况• I/O 使用情况• 内存使用情况• IQ 数据库使用报告
调度
调度功能• 能够调度一个 web 服务或一个应
用• 能够按天、周和月来调度任务• 能够调度 BI 报表• 管理调度的任务• 根据用户的访问权限作任务验证
报警
报警功能• 查看所有的报警信息• 能够按状态• 定制报警消信• 警告信息• 数据库不可用状态• 临时空间使用达到了 100%• 临时缓存空间使用达到 100%• OS空间不足• 内存分配超过了物理内存• 数据库事务超限
企业级
领先的、开放的技术 Sybase 列式数据库机不同于其他数据库机厂家， Sybase 列式
数据库机组合了业界领先的企业级软硬件
Sybase IQ 是列式分析引擎中的佼佼者，已有超过 1200 个客户
IBM P 系列硬件和存储，是 UNIX 和 Linux 系统的一流供应商
Sybase Power Designer 是应用开发和数据库设计工具上全球市场份额最高的
MicroStrategy 是商务智能平台上的领先者
高性价比和灵活性 Sybase 列式数据库机是一个强有效的设备，能以较低价格，提
供高性能的第一代产品数据库机
在增加用户、负载方面更加灵活；可以在成本少量增加的情况下不断提高系统支持能力
列式数据库是革命性的
传统行式数据库c5
c4
c3
c2
c1 …c
9c8
c7
c6
r1
r2
r3
r4
r5
列式数据库c5
c4
c3
c2
c1 …c
9c8
c7
c6
r1
r2
r3
r4
r5
数据按列存储 – 每一列单独存放 数据即是索引 只访问查询涉及的列 – 大量降低系统 IO 每一列由一个线索来处理 – 查询的并发处理 数据类型一致，数据特征相似 – 高效压缩
数据是按行存储的 没有索引的查询使用大量 I/O 建立索引和物化视图需要花费大量时间和资源 面对查询的需求，数据库必须被大量膨胀才能满
足性能要求
适应的客户群特点
数据仓库有性能问题，正在考虑是添加更多的硬件还是把应用负载卸载到一个专门的分析型服务器上
性能要求高 / 非常高，或数据量增长到了临界水平
有成本控制且要求结构开放
期望快速创造价值"You don't have to have a 200-terabyte database to experience slow downs," he explained. "At 1 terabyte you start to slow down, and even the fastest disk arrays start to fall apart when you get to 10 terabytes.
“你并不需要一个 200TB 的数据库才会看到性能下降，在 1TB就会开始下降，即使最快的盘阵在10TB 也会被瓦解”Larry Ellison - September 2008 Intelligent Enterprise
大企业选择 Sybase 列式数据库机的原因
更好的技术 列式存储的方式优于传统技术 更好的性价比 强大的管理模块解决了其他 DW
appliance 厂家产品的不足 易于接入 Oracle环境且可以整合其他 BI 报表工具 (Cognos 、 BO)
完整的端到端的解决方案 提供全部的产品 业界佼佼者：数据建模、 BI 工
具、 ETL 、和统一的管理控制台 =快速见效
Source: IDC and DM Review April 2008
中型企业选择 Sybase 列式数据库机的原因
在人员和购置成本上较低的投资强大的管理模块解决了其他数据仓库机厂家产品的不足，还提
供了远程管理能力 提供了完整的预配置产品，单一厂家支持
高性价比的企业级产品 提供比传统数据库快 10 到 100 倍的即席查询和报表性能由数据仓库市场上的佼佼者提供 预配置了仪表盘技术最佳的性价比
从小规模开始，逐步扩展 列式数据库机可以在中型企业的业务增长的同时方便地增加用户
和数据存储
HealthTrans – 处方药管理分析
业务挑战常规 Oracle 10g 报表运行时间太长 存储开销成几何级数增长 购并的新公司立刻成为扩容的挑战
结果平均查询时间提高： 33 倍 一个很长的报表从 Oracle 系统中的 38 小时到 3 分钟 压缩 70% 存储开销 比 Oracle 10g 支持更多并发用户无需重新设计应用或数据模型
复杂查询 Oracle vs IQ
查询Oracle 时间 ( 秒 )
IQ 时间( 秒 )
IQ提高倍数
5.1 Age Range - Gender Utilization.DIS 139,375 187 745
5.1 Brand Generic Summary.DIS 2,366 161 15
5.1 DUE Reports.DIS 3,532 414 9
5.1 RX Claim Util Summary.DIS 299 104 3
5.1 Top Drugs By Generic Name.DIS 5,473 129 42
5.1 Top Drugs By Label Name.DIS 16,205 132 122
5.1 Top Drugs By NDC-11.DIS 18,139 151 120
5.1 Top HIC-3 Therapeutic Classes.DIS 3,948 127 31
5.1 Top Pharmacy Utilization.DIS 3,895 145 27
5.1 Top Prescriber Utilization.DIS 1,560 154 10
Top AHFS Therapeutic Classes.DIS 2,638 133 20
Top Drugs NDC 5,882 152 39
Totals 203,312 1,989 102
Hardware: IBM Power6 p570 8 cores
0
100
200
300
400
500
600
700
800
Space Used
Siz
e (
GB
)
IQ Oracle
Oracle 数据库 766 GB 在 IQ 中仅占用 240 GB
存储空间大量减少
• 减少加载时间，客户发现原来需要 5 小时做数据加载，现在只需 20 分钟
• 查询、报表和存储过程运行得更快了• 由于性能提高，更快的周转、更多、更深入的查询分析和
更明智的业务决策• 减少管理、维护和调优• 消除索引维护 – “只需建立，自动维护”• 高可扩展解决方案
采用 Sybase 列式数据库机的好处
