36
<Insert Picture Here> Exadata 极限性能数据云服永波 深技术顾问

Exadata 极限性能数据库云服务器 - oracle.com · Exadata 极限性能数据库云服务器 杨永波 资深技术顾问

  • Upload
    others

  • View
    72

  • Download
    0

Embed Size (px)

Citation preview

<Insert Picture Here>

Exadata 极限性能数据库云服务器

杨永波

资深技术顾问

2

3

4

5

6 © 2010 Oracle Corporation

适合所有数据管理需求的综合数据管理平台 整合所有数据管理需求的最佳平台

• 最佳的业务系统服务器 • 网格, Flash,容错技术……

• 最佳的分析服务器 • 智能存储, 压缩……

• 最佳的整合服务器 • 适合所有工作负载 资源管理能力

• 大多数使用案例

8

Exadata 广泛使用在世界领先的企业

• 2008年发布 – 现在是第三个版本

© 2011 Oracle Corporation

9

客户收益

孟加拉国电信运营商

数据装载速度提高30倍

土耳其电信运营商

数据压缩10倍(250TB->25TB)

查询速度提升10倍~400倍(50K报表/月),

减少DC占地面积\电力、制冷11倍

日本电信运营商:软银

在数据仓库系统中替代原有

36台Teradata,占地面积减少12倍(36Racks减到3Racks)

查询速度提升2~8倍

成本下降50%

北美最大的在线市场营销公司

提升查询速度8倍

服务器和存储效率提升8倍

减少运维OPEX 3.5倍

减少DC占地面积\电力4倍

澳大利亚联邦银行

整合250+数据库到Exadata 3个数据库中

新业务部署实施时间提升30倍(4月->4天);

提供内部数据库云服务

Exadata 快速成长

© 2011 Oracle Corporation 10

“Exadata is the fastest growing

product in Oracle’s history” - Oracle CEO, Larry Ellison

“There are more than 1,000 Exadata

machines installed worldwide. Our

goal is to triple that number in FY12” - Oracle President, Mark Hurd

Exadata数据库云服务器的系统构成 标准化和成熟的服务器、交换机硬件和数据库软件

数据库 网格 智能存储 网格

InfiniBand 网络 • 冗余 40Gb/s InfiniBand交换机

• 统一的 服务器 & 存储网络

• 14台 高性能、低成本企业级 存储服务器

• 2~8台 双CPU(六核CPU)的高性能企业级 数据库服务器

或者

• 2台 八CPU(10核CPU)的高性能企业级 数据库服务器

•100 TB 高性能 磁盘,或者 504 TB 高容量 磁盘

•5.3 TB PCI Flash

•跨存储服务器的数据镜像

• 预装软件 • Oracle Database Enterprise 11gR2

• Oracle RAC Option

• Oracle Partitioning Option

• Oracle Exadata Storage Server Software

高扩展性满足企业成长需要

满配 1/2配

为OLTP和DW业务平衡增量扩展

1/4配

© 2011 Oracle Corporation 12

完美的水平扩展能力

© 2011 Oracle Corporation 13

2624 计算CPU核

4 PB 非压缩存储容量

支持多代硬件

© 2011 Oracle Corporation 14

高度的工程化和标准化

• 更少的部署风险

• 软硬件预配置,开箱即用

• 更少的运行风险

• 所有系统都相同

• 受益于其他客户的经验

• 端到端单一供应商支持

• 端到端对所有组件进行监控

• 更少的 I/T 技术人员

• 搭建运行定制化的平台需要顶尖的技术专家

• Exadata 让企业I/T技术人员更专注于业务需求 低风险

高收益

© 2011 Oracle Corporation 15

高度的优化和可用

• 定制化系统无法获得完全的性能

• 组件配置不平衡,配置不良或存在瓶颈

• Exadata 是端到端工程化和优化的系统

• 数据库软件通过固件、驱动、操作系统以及网络进行了优化

• 继承了多年来优化的成果

• 定制化系统无法获得完全的高可用性

• 复杂模块间的故障模式没有得到测试

• Exadata 处理所有的故障模式

• 节点故障,连接故障,存储故障,交换机故障等

© 2011 Oracle Corporation 16

当前应用系统无需任何修改

• 运行已有OLTP 和 DW 应用系统

• 完全具备 30年来Oracle数据库的所有功能

• 不需要任何认证

• 利用广泛的Oracle 生态系统资源 – 技能,人员,合作伙伴

• Oracle 数据库运行在下一代的网格平台上

• 最复杂的应用系统也能透明使用Exadata

• Oracle E-business suite, PeopleSoft, Siebel, SAP

Exadata 数据库云服务器的关键技术

InfiniBand

请求

数据库服务器

智能存储服务器

Exadata突破传统架构的性能瓶颈

• 智能扫描技术彻底解决IO瓶颈

• 高效的数据压缩能力

• 智能闪存显著提升处理效率

• Infiniband高速互联使得网络传输不再成为瓶颈

• 资源管理能力

• 存储索引实现系统的智能优化

智能扫描、智能闪存,存储索引等技术是Oracle Exadata 独有的关键性能突破技术

数据库传统扫描处理技术

Copyright © 2009, Oracle Corporation and/or its affiliates – 18 –

• 基于传统存储技术,全部的数

据库智能存在于数据库主机。

• 来源于存储的数据大部分被数

据库主机所丢弃。

• 大量的废弃数据占用了宝贵的

数据库主机资源(I/O、内存和

CPU),严重影响其它任务执行,

处理缓慢。

I/Os 执行:

返回 1 TB 数据

DB主机筛选1 TB数据,得到1000行客户要求的数据,计算并返回给

客户端

返回数据行

SELECT customer_name

FROM calls WHERE amount > 200;

DB主机确定表的存储分区

发起I/Os请求

Oracle Exadata Smart Scan 处理技术

Exadata 存储网格

SUM

构建并发Smart Scan请求

仅仅返回满足条件的数据(行、列)

Oracle 数据库网格

问题:昨天的销售业绩如何?

Select sum(sales)

where

Date=’24-Sept’

Smart Scan

在TB 级数据中扫描匹配请求的数据

提取Sept 24号的销售数据

Exadata还支持存储层的Join过滤、索引、表空间创建、增量备份…

Exadata传送更少的数据- Exadata Storage Index

消除不必要磁盘 I/O

Exadata 存储索引在内存中保存表数据的汇总信息

- 存储列的 MIN 和 MAX 值

- 通常每 MB 磁盘空间建立一个索引项

如果 MIN 和 MAX 值不匹配查询的“where”子句,则不访问磁盘 I/O

完全地自动化和透明,不需要开发者创建及管理

A B C D

1

3

5

5

8

3

Min B = 1 Max B =5

Table 索引

Min B = 3 Max B =8

Select * from Table where B<2 — 仅第一组记录匹配

Exadata传送更少的数据-混合列压缩 高容量、低成本

• 数据按列存储、并进行压缩

• 针对数据仓库的查询模式 • 为提高速度进行了优化

• 通常压缩比可达10 倍

• 扫描成比例增长

• 针对不常访问数据的归档模式 • 为减小空间进行了优化

• 通常可达15 倍压缩

• 对某些数据可达50倍压缩

50X

Up To

Only on Exadata

Exadata对大型扫描的优化

1 TB

(压缩)

10 TB 的用户数据

需要10 TB 的IO

100 GB

(分区修剪)

20 GB

(存储索引)

5 GB

(智能扫描)

在Exadata 上实现

亚秒级

数据减少10 倍,扫描加快2000 倍

Flash突破传统磁盘随机I/O的瓶颈

• 磁盘驱动器拥有大量数据 • 但是只有300 IO/s

• Flash技术存放较少的数据 • 但是可以运行上万IO/s

• 理想方案

• 在磁盘上存储最大量的数据,减少成本

• 透明地将热数据迁移到flash Cache

• 采用flash cards 而不是flash disk,避免磁盘控制器的限制

• Exadata storage 中的flash card • 高宽带,低延迟

每秒 300 I/O

每秒上万次I/O

事务处理的极限性能保障 Flash技术解决随机I/O瓶颈

• Oracle Exadata配置了5+ TB 的闪存存储 • 随机 I/Os: 150万IO/每秒

• 连续查询I/O: 75 GB/秒

• I/O 响应时间: Sub-millisecond

• Exadata Smart Cache技术缓存热点数据 • Allows optimization by application table

• 极大地降低成本

• 同样的I/O能力,超过10x倍的磁盘节省

• 低能耗

Oracle 是第一个闪存优化的数据库系统

可以达到比配置了1000块硬盘的企业级存储快5倍

的I/Os性能

两台数据库

服务器

3台存储

服务器

两台Infiniband交换机

两个PDU

2 个六核Intel® Xeon® X5670处理器

4个300 GB SAS 10,000 RPM硬盘

2个QDR端口

4个1 Gb 以太网端口

2个冗余热插拔电源

2 个六核Intel® Xeon® L5640 2.26GHz处理器

2个QDR端口

2个冗余热插拔电源

2个36端口QDR (40 Gb/秒)

Inf iniBand交换机

2个冗余热插拔电源

三台存储服务器

Infiniband交换机

两台数据库服务器

Infiniband交换机

Cisco交换机

KVM

Exadata高可用性保障 内置的硬件冗余机制

WAN

• 全面的高可用保障: 服务器 , 存储, 网络,站点

• 活动的灾难备份: 实时的容灾备份,且备点在线,可分担生产节点业务压力

• 避免人为错误: 闪回功能,database, table, row, transaction

• 在线数据库配置

• 在线滚动升级

Real Application

Clusters

ASM

Fast Recovery Area

Active Data Guard

GoldenGate

Oracle Secure Backup

Oracle Exadata 高可用性保障 软件特性确保全面的高可用性

Exadata安全“纵深防御”体系

Data Masking

Advanced Security

Secure

Backup

加密和屏蔽

Database

Vault

Label

Security

访问控制

Configuration Management

Audit

Vault Total

Recall

监控和预警

28

最安全的数据库一体机

• 解密从软件移到硬件

– 快了5倍

• 数据库完全加密,额外开销几乎为零

• 查询解密数据的速度为几百GB/秒

29

数据库整合大集中最好的一体机

• Exadata可以作为数据库云使用

– 大量的内存可以支持集中很多个数据库

– 为混合了OLTP、数据库仓库、批量、报表等多种负载的复杂情况提供极限性能

– I/O 和CPU资源管理能够分离负载

Copyright © 2010, Oracle Corporation and/or its affiliates – 29 –

低成本 提高利用率

减少管理工作量

Exadata 资源管理 混合工作负载和多数据库环境

© 2011 Oracle Corporation 30

• 保证不同的数据库分配到正当的I/O带宽和CPU资源

• ERP: 33% of resources

• Warehouse: 67% of resources

• 确保数据库中的用户和任务获得正确的资源

• ERP:

• Interactive gets any needed

resources before Batch

• Warehouse:

• Reporting: 70% of resources

• ETL: 30% of resources

Exadata数据库云服务器大大简化部署

• Exadata很短的时间就可完成部署 • 避免了数月的配置、排错、调优

• Exadata消除了数据中心整体部署的复杂性 • 预置的、经过测试的、可稳定运行的标准配置

• 马上就可获得极限性能

• 无需更改现有应用程序

数月到数天

• 完整的端到端的监控和管理

Exadata Enterprise Manager 12c

Copyright © 2011, Oracle Corporation and/or its affiliates – 32 –

Exadata Enterprise Manager 12c

• 整合环境中每个数据库对 Exadata 的利用率

Copyright © 2011, Oracle Corporation and/or its affiliates – 33 –

Exadata Enterprise Manager 12c

• 下钻到InfiniBand 和其它组件

Copyright © 2011, Oracle Corporation and/or its affiliates – 34 –

Oracle Exadata的优势

• 提供多应用统一的数据支撑平台

• 帮助企业避免信息孤岛,节省投资,降低系统建设

和运维成本

• 全新的软硬件相结合的体系架构,能够有效突破传统架构下的性能瓶颈,并获得10到100倍

的性能提升

• 既对OLTP类应用也对分析类应用提供优化能力的数据管理解决方案

集成数据 管理平台

• 提供了全面的冗余技术可以保证所有运行在其上的数据库系统高可靠

性的要求

• 每个服务器的承载压力都远小于传统方式

• 一旦当系统出现问题的情况下,剩余在线的服务器完全能够支撑所有应用的高效、稳定运行

• 相比传统的分别采购主机,存储,网络,数据库的方式提供了更高的性价

比.

• 数据压缩

• 方便部署,易于维护

• 更加完善的售后服务保障

Extreme Performance for Consolidation, Large OLTP and DW

具备最卓越

的性能

全面的高可

用性保障

性价比最高的

解决方案