使用 Oracle 数据库 11g 第 2 版实现存储管理陆伟琪Oracle 中国

存储目标

减少风险降低成本

高效管理

主要的存储挑战存储最佳实践

目标降低成本

• 存储成本– 阵列

– 光纤

– 端口

– 管理软件

• 人员成本– 系统管理员

存储目标

降低成本

高效管理

减少风险

非结构化数据

监管合规性

合并收购

结构化数据

不断增加的应用程序

数据复制

存储成本不断增长的数据量

存储成本过度供应

• 过度供应是一个真正的挑战– DBA 需要 2 TB，但是由于请求周期可能为数周到数月，因此请求 4 TB

– 存储管理员获取 8 TB，这样他们不必再次调整管理

• 据 Horison Information Strategies 报告，超过 60% 的磁盘空间未使用/未分配

信息来源：www.horison.com

<在此处插入图片>

“33% 的调查反馈者预计到 2007 年末用完电源和冷却容量，96% 的调查反馈者表明他们将在 2011 年面临

容量不足。”

Liebert 客户调查企业存储论坛

目标高效存储管理

• 存储管理挑战

–复杂性

–性能和容量要求

–更改管理

降低成本

存储目标

高效管理

减少风险

降低成本

存储管理数据存档挑战

Dividing databases into multiple

smaller databasesPurging data from databases

Offline

• 这些解决方案增加了运营和基础架构成本

• 当前的合规性挑战

• 潜在降低应用程序灵活性

存储管理性能管理

• 存储在数据库性能中起着很重要的作用，应该正确调整大小

• OLTP — 关键度量是每秒 I/O 操作数，因为 I/O 是随机的– 假设每个数据库事务有 5 个 I/O 操作

– 假设每个磁盘有 30 个 I/O 操作

– 磁盘数 =（每秒数据库事务数 * 5）/30

• 数据仓库 — 关键度量是 I/O 带宽，因为要扫描表– 根据经验，对于每个 CPU（或内核），将需要维持大约 200

Mb/秒

– 您需要调整下游 HBA、交换机和阵列的大小以匹配此吞吐量，从而保持平衡。

• 当前的仓库部署通常存在瓶颈，限制了从磁盘到服务器的数据移动– 处理器到光纤通道环路上存在存储阵列瓶颈

– 服务器中的光纤通道主机总线适配器有限

– 未配置完备的、复杂的 SAN

• 存储互连速度降至原来的 1/100 到 1/10

存储管理存储数据带宽瓶颈

存储管理更改管理

• 数据库存储配置取决于许多变量

• 哪些数据要放在哪个磁盘上• LUN 配置

• 使设备匹配负载类型（OLTP、DSS„„）

• 在可用选项之间进行权衡

• 文件清单：

• 2 个控制文件、2 个日志文件、每个表空间有多个数据文件、备份文件、临时文件等„„

• 用于创建、命名和管理的数百或数千个文件乘以数据库数 n

• 我选择的配置正确吗？• 持续调整

目标减少风险

减少风险

• 系统正常运行时间

–硬件故障

–计划维护

• 数据丢失

–存储故障

–数据损坏

存储目标

存储目标

降低成本

高效管理减少风险

风险管理数据丢失

系统故障

数据故障

系统变化

数据变化

意外停机

计划停机

存储故障

人为错误

数据损坏

站点故障

风险管理备份

Oracle 解决方案规划

• 自动存储管理 (ASM) —降低存储管理成本，提高灵活性，实现性能最佳实践

• 基于磁盘的备份和恢复 —RMAN 和 OSB 能够恢复数据库和文件系统中的损坏数据

• Oracle 闪回技术 —能够恢复因人为错误而损坏的数据

• 分区 —对大型数据集进行分而治之 — 提高查询性能，改善数据加载和清除

• 高级压缩 —磁盘空间利用率提高 4 倍

• 只读表和表空间 —提高性能，实现隐私/审计合规性

• 数据库管理的信息生命周期管理 (ILM) —使用数据库管理数据存储位置，保持审计跟踪，加强安全性和合规性，并且索引、查询和搜索所有信息

• Exadata Storage Server–显著提高存储效率

自动存储管理

存储管理器旨在管理 Oracle 数据库文件，而无需额外成本

• 卷管理器

• 文件系统

• 集群功能

针对性能和可用性

SLA 可预测地交付

提高存储利用率和灵活性

简化和自动化数据库存储管理

降低成本和复杂性，并且不会影响性能或可用性

自动存储管理 (ASM)简化供应，提高性能

• 自动 I/O 负载平衡

• 将数据条带化分布到磁盘上，以平衡负载

• 最佳 I/O 吞吐量

• 自动镜像

• 高效、联机添加/删除磁盘

• 将来自多个数据库的数据整合到同一共享存储环境中

自动存储管理

DB A DB B DB C

ASM 主页

ASM 性能页面

“Oracle 自动存储管理 (ASM) 极大地增强了我们在数据库中管理存储的能力。它允许有多个层，这样我们可以使不同类型的存储设备适应不同应用程序需求和性能要求。它按需平衡以实现最佳性能。”

Donald Eyberg

Embarq 的数据库服务经理

Oracle 数据库 11g 第 2 版ASM 增强

• 改善的管理– ASM 安装和配置助手

(ASMCA)

– 功能完备的 ASMCMD

– ASM 文件访问控制

– ASM 磁盘组重命名

– 数据文件到磁盘映射

• 可调优的性能– 智能数据放置

– Sector_size

不经常访问的数据

经常访问的数据

Oracle 数据库 11g 第 2 版ASM 集群文件系统

• 通用集群或本地文件系统构建于 ASM 之上

• 优化的磁盘布局、联机添加/删除/重新平衡磁盘、集成的镜像

• 动态卷管理、只读快照

HR 销售 ERP

数据库文件Oracle 二进制文

件文件

只读表和表空间性能和管理优势

• 只读表在 11g 中提供，只读表空间在 Oracle 8i 之前已存在

• 只读表和表空间提供增强的性能和安全性– RMAN 不需要备份只读表

– 只读表的查询性能提高

– 便于实施隐私和审计合规性策略

– 可以将数据放于只读介质上

– 可以与 ILM 解决方案结合使用

基于磁盘的备份和恢复集成的消除重复和存储分层

• 完全自动化

• 快速增量备份– 仅备份更改的块

– 使用非常高效的算法跟踪更改的块 — 速度提高 20 倍

– 验证块以防止备份副本损坏

• 夜间增量备份前滚恢复区备份– 不需要进行完整备份

• 低成本的 SATA 磁盘可用于恢复区

• 或者使用存储阵列中的未使用空间闪回恢复区

在夜间应用经过验证的增量

每周归档到磁带

数据库区

Oracle 闪回技术

• 闪回从根本上改变了错误恢复– 仅对更改的数据进行操作

– 纠正错误的时间等于造成错误的时间

• 数分钟而不是数小时

• 闪回很容易– 单个命令取代复杂过程

– 根据观察，闪回数据库对 OLTP 负载的影响小于 2%

• 对于测试也有重要作用！

纠正时间 = 出错时间 + f(DB_SIZE)

0

10

20

30

40

50

60

70

80

Time To Recover (minutes)

传统恢复

闪回

Oracle 分区将数据分成可管理的单元

Col 5

Row 6

Row 5

Row 4

Row 3

Row 2

Row 1

Col 4Col 3Col 2Col 1

Customer Table

Partition Key

(Order Date)

Age < 3

Month

s

Age > 3 & < 12 Months

Age > 12 M

onths

分区类型• 范围•散列•列表

•组合

“Oracle 分区使我们的应用程序执行起来非常快。总的来说，当我们从 Oracle 数据库 10g 升级到 11g 时，性能提升约为 30 到 50%。”

Satish Palvai

Xactly 的共同创办人和首席技术官

显著减少存储使用高级压缩OLTP

• 压缩大型应用程序表– 事务处理、数据仓库

• 压缩所有数据类型– 结构化和非结构化数据类型

• 提高查询性能– 整个数据中心的级联存储节省

压缩

4 倍

高达

© 2009 Oracle Corporation

高级压缩显著改善容量和性能

0

1000

2000

3000

无压缩 压缩 0

0.1

0.2

0.3

0.4

无压缩 压缩

0

2000

4000

6000

8000

10000

12000

14000

无压缩 压缩

0

5

10

15

20

25

无压缩 压缩

节省超过 70% 的存储空间

存储消耗量

性能提高 2.5 倍

表扫描时间

索引范围扫描时间

性能无变化

表扫描读取量

读取量减少为原来的 １／3.5

MB

秒

读取量

秒

“我们的一个大型 Oracle RAC 系统是一个 16 节点系统，其中 ６ 个是存储节点，未压缩的数据大概有 1 PB。压缩后仅有 200 TB。”

David Apgar

业务连续性规划高可用性工程师Yahoo

信息生命周期管理经济高效的数据管理

Da

ta C

ha

racte

ristics

Age

Access Frequency

Volume

Months 1 - 3 Months 4 - 12 Months 13 - 72

Tier 1 Tier 2 Tier 3

SD

* Mission critical Applications

* Enterprise storage

* Mirroring & replication

* Continuous Data Protection

* Low-cost storage

* Flash recovery area

* Unused storage

* MAID storage

Recovery R

equirements

SD

存储层存储成本范围（2008 年 1 月）

存储层供应商 最低美元数/GB

（2008 年 1 月）

最高美元数/GB

（2008 年 1 月）

平均值

高端 EMC DMX 1000-M2 146GB，<10TB $11.10 $14.70

$13.80HP XP10000 146GB，<10TB $12.00 $16.10

IBM DS8300 146GB，<10TB $12.20 $16.90

低端 EMC CX500 146GB，<6TB $4.40 $6.00

$5.20HP EVA 4000 146GB，6TB $4.90 $6.50

IBM DS4300 146GB，<6TB $4.10 $5.50

高端和低端之间的平均差值 2.65

• 高端范围的价格通常表示针对性能配置系统•低端范围的价格通常表示针对容量配置系统•所有的负载成本都介于 5-14 美元/GB 之间

使用 Oracle 数据库实现 ILM使用 ASM 定义三个存储层

1997-2001

2002

高端存储层2.5 倍

低端存储层

1 倍

联机归档存储层½ 倍

使用 Oracle 数据库实现 ILM通过分区将数据映射到存储层

1997-2001

2002

5% 常用 35% 不常用 60% 历史

订单

高端存储层2.5 倍

低端存储层

1 倍

联机归档存储层½ 倍

4 - 12 个月 13 - 72 个月1 - 3 个月

使用 Oracle 数据库实现 ILM压缩数据以提高存储利用率

订单

5% 常用 35% 不常用 60% 历史

4 - 12 个月 13 - 72 个月1 - 3 个月

1997-2001

2002

高端存储层2.5 倍

低端存储层

1 倍

联机归档存储层½ 倍

使用 Oracle 数据库实现 ILM只读表/表空间

订单

5% 常用 35% 不常用 60% 历史

4 - 12 个月 13 - 72 个月1 - 3 个月

高端存储层2.5 倍

低端存储层

1 倍

联机归档存储层½ 倍

使用 Oracle 数据库实现 ILM仅备份更改的内容

高性能存储层

低成本存储层

订单

5% 常用 35% 不常用 60% 历史

4 - 12 个月 13 - 72 个月1 - 3 个月

联机归档存储层

Exadata Storage Server数据带宽瓶颈解决方案

• 增加更多管道 — 大量并行体系结构

• 增宽管道 — 比常规存储快 5 倍

• 通过管道传送较少数据 — 在存储设备中处理数据

HP Exadata Storage Server 硬件

• 每个单元的数据带宽高达 1GB/秒

• HP DL180 G5

– 2 个 Intel 4 核处理器

– 8GB RAM

– 双端口 4X DDR InfiniBand 卡

– 12 个 SAS 或 SATA 磁盘

• 预安装了软件– Oracle Exadata Storage Server 软件

– Oracle Enterprise Linux

– HP 管理软件

• 硬件保修– 3 年部件/3 年人员/3 年现场

– 全天候、4 小时响应

Exadata Storage Server

机架式Exadata Storage Server

HP Oracle Database Machine针对高性能数据仓库进行配置

• 8 台 Oracle 数据库服务器– 64 个 Intel 处理器内核

– Oracle Enterprise Linux

• 14 台 Exadata Storage

Server

– 高达 168 TB 的原始存储

• InfiniBand 交换机

• 由 Oracle 优化、认证和支持

Exadata — 新体系结构打破数据带宽瓶颈

• Exadata 传送较少数据

– 查询处理将移入存储设备中，以便在卸载服务器 CPU 时显著减少发送给服务器的数据

• Exadata 拥有更多管道

– 模块化存储“单元”构建块组织到大量并行网格中

– 带宽随容量扩展

• Exadata 拥有较大的管道– InfiniBand 互连的数据传输速度比光纤通道快 5 倍 Exadata 移动的数据较少

且速度较快

零售商 Exadata 速度提高 — 3 倍到 50 倍

- 5.0 10.0 15.0 20.0 25.0 30.0 35.0 40.0 45.0 50.0

Recall Query

Gift Card Activations

Sales and Customer Counts

Prompt04 Clone for ACL audit

Date to Date Movement

Comparison - 53 weeks

Materialized Views Rebuild

Merchandising Level 1 Detail by

Week

Supply Chain Vendor - Year - Item

Movement

Merchandising Level 1 Detail:

Current - 52 weeks

Merchandising Level 1 Detail:

Period Ago

速度平均提高16 倍

• 数据按列存储，然后压缩

• 对于批量加载或移动的数据很有用

• 针对数据仓库的查询模式

• 通常压缩率为 10 倍

• 扫描相应增长

• 针对旧数据的存档模式

• 通常压缩率为 15 倍到 50 倍

Oracle Exadata Storage Server混合列压缩

50 倍

高达

© 2009 Oracle Corporation

Exadata 共存和迁移

• 数据库可以同时部署在 Exadata 和传统存储设备上– 表空间可以在 Exadata 存储产品、传统存储设备或二者组合上存在，并对数据库应用程序透明

– SQL 卸载处理要求表空间的所有部分都位于 Exadata 上

• 如果当前使用 ASM 和 ASM 冗余，则可以联机迁移

• 可以使用 RMAN 或 Data Guard 进行迁移

Exadata 非 Exadata

数据库服务器

联机迁移

Oracle 优势在数据管理方面的投资已逾 30 年

性能

安全性

保护性

一致性

灵活性

硬件

长期性

简单性

开放性

- 最快速、最全面的数据访问功能

- 业界最佳的安全性

- 全面保护防止数据丢失

- 数据在事务上的一致性

- 轻松适应不断变化的需求

- 完全硬件独立性

- Oracle 数据库已得到数十年的支持

- 无需管理专用数据存储

- 标准的 SQL 接口

更多信息

http://search.oracle.com

或

oracle.com/database

高级压缩