AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| WebinarsAWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Joe 施乔 AWS 解决方案架构师
AWS 数据服务介绍Amazon Aurora 上手实践
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
SQL Server 2008 & 2008 R2 即将结束支持
Microsoft 对 SQL Server 2008 和 2008
R2 的支持将于 2019 年 7 月 9 日结束。这
意味着定期安全更新将结束。
消息来源:https://www.microsoft.com/zh-cn/sql-server/sql-
server-2008
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
• 支持不停机迁移
• 可以将数据迁入或迁出 Amazon EC2 上建立的数
据库或 Amazon RDS
• 通常需要在 AWS SCT (Schema Conversion Tool)
基础上人工修改 schema
• 支持同构或异构数据库迁移
AWS Database
Migration
Service
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
客户端
应用程序用户
AWS
Internet
VPN
保持应用程序在迁移过程中继续运行
启动复制实例
连接到源数据库和目标数据库
选择 table、schema 或数据库
使用 AWS DMS 创建表、加载数据并使其保持同步
可随时将应用程序切换到目标
AWS
DMS
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
议程
• AWS 核心数据服务介绍
• Amazon Aurora 介绍与适用场景
• Amazon Aurora 实操
• Amazon Aurora 使用 Tips
• Q & A
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
AWS 核心数据服务介绍
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
在自有数据中心搭建数据库服务
Power, HVAC, net
Rack & stack
Server maintenance
OS patches
DB s/w patches
Database backups
Scaling
High availability
DB s/w installs
OS installation
App optimization
you
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
基于Amazon EC2构建数据库服务
Power, HVAC, net
Rack & stack
Server maintenance
OS installation
Power, HVAC, net
Rack & stack
Server maintenance
OS patches
DB s/w patches
Database backups
Scaling
High availability
DB s/w installs
OS installation
App optimization
you
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
如果选择托管的数据库服务
Power, HVAC, net
Rack & stack
Server maintenance
OS patches
DB s/w patches
Database backups
High availability
DB s/w installs
OS installation
Scaling
Power, HVAC, net
Rack & stack
Server maintenance
OS patches
DB s/w patches
Database backups
Scaling
High availability
DB s/w installs
OS installation
App optimization
you
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
托管的关系型数据库
Relational Databases
Amazon Aurora, MySQL, PostgreSQL, Oracle, SQL Server,
MariaDB
Fully managed zero adminAmazon
RDS
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon RDS:托管的 SQL service
与现有应用兼容,可选数据库引擎• Amazon Aurora, MySQL, PostgreSQL, Oracle, SQL Server, MariaDB
点几下鼠标或者调用 API,就可完成部署• AWS 负责 patching, backups, replication
• 非常容易 scale up
• 快速、可预测的数据库性能(根据需求确定 IO 性能和存储卷大小)
无固定资产投资,按使用付费
Amazon RDS
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
选择 Multi-AZ 以实现高可用性和数据耐久性
自己实现 MySQL on AWS 的高可用性(High Availability)
非常多步骤和问题需要考虑…
安装 primary 和 standby 的数据库实例配置数据库存储卷创建同步复制管理 DNS 更新检测实例失效条件检测网络失效条件检测存储失效条件确定何时切换….
重新建立主从连接…
数据库维护的时候怎么做…
Amazon RDS Multi-AZ
实现HA 只许勾选 Multi-AZ Deployment 选项
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon ElastiCache
云端分布式内存缓存提升重读型负载的延迟及吞吐能力支持开源 caching 引擎
• Memcached
• Redis
完全托管
Multi-AZ 集群
示例• Caching of MySQL database query results
• Caching of complex query post-processing results
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon ElastiCache:高可用、可扩展的架构
Elastic Load
Balancing
Clients
AZ a
AZ b
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
开源分布式检索系统
全托管的 Elasticsearch 和 Kibana
基于 VPC 的安全设计
标准的 Restful API 接口
快速扩展,易于维护Amazon
Elasticsearch
Service
Elasticsearch Kibana
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon ES 应用场景 –日志分析
Logstash
日志搜集
Elasticsearch
日志存储&检索Kibana
展现
Amazon ES
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| WebinarsAWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon Aurora 介绍与适用场景
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
针对云优化的关系型数据库
有商业数据库的性能和可靠性
兼顾开源数据库的简单性与成
本优势
兼容 MySQL 与 PostgreSQL
什么是 Amazon Aurora?
Amazon Aurora
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon Aurora 存储引擎概述
• 数据在3个 Availability Zones 中复制6份
• 持续备份到 Amazon Simple Storage
Service (Amazon S3) (具有11个9的持久性)
• 持续监视节点和磁盘并自动修复
• 10GB 的区段作为修复和存储根据用量自动增长的基础,存储可扩展到64 TB
• Quorum system 读写
AZ 1 AZ 2 AZ 3
Amazon S3
Database
Node
Storage
Node
Storage
MonitoringStorage
NodeStorage
NodeStorage
Node
Storage
NodeStorage
Node
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
AWS 存储引擎容错
可能问题?
Segment 损坏 (磁盘)
节点损坏(主机)
AZ 损坏 (网络或数据中心)
优化4 out of 6 write quorum
3 out of 6 read quorum
Peer-to-peer replication for repairs
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon Aurora 只读副本
可用性
• 自动检测并替换失败的database nodes
• 自动检测并重启失败的database processes
• 只读副本在主节点故障时自动提升 (failover)
• 客户可以指定 fail-over 顺序
AZ 1 AZ 3AZ 2
Primary
NodePrimary
Node
Primary
Database
Node
Primary
NodePrimary
NodeRead
Replica
Primary
NodePrimary
NodeRead
Replica
Database
and
Instance
Monitoring
性能
• 客户程序可以将读流量指向只读副本
• 读负载在多个只读副本间均衡
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
与 MYSQL 写性能比较
SysBench Write-Only (writes/sec)
DB Size Amazon Aurora MySQL
1 GB 107,000 8,400
10 GB 107,000 2,400
100 GB 101,000 1,500
1 TB 41,000 1,200
SysBench OLTP (writes/sec)
Connections Amazon Aurora MySQL
50 40,000 10,000
500 71,000 21,000
5,000 110,000 13,000 0
20000
40000
60000
80000
100000
120000
140000
r3.large r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge
SysBench Write Only
MySQL 5.6 MySQL 5.7 Amazon Aurora
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
与 MYSQL 读性能比较
数据来源 – https://www.allthingsdistributed.com/files/p1041-
verbitski.pdf
0
100000
200000
300000
400000
500000
600000
700000
r3.large r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge
SysBench Read Only
MySQL 5.6 MySQL 5.7 Amazon Aurora
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon Aurora 的优势与适用场景
• 性能要求很高
• 降低成本,根据实际使用的存储量付费,对于测试数据库可以考虑使用serverless
• 需要 Read replica 的 lag 尽量小
• 需要 Failover 导致的业务侧访问中断时间尽量小
• 兼容 mysql 和 postgresql
• Amazon Aurora 不断推出新的功能
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| WebinarsAWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon Aurora 实操
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Aurora 实操
• 创建 Aurora 数据库,并进行 Multi-AZ 部署
• 通过 SSH Tunnel 的方式连接数据库
• 调整数据库实例大小(纵向扩展)
• 为 Aurora Cluster 增加只读节点(横向扩展)
• 主备切换 (Failover)
• 打开 binlog
• 打开并下载慢日志查询 (slow query logs)
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| WebinarsAWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon Aurora 使用 Tips
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
Amazon Aurora 使用 Tips
• 应用程序内连接 cluster endpoint,不要连接实例地址
• Aurora默认备份为1天,建议 延长备份周期
• 默认参数组不可更改,建议 使用自定义参数组
• 使用 时间点恢复功能 恢复的 Aurora cluster endpoint 不同,应用程序需要 更改连接的endpoint
• 默认参数组 binlog 不打开, 只有 Master 节点才能打开 binlog
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| WebinarsAWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
| Webinars
我们希望您喜欢今天的内容!也请帮助我们完成反馈问卷。
欲获取关于 AWS 的更多信息和技术内容,可以通过以下方式找到我们:
微信公众号:AWSChina
新浪微博:https://www.weibo.com/amazonaws/
领英:https://www.linkedin.com/company/aws-china/
知乎:https://www.zhihu.com/org/aws-54/activities/
视频中心:http://aws.amazon.bokecc.com/
更多线上技术活动:https://aws.amazon.com/cn/about-aws/events/webinar/
感谢参加 AWS 在线研讨会