Upload
mysqlops
View
4.304
Download
5
Embed Size (px)
DESCRIPTION
MySQL数据库生产环境维护
Citation preview
大纲内容
表对象的DDL
表数据的DML
复制
Heartbeat的VIP漂移
www.mysqlops.com
表对象的DDL变更
增加字段的注意事项
DDL加速技巧
M-M架构的DDL变更技巧
其他建议
www.mysqlops.com
增加字段注意事项 增加字段必须要有默认值
例如:
ALTER TABLE tmp_test ADD COLUMN gmt_CreateDate TIMESTAMP NOT NULL DEFAULT ‘0000-00-00 00:00:00’;
增加的字段不能指定字段顺序,必须默认尾部增加模式
例如:增加一个字段到表对象的头部
ALTER TABLE tmp_test ADD COLUMN age TINYINT UNSIGNED NOT NULL DEFAULT 0 FIRST;
备注:这是我们强烈发对的行为,可能导致需要更多时间用于数据重整,以及对复制可能造成数据错乱
应该写成:ALTER TABLE tmp_test ADD COLUMN age TINYINT UNSIGNED NOT NULL DEFAULT 0;
建议表设计都设置为NOT NULL 且默认值
非NULL且有默认值的字段属性,有利于提高数据比对检索的性能,更加有利于索引结构的优化
同一表增加多个字段,不分多条语句,而应只用一条变更语句
例如:
ALTER TABLE tmp_test ADD COLUMN age TINYINT UNSIGNED NOT NULL DEFAULT 0;
ALTER TABLE tmp_test ADD COLUMN gmt_CreateDate TIMESTAMP NOT NULL DEFAULT ‘0000-00-00 00:00:00’;
应该改写成:
ALTER TABLE tmp_test
ADD COLUMN age TINYINT UNSIGNED NOT NULL DEFAULT 0,
ADD COLUMN gmt_CreateDate TIMESTAMP NOT NULL DEFAULT '0000-00-00 00:00:00';
DDL加速技巧
DDL操作的过程
① 申请表对象加锁,只允许读不允许更新
② 复制一份变更对象表的结构代码
③ 原数据结构基础之上修改,新建一组临时文件,MyISAM引擎和InnoDB引擎的文件有所不同,
分别为: #***.frm、#***.MYD、#***.MYI, #***.frm、#***.ibd
④ 变更对象表中的数据写入到临时表中
⑤ 速度读写完毕的情况下,完全锁定被变更的表,并且删除被变更表
⑥ 对临时文件执行RENAME操作
⑦ 刷新数据字典信息
⑧ 释放锁
调整的SESSION变量
① 建议增加SESSION级别的 sort_buffer_size 值,以加速DDL过程需要做的排序操作;
② 建议增加SESSION级别的 read_buffer_size 值,增加顺序读的速度;
③ 建议增加SESSION级别的 tmp_table_size 和 max_heap_table_size值,增加内存缓存数据的能力;
④ 若是存在InnoDB引擎转MyISAM的操作,建议在线增加key_buffer_size的值,增加索引数据的缓存能力;
www.mysqlops.com
M-M架构的DDL变更技巧
M-M 复制架构,只有一台提供全部或主数据服务
推荐DDL语句,在当下M-M架构中属于备用数据库服务器上优先执行,有四项优点:
① 不立即影响数据库提供的数据服务
② 不阻塞主备之间数据复制的日志恢复操作
③ DDL语句执行过程,若出问题只影响备库的稳定性,而很少会影响主库
④ 若有数据服务无缝切换功能(例如:heartbeat、自主数据层等),可以在备库执行完成后,进行数据服务
提供的主备库切换,尤其是数据容量大的表变更时,可以减少对业务影响程度及减少停机维护时间和次数
M-M-multiS复制架构
针对双主复制,外加多从模式,就要分操作类型进行了,一般原则:线上环境不删除字段,修改为兼容性的属性,
为此针对此类操作我们建议:
① IP:10.10.1.124也即中转兼备用服务器上,先执行SET sql_log_bin=0; 然后执行DDL变更;
② 待上一步骤完成,再在对应的只读性质的丛库上执行DDL变更;
③ 待上述步骤都正常完成,再在IP:10.10.1.123服务器上执行SET sql_log_bin=0; 然后执行DDL变更;www.mysqlops.com
其他事项
索引优化命令执行顺序和坚持的原则:
① 优先执行创建索引的语句;
② 确保增加了对应的索引结构之后,再删除多余的索引;
③ 用户行为触发而执行频率越高的SQL命令,性能确保其性能最佳;
④ 数据变更类型(UPDATE OR DELETE)的SQL命令,索引可选择性优先;
数据库对象表结构的变更
① 若是增加字段或字段属性值域扩大等类似操作,必须优先于应用程序发布;
② 若是字段的删除操作,则等应用程序成功发布之后再执行;
③ 若是字段类型变更,不兼容的情况下,则与版本发布同一时间段内完成(注:一般是停机维护类型);
④ 若是涉及索引的变更,则先于应用程序发布进行增加,等应用程序成功发布上线之后,再删除多余的索引。
www.mysqlops.com
数据库对象表数据的DML
DML语句书写建议
大数据量的DELETE OR UPDATE
定期规律性清理数据的DELETE
M-M架构的大数据量DML技巧
www.mysqlops.com
DML语句书写建议
DML语句不允许出现@number方式替代字段名称
不合理的写法:UPDATE table_name SET @1=NOW() WHERE @2=1;
正确的写法:UPDATE table_name SET column_name1=NOW() WHERE column_name2=1;
UPDATE OR DELETE 禁用LIMIT子句
不合理的写法:UPDATE table_name SET column_name1=NOW() WHERE column_name2=1 LIMIT 1;
正确的写法:UPDATE table_name SET column_name1=NOW() WHERE column_name2=1;
INSERT语句需要写清楚值和字段对应关系
不合理的写法:
INSERT INTO table_name VALUES(NOW(),DATE_ADD(NOW(),INTERVAL +1 DAY));
正确的写法:
INSERT INTO table_name(gmt_create,gmt_modify) VALUES(NOW(),DATE_ADD(NOW(),INTERVAL +1 DAY));
DML语句少用不确定性函数
常见被大家使用的不确定性函数:UUID()、RAND()、SYSDATE()等函数,若无特殊用处之外,请以确定性函
数替代之。
推荐阅读的技术文章:曾用于内部培训的PPT内容:MySQL开发规范与实用技术交流
www.mysqlops.com
大数据量的DELETE OR UPDATE
可能出于某些原因和运营目的,需要对数据库中的数据进行大量的清理或更改某字段的值,分别举
二个示例:
① 网络专项整治的时期,需要删除大量含某些关键词的内容;
② 给符合某一条件(例如:等级,在线时长)的游戏玩家,赠送100~1000不等数量的游戏币;
给出的2个数据修改需求示例,若是直接根据相关要求去做,一个是需要用到模糊查询,另一个数据
更新条件也没有合理索引可用,为此可能造成表对象表级锁被长时间锁住,而且阻塞其他更改类型数据操作
服务,所以我们不得不采用更合理的办法,建议如下步骤解决:
① 设计并创建一张表tmp_pk_data ,用于记录将要被修改记录的主键,及需要的相关信息;
② 优先考虑在备库上跑一条SQL命令或存储过程的方式,把主键及相关数据写到表tmp_pk_data中;
③ 编写一个存储过程,使用游标循环控制获得tmp_pd_data的信息,根据主键更新或删除目标表的数据,
且建议此操作在备库上完成(注释:必须是双主复制模式,才可在备库上执行);
www.mysqlops.com
定期规律性清理数据的DELETE
定期规律性数据的清理,优先对目标表的数据操纵方式进行分类:
① 若是日志类型的数据,则完全可以改为借助分区表的方式,比如按日期删除数据的条件,则可
以用日期作为数据分区条件,然后增删分区的方式实现数据的清理工作;
② 若是数据的UPDATE/DELETE/SELECT操纵条件,与定期清理数据的规则一致或被其包含,则
可以考虑使用分区表,然后借助删除分区方式达到数据清理的目标;
③ 若不能使用分区表解决的,则可以考虑参考上章节介绍的“大数据量的DELETE OR UPDATE”
内容;
www.mysqlops.com
M-M架构的大数据量DML技巧
日常工作中,可能偶尔会碰到非常紧急的大数据量订正工作,数据更新的条件也非常简单,还可能有合
理的索引使用。若是采用M-M复制架构,则可以考虑优先在备库上执行此操作,至少可以做到:
① 不阻塞数据复制的恢复线程;
② 若存在数据服务无缝切换机制,可选择备库执行完毕,立即切换主备的数据服务,减少对应用的影响;
③ 采用前面章节介绍的方法,先通过查询语句把数据写入对应的表中,再根据主键更新或删除,也可以
考虑在备库上执行,减少数据复制的恢复负载压力,通过复制的方式去更新主库上的数据,稍微要承
担一点数据被覆盖的风险;
④ 要向数据库中导入大量数据,建议对导入的数据文件先进行切割成相对合理的数据量,接着优先在备
用服务器上进行导入,而不应该选择直接主库上进行,而是通过MySQL自身的复制功能,同步到主数
据库服务器上;
www.mysqlops.com
异步复制
replicate-ignore-db复制模式的注意事项
数据更新或数据结构变更的时候,必须先执行USE db_name的方式,到目标数据库对象内再执行
其他SQL语句,禁用类似:INSERT INTO db_name.tablename……语句
sql_log_bin
MySQL5.1及以上版本支持参数:sql_log_bin,可以设置SET SESSION sql_log_bin=0的方式,达到
修改类型的SQL语句操作不会登记到二进制日志文件中,从而可以达到不会被复制到其备库上,为解决少
量主备数据不一致、复制中断,以及特殊的数据更改或数据结构变更等应用场景提供了方便;
sql_slave_skip_counter
用于跳过出错的SQL语句数量设置的参数,某些紧急情况或可忽略的错误,则可以借助此参数先恢复
复制的正常运行,步骤:
① STOP SLAVE;
② SET GLOBAL sql_slave_skip_counter=N 注释:N为跳过SQL的个数,不建议盲目跳
③ START SLAVE;
推荐阅读的技术文章:生产环境搭建MySQL复制的教程
www.mysqlops.com
Heartbeat的VIP漂移
前端应用配置的数据库连接为VIP,而VIP服务由Heartbeat软件实现,且数据库架构采用M-M架构,
为实现快速切换,可采用的步骤(假设A<->B,VIP加载在A主机上):
① 停掉A物理服务器上的Hearbeat服务:service heartbeat stop
② 检查VIP服务是否漂浮到B主机上,以及前端程序是否连接上来
③ 检查是否恢复完从A主机复制过来的日志,及主备复制是否正常
④ 关闭A主机上的mysqld服务:mysqladmin –uroot –p**** shutdown
⑤ 启动A主机上的Heartbeat服务启动: service heartbeat stop
⑥ 启动A主机上的mysqld服务:mysqld_safe &
推荐阅读的技术文章:
MySQL DBA变更规范
HeartBeat搭建MySQL数据库双主热备高可用环境
www.mysqlops.com
会持续整理一系列对MySQL DBA工作,有帮助的技术资料和经验分享,也会告诉大家工作中,以什么样的心态和心境对待技术工作,让我们大家一起分享,一起成长!
便于大家及时接收到相关信息,请关注我们的微博或网站,感谢您们一路的陪伴!
备注:mysql5.5版本的参数信息,将单独整理
新浪微博:http://weibo.com/mysqlops
腾讯微博:http://t.qq.com/mysqlops
邮箱地址:[email protected]
www.mysqlops.com