MySQL因大事务导致的Insert慢实例分析

站长资源 2024/11/24 佚名

2 0 1

【问题】

INSERT语句是最常见的SQL语句之一，最近有台MySQL服务器不定时的会出现并发线程的告警，从记录信息来看，有大量insert的慢查询，执行几十秒，等待flushing log，状态query end

【初步分析】

从等待资源来看，大部分时间消耗在了innodb_log_file阶段，怀疑可能是磁盘问题导致，经过排查没有发现服务器本身存在硬件问题

后面开启线程上升时pstack的自动采集，定位MySQL线程等待的位置。

【分析过程】

部署了pstack的自动抓取后，出现过6次thread concurrency >=50的告警（每次告警时会有大量的慢查询产生），有3次抓到了现场。

并发线程升高时，有50多个线程卡在Stage_manager::enroll_for函数，处于group commit阶段

线程0x519c5940对应的SQL语句如下，已经执行18秒

Stage_manager::enroll_for函数的作用实现了多个线程在flush_stage阶段的排队。简单来说，对于一个分组的事务，是被leader线程去提交的，其他线程处于排队等待状态，等待leader线程将该线程的事务提交完成。

如果第一个线程执行慢，后面的线程都处于等待状态，整组事务无法提交。

流程也可以理解如下，

Session A COMMIT-->拿到锁-->进行binlog写-->commit完成

Session B COMMIT-->等待锁--------------------------->拿到锁-->进行binlog写-->commit完成

第一个线程为什么执行很慢，分析了发生告警时间段的日志文件，发现日志中存在2个15M和20M的大事务

查看日志明细，存在delete from的大事务删除语句，约包含23W条记录，ROW模式下删除23W条记录，会产生大约20M的日志文件，刷盘时间较长，阻塞了同一个分组下其他事务的提交。

事务的开始时间与告警时间吻合

积压的分组下事务集中刷盘，反应到磁盘指标上可以看到在问题时间段的disk_write_kbytes指标出现明显的上升

【优化方案】

1、建议开发避免使用delete from 整表的大事务删除语句

【其他变通方案】

2、 Binlog 记录的ROW模式下会产生大量的日志，改为MIXED模式，理论上也可以解决问题

3、更换性能好的磁盘

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。

mysql,insert,慢,mysql,insert,超级慢,mysql事务

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“MySQL因大事务导致的Insert慢实例分析”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月24日

MySQL因大事务导致的Insert慢实例分析

详解Mysql导出数据的几种方式

CentOS 7中升级MySQL 5.7.23的坑与解决方法

评论“MySQL因大事务导致的Insert慢实例分析”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接