mysql聚合统计数据查询缓慢的优化方法

站长资源 2024/11/24 佚名

2 0 1

写在前面

在我们日常操作数据库的时候，比如订单表、访问记录表、商品表的时候。

经常会处理计算数据列总和、数据行数等统计问题。

随着业务发展，这些表会越来越大，如果处理不当，查询统计的速度也会越来越慢，直到业务无法再容忍。

所以，我们需要先了解、思考这些场景知识点，在设计之初，便预留一些优化空间支撑业务发展。

sql聚合函数

在mysql等数据中，都会支持聚合函数，方便我们计算数据。

常见的有以下方法

取平均值 AVG()
求和 SUM()
最大值 MAX()
最小值 MIN()
行数 COUNT()

演示几个简单使用的sql语句：

查询u_id为100的订单总数

select count(id) from orders where u_id = 100;

查询u_id为100的订单消费总和

select sum(order_amount) from orders where u_id = 100;

查询销量最高的商品

select max(sell_num) from goods

统计7月份的订单数量、金额总和

select count(id) as count, sum(order_amount) as total_amount 
from orders where order_date between 20190701 and 20190731 and is_pay = 1

如果此时，订单表的总数是1亿条。并且此条sql运行很慢，我们应该如何排查优化？

有的同学会说了：行数多，在日期字段上加索引，这样子筛选就很快了。

总数1亿条，假设7月份的订单有1000万条，加了索引的时候，筛选速度自然会提升不少。但是此时我们的问题真的解决了吗？

在这种聚合函数中，结果需要遍历每一条数据来计算，比如我们统计订单总和，就需要每一行都读取订单金额，然后加起来。

也就是说在这条统计sql中，需要先从1亿数据中筛选1000万条数据，然后再遍历这些数据来计算。此时就会非常慢了。

增加索引并不能解决聚合函数统计慢的问题

优化聚合统计的方案

提前预算

建立统计数据表，以日期区分，如：20190801一天，销售了多少订单、金额等等数据。
当订单产生（支付完成后可统计数据）时，便在统计数据表中对应的日期增加金额、数量。

需要注意的是，如果有退款等场景会影响减少数据，记得也相应地做操作处理

当我们需要统计8月份的数据时候，则只需要遍历计算这一个月的三十来行数据。

定时落地

我们可以使用easyswoole、计划任务等。来定时（比如每20分钟一次）计算总和，然后更新到统计数据表中。

优点：做的处理比较少，也无需改动退款操作等api，只需要依赖原订单表的数据，定时统计、刷新统计数据。

需要注意的是，根据不同的订单热度，来设置不同的落地频率，比如一周内的数据变化几率比较大，可能20分钟落地。而一年前的数据则变化几率很小，可以选择某天同步一次，甚至确保不会变动时，则不再刷新。

总结

索引并不能解决统计聚合数据慢的sql语句问题

聚合函数谨慎用最好不用，因为我们无法预算以后的数据量需要扫描多少行数据来计算

优化方案离不开统计表，都需要按一定的周期储存运算好的统计数据

mysql聚合统计,mysql常用聚合函数,mysql聚合函数有哪些

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“mysql聚合统计数据查询缓慢的优化方法”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月24日