源码分析 Laravel 重复执行同一个队列任务的原因

站长资源 2024/11/28 佚名

2 0 1

前言

laravel 的队列服务对各种不同的后台队列服务提供了统一的 API。队列允许你延迟执行消耗时间的任务，比如发送一封邮件。这样可以有效的降低请求响应的时间。

发现问题

在 Laravel 中使用 Redis 处理队列任务，框架提供的功能非常强大，但是最近遇到一个问题，就是发现一个任务被多次执行，这是为什么呢？

先说原因：

因为在 Laravel 中如果一个队列（任务）执行时间大于 60 秒，就会被认为执行失败并重新加入队列中，这样就会导致重复执行同一个任务。

这个任务的逻辑就是给用户推送内容，需要根据队列内容取出用户并遍历，通过请求后端 HTTP 接口发送。比如有 10000 个用户，在用户数量多或接口处理速度没那么快的情况下，执行时间肯定会大于 60 秒，于是这个任务就被重新加入队列。情况更糟糕一点，前面的任务如果都没有在 60 秒执行完，就都会重新加入队列，这样同一个任务就不止重复执行一次了，而是多次。

下面从 Laravel 源代码找一下罪魁祸首。

源代码文件：vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php

/**
 * The expiration time of a job.
 *
 * @var int|null
 */
protected $expire = 60;

这个 $expire 成员变量是一个固定的值，Laravel 认为一个队列再怎么 60 秒也该执行完了吧。取队列方法：

public function pop($queue = null)
{
 $original = $queue "htmlcode">

local job = redis.call('lpop', KEYS[1])
local reserved = false
if(job ~= false) then
 reserved = cjson.decode(job)
 reserved['attempts'] = reserved['attempts'] + 1
 reserved = cjson.encode(reserved)
 redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
return {job, reserved}


可以看到 Laravel 在取 Redis 要执行的队列的时候，同时会放一份到一个有序集合中，并使用过期时间戳作为分值。
只有当这个任务完成后，再把有序集合中这个任务移除。从这个有序集合移除队列的代码就省略，我们看一下 Laravel 如何处理执行时间大于 60 秒的队列。
也就是这段 lua 脚本执行的操作：


local val = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1])
if(next(val) ~= nil) then
 redis.call('zremrangebyrank', KEYS[1], 0, #val - 1)
 for i = 1, #val, 100 do
  redis.call('rpush', KEYS[2], unpack(val, i, math.min(i+99, #val)))
 end
end
return true


这里 zrangebyscore 找出分值从无限小到当前时间戳的元素，也就是 60 秒之前加入到集合的任务，然后通过 zremrangebyrank 从集合移除这些元素并 rpush 到队列中。
看到这里应该就恍然大悟了。
如果一个队列 60 秒没执行完，那么进程在取队列的时候从 reserved 集合中把这些任务又重新 rpush 到队列中。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。

laravel,队列重复执行,laravel,任务队列,laravel,执行队列

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“源码分析 Laravel 重复执行同一个队列任务的原因”

暂无评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年11月28日

源码分析 Laravel 重复执行同一个队列任务的原因

关于 Laravel Redis 多个进程同时取队列问题详解

浅析PHP中的闭包和匿名函数

评论“源码分析 Laravel 重复执行同一个队列任务的原因”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接