这篇文章主要介绍了Python Celery多队列配置代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Celery官方文档
项目结构
/proj -__init__ -app.py #实例化celery对象 -celeryconfig.py #celery的配置文件 -tasks.py #celery编写任务文件
app.py
#coding:utf-8 from __future__ import absolute_import from celery import Celery app = Celery('proj', include=['proj.tasks']) #实例化celery对象 app.config_from_object('proj.celeryconfig') #引入配置文件 if __name__ == '__main__': app.start()
- proj参数为celery的名字
- include参数为启动时导入的模块列表
tasks.py
#coding:utf-8 from __future__ import absolute_import from proj.app import app @app.task() def add(x, y): return x + y
celeryconfig.py
#coding:utf-8 from kombu import Queue BROKER_URL = 'amqp://guest:guest@127.0.0.1:5672//' # 使用RabbitMQ作为消息代理 CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/0' # 把任务结果存在了Redis CELERY_TASK_SERIALIZER = 'msgpack' # 任务序列化和反序列化使用msgpack方案 CELERY_RESULT_SERIALIZER = 'json' # 读取任务结果一般性能要求不高,所以使用了可读性更好的JSON CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 # 任务过期时间,不建议直接写86400,应该让这样的magic数字表述更明显 CELERY_ACCEPT_CONTENT = ['json', 'msgpack'] # 指定接受的内容类型 CELERY_QUEUES = ( #设置add队列,绑定routing_key Queue('add', routing_key='xue.add'), ) CELERY_ROUTES = { #projq.tasks.add这个任务进去add队列并routeing_key为xue.add 'projq.tasks.add': { 'queue': 'add', 'routing_key': 'xue.add', } }
- CELERY_ACCEPT_CONTENT的类型msgpack为是一种比json更小更快的类型,如果用需要安装相对应的包。
- CELERY_QUEUES设置一个指定routing_key的队列,这个名字可以任意指定。
- CELERY_ROUTES设置路由,对指定的任务名,指定对应的队列和routing_key,注意,这里的routing_key需要和上面参数的一致。
启动
在proj的上层目录输入
celery -A proj.app worker -Q add -l info
proj.tasks.add为任务名称,也就是在CELERY_ROUTES设置的那个名称
add是设置的queue,key=xue.add是设置的routing_key
发布任务
from proj.tasks import add add.delay(2,3)
多队列中需要修改的地方
CELERY_QUEUES = ( #设置add队列,绑定routing_key Queue('add', routing_key='xue.add'), ) CELERY_ROUTES = { #projq.tasks.add这个任务进去add队列并routeing_key为xue.add 'projq.tasks.add': { 'queue': 'add', 'routing_key': 'xue.add', }
配置两个队列
# 配置队列 CELERY_QUEUES = ( Queue('default', routing_key='default'), Queue('队列1', routing_key='key1'), Queue('队列2', routing_key='key2'), )
# 路由(哪个任务放入哪个队列) CELERY_ROUTES = { '任务1': {'queue': '队列1', 'routing_key': 'key1'}, '任务2': {'queue': '对列2', 'routing_key': 'key2'}, }
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
暂无评论...
更新日志
2024年11月25日
2024年11月25日
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]