专注于 JetBrains IDEA 全家桶,永久激活,教程
持续更新 PyCharm,IDEA,WebStorm,PhpStorm,DataGrip,RubyMine,CLion,AppCode 永久激活教程

celery常用配置介绍

设置时区 CELERY_TIMEZONE = ‘Asia/Shanghai’

启动时区设置 CELERY_ENABLE_UTC = True

限制任务的执行频率 下面这个就是限制tasks模块下的add函数,每秒钟只能执行10次

CELERY_ANNOTATIONS = {’tasks.add’:{’rate_limit’:’10/s’}}

或者限制所有的任务的刷新频率

CELERY_ANNOTATIONS = {’*’:{’rate_limit’:’10/s’}}

也可以设置如果任务执行失败后调用的函数

def my_on_failure(self,exc,task_id,args,kwargs,einfo):
    print('task failed')

CELERY_ANNOTATIONS = {’*’:{’on_failure’:my_on_failure}}

并发的worker数量,也是命令行-c指定的数目

事实上并不是worker数量越多越好,保证任务不堆积,加上一些新增任务的预留就可以了

CELERYD_CONCURRENCY = 20

celery worker每次去redis取任务的数量,默认值就是4

CELERYD_PREFETCH_MULTIPLIER = 4

每个worker执行了多少次任务后就会死掉,建议数量大一些

CELERYD_MAX_TASKS_PER_CHILD = 200

使用redis作为任务队列

组成: db+scheme://user:password@host:port/dbname

BROKER_URL = ‘redis://127.0.0.1:6379/0’

celery任务执行结果的超时时间

CELERY_TASK_RESULT_EXPIRES = 1200

单个任务的运行时间限制,否则会被杀死

CELERYD_TASK_TIME_LIMIT = 60

使用redis存储任务执行结果,默认不使用

CELERY_RESULT_BACKEND = ‘redis://127.0.0.1:6379/1’

将任务结果使用’pickle’序列化成’json’格式

任务序列化方式

CELERY_TASK_SERIALIZER = ‘pickle’

任务执行结果序列化方式

CELERY_RESULT_SERIALIZER = ‘json’

也可以直接在Celery对象中设置序列化方式

app = Celery(‘tasks’, broker=’…’, task_serializer=’yaml’)

关闭限速

CELERY_DISABLE_RATE_LIMITS = True

一份比较常用的配置文件:

在celery4.x以后,就是BROKER_URL,如果是以前,需要写成CELERY_BROKER_URL

BROKER_URL = ‘redis://127.0.0.1:6379/0’

指定结果的接收地址

CELERY_RESULT_BACKEND = ‘redis://127.0.0.1:6379/1’

指定任务序列化方式

CELERY_TASK_SERIALIZER = ‘msgpack’

指定结果序列化方式

CELERY_RESULT_SERIALIZER = ‘msgpack’

指定任务接受的序列化类型.

CELERY_ACCEPT_CONTENT = [’msgpack’]

任务过期时间,celery任务执行结果的超时时间

CELERY_TASK_RESULT_EXPIRES = 24 * 60 * 60

任务发送完成是否需要确认,对性能会稍有影响

CELERY_ACKS_LATE = True

压缩方案选择,可以是zlib, bzip2,默认是发送没有压缩的数据

CELERY_MESSAGE_COMPRESSION = ‘zlib’

规定完成任务的时间

在5s内完成任务,否则执行该任务的worker将被杀死,任务移交给父进程

CELERYD_TASK_TIME_LIMIT = 5

celery worker的并发数,默认是服务器的内核数目,也是命令行-c参数指定的数目

CELERYD_CONCURRENCY = 4

celery worker 每次去BROKER中预取任务的数量

CELERYD_PREFETCH_MULTIPLIER = 4

每个worker执行了多少任务就会死掉,默认是无限的

CELERYD_MAX_TASKS_PER_CHILD = 40

设置默认的队列名称,如果一个消息不符合其他的队列就会放在默认队列里面,如果什么都不设置的话,数据都会发送到默认的队列中

CELERY_DEFAULT_QUEUE = “default”

文章永久链接:https://tech.souyunku.com/46898

未经允许不得转载:搜云库技术团队 » celery常用配置介绍

JetBrains 全家桶,激活、破解、教程

提供 JetBrains 全家桶激活码、注册码、破解补丁下载及详细激活教程,支持 IntelliJ IDEA、PyCharm、WebStorm 等工具的永久激活。无论是破解教程,还是最新激活码,均可免费获得,帮助开发者解决常见激活问题,确保轻松破解并快速使用 JetBrains 软件。获取免费的破解补丁和激活码,快速解决激活难题,全面覆盖 2024/2025 版本!

联系我们联系我们