ApacheAirflow是否需要pickle5在启动调度器或celery时使用?
创始人
2024-09-05 09:30:42
0

Apache Airflow在版本1.10.14中引入了对pickle5的支持来提高序列化效率。如果你使用的是该版本或更高版本,则需要安装pickle5。

安装pickle5的方法可以使用pip命令:

pip install 'apache-airflow[pickle5]'

在使用Airflow配置celery时,也需要添加'pickle5'。例如:

from airflow import CeleryApp

app = CeleryApp('airflow.worker', broker='pyamqp://guest@localhost//')
app.conf.task_serializer = 'pickle'
app.conf.worker_prefetch_multiplier = 1
app.conf.broker_connection_retry = True
app.conf.broker_connection_max_retries = 0
app.conf.result_backend = 'db+postgresql://airflow@localhost:5432/airflow'

# 添加pickle5
app.conf.worker_enable_remote_control = False
app.conf.worker_send_task_events = True
app.conf.worker_connection_retry = True
app.conf.task_protocol = 5

app.start()

需要注意的是,在使用pickle5时,可能会遇到一些兼容性问题。因此,建议在测试环境中测试后再用于生产环境。

相关内容

热门资讯

透视神器!wpk透视插件,wp... 透视神器!wpk透视插件,wpk免费辅助,玩家教你(有挂教程);wpk透视插件辅助器中分为三种模型:...
透视肯定!wpk显示有作弊,购... 透视肯定!wpk显示有作弊,购买的wpk辅助在哪里下载,AI教程(有挂辅助)1、不需要AI权限,帮助...
透视透视挂!wpk辅助哪里买,... 透视透视挂!wpk辅助哪里买,wpk透视辅助方法,揭秘教程(有挂辅助);1、实时wpk透视辅助方法开...
透视软件!wpk透视是真的吗,... 透视软件!wpk透视是真的吗,wpk作弊是真的吗,曝光教程(有挂解密)亲,关键说明,wpk透视是真的...
透视软件!wpk控制牌是真的吗... 透视软件!wpk控制牌是真的吗,如何下载wpk透视版,新2025版(有挂黑科技)1、点击下载安装,w...
透视安卓版!wpk作弊,wpk... 透视安卓版!wpk作弊,wpk免费辅助,细节方法(有挂插件)1、wpk免费辅助系统规律教程、wpk免...
透视总结!购买的wpk辅助在哪... 透视总结!购买的wpk辅助在哪里下载,wpk辅助购买,新版2025教程(有挂解说)1、让任何用户在无...
透视私人局!如何判断wpk辅助... 透视私人局!如何判断wpk辅助软件的真假,wpk插件辅助,插件教程(有挂解密)1、许多玩家不知道如何...
透视计算!wpk模拟器,wpk... 透视计算!wpk模拟器,wpk作弊是真的吗,科技教程(有挂教程)1、wpk作弊是真的吗系统规律教程、...
透视系统!wpk显示有作弊,w... 透视系统!wpk显示有作弊,wpk模拟器是什么,透明教程(有挂解密);1、不需要AI权限,帮助你快速...