ApacheAirflow中的DataflowTemplatedJobStartOperator未按预期设置作业区域。
创始人
2024-09-05 10:00:13
0

可以通过在Airflow DAG中设置operator实例的job_name参数来解决此问题。在job_name参数中,可以使用Jinja模板语言包含BigQuery Job的项目ID和区域。

以下是一些示例代码:

from airflow import DAG
from airflow.contrib.operators.dataflow_operator import DataflowTemplatedJobStartOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2020, 1, 1)
}

dag = DAG('my_dag', default_args=default_args, schedule_interval=None)

job_name = 'my_job_{{ ds_nodash }}'
project_id = 'my_project_id'
region = 'us-central1'

start_operator = DataflowTemplatedJobStartOperator(
    task_id='start_operator',
    job_name=job_name,
    project_id=project_id,
    region=region,
    template='gs://my-bucket/my-template.json',
    parameters={
        'input': 'gs://my-input-bucket/my-input.txt',
        'output': 'gs://my-output-bucket/my-output.txt',
    },
    dag=dag
)

在上面的代码中,job_name参数使用了Jinja模板语言,它将在每次运行DAG时设置为"my_job_{{ ds_nodash }}",其中ds_nodash是日期字符串,以实现唯一的作业ID。项目ID和区域在整个DAG中是常量,因此它们在Airflow DAG设置中直接设置。这样,DataflowTemplatedJobStartOperator将正确设置作业区域,并使用指定的项目ID启动作业。

相关内容

热门资讯

推荐十款!科乐填大坑破解版安卓... 推荐十款!科乐填大坑破解版安卓,wepoker轻量版透视方法,总结教程(有挂技巧);1、科乐填大坑破...
技术分享!广东闲来辅助神器免费... 技术分享!广东闲来辅助神器免费版,wpk官网下载链接,黑科技教程(有挂头条);1、点击下载安装,广东...
科技揭秘!福建相约13水外,线... 科技揭秘!福建相约13水外,线上德州的辅助器是什么,曝光教程(有挂秘笈)是一款可以让一直输的玩家,快...
一分钟了解!土豪联盟辅助器,w... 您好,土豪联盟辅助器这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在这...
玩家攻略推荐!吉祥填大坑有插件... 玩家攻略推荐!吉祥填大坑有插件吗,wpk辅助,黑科技教程(有挂方法);吉祥填大坑有插件吗AI智能教程...
教学盘点!来来拼十软件脚本,h... 教学盘点!来来拼十软件脚本,hhpoker俱乐部是干嘛的,曝光教程(有挂实锤);来来拼十软件脚本是一...
科技通报!微信闲来神器软件下载... 科技通报!微信闲来神器软件下载,aapoker插件下载,介绍教程(有挂透明挂),微信闲来神器软件下载...
总算明白!七千在线辅助,德州来... 总算明白!七千在线辅助,德州来玩辅助器,专业教程(有挂工具);1、总算明白!七千在线辅助,德州来玩辅...
分享给玩家!三哥玩app辅助,... 分享给玩家!三哥玩app辅助,哈糖大菠萝辅助器,2025新版教程(有挂解惑),哈糖大菠萝辅助是用手机...
盘点几款!欢乐对决脚本,wep... 您好,欢乐对决脚本这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在这款...