ApacheAirflow中的DataflowTemplatedJobStartOperator未按预期设置作业区域。
创始人
2024-09-05 10:00:13
0

可以通过在Airflow DAG中设置operator实例的job_name参数来解决此问题。在job_name参数中,可以使用Jinja模板语言包含BigQuery Job的项目ID和区域。

以下是一些示例代码:

from airflow import DAG
from airflow.contrib.operators.dataflow_operator import DataflowTemplatedJobStartOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2020, 1, 1)
}

dag = DAG('my_dag', default_args=default_args, schedule_interval=None)

job_name = 'my_job_{{ ds_nodash }}'
project_id = 'my_project_id'
region = 'us-central1'

start_operator = DataflowTemplatedJobStartOperator(
    task_id='start_operator',
    job_name=job_name,
    project_id=project_id,
    region=region,
    template='gs://my-bucket/my-template.json',
    parameters={
        'input': 'gs://my-input-bucket/my-input.txt',
        'output': 'gs://my-output-bucket/my-output.txt',
    },
    dag=dag
)

在上面的代码中,job_name参数使用了Jinja模板语言,它将在每次运行DAG时设置为"my_job_{{ ds_nodash }}",其中ds_nodash是日期字符串,以实现唯一的作业ID。项目ID和区域在整个DAG中是常量,因此它们在Airflow DAG设置中直接设置。这样,DataflowTemplatedJobStartOperator将正确设置作业区域,并使用指定的项目ID启动作业。

相关内容

热门资讯

我来分享!德扑之星怎么在电脑上... 我来分享!德扑之星怎么在电脑上玩(辅助挂)外挂辅助软件(2025已更新)(哔哩哔哩)是一款可以让一直...
每日必看!葫芦娃捉鸡攻略,雀神... 每日必看!葫芦娃捉鸡攻略,雀神广东麻将神器软件哪里买,曝光教程(真是有挂);葫芦娃捉鸡攻略软件透明挂...
实操分享!捕鱼脚本黑科技辅助器... 实操分享!捕鱼脚本黑科技辅助器(透视软件挂)-果真真的有挂(2023已更新);亲,这款捕鱼脚本黑科技...
揭秘几款(鱼扑克app俱乐部)... 鱼扑克app俱乐部透视辅助版本稳定性对比与推荐‌:揭秘几款(鱼扑克app俱乐部)软件透明挂辅助插件(...
透视透明挂!贵州闲来麻将真的有... 1、透视透明挂!贵州闲来麻将真的有挂,雀神小程序好牌几率挂,教你攻略(真的有挂)(UU poker、...
5分钟普及!一起宁德麻将钓蟹有... 5分钟普及!一起宁德麻将钓蟹有挂嘛(透视)外挂透视辅助软件(2021已更新)(哔哩哔哩),您好,一起...
必备教程!wpk ai辅助(透... 必备教程!wpk ai辅助(透视)透视辅助器(2020已更新)(哔哩哔哩)1、wpk系统规律教程、w...
总算了解!wepkoer透视挂... 总算了解!wepkoer透视挂安装(透视辅助挂)-竟然是真的有挂(2024已更新);wepkoer透...
玩家必看秘籍(Wepoke胜率... 玩家必看秘籍(Wepoke胜率)外挂辅助工具(辅助挂)软件透明挂(2023已更新)(哔哩哔哩);大神...
玩家科普!uupoker有没有... 玩家科普!uupoker有没有挂(透视软件挂)-竟然是真的有挂(2021已更新);亲,这款uupok...