ApacheAirflowkeepsrepeatingDAG
创始人
2024-09-05 09:30:30
0

在Apache Airflow中,如果要防止DAG重复执行,可以使用以下方式:

  1. 设置DAG的默认参数:
from airflow import DAG
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2021, 1, 1),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG('example_dag', default_args=default_args)

在默认参数中,设置了开始日期(start_date),结束日期之前(end_date),重试次数(retries)和重试延迟(retry_delay)等参数。这些参数可以帮助我们控制DAG的执行频率,并确保它不会重复执行。

  1. 使用Operator的provide_context参数:
from airflow.operators.bash_operator import BashOperator
from datetime import datetime

dag = DAG('example_dag', start_date=datetime(2021, 1, 1))

t1 = BashOperator(
    task_id='task_1',
    bash_command='echo {{ ds }}',
    provide_context=True,
    dag=dag,
)

在BashOperator中,我们设置了provide_context参数为True,这意味着我们可以在Bash命令中使用context中的变量。其中,{{ ds }}是日期字符串,表示任务执行的日期。这可以帮助我们控制DAG的执行时间并避免重复执行。

  1. 使用ExternalTaskSensor:
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.sensors import ExternalTaskSensor
from datetime import datetime, timedelta

source_dag_id = 'example_dag_source'
target_dag_id = 'example_dag_target'

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2021, 1, 1),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries

相关内容

热门资讯

外挂课程!佛手在线大菠萝技巧,... 外挂课程!佛手在线大菠萝技巧,德州局透视脚本下载安装最新版本-原来存在有辅助方法(哔哩哔哩)1、超多...
外挂窍要!约局吧能不能开挂,p... 外挂窍要!约局吧能不能开挂,pokernow辅助工具-一贯有辅助方法(哔哩哔哩)1、外挂窍要!约局吧...
外挂手筋!德州机器人代打脚本,... 外挂手筋!德州机器人代打脚本,约局吧辅助器-都是一直都是有辅助工具(哔哩哔哩)1、外挂手筋!德州机器...
外挂阶段!拱趴大菠萝有什么挂,... 外挂阶段!拱趴大菠萝有什么挂,佛手在线有挂吗-都是存在有辅助方法(哔哩哔哩);1、在拱趴大菠萝有什么...
外挂教程书!聚星ai辅助工具下... 外挂教程书!聚星ai辅助工具下载,德普之星透视-都是是真的有辅助方法(哔哩哔哩)1、聚星ai辅助工具...
外挂教材!拱趴大菠萝挂哪里,德... 外挂教材!拱趴大菠萝挂哪里,德州之星扫描器-本来真的有辅助技巧(哔哩哔哩)1、每一步都需要思考,不同...
外挂课程!poker worl... 外挂课程!poker world辅助,德州透视脚本-好像真的有辅助方法(哔哩哔哩)1、许多玩家不知道...
外挂讲义!聚星ai辅助工具下载... 外挂讲义!聚星ai辅助工具下载,拱趴大菠萝万能挂图解-竟然是有辅助工具(哔哩哔哩)1、拱趴大菠萝万能...
外挂指南!newpoker怎么... 外挂指南!newpoker怎么安装脚本,德扑之心免费透视-确实是有辅助教程(哔哩哔哩)1、newpo...
外挂方针!佛手在线大菠萝为什么... 外挂方针!佛手在线大菠萝为什么都输,德州局透视-果然存在有辅助工具(哔哩哔哩)1.佛手在线大菠萝为什...