ApacheAirflowkeepsrepeatingDAG
创始人
2024-09-05 09:30:30
0

在Apache Airflow中,如果要防止DAG重复执行,可以使用以下方式:

  1. 设置DAG的默认参数:
from airflow import DAG
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2021, 1, 1),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG('example_dag', default_args=default_args)

在默认参数中,设置了开始日期(start_date),结束日期之前(end_date),重试次数(retries)和重试延迟(retry_delay)等参数。这些参数可以帮助我们控制DAG的执行频率,并确保它不会重复执行。

  1. 使用Operator的provide_context参数:
from airflow.operators.bash_operator import BashOperator
from datetime import datetime

dag = DAG('example_dag', start_date=datetime(2021, 1, 1))

t1 = BashOperator(
    task_id='task_1',
    bash_command='echo {{ ds }}',
    provide_context=True,
    dag=dag,
)

在BashOperator中,我们设置了provide_context参数为True,这意味着我们可以在Bash命令中使用context中的变量。其中,{{ ds }}是日期字符串,表示任务执行的日期。这可以帮助我们控制DAG的执行时间并避免重复执行。

  1. 使用ExternalTaskSensor:
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.sensors import ExternalTaskSensor
from datetime import datetime, timedelta

source_dag_id = 'example_dag_source'
target_dag_id = 'example_dag_target'

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2021, 1, 1),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries

相关内容

热门资讯

我来教大家!老友广东辅助器,h... 我来教大家!老友广东辅助器,hhpoker有没有作弊辅助,爆料教程(有挂分析);【福星临门,好运相随...
推荐攻略!四川途游小程序辅助软... 推荐攻略!四川途游小程序辅助软件,newpoker怎么安装脚本,wpk教程(有挂秘笈);1、点击下载...
推荐攻略!唯思竞技游戏辅助,a... 您好,唯思竞技游戏辅助这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在...
研究成果!微信小游戏辅助器,如... 研究成果!微信小游戏辅助器,如何下载wepoker安装包,力荐教程(有挂详细);相信小伙伴都知道这个...
教学盘点!宝宝浙江游戏脚本,w... 教学盘点!宝宝浙江游戏脚本,wepoker有透视吗,辅助教程(有挂技巧);1、让任何用户在无需AI插...
记者揭秘!微信小程序微乐辅助器... 记者揭秘!微信小程序微乐辅助器破解版,wepoker能不能透视,第三方教程(有挂细节);运微信小程序...
终于清楚!佛手在线破解,wep... 您好:wepoker手机版透视脚本这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现...
重大消息!广东雀神智能插件辅助... 重大消息!广东雀神智能插件辅助脚本,We poker辅助器下载,wepoke教程(有挂方针)相信很多...
最新技巧!爱玩联盟辅助软件视频... 最新技巧!爱玩联盟辅助软件视频讲解,破解辅助插件wepoker,黑科技教程(有挂助手)相信很多朋友都...
玩家攻略!闲逸亲友圈app辅助... 玩家攻略!闲逸亲友圈app辅助,wpk透视工作室,专业教程(有挂技巧);最新版2026是一款经典耐玩...