ApacheAirflow-HttpHook与直接使用Python的requests库,以及它们与DAG刷新的关系。
创始人
2024-09-05 09:01:17
0

在 Apache Airflow 中,我们可以选择使用 HttpHook 或直接使用 Python 中的 requests 库来发送 HTTP 请求。使用 HttpHook 可以直接将请求集成到 DAG 中,而不需要单独编写自定义代码。使用 requests 库则需要在 DAG 中编写自定义代码来实现 HTTP 请求。

而在 DAG 刷新方面,使用 HttpHook 会自动从 Airflow metadata database 中获取密钥和密码,以便进行 HTTP 请求。而使用 requests 库则需要手动从 Airflow Vault 中获取这些信息。

下面是使用 HttpHook 和 requests 库发送 HTTP 请求的示例代码:

使用 HttpHook:

from airflow.models import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.providers.http.hooks.http import HttpHook

dag = DAG(
    dag_id='httphook_example',
    schedule_interval=None
)

def send_http_request():
    http_hook = HttpHook(method='GET', http_conn_id='http_api')
    response = http_hook.run(endpoint='/api/data')
    print(response.json())

http_task = PythonOperator(
    task_id='http_task',
    python_callable=send_http_request,
    dag=dag
)

使用 requests 库:

import requests
from airflow.models import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.providers.amazon.aws.hooks.base_aws import AwsBaseHook

dag = DAG(
    dag_id='requests_example',
    schedule_interval=None
)

def send_http_request():
    aws_hook = AwsBaseHook('aws')
    # Get the necessary credentials from AWS Vault
    aws_credentials = aws_hook.get_credentials()
    http_endpoint = 'https://example.com/api/data'
    response = requests.get(http_endpoint, auth=aws_credentials)
    print(response.json())

http_task = PythonOperator(
    task_id='http_task',
    python_callable=send_http_request,
    dag=dag
)

相关内容

热门资讯

wepoker开辅助能查到吗!... wepoker开辅助能查到吗!wepoker有辅助工具吗(透视)方法-果然教你真的有挂wepoker...
透视总结!佛手大菠萝有挂吗(透... 透视总结!佛手大菠萝有挂吗(透视)wepoker挂,教程妙计(有挂细节)-哔哩哔哩1、佛手大菠萝有挂...
wpk模拟器多开!We pok... wpk模拟器多开!We poker辅助器下载(透视)工具-竟然有挂有挂wpk模拟器多开!We pok...
透视总结!hhpoker透视实... 透视总结!hhpoker透视实战视频(透视)拱趴大菠萝辅助神器,教程资料(有挂透视)-哔哩哔哩1、拱...
佛手在线是不是有挂!we-po... 佛手在线是不是有挂!we-poker软件(透视)器-一贯必备存在有挂1)佛手在线是不是有挂辅助插件:...
透视透视!wepoker怎么设... 透视透视!wepoker怎么设置盖牌(透视)wpk透视是真的假的,教程手册(真是有挂)-哔哩哔哩1、...
wepoker辅助是真的假的!... wepoker辅助是真的假的!poker world辅助(透视)工具-都是开挂是有挂1、超多福利:超...
透视有挂!aapoker破解侠... 透视有挂!aapoker破解侠是真的吗(透视)wepoker私局代打,教程大纲(有挂教程)-哔哩哔哩...
wepoker透视底牌脚本!p... wepoker透视底牌脚本!pokerworld修改器(透视)app-一直详细存在有挂1)wepok...
透视解迷!wpk软件是正规的吗... 透视解迷!wpk软件是正规的吗(透视)wepoker透视版下载,教程窍门(有挂解密)-哔哩哔哩1、进...