AWS管理的Airflow到DatabricksSSL错误
创始人
2024-09-25 19:31:12
0

在Databricks连接设置中禁用SSL验证。具体实现方法如下:

  1. 在Airflow中定义一个connection,连接Databricks集群。

from airflow.hooks.base_hook import BaseHook

class DatabricksHook(BaseHook):
    conn_name_attr = 'databricks_conn_id'
    default_conn_name = 'databricks_default'
    conn_type = 'databricks'

    def __init__(self, databricks_conn_id=default_conn_name):
        self.databricks_conn_id = databricks_conn_id
        self.databricks_conn = self.get_connection(databricks_conn_id)
        self.host = self.databricks_conn.host
        self.login = self.databricks_conn.login
        self.password = self.databricks_conn.password
        self.port = self.databricks_conn.port
        self.extra = self.databricks_conn.extra_dejson
        self.headers = {
              "Authorization": "Bearer "+ self.extra["token"]
        }
  1. 在Databricks的控制台上获取集群的IP地址和端口号。

  2. 执行以下代码:

from airflow.models import Connection

conn_databricks_id = "databricks_default"

conn_databricks = Connection(
    conn_id=conn_databricks_id,
    conn_type="databricks",
    host="",
    login="",
    password="",
    port=,
    extra="{\"token\":\"\"}",
    )

session = settings.Session()
session.add(conn_databricks)
session.commit()
  1. 禁用SSL验证:

    Find the connection by ID

    conn = Connection.get_connection_from_secrets(conn_databricks_id)

    conn.extra = json.dumps({"ssl_verify": False}) conn.update()

相关内容

热门资讯

透视免费!德普之星的辅助工具介... 透视免费!德普之星的辅助工具介绍,德扑圈有透视吗(透视)一贯是有挂(有挂详细)-哔哩哔哩一、德普之星...
近日!决战十三水有挂脚本吗,a... 近日!决战十三水有挂脚本吗,aapoker发牌逻辑,指引教程(有挂规律)-哔哩哔哩1、下载好决战十三...
透视软件!德普之星透视辅助软件... 透视软件!德普之星透视辅助软件激活码,德普之星私人局透视(透视)好像是真的挂(有挂功能)-哔哩哔哩暗...
无独有偶!雀神麻雀充运势有用吗... 无独有偶!雀神麻雀充运势有用吗,极速官方游戏暗堡辅助器,学习教程(有挂秘籍)-哔哩哔哩1、极速官方游...
透视私人局!德普之星怎么开辅助... 透视私人局!德普之星怎么开辅助,德普之星透视软件免费入口官网(透视)都是是有挂(发现有挂)-哔哩哔哩...
迎来新发展!新悠悠拼十辅助,广... 迎来新发展!新悠悠拼十辅助,广东雀神智能插件可测试,模块教程(有挂分享)-哔哩哔哩1、广东雀神智能插...
透视辅助!德扑圈透视挂,德普之... 透视辅助!德扑圈透视挂,德普之星透视辅助软件(透视)切实是有挂(竟然有挂)-哔哩哔哩1、透视辅助!德...
为切实保障!桂林字牌辅助科技a... 为切实保障!桂林字牌辅助科技app官方下载安装,陕西微乐小程序攻略,练习教程(真实有挂)-哔哩哔哩1...
透视好牌!德普之星私人局透视,... 透视好牌!德普之星私人局透视,德普之星辅助工具如何打开(透视)一贯有挂(有挂细节)-哔哩哔哩1、操作...
透视美元局!德普之星怎么设置埋... 透视美元局!德普之星怎么设置埋牌,德扑圈有透视吗(透视)一直是真的挂(有挂解惑)-哔哩哔哩该软件可以...