AWSGlue:在作业启动时无法下载Snowflake连接器。
创始人
2024-09-25 18:31:47
0

可以尝试手动添加Snowflake连接器的依赖项,以防止在作业启动时无法下载。下面是添加该依赖项的示例代码:

import sys
from awsglue.utils import getResolvedOptions
from awsglue.dynamicframe import DynamicFrame
from awsglue.context import GlueContext

glue_context = GlueContext(SparkContext.getOrCreate())
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext.getOrCreate()
sc._jsc.hadoopConfiguration().set("fs.s3.awsAccessKeyId", "")
sc._jsc.hadoopConfiguration().set("fs.s3.awsSecretAccessKey", "")

# 添加Snowflake连接器依赖项
sc._jvm.com.databricks.addons.SnowflakeInitiator().initializeSparkSession(sc._jvm.org.apache.spark.sql.SparkSession.builder().getOrCreate())

dynamic_frame = DynamicFrame.from_options(connection_type="snowflake", connection_options={
        "sfUrl": "",
        "sfUser": "",
        "sfPassword": "",
        "sfDatabase": "",
        "sfSchema": "",
        "sfWarehouse": ""
}, transformation_ctx="snowflake_output")

glue_context.write_dynamic_frame.from_options(frame = dynamic_frame, connection_type="s3", connection_options={
        "path": "s3://",
        "partitionKeys": [""]
}, format = "csv", transformation_ctx="s3_output")

job.commit()

在代码中,使用以下行添加Snowflake连接器依赖项:

sc._jvm.com.databricks.addons.SnowflakeInitiator().initializeSparkSession(sc._jvm.org.apache.spark.sql.SparkSession.builder().getOrCreate())

此外,还需要在代码中使用包含AWS凭证的密钥对访问S3。 在您的代码中使用您自己的访问凭证。

相关内容

热门资讯

更值得关注的是!中至赣牌圈挂件... 更值得关注的是!中至赣牌圈挂件多少钱一个"本来存在有辅助工具"(哔哩哔哩)一、中至赣牌圈挂件多少钱一...
据目击者称!阿拉斗牌辅助免费&... 据目击者称!阿拉斗牌辅助免费"都是是有辅助工具"(哔哩哔哩)阿拉斗牌辅助免费辅助器是一种具有地方特色...
据公告内容!丰城双剑必胜辅助&... 据公告内容!丰城双剑必胜辅助"好像真的是有辅助脚本"(哔哩哔哩);1、打开软件启动之后找到中间准星的...
据目击者称!点点游戏辅助&qu... 据目击者称!点点游戏辅助"真是真的有辅助器"(哔哩哔哩)1、点点游戏辅助透视辅助软件激活码多个强度级...
出乎意料的是!广东雀神智能io... 出乎意料的是!广东雀神智能ios插件安装包"原来存在有辅助挂"(哔哩哔哩)1、不需要AI权限,帮助你...
相较于以往!葫芦娃辅助&quo... 相较于以往!葫芦娃辅助"好像真的有辅助插件"(哔哩哔哩)葫芦娃辅助是不是有人用挂微扑克wpk插件教程...
2026版复盘!天天辅助工具&... 2026版复盘!天天辅助工具"原来是真的有辅助神器"(哔哩哔哩)1、天天辅助工具辅助器安装包、天天辅...
2026版方法!吉利比鸡辅助&... 2026版方法!吉利比鸡辅助"都是真的是有辅助技巧"(哔哩哔哩);1、下载好吉利比鸡辅助脚本下载之后...
事发当天!心悦游戏辅助&quo... 事发当天!心悦游戏辅助"好像是有辅助挂"(哔哩哔哩)心悦游戏辅助脚本下载中分为三种模型:心悦游戏辅助...
黑科技插件!樱花之盛能不能开挂... 黑科技插件!樱花之盛能不能开挂"切实真的有辅助工具"(哔哩哔哩)亲,关键说明,樱花之盛能不能开挂透视...