AWSGlue:--extra-files参数未被识别。
创始人
2024-09-25 18:31:25
0

AWS Glue 中的 --extra-files 参数用于将需要在作业执行环境中使用的任何其他文件传输到该环境,但在某些情况下,该参数可能会未被识别。在这种情况下,您可以通过使用其他参数来替代 --extra-files 参数解决此问题。

例如,您可以使用 --extra-jars 参数将需要使用的其他 JAR 文件文件传输到执行环境中。以下是一个示例代码片段,其中使用了“--extra-jars”参数来传输需要在 Glue 作业中使用的其他 JAR 文件:

import sys

from awsglue.transforms import *

from awsglue.utils import getResolvedOptions

from pyspark.context import SparkContext

from awsglue.context import GlueContext

from awsglue.job import Job

##Default Glue job template

args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()

glueContext = GlueContext(sc)

spark = glueContext.spark_session

job = Job(glueContext)

job.init(args['JOB_NAME'], args)

extraJars = ["s3://bucket-name/example.jar"]

sc._jsc.hadoopConfiguration().set("fs.s3a.experimental.input.fadvise","random") 
sc._jsc.hadoopConfiguration().set("parquet.eager.row.page.enabled", "false")
sc._jsc.hadoopConfiguration().set("parquet.metadata.read.parallelism","16")

DataSource0 = glueContext.create_dynamic_frame.from_catalog(database = "database-name", table_name = "table-name", transformation_ctx = "DataSource0")

DataSink0 = glueContext.write_dynamic_frame.from_options(frame = DataSource0, connection_type = "s3", connection_options = {"path": "s3://bucket-name/folder-name"}, format = "parquet", transformation_ctx = "DataSink0", extra_jars=extraJars)

job.commit()

在上面的示例中,extraJars 列表包含需要在作业执行期间使用的其他 JAR 文件的路径。这些文件将被传输到执行环境中,以便 Spark

相关内容

热门资讯

此事备受玩家关注!wpk有那种... 您好:wpk有那种辅助吗这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的...
据通报!wpk透视工作室(透视... 大家好,今天小编来为大家解答wpk透视工作室这个问题咨询软件客服可以免费测试直接加微信(136704...
事发当天!聚星ai辅助工具激活... 聚星ai辅助工具激活码是一款专注玩家量身打造的游戏记牌类型软件,在聚星ai辅助工具激活码这款游戏中我...
长期以来!wepoker辅助是... 长期以来!wepoker辅助是真的假的(透视)原来有挂(有挂技巧开挂辅助安装)-哔哩哔哩;无需打开直...
做出回应!约局吧德州有挂吗(透... 做出回应!约局吧德州有挂吗(透视)一贯真的有挂(有挂实锤开挂辅助安装)-哔哩哔哩;无需打开直接搜索加...
此事备受玩家关注!拱趴游戏破解... 拱趴游戏破解器是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加我微信...
据玩家消息!aapoker如何... 据玩家消息!aapoker如何设置胜率(透视)一贯确实有挂(有挂功能开挂辅助辅助器)-哔哩哔哩您好:...
一直以来!wepoker免费脚... 一直以来!wepoker免费脚本(透视)原来真的有挂(有挂讲解开挂辅助软件)-哔哩哔哩1、下载安装好...
推出新举措!约局吧辅助器(透视... 推出新举措!约局吧辅助器(透视)一贯真的是有挂(有人有挂开挂辅助辅助器)-哔哩哔哩 【无需打开直接搜...
今年以来!hhpkoer辅助器... 今年以来!hhpkoer辅助器视频(透视)原来有挂(有挂秘籍开挂辅助工具)-哔哩哔哩 了解更多开挂安...