AWSGlue作业运行失败-没有可用的log4j-web模块
创始人
2024-09-25 18:30:19
0

在进行AWS Glue作业时,可能会遇到“No log4j-web module available”错误。这是由于缺少必需的log4j-web模块导致的。为了解决这个问题,需要在AWS Glue作业启动脚本中添加以下代码:

packages=["org.apache.logging.log4j:log4j-web:2.0"]
# 替换自己的Glue作业名称
job_name = 'replace-with-your-job-name'

from awsglue.utils import getResolvedOptions
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

from pyspark.sql import SparkSession
from awsglue.context import GlueContext

spark = SparkSession.builder.config('spark.debug.maxToStringFields', '100').appName(args['JOB_NAME']).getOrCreate()

glueContext = GlueContext(spark.sparkContext)

# 添加以下命令
sc = spark.sparkContext
for package in packages:
    sc._jvm.org.apache.spark.sql.SQLContext().sparkSession().sparkContext().addJar("s3://path/log4j-web-2.0.jar")

job = Job(glueContext)
job.init(job_name, args)

在上面的代码中,我们将log4j-web包添加到SparkContext JAR路径中。确保将s3://path/log4j-web-2.0.jar替换为您自己的log4j-web包的S3路径。通过将该代码添加到Glue作业的启动脚本中,我们应该能够成功地运行我们的AWS Glue作业。

相关内容

热门资讯

脚本辅助!微扑克外卦app下载... 无需打开直接搜索加微信客服(136704302)咨询了解微扑克外卦app下载辅助器目前(微信:136...
长期以来!新世界辅助软件(辅助... 长期以来!新世界辅助软件(辅助挂)一直有挂(有挂步骤)-哔哩哔哩1、下载安装好新世界辅助软件,进入游...
三分钟外挂!新珊瑚大厅辅助,决... 三分钟外挂!新珊瑚大厅辅助,决战手游辅助,科技教程(有挂方法)-哔哩哔哩1、操作简单,无需注册,只需...
透视脚本!wepoker有挂吗... 您好,wepokerplus挂先试用后付款这款游戏可以开挂的,确实是有挂的,需要了解加微【13670...
长期以来!心悦海南苹果版辅助器... 您好:这款心悦海南苹果版辅助器游戏是可以开挂的,确实是有挂的,很多玩家在这款心悦海南苹果版辅助器游戏...
第四分钟外挂!心悦游戏辅助,人... 第四分钟外挂!心悦游戏辅助,人海大厅辅助插件,解密教程(有挂方法)-哔哩哔哩1、每一步都需要思考,不...
出乎意料的是!陕麻圈插件开挂(... 大家好,今天小编来为大家解答陕麻圈插件开挂这个问题咨询软件客服可以免费测试直接加微信(1367043...
透视脚本!wepoker透视辅... >>>您好:,软件加微信【添加136704302】确实是有挂的,很多玩家在这款游戏中打牌都会发现很多...
第5分钟外挂!浙江宝宝游戏辅助... 第5分钟外挂!浙江宝宝游戏辅助,约局吧可以看到别人底牌,必赢教程(有挂头条)-哔哩哔哩1、超多福利:...
据报道!边锋干橙眼辅助器的主要... 【亲,边锋干橙眼辅助器的主要功能是什么 这款游戏可以开挂的,确实是有挂的,很多玩家在这款边锋干橙眼辅...