AWSEMR中使用spark-submit在yarn集群模式下时,日志记录不完整,应用程序日志消息缺失。
创始人
2024-09-25 10:30:23
0

问题可能是由于log4j日志记录器未正确配置所导致的。可以在spark-submit命令中指定log4j.properties文件的位置来修复日志记录问题。

示例代码:

  1. 首先,创建一个log4j.properties文件,定义需要记录的日志级别和输出格式:
log4j.rootLogger=INFO, Console
log4j.logger.org.apache.spark=INFO

log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
  1. 在spark-submit命令中指定log4j.properties文件的位置:
spark-submit \
    --class com.example.MySparkApp \
    --master yarn \
    --deploy-mode cluster \
    --conf spark.executor.instances=4 \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" \
    --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" \
    my-spark-app.jar

在以上代码示例中,使用了--conf选项指定了log4j.properties文件的位置。注意需要将/file/to/log4j.properties替换为实际的文件路径。

通过以上步骤,即可修复AWS EMR中使用spark-submit在yarn集群模式下的日志记录问题。

相关内容

热门资讯

此事引发网友热议!德普辅助器怎... 此事引发网友热议!德普辅助器怎么用,如何判断wpk辅助软件的真假(透视)普及教程(有挂透明挂)-哔哩...
截至发稿!新西部牛牛辅助,微乐... 截至发稿!新西部牛牛辅助,微乐自建房脚本最新版本更新内容,手筋教程(有挂教学)-哔哩哔哩1、微乐自建...
今天下午!红龙poker辅助平... 今天下午!红龙poker辅助平台,We poker辅助器下载(透视)关于教程(真实有挂)-哔哩哔哩1...
截至目前!新星游辅助软件试用版... 截至目前!新星游辅助软件试用版,拱趴大菠萝辅助神器,举措教程(有挂助手)-哔哩哔哩1、新星游辅助软件...
今年以来!aapoker怎么拿... 今年以来!aapoker怎么拿好牌,wepoker私人局透视方法(透视)开挂教程(有挂分享)-哔哩哔...
于此同时!丽水都来脚本辅助,a... 于此同时!丽水都来脚本辅助,aapoker能控制牌吗,手段教程(了解有挂)-哔哩哔哩1、每一步都需要...
透视最新!wepoker一直输... 透视最新!wepoker一直输的号能继续打吗,wepoker免费脚本弱密码(透视)必备教程(真的有挂...
来临!wepoker透视器免费... 您好,微乐内蒙古自建房脚本免费下载这款游戏可以开挂的,确实是有挂的,需要了解加去威信【4852750...
今年以来!wepoker透视脚... 今年以来!wepoker透视脚本安卓,wepoker插件功能辅助器(透视)专业教程(有人有挂)-哔哩...
一直以来!免费雀神挂件怎么安装... 一直以来!免费雀神挂件怎么安装,新九哥脚本下载,教程书教程(发现有挂)-哔哩哔哩1、用户打开应用后不...