ApacheSpark:SparkHistoryServer:未显示SQL选项卡和执行详情
创始人
2024-09-06 12:30:33
0

该问题可能是由于历史服务器没有正确配置相关参数所致。要解决此问题,请按照以下步骤操作:

  1. 确保Spark应用程序启用了事件日志记录。在启动Spark应用程序时,使用以下参数启动Spark会话:

--conf spark.eventLog.enabled=true --conf spark.eventLog.dir=<指定事件日志目录>

  1. 当Spark应用程序完成运行时,事件日志将在指定的事件日志目录中生成。现在,启动Spark历史服务器并配置以下参数:

--conf spark.history.fs.logDirectory=<指定事件日志目录> --conf spark.history.ui.maxApplications=<限制Spark应用程序显示的数量>

  1. 现在,访问Spark历史服务器UI并检查SQL选项卡是否显示。如果没有显示,则需要修改以下参数:

--conf spark.ui.allowSparkContext=<设置为true>

代码示例:

启动Spark应用程序:

spark-shell --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/tmp/spark-events

启动Spark历史服务器:

/usr/local/spark/sbin/start-history-server.sh --conf spark.history.fs.logDirectory=/tmp/spark-events --conf spark.history.ui.maxApplications=10

访问Spark历史服务器UI:

http://localhost:18080

修改参数:

/usr/local/spark/sbin/start-history-server.sh --conf spark.history.fs.logDirectory=/tmp/spark-events --conf spark.history.ui.maxApplications=10 --conf spark.ui.allowSparkContext=true

相关内容

热门资讯

透视透视!wepoker免费脚... 透视透视!wepoker免费脚本咨询,wepoker手机插件(透视)一向真的是有挂(介绍教程)1、操...
透视美元局!wepoker私局... 透视美元局!wepoker私局辅助,wepoker怎么设置盖牌(透视)起初真的是有挂(2025新版总...
透视苹果版!竞技联盟破解版最新... 透视苹果版!竞技联盟破解版最新版,poker world辅助,其实是有挂(必胜教程)1、完成竞技联盟...
透视新版!wepoker怎么设... 透视新版!wepoker怎么设置透视,wepoker透视挂底牌(透视)原来是有挂(软件教程)1、构建...
透视美元局!德州透视脚本,po... 透视美元局!德州透视脚本,pokemmo辅助器脚本下载,切实有挂(教你教程)一、pokemmo辅助器...
透视计算!pokermaste... 透视计算!pokermaster破解版,hhpoker是正品吗(透视)确实是有挂(2025新版教程)...
透视免费!红龙poker作弊指... 透视免费!红龙poker作弊指令,佛手在线大菠萝智能辅助器,好像真的有挂(必备教程)佛手在线大菠萝智...
透视科技!德普辅助软件,微扑克... 透视科技!德普辅助软件,微扑克微乐辅助(透视)总是存在有挂(曝光教程)微扑克微乐辅助辅助器中分为三种...
透视讲解!xpoker透视辅助... 透视讲解!xpoker透视辅助,聚星ai辅助工具下载,切实真的有挂(我来教教你);1、任何聚星ai辅...
透视智能ai!wepoker辅... 透视智能ai!wepoker辅助器免费,红龙poker有辅助吗(透视)素来真的是有挂(曝光教程);1...