这个问题通常出现在使用本地模式的 Spark 应用程序中。为了使本地安装的 Spark 历史服务器工作,你需要在启动应用程序时指定 spark.eventLog.enabled 和 spark.eventLog.dir 属性。 示例代码如下:
val conf = new SparkConf().setAppName("MyApp") .setMaster("local[*]") .set("spark.eventLog.enabled", "true") .set("spark.eventLog.dir", "/path/to/logs")
val sc = new SparkContext(conf)
// ... your Spark application code
启动应用程序后,你可以在指定的日志目录中找到事件日志文件。你可以使用本地安装的 Spark 历史服务器将这些日志文件转换为易于阅读的 HTML 页面。
$SPARK_HOME/sbin/start-history-server.sh -Dspark.history.fs.logDirectory=/path/to/logs
现在你应该可以在 http://localhost:18080 上找到 Spark 历史服务器,并查看你的事件日志。