保留 Spark 节点历史记录
创始人
2024-11-24 08:30:27
0

要保留 Spark 节点的历史记录,你可以使用以下两种方法:

方法一:通过配置文件设置

  1. 打开 Spark 的配置文件 spark-defaults.conf(或者 spark-env.sh,取决于你的 Spark 版本和配置文件的位置)。

  2. 添加以下配置参数:

    spark.eventLog.enabled           true
    spark.eventLog.dir               file:/path/to/event-log
    spark.history.fs.logDirectory    file:/path/to/history/logs
    

    这些参数分别表示:

    • spark.eventLog.enabled:启用事件日志记录。
    • spark.eventLog.dir:指定事件日志记录的目录。你需要将 /path/to/event-log 替换为实际的目录路径。
    • spark.history.fs.logDirectory:指定历史记录日志存储的目录。你需要将 /path/to/history/logs 替换为实际的目录路径。
  3. 保存配置文件并重新启动 Spark 集群。

方法二:通过命令行参数设置

  1. 在启动 Spark 应用程序时,使用以下命令行参数:

    spark.eventLog.enabled=true \
    spark.eventLog.dir=file:/path/to/event-log \
    spark.history.fs.logDirectory=file:/path/to/history/logs \
    spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider
    

    这些参数的含义与上述方法一中的参数相同。

  2. 提交应用程序并等待其完成。

无论使用哪种方法,Spark 都会将事件日志和历史记录写入指定的目录中。你可以使用 Spark 的历史服务器(Spark History Server)来查看和分析这些日志。

相关内容

热门资讯

外挂(菠萝德州)的确是真的有挂... 外挂(菠萝德州)的确是真的有挂!其实真的有挂(2020已更新)(哔哩哔哩);科技详细教程小薇《757...
第三小程序(aapOker)外... 第三小程序(aapOker)外挂辅助挂(辅助挂)透视辅助(2021已更新)(哔哩哔哩) 科技详细教程...
9分钟了解!胡乐麻将app外挂... 9分钟了解!胡乐麻将app外挂透视辅助-胡乐麻将app其实真的有挂(2025已更新)1)辅助挂:进一...
第8安卓版(线上wpk德州ai... 第8安卓版(线上wpk德州ai机器人)软件透明挂辅助机制(软件透明挂)透视辅助(2020已更新)(哔...
ai代打(wepoke脚本)其... ai代打(wepoke脚本)其实是真的有挂!原来真的有挂(2025已更新)(哔哩哔哩)1、点击下载安...
五AI(德扑之星规律)外挂透明... 这是一款非常优秀的德扑之星规律 ia辅助检测软件,能够让你了解到德扑之星规律中牌率当中全部隐藏参数,...
七分钟实锤!桂林字牌辅助工具外... 七分钟实锤!桂林字牌辅助工具外挂透视辅助-桂林字牌辅助工具其实真的有挂(2021已更新)1、很好的工...
系统(德州微扑克外挂)竟然真的... 系统(德州微扑克外挂)竟然真的有挂!原来真的有挂(2024已更新)(哔哩哔哩)是一款可以让一直输的玩...
十线上(pokerx人工智能)... 十线上(pokerx人工智能)软件透明挂辅助器(软件透明挂)透视辅助(2022已更新)(哔哩哔哩);...
四大厅(wepoke安卓版)软... 四大厅(wepoke安卓版)软件透明挂辅助软件(软件透明挂)透视辅助(2023已更新)(哔哩哔哩);...