ArgoWorkflow+Sparkoperator+Applogsnotgenerated(ArgoWorkflow+Spark操作符+应用程序日志未生成)
创始人
2024-09-13 05:00:24
0
  1. 确认Spark操作符已正确部署,并且在Argo Workflow中正确地定义了容器模板。以下是Spark操作符容器模板的示例:
containers:
    - name: spark
      image: gcr.io/google_containers/spark:v2.3.0
      command:
        - "spark-submit"
        - "--master"
        - "yarn"
        - "--deploy-mode"
        - "client"
        - "--conf"
        - "spark.executor.instances=2"
        - "--conf"
        - "spark.hadoop.fs.s3a.access.key=mykey"
        - "--conf"
        - "spark.hadoop.fs.s3a.secret.key=mysecret"
        - "/mnt/spark.py"
  1. 确认应用程序容器在运行时输出日志。在应用程序容器中运行以下命令可以确保日志已正确输出:
$ touch /tmp/myapp.log
$ tail -f /tmp/myapp.log
  1. 在Spark操作符的容器模板中添加日志路径,以确保应用程序的日志输出路径正确设置。以下是示例代码:
spec:
  sparkConf:
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE': 'docker'
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_IMAGE': 'myapp:latest'
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_MOUNTS': '/var/log/myapp:/var/log/myapp'
  1. 配置Argo Workflow的服务端,使其接受并保存应用程序日志。可以使用ELK堆栈、Grafana、Prometheus等技术。

通过以上步骤,可以解决“Argo Workflow + Spark操作符 + 应用程序日志未生成”的问题。

相关内容

热门资讯

热门推荐!微信小程序多功能辅助... 热门推荐!微信小程序多功能辅助,盛世辅助器,详细app(有挂神器)1、实时微信小程序多功能辅助透视辅...
最新技巧!黑科技微乐小程序辅助... 最新技巧!黑科技微乐小程序辅助器免费,随意玩工具箱辅助器,详细教程(真是有挂)1、点击下载安装,黑科...
盘点十款!乐乐围棋入门辅助,小... 盘点十款!乐乐围棋入门辅助,小程序游戏赴沪期,详细app(有挂教学)1、首先打开小程序游戏赴沪期辅助...
实操分享!新超凡手游辅助,雀友... 实操分享!新超凡手游辅助,雀友会广东潮汕麻雀万能辅助器,详细挂(有挂教程)1、全新机制【雀友会广东潮...
一起来探讨!纳祥游戏脚本,微信... 一起来探讨!纳祥游戏脚本,微信小程序辅助工具,详细攻略(有挂解惑)1、这是跨平台的微信小程序辅助工具...
一分钟揭秘!新八戒辅助,挂是真... 一分钟揭秘!新八戒辅助,挂是真的假的,详细器(确实有挂)1、全新机制【挂是真的假的ai辅助工具激活码...
最新通报!微信小程序微乐房间怎... 最新通报!微信小程序微乐房间怎么开挂,打哈儿床将辅助最新,详细软件(有挂技巧)1、全新机制【微信小程...
玩家实测!欢乐达人暗堡破解,赣... 您好,欢乐达人暗堡破解这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩...
一分钟揭秘!情怀手机麻将辅助器... 一分钟揭秘!情怀手机麻将辅助器,功夫川麻辅助,详细工具(详细教程)1、金币登录送、破产送、升级送、活...
今日科普!微信广东雀神挂件辅助... 今日科普!微信广东雀神挂件辅助,对战互娱辅助系统,详细神器(有挂规律);1、下载好微信广东雀神挂件辅...