ArgoWorkflow+Sparkoperator+Applogsnotgenerated(ArgoWorkflow+Spark操作符+应用程序日志未生成)
创始人
2024-09-13 05:00:24
0
  1. 确认Spark操作符已正确部署,并且在Argo Workflow中正确地定义了容器模板。以下是Spark操作符容器模板的示例:
containers:
    - name: spark
      image: gcr.io/google_containers/spark:v2.3.0
      command:
        - "spark-submit"
        - "--master"
        - "yarn"
        - "--deploy-mode"
        - "client"
        - "--conf"
        - "spark.executor.instances=2"
        - "--conf"
        - "spark.hadoop.fs.s3a.access.key=mykey"
        - "--conf"
        - "spark.hadoop.fs.s3a.secret.key=mysecret"
        - "/mnt/spark.py"
  1. 确认应用程序容器在运行时输出日志。在应用程序容器中运行以下命令可以确保日志已正确输出:
$ touch /tmp/myapp.log
$ tail -f /tmp/myapp.log
  1. 在Spark操作符的容器模板中添加日志路径,以确保应用程序的日志输出路径正确设置。以下是示例代码:
spec:
  sparkConf:
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE': 'docker'
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_IMAGE': 'myapp:latest'
    'spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_MOUNTS': '/var/log/myapp:/var/log/myapp'
  1. 配置Argo Workflow的服务端,使其接受并保存应用程序日志。可以使用ELK堆栈、Grafana、Prometheus等技术。

通过以上步骤,可以解决“Argo Workflow + Spark操作符 + 应用程序日志未生成”的问题。

相关内容

热门资讯

科技通报!大唐撸麻雀辅助(透视... >>您好:德州透视是真的假的确实是有挂的,很多玩家在这款德州透视是真的假的游戏中打牌都会发现很多用户...
一分钟了解!如何设置钱塘十三水... 一分钟了解!如何设置钱塘十三水辅助器(透视)wepoker有机器人吗(透明挂教程有挂详细)《详细加薇...
必看攻略!星悦辅助神器(透视)... 必看攻略!星悦辅助神器(透视)pokemomo辅助工具(扑克教程确实有挂);无需打开直接搜索加(薇:...
推荐十款!榆林打锅子技巧(透视... 德普之星有透视辅助吗是一款专注玩家量身打造的游戏记牌类型软件,在德普之星有透视辅助吗这款游戏中我们可...
透视科技!牵手游戏辅助软件(透... 透视科技!牵手游戏辅助软件(透视)hardrock透视工具(高科技教程有挂教程);无需打开直接搜索打...
玩家必看!wepoker辅助是... 玩家必看!wepoker辅助是真的假的(透视)德普之星透视辅助软件下载(玩家教程真的有挂);无需打开...
透视黑科技!威信茶馆透视挂(透... 透视黑科技!威信茶馆透视挂(透视)wepoker新号好一点吗(系统教程有挂方法);无需打开直接搜索薇...
透视免费!四川熊猫辅助软件下载... 您好:四川熊猫辅助软件下载这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户...
总算了解!途游四川小程序脚本辅... 您好:途游四川小程序脚本辅助这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用...
必备科技!友间联盟辅助(透视)... 必备科技!友间联盟辅助(透视)wepoker有辅助插件吗(分享教程有挂头条)>>您好:软件加薇136...