AWSGlue作业出现多个执行器,失败了该怎么办?
创始人
2024-09-25 18:02:24
0

在AWS Glue作业中指定只有一个执行器,可以避免出现多个执行器的情况。可以在作业脚本中添加以下代码:

from pyspark.context import SparkContext
from pyspark.sql import SparkSession

sc = SparkContext()
sc._jsc.hadoopConfiguration().set("mapreduce.job.run-local", "false")
sc._jsc.hadoopConfiguration().set("mapreduce.job.shuffle.input.buffer.percent", "0.2")

spark = SparkSession(sc)

glueContext = GlueContext(sc)
job = Job(glueContext)
job.init('job_name', sys.argv)

# 以下指定只有一个执行器
spark.conf.set('spark.executor.instances', '1')

# 作业代码
...

在这个例子中,我们通过 spark.conf.set('spark.executor.instances', '1') 来指定只有一个执行器。这可以避免出现多个执行器的问题,从而保证作业正常执行。

相关内容

热门资讯

透视胜率!hhpoker有透视... 透视胜率!hhpoker有透视功能吗(透视)开挂辅助挂(果然是有挂)-哔哩哔哩1、hhpoker有透...
透视辅助!德扑圈有透视吗,微信... 透视辅助!德扑圈有透视吗,微信小游戏万年修改器,总是有挂(教你必胜教程)-哔哩哔哩;1、下载好微信小...
辅助透视!aapoker辅助器... 辅助透视!aapoker辅助器是真的吗,wepoker有人用过吗,课程教程(竟然真的是有挂)-哔哩哔...
透视智能!拱趴大菠萝怎么开挂(... 透视智能!拱趴大菠萝怎么开挂(透视)开挂辅助神器(切实是真的挂)-哔哩哔哩拱趴大菠萝怎么开挂是一种具...
透视辅助!wepoker插件下... 透视辅助!wepoker插件下载,一起宁德钓蟹黑科技辅助软件推荐,一直有挂(总结科技教程)-哔哩哔哩...
透视黑科技!wepoker辅助... 透视黑科技!wepoker辅助插件功能,hhpoker有后台操作吗,总结教程(总是是真的挂)-哔哩哔...
透视助手!hhpoker买挂(... 透视助手!hhpoker买挂(透视)开挂辅助技巧(好像存在有挂)-哔哩哔哩1、下载好hhpoker买...
有玩家发现!hhpoker有透... 有玩家发现!hhpoker有透视功能吗,广西老友玩有破解视频,原来有挂(分享线上教程)-哔哩哔哩1、...
透视工具!sohoo poke... 透视工具!sohoo poker辅助,sohoo poker辅助,法子教程(其实真的有挂)-哔哩哔哩...
透视系统!aapoker透视脚... 透视系统!aapoker透视脚本入口(透视)开挂辅助技巧(真是真的是有挂)-哔哩哔哩透视系统!aap...