AWSEMREC2实例默认将spark.yarn.executor.memoryOverhead设置为18.75％的原因是什么？ _程序开发

创始人

2024-09-25 10:00:34

0次

在AWS EMR上，设置spark.yarn.executor.memoryOverhead的默认值为18.75％是为了提高任务执行的效率和可靠性。通过将executor的堆空间分配的一部分留给overhead，可以更好地管理垃圾回收和其他内存管理任务。

如果您想通过Spark提交脚本来更改此默认值，可以在脚本中设置属性。例如，以下代码将memoryOverhead设置为10GB：

spark-submit --conf spark.yarn.executor.memoryOverhead=10240 mySparkScript.py

请注意，这可能会影响任务的性能，并且您应该根据您的任务和集群配置进行个性化设置。

近日！智星菠萝透视，智星菠萝透... 近日！智星菠萝透视，智星菠萝透视，模板教程（有挂透明挂）-哔哩哔哩1、全新机制【智星菠萝透视软件透明...

截至目前!wepoker免费脚... 截至目前!wepoker免费脚本咨询(透视)原来有挂(有挂秘笈开挂辅助平台)-哔哩哔哩1、任何wep...

有了最新消息！xpoker辅助... 有了最新消息！xpoker辅助神器，wepoker怎么发冤家牌，策略教程（有挂教程）-哔哩哔哩1、在...

据通报!wpk模拟器(透视)其... 据通报!wpk模拟器(透视)其实是有挂(有挂分享开挂辅助插件)-哔哩哔哩wpk模拟器辅助器中分为三种...

长期以来！拱趴大菠萝万能挂图解... 长期以来！拱趴大菠萝万能挂图解，steampokermaster辅助，方针教程（有挂规律）-哔哩哔哩...

昨日!德普之星透视免费(透视)... 昨日!德普之星透视免费(透视)果然是有挂的(有挂详情开挂辅助辅助器)-哔哩哔哩一、德普之星透视免费A...

备受关注的！哈糖大菠萝助手，p... 备受关注的！哈糖大菠萝助手，pokemmo辅助工具，课程教程（有挂详细）-哔哩哔哩1、任何哈糖大菠萝...

围绕透视问题!aapoker透... 围绕透视问题!aapoker透视脚本入口(透视)一贯确实有挂(有挂方式开挂辅助下载)-哔哩哔哩所有人...

备受关注的！wepoker俱乐... 备受关注的！wepoker俱乐部辅助，wepoker黑侠辅助器，指南书教程（真的有挂）-哔哩哔哩1、...

突发!拱趴游戏破解器(透视)一... 突发!拱趴游戏破解器(透视)一直是有挂的(有挂解惑开挂辅助下载)-哔哩哔哩1、该软件可以轻松地帮助玩...