AWSGlue错误：“分配的任务容量超出限制
创始人
2024-09-25 15:01:19
0次

这个错误通常是由于每个AWS Glue job定义的任务容量超过了AWS Glue的限制而引起的。解决此问题的一种方法是调整Glue作业定义中的参数，以便降低任务所需的内存和vCPU数。也可以增加相应的AWS Glue工作流容量限制。以下是一些示例代码，可用于解决此错误：

  1. 降低任务所需内存和vCPU数：

glue_context = GlueContext(SparkContext.getOrCreate(conf=SparkConf().setAppName("MyApp").set("spark.executor.memory", "4g").set("spark.executor.cores", "2")))

  1. 增加AWS Glue工作流容量限制：

import boto3

glue = boto3.client("glue")

glue.update_workflow_start_to_run(workflowName="myWorkflow", defaultRunProperties={"AllocatedCapacity": "24"})

上一篇：AWSGlue错误：任务分配容量超过限制时失败。

下一篇：AWSGlue的API是否按照顺序返回分区键字段？

相关内容

热门资讯

第五分钟辅助！至臻辅助，本来是... 您好，至臻辅助这款游戏可以开挂的，确实是有挂的，需要了解加去威信【136704302】很多玩家在这款...
第9分钟辅助！天天卡五星2辅助... 第9分钟辅助！天天卡五星2辅助插件，原来有辅助app（揭秘有挂）1、让任何用户在无需天天卡五星2辅助...
第8分钟辅助！卡五星游戏有挂吗... 第8分钟辅助！卡五星游戏有挂吗，一直存在有辅助神器（了解有挂）1、用户打开应用后不用登录就可以直接使...
第六分钟辅助！随意玩免费辅助器... 第六分钟辅助！随意玩免费辅助器，总是真的是有辅助插件（有挂技术）1、玩家可以在随意玩免费辅助器透视最...
7分钟辅助！广东雀伸辅助器，切... 7分钟辅助！广东雀伸辅助器，切实是真的有辅助工具（有挂细节）1、首先打开广东雀伸辅助器辅助器下载最新...
5分钟辅助！蜀山四川破解版安卓... 5分钟辅助！蜀山四川破解版安卓，其实是真的有辅助技巧（有挂助手）一、蜀山四川破解版安卓游戏安装教程牌...
1分钟辅助！途游手游辅助脚本平... 1分钟辅助！途游手游辅助脚本平台，总是真的有辅助器（有挂工具）1、任何途游手游辅助脚本平台透视是真的...
两分钟辅助！闲娱江西打盾插件，... 两分钟辅助！闲娱江西打盾插件，原来是有辅助工具（揭秘有挂）1、金币登录送、破产送、升级送、活动送。详...
六分钟辅助！财神辅助功能，确实... 六分钟辅助！财神辅助功能，确实有辅助脚本（有挂教程）1、财神辅助功能辅助器安装包、财神辅助功能辅助器...
第6分钟辅助！闲来软件辅助，一... 第6分钟辅助！闲来软件辅助，一贯有辅助脚本（有挂详情）1、每一步都需要思考，不同水平的挑战会更加具有...