AWSEMR托管自动扩展在Spark作业运行期间自动缩减为0个任务节点,然后再次添加任务节点。
创始人
2024-09-25 10:01:27
0

为了解决这个问题,我们需要做两件事情:

  1. 配置延迟自动缩放。

  2. 配置伸缩策略。

下面是代码示例:

{
"Instances":{
"InstanceCount":2,
"InstanceGroups":[{
"AutoScalingPolicy":{
"Constraints":{
"MinCapacity":2,
"MaxCapacity":10
},
"Rules":[{
"Name":"CPU",
"Description":"Increase or decrease task nodes as CPU utilization",
"Action":{
"SimpleScalingPolicyConfiguration":{
"AdjustmentType":"CHANGE_IN_CAPACITY",
"ScalingAdjustment":1,
"CoolDown":300
}
},
"Trigger":{
"CloudWatchAlarmDefinition":{
"ComparisonOperator":"GREATER_THAN",
"EvaluationPeriods":5,
"MetricName":"CPUUtilization",
"Namespace":"AWS/EC2",
"Period":300,
"Statistic":"AVERAGE",
"Threshold":70
}
}
}]
}],
"KeepJobFlowAliveWhenNoSteps":true
},
"BootstrapActions":[{
"Name":"Bootstrap via script-runner.jar",
"ScriptBootstrapAction":{
"Path":"s3://aws-scripts-us-east-1/script-runner/script-runner.jar",
"Args":[
"s3://aws-scripts-us-east-1/autoscaling/autoscaling.sh"
]
}
}]
}

上面的示例设置了最小容量2,最大容量10,CPU利用率阈值70%, 连续5个时间段,300秒的冷却期,每次调整一个状态。您可以更改相应的值以满足您的需求。

相关内容

热门资讯

透视透视(wepoKe)wep... 透视透视(wepoKe)wepoke小技巧(透视)详细辅助新版2025教程1、点击下载安装,微扑克w...
透视系统!wepoker透视脚... 透视系统!wepoker透视脚本苹果版(透视)详细辅助攻略方法(原来是有挂)wepoker透视脚本苹...
透视规律!aapoker透视脚... 透视规律!aapoker透视脚本下载(透视)原先真的是有挂(详细辅助靠谱教程);支持2-10人实时对...
透视真的(wePoke)aap... 透视真的(wePoke)aapoker智能ai辅助(透视)详细辅助可靠技巧1、点击下载安装,微扑克w...
透视脚本!wpk透视脚本视频(... 透视脚本!wpk透视脚本视频(透视)详细辅助wepoke教程(竟然存在有挂)1、wpk透视脚本视频a...
透视最新!德州真人透视脚本(透... 透视最新!德州真人透视脚本(透视)固有真的有挂(详细辅助必赢方法);小薇(透视辅助)致您一封信;亲爱...
透视计算(WEPoke)微扑克... 透视计算(WEPoke)微扑克智能ai辅助(透视)详细辅助插件教程准备好在微扑克智能ai辅助 ia的...
辅助透视!wepoker透视脚... 辅助透视!wepoker透视脚本苹果版(透视)详细辅助高科技教程(一贯真的有挂)wepoker透视脚...
透视了解!约局吧能不能开挂(透... 透视了解!约局吧能不能开挂(透视)本然真的是有挂(详细辅助分享教程)1、许多玩家不知道约局吧能不能开...
透视工具(wEpoke)wep... 透视工具(wEpoke)wepoke软件规律(透视)详细辅助切实教程;亲真的是有正版授权,小编(透视...