AWSEMR管理缩放和SparkSubmit命令
创始人
2024-09-25 10:00:36
0

AWS EMR 是一种托管的 Hadoop 和 Spark 集群服务,它支持自适应缩放。这意味着 AWS EMR 可以根据您的工作负载自动增加或减少集群规模。在使用 Spark Submit 命令时,需要使用“yarn”作为 master。以下是使用 AWS EMR 管理缩放和 Spark Submit 命令的示例代码:

  1. 首先,启动一个 AWS EMR 集群,并添加 Spark 应用程序:

$ aws emr create-cluster --name "My cluster name" --release-label emr-5.29.0 --applications Name=Hadoop Name=Spark --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 --use-default-roles

  1. 然后,使用以下命令提交 Spark 应用程序:

$ spark-submit --deploy-mode cluster --master yarn s3://mybucket/myapp.jar

  1. 当集群缩放时,如有必要,AWS EMR 会自动增加或减少集群规模,以满足工作负载需求。可以使用以下命令监视 AWS EMR 集群的自适应缩放:

$ aws emr describe-cluster --cluster-id --query 'Cluster.AutoTerminateStatus.SelfTerminationProtection'

这是一个示例输出:

{ "DisableAutoTermination": false, "State": "ENABLED" }

以上是使用 AWS EMR 管理缩放和 Spark Submit 命令的示例方法。

相关内容

热门资讯

第3分钟专业!边锋干橙眼辅助器... 第3分钟专业!边锋干橙眼辅助器名称,约局吧可以看到别人底牌(一贯真的有挂)-哔哩哔哩1、下载好约局吧...
七分钟科普!hhpoker俱乐... 七分钟科普!hhpoker俱乐部靠谱吗,福建兄弟13水插件(其实是有挂)-哔哩哔哩hhpoker俱乐...
第九分钟解谜!广西微乐小程序脚... 第九分钟解谜!广西微乐小程序脚本,闲逸辅助软件(确实有挂)-哔哩哔哩1、首先打开广西微乐小程序脚本最...
第一分钟曝光!闲逸辅助神器免费... 第一分钟曝光!闲逸辅助神器免费,葫芦娃七子降妖破解版内购(果然真的有挂)-哔哩哔哩1、让任何用户在无...
第二分钟解迷!小闲川南辅助,战... 第二分钟解迷!小闲川南辅助,战皇大厅辅助排行(一贯有挂)-哔哩哔哩战皇大厅辅助排行是一种具有地方特色...
1分钟详情!广东雀神挂件怎么样... 1分钟详情!广东雀神挂件怎么样,情怀游戏字牌辅助(确实真的有挂)-哔哩哔哩1.广东雀神挂件怎么样 a...
六分钟关于!上品游戏辅助软件,... 六分钟关于!上品游戏辅助软件,闲逸辅助插件(总是真的有挂)-哔哩哔哩上品游戏辅助软件是一种具有地方特...
八分钟揭露!天天爱柳州辅助器,... 八分钟揭露!天天爱柳州辅助器,三加一免费辅助(其实有挂)-哔哩哔哩1、玩家可以在天天爱柳州辅助器软件...
第九分钟解密!九江讨赏辅助中至... 第九分钟解密!九江讨赏辅助中至小程序,天天福建十三冰修改器(一贯存在有挂)-哔哩哔哩1、金币登录送、...
第2分钟分享!川南欢乐碰辅助,... 第2分钟分享!川南欢乐碰辅助,九九山城辅助免费(果然真的有挂)-哔哩哔哩1、进入游戏-大厅左侧-新手...