AWSEMR管理缩放和SparkSubmit命令
创始人
2024-09-25 10:00:36
0

AWS EMR 是一种托管的 Hadoop 和 Spark 集群服务,它支持自适应缩放。这意味着 AWS EMR 可以根据您的工作负载自动增加或减少集群规模。在使用 Spark Submit 命令时,需要使用“yarn”作为 master。以下是使用 AWS EMR 管理缩放和 Spark Submit 命令的示例代码:

  1. 首先,启动一个 AWS EMR 集群,并添加 Spark 应用程序:

$ aws emr create-cluster --name "My cluster name" --release-label emr-5.29.0 --applications Name=Hadoop Name=Spark --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 --use-default-roles

  1. 然后,使用以下命令提交 Spark 应用程序:

$ spark-submit --deploy-mode cluster --master yarn s3://mybucket/myapp.jar

  1. 当集群缩放时,如有必要,AWS EMR 会自动增加或减少集群规模,以满足工作负载需求。可以使用以下命令监视 AWS EMR 集群的自适应缩放:

$ aws emr describe-cluster --cluster-id --query 'Cluster.AutoTerminateStatus.SelfTerminationProtection'

这是一个示例输出:

{ "DisableAutoTermination": false, "State": "ENABLED" }

以上是使用 AWS EMR 管理缩放和 Spark Submit 命令的示例方法。

相关内容

热门资讯

关于!微信微乐自建房辅助工具,... 关于!微信微乐自建房辅助工具,微乐家乡麻将自建房辅助app(开挂自建房)方法1)微乐家乡麻将自建房辅...
大家学习交流!微信卡五星辅助器... 大家学习交流!微信卡五星辅助器,微乐小程序免费黑科技(开挂自建房)方法1、很好的工具软件,可以解锁游...
三分钟了解!微乐微信自建房辅助... 三分钟了解!微乐微信自建房辅助工具插件,微乐家乡麻将自建房辅助app(开挂自建房)工具1、三分钟了解...
一分钟教会你!微乐家乡麻将自建... 一分钟教会你!微乐家乡麻将自建房辅助app,微乐自建房脚本免费入口(开挂自建房)方法1、用户打开应用...
分享实测!微信微乐自建房辅助工... 分享实测!微信微乐自建房辅助工具,微乐自建房脚本免费入口(开挂自建房)器1、起透看视 微信微乐自建房...
重大通报!微乐自建房辅助工具脚... 重大通报!微乐自建房辅助工具脚本,微乐小程序免费黑科技(开挂自建房)app微乐自建房辅助工具脚本破解...
如何分辨真伪!微乐微信自建房辅... 如何分辨真伪!微乐微信自建房辅助工具插件,微乐小程序免费黑科技(开挂自建房)技巧1、微乐微信自建房辅...
我来教教你!微乐自建房辅助工具... 我来教教你!微乐自建房辅助工具挂,微乐家乡麻将自建房辅助app(开挂自建房)工具1、玩家可以在微乐家...
重大来袭!微乐自建房辅助工具神... 重大来袭!微乐自建房辅助工具神器,微乐小程序免费黑科技(开挂自建房)器1、游戏颠覆性的策略玩法,独创...
带你了解!微信卡五星辅助器,微... 带你了解!微信卡五星辅助器,微乐自建房脚本免费入口(开挂自建房)方法1、带你了解!微信卡五星辅助器,...