AWSEMR是否能在单个集群中并行运行多个Spark应用程序?
创始人
2024-09-25 10:01:22
0

是的,AWS EMR可以在单个集群中并行运行多个Spark应用程序。以下是一个示例:

  1. 在EMR集群中创建多个Spark应用程序,每个应用程序使用不同的应用程序ID:
spark-submit --master yarn --deploy-mode cluster --name app1 --class com.example.App1 s3://path/to/your/app1.jar
spark-submit --master yarn --deploy-mode cluster --name app2 --class com.example.App2 s3://path/to/your/app2.jar
  1. 在创建的多个Spark应用程序中,在应用程序代码中设置Spark的配置:
val conf = new SparkConf()
  .setAppName("app1")
  .set( "spark.driver.allowMultipleContexts", "true" )
val sc = new SparkContext(conf)
  1. 在EMR控制台中,通过监视UI和应用程序提交的运行日志来监视多个Spark应用程序的执行情况。

请注意,尽管在单个EMR集群中可以并行运行多个Spark应用程序,但不同的应用程序可能会竞争相同的资源,例如内存和计算资源。为避免资源冲突,请在为每个应用程序分配资源时使用适当的调整策略。

相关内容

热门资讯

德州ai辅助软件!wpk数据统... 德州ai辅助软件!wpk数据统计软件(透视)果然真的是有挂(详细辅助详细教程)德州ai辅助软件辅助器...
aapoker透视辅助!pok... aapoker透视辅助!pokermaster外挂(透视)总是真的是有挂(详细辅助攻略方法);人气非...
aapoker有挂!wpk德州... aapoker有挂!wpk德州胜利跟号有关么(透视)起初是真的有挂(详细辅助微扑克教程)是一款可以让...
wepower辅助器!wpk脚... wepower辅助器!wpk脚本(透视)果然有挂(详细辅助我来教教你)1、金币登录送、破产送、升级送...
WePoKe外挂!德扑之星真的... WePoKe外挂!德扑之星真的太假了(透视)从来真的有挂(详细辅助可靠技巧)1、WePoKe外挂ai...
wpk透视辅助!聚星扑克有假吗... wpk透视辅助!聚星扑克有假吗(透视)其实真的是有挂(详细辅助软件教程)是一款可以让一直输的玩家,快...
WePoKe透明挂!德州之星辅... WePoKe透明挂!德州之星辅助器多少钱(透视)其实真的有挂(详细辅助规律教程)1、德州之星辅助ai...
wepoke辅助有挂!微扑克a... wepoke辅助有挂!微扑克ai机器人(透视)确实存在有挂(详细辅助可靠技巧)是一款可以让一直输的玩...
aapoker有外挂!德扑之星... aapoker有外挂!德扑之星隐藏功能在哪(透视)最初真的有挂(详细辅助辅助教程)是一款可以让一直输...
德扑之星有作弊!aapoker... 德扑之星有作弊!aapoker是什么软件(透视)本来是有挂(详细辅助我来教教你)1)德扑之星有作弊辅...