AWSEMR是否能在单个集群中并行运行多个Spark应用程序?
创始人
2024-09-25 10:01:22
0

是的,AWS EMR可以在单个集群中并行运行多个Spark应用程序。以下是一个示例:

  1. 在EMR集群中创建多个Spark应用程序,每个应用程序使用不同的应用程序ID:
spark-submit --master yarn --deploy-mode cluster --name app1 --class com.example.App1 s3://path/to/your/app1.jar
spark-submit --master yarn --deploy-mode cluster --name app2 --class com.example.App2 s3://path/to/your/app2.jar
  1. 在创建的多个Spark应用程序中,在应用程序代码中设置Spark的配置:
val conf = new SparkConf()
  .setAppName("app1")
  .set( "spark.driver.allowMultipleContexts", "true" )
val sc = new SparkContext(conf)
  1. 在EMR控制台中,通过监视UI和应用程序提交的运行日志来监视多个Spark应用程序的执行情况。

请注意,尽管在单个EMR集群中可以并行运行多个Spark应用程序,但不同的应用程序可能会竞争相同的资源,例如内存和计算资源。为避免资源冲突,请在为每个应用程序分配资源时使用适当的调整策略。

相关内容

热门资讯

八分钟方案!打哈儿床将脚本,新... 八分钟方案!打哈儿床将脚本,新蜜瓜大厅免费控制器,必赢教程(有挂方法)-哔哩哔哩1)新蜜瓜大厅免费控...
透视挂!wepoker底牌透视... 透视挂!wepoker底牌透视,wpk透视工作室,手册教程(竟然有挂)-哔哩哔哩在进入wepoker...
透视软件!wepokerplu... 透视软件!wepokerplus辅助(透视)开挂辅助软件(都是真的有挂)-哔哩哔哩1、起透看视 we...
7分钟绝活!友友联盟辅助器,新... 7分钟绝活!友友联盟辅助器,新九天辅助,2025新版教程(有挂透明挂)-哔哩哔哩友友联盟辅助器软件透...
透视私人局!wpk模拟器多开,... 透视私人局!wpk模拟器多开,德普之星透视辅助软件,经验教程(其实有挂)-哔哩哔哩1、进入到德普之星...
第七分钟讲义!新九哥破解版,衢... 第七分钟讲义!新九哥破解版,衢州都莱辅助器,玩家教你(证实有挂)-哔哩哔哩1、游戏颠覆性的策略玩法,...
透视智能!wepoker辅助方... 透视智能!wepoker辅助方法(透视)开挂辅助攻略(总是真的是有挂)-哔哩哔哩1、超多福利:超高返...
三分钟教程书!三加一辅助器,顺... 三分钟教程书!三加一辅助器,顺欣茶楼开挂,总结教程(有挂细节)-哔哩哔哩一、顺欣茶楼开挂软件透明挂的...
透视好友房!智星德州插件202... 透视好友房!智星德州插件2024最新版,pokemmo脚本辅助器下载,手筋教程(其实有挂)-哔哩哔哩...
透视app!htx矩阵wepo... 透视app!htx矩阵wepoker辅助(透视)开挂辅助挂(一贯是真的挂)-哔哩哔哩1、htx矩阵w...