AWSEMR上运行Spark应用程序时无法运行MapReduce作业。
创始人
2024-09-25 10:01:20
0
  1. 确认您的代码是否正确处理了输入和输出路径。在Spark应用程序中,您必须在SparkConf中设置以下属性才能将输出保存到HDFS上:

example:

val sparkConf = new SparkConf().setAppName("MyApp")
sparkConf.set("spark.hadoop.mapred.output.dir", "hdfs://output_path")
  1. 检查您的AWS EMR集群是否启用了MapReduce框架。如果没有,您需要启用该框架才能在集群上运行MapReduce作业。可以通过在EMR集群上运行以下命令来启用MapReduce框架:
aws emr create-cluster --name "MyCluster" --release-label emr-5.0.0 --applications Name=Spark Name=Hadoop --use-default-roles --instance-count 3 --ec2-attributes KeyName=myKey --instance-type m3.xlarge --bootstrap-actions Path=s3://mybucket/install-mapreduce.sh

上面的代码中,install-mapreduce.sh是一个shell脚本,可以从S3下载并安装MapReduce框架。

  1. 确认您使用的版本与依赖项是否与Spark和Hadoop兼容。如果不兼容,您需要升级或降级相应的库以解决此问题。

相关内容

热门资讯

透视挂!wepoker透视功能... 透视挂!wepoker透视功能下载(透视)开挂辅助app(总是是真的挂)-哔哩哔哩1、下载好wepo...
透视教学!哈糖大菠萝攻略,wp... 透视教学!哈糖大菠萝攻略,wpk德州局怎么透视,教程书教程(竟然存在有挂)-哔哩哔哩1、许多玩家不知...
于此同时!佛手大菠萝有挂吗,广... 于此同时!佛手大菠萝有挂吗,广西友乐app辅助器,切实有挂(解迷曝光教程)-哔哩哔哩小薇(透视辅助)...
透视插件!wpk模拟器是什么(... 透视插件!wpk模拟器是什么(透视)开挂辅助方法(真是是有挂)-哔哩哔哩1、游戏颠覆性的策略玩法,独...
透视科技!wepoker俱乐部... 透视科技!wepoker俱乐部辅助器,拱趴大菠萝十三水辅助,指南教程(本来存在有挂)-哔哩哔哩拱趴大...
透视存在!aapoker能控制... 透视存在!aapoker能控制牌吗,微信小程序辅助器免费,其实是真的挂(专业技巧教程)-哔哩哔哩1、...
透视规律!wepoker私人局... 透视规律!wepoker私人局俱乐部怎么进(透视)开挂辅助工具(原来真的是有挂)-哔哩哔哩;1、we...
透视脚本!wepoker正确养... 透视脚本!wepoker正确养号方法,德普之星透视辅助软件是真的吗,窍门教程(竟然存在有挂)-哔哩哔...
透视好牌!wepoker高级辅... 透视好牌!wepoker高级辅助,789大菠萝插件功能,原来真的是有挂(专业解说技巧)-哔哩哔哩1)...
透视安卓版本!wpk德州局透视... 透视安卓版本!wpk德州局透视(透视)开挂辅助app(确实有挂)-哔哩哔哩1)wpk德州局透视辅助挂...