ApacheCrunchmapreduce任务的输入分裂设置大小不起作用。
创始人
2024-09-05 15:30:39
0次

一种可能的解决方法是在将数据加载到Crunch PCollection之前手动设置输入分裂大小。例如：

TextInputFormat.setInputPaths(job.getConfiguration(), new Path(inputPath)); job.getConfiguration().setLong("mapred.max.split.size", 6410241024); //设置每个split的最大字节数

//使用Crunch读取文本文件 PCollection lines = pipeline.readTextFile(inputPath);

这将手动设置每个输入分裂的最大字节数为64 MB，以确保在处理大型数据集时可以充分利用所有可用的MapReduce资源。

另一个可能的解决方法是在Hadoop的配置文件中设置默认的输入分裂大小。在Hadoop的yarn-site.xml或hdfs-site.xml配置文件中添加以下行：

mapreduce.input.fileinputformat.split.maxsize 67108864

这将设置每个输入文件的默认分裂大小为64 MB，以便在使用Hadoop时可以全局应用此设置。

上一篇：Apachecoyote漏洞修复导致端口使用错误。

下一篇：ApacheCSP未生效

相关内容

热门资讯

玩家必看科普(pokermas... 玩家必看科普(pokermaster外挂)外挂透明挂辅助插件(透视)的确真的有挂(2022已更新)(...
每日必备!WPK最新版(weP... WePoker透视辅助版本解析‌，每日必备!WPK最新版(wePoke)外挂透明挂辅助挂(辅助挂)解...
一分钟揭秘(wepoke真的有... 一分钟揭秘(wepoke真的有挂)外挂透明挂辅助APP(透视)透视辅助(真的有挂)-哔哩哔哩；《WP...
必知教程(WPK技术)外挂透明... 必知教程(WPK技术)外挂透明挂辅助脚本(辅助挂)发牌规律(有挂技巧)-哔哩哔哩是一款可以让一直输的...
一起来讨论(wpk下载)外挂透... 一起来讨论(wpk下载)外挂透明挂辅助脚本(辅助挂)的确是真的有挂(2020已更新)(哔哩哔哩)；（...
科普攻略!红龙扑克机制(weP... 科普攻略!红龙扑克机制(wePOke)外挂透明挂辅助神器(透视)新2024版(有挂细节)-哔哩哔哩1...
九分钟了解(Wepoke最新款... Wepoke最新款赢率提升策略‌；九分钟了解(Wepoke最新款)外挂透明挂辅助神器(透视)软件透明...
透视透明(Wepoke助手)外... 透视透明(Wepoke助手)外挂透明挂辅助神器(透视)德州ai机器人(发现有挂)-哔哩哔哩；Wepo...
实测揭晓(wepOkE)外挂透... 1、实测揭晓(wepOkE)外挂透明挂辅助挂(辅助挂)其实真的有挂(2022已更新)(哔哩哔哩)。2...
技术分享!Wepoke计算器(... 技术分享!Wepoke计算器(WepOke)外挂透明挂辅助工具(透视)AI教程(有挂技巧)-哔哩哔哩...