ApacheCrunchmapreduce任务的输入分裂设置大小不起作用。
创始人
2024-09-05 15:30:39
0次

一种可能的解决方法是在将数据加载到Crunch PCollection之前手动设置输入分裂大小。例如：

TextInputFormat.setInputPaths(job.getConfiguration(), new Path(inputPath)); job.getConfiguration().setLong("mapred.max.split.size", 6410241024); //设置每个split的最大字节数

//使用Crunch读取文本文件 PCollection lines = pipeline.readTextFile(inputPath);

这将手动设置每个输入分裂的最大字节数为64 MB，以确保在处理大型数据集时可以充分利用所有可用的MapReduce资源。

另一个可能的解决方法是在Hadoop的配置文件中设置默认的输入分裂大小。在Hadoop的yarn-site.xml或hdfs-site.xml配置文件中添加以下行：

mapreduce.input.fileinputformat.split.maxsize 67108864

这将设置每个输入文件的默认分裂大小为64 MB，以便在使用Hadoop时可以全局应用此设置。

上一篇：Apachecoyote漏洞修复导致端口使用错误。

下一篇：ApacheCSP未生效

相关内容

热门资讯

技巧五分钟!wpk辅助插件微扑... 技巧五分钟!wpk辅助插件微扑克网页版辅助(原来真的有挂)-今日头条；1、微扑克网页版辅助系统规律教...
工具七分钟!微扑克到底有辅助器... 工具七分钟!微扑克到底有辅助器wepoke软件透明功能实现方法(总是真的有挂)-微博客户端；1、we...
检测八分钟!gg扑克发牌机制w... 检测八分钟!gg扑克发牌机制wepoke软件透明挂辅助(一般真的有挂)-百度知乎1、实时wepoke...
检测六分钟!德州ai能盈利po... 检测六分钟!德州ai能盈利pokerworld下载外挂(果真真的有挂)-知乎1）pokerworld...
挂8分钟!aapoker软件a... 挂8分钟!aapoker软件aapoker发牌规律(的确是有挂的)-微博客户端1、该软件可以轻松地帮...
插件7分钟!德州ai辅助器wo... 插件7分钟!德州ai辅助器wopoker苹果可以下载(一般真的有挂)-今日头条；1、打开软件启动之后...
胜率三分钟!wepoke有挂网... 胜率三分钟!wepoke有挂网上靠谱wpk透明挂(总是真的有挂)-今日头条；1、不需要AI权限，帮助...
软件五分钟!微扑克辅助软件wp... 软件五分钟!微扑克辅助软件wpk俱乐部有外挂(果真真的有挂)-微博客户端1）微扑克辅助软件辅助挂：进...
模拟器九分钟!pokermas... 模拟器九分钟!pokermaster是有外挂wpk有机器人(好像真的有挂)-哔哩哔哩pokermas...
最新款5分钟!德扑ai智能机器... 最新款5分钟!德扑ai智能机器人wepoke软件透明下载渠道(一直真的有挂)-微博客户端1、wepo...