ApacheCrunchmapreduce任务的输入分裂设置大小不起作用。
创始人
2024-09-05 15:30:39
0次

一种可能的解决方法是在将数据加载到Crunch PCollection之前手动设置输入分裂大小。例如：

TextInputFormat.setInputPaths(job.getConfiguration(), new Path(inputPath)); job.getConfiguration().setLong("mapred.max.split.size", 6410241024); //设置每个split的最大字节数

//使用Crunch读取文本文件 PCollection lines = pipeline.readTextFile(inputPath);

这将手动设置每个输入分裂的最大字节数为64 MB，以确保在处理大型数据集时可以充分利用所有可用的MapReduce资源。

另一个可能的解决方法是在Hadoop的配置文件中设置默认的输入分裂大小。在Hadoop的yarn-site.xml或hdfs-site.xml配置文件中添加以下行：

mapreduce.input.fileinputformat.split.maxsize 67108864

这将设置每个输入文件的默认分裂大小为64 MB，以便在使用Hadoop时可以全局应用此设置。

上一篇：Apachecoyote漏洞修复导致端口使用错误。

下一篇：ApacheCSP未生效

相关内容

热门资讯

查到实测！创思维激k辅助神器，... 您好，创思维激k辅助神器这款游戏可以开挂的，确实是有挂的，需要了解加微【136704302】很多玩家...
最新研发！大唐辅助软件，wep... 最新研发！大唐辅助软件，wepoker辅助器下载，科技教程（有挂秘笈）;亲，有的，ai轻松简单，又可...
记者揭秘！宁夏欢乐划水辅助，约... 记者揭秘！宁夏欢乐划水辅助，约局吧游戏挂，必胜教程（确实有挂）;宁夏欢乐划水辅助是一项宁夏欢乐划水辅...
2024教程！邯郸胡乐挂辅助，... 您好：邯郸胡乐挂辅助这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现很多用户的牌特...
一分钟了解！联盟辅助软件，wp... 一分钟了解！联盟辅助软件，wpk透视辅助靠谱吗，2025新版（有挂细节）;1、很好的联盟辅助软件工具...
每日必看推荐！崇阳斗棋辅助脚本... 每日必看推荐！崇阳斗棋辅助脚本视频，hhpoker德州有挂吗，2025新版（讲解有挂）；崇阳斗棋辅助...
三分钟了解！琼崖辅助软件，大菠... 您好，琼崖辅助软件这款游戏可以开挂的，确实是有挂的，需要了解加微【136704302】很多玩家在这款...
重大通报！凑一桌小程序辅助器，... 重大通报！凑一桌小程序辅助器，aapoker能控制牌吗，分享教程（竟然有挂）是一款可以让一直输的玩家...
最新技巧！奇迹免费脚本辅助工具... 【福星临门，好运相随】；最新技巧！奇迹免费脚本辅助工具，xpoker辅助工具，2025新版（有挂教学...
玩家必看教程！凑一桌游戏春天辅... 玩家必看教程！凑一桌游戏春天辅助，pokemmo脚本手机版，可靠技巧（有挂方针）;是一款可以让一直输...