ApacheFlink遇到org.apache.hadoop.ipc.RpcException:RPC响应数据长度超过了写入HDFS的最大数据长度限制。
创始人
2024-09-05 20:00:38
0

在Flink程序中,可以通过配置以下参数来解决此问题:

conf.setBoolean("dfs.client.block.write.replace-datanode-on-failure.policy", true);
conf.set("dfs.client.block.write.replace-datanode-on-failure.best-effort", "true");
conf.set("dfs.client.max.block.acquire.failures", "1");

其中,dfs.client.block.write.replace-datanode-on-failure.policy配置设置为true,表示在写入数据节点出现故障时,会将该节点替换为其他可用节点。dfs.client.block.write.replace-datanode-on-failure.best-effort配置设置为true,表示在出现故障时,Flink会尽力将节点替换为其他可用节点。dfs.client.max.block.acquire.failures配置设置为1,表示在获取数据节点失败后,Flink会尝试重新获取数据节点一次。

通过配置以上参数,可以大大减少Flink程序写入HDFS时出现RpcException异常的概率。

相关内容

热门资讯

2026外挂!雀友会广东潮汕麻... 2026外挂!雀友会广东潮汕麻将辅助软件,芒果辅助器(好像是有挂)1、用户打开应用后不用登录就可以直...
2026外挂!哈糖大菠萝辅助,... 2026外挂!哈糖大菠萝辅助,奇迹手游辅助脚本平台免费(一直真的有挂)1、奇迹手游辅助脚本平台免费脚...
2026外挂!辅助定制交易平台... 2026外挂!辅助定制交易平台,情怀破解(本来有挂)1、起透看视 辅助定制交易平台辅助软件价格2、随...
2026外挂!九酷众游软件,5... 2026外挂!九酷众游软件,510k中至余干辅助(原来真的是有挂)1、玩家可以在510k中至余干辅助...
2026外挂!极速官方游戏暗堡... 2026外挂!极速官方游戏暗堡辅助器,楚天游辅助(其实存在有挂)1、上手简单,内置详细流程视频教学,...
2026外挂!免费游戏辅助软件... 2026外挂!免费游戏辅助软件,如何设置钱塘十三水辅助器(切实是真的有挂)1、2026外挂!免费游戏...
2026外挂!雀姬辅助脚本,微... 2026外挂!雀姬辅助脚本,微乐游戏辅助脚本安装(切实有挂)2026外挂!雀姬辅助脚本,微乐游戏辅助...
2026外挂!飞驰娱乐软件科技... 2026外挂!飞驰娱乐软件科技,科乐填大坑辅助器(切实真的有挂)1、科乐填大坑辅助器免费辅助多个强度...
2026外挂!皮皮胡子辅助,天... 2026外挂!皮皮胡子辅助,天天贵阳破解版(原来是真的有挂)天天贵阳破解版是不是有人用挂微扑克wpk...
2026外挂!科技实测欢乐辅助... 2026外挂!科技实测欢乐辅助,丽水都莱辅助软件(都是是有挂)小薇(辅助器软件下载)致您一封信;亲爱...