ApacheFlink-将流写入S3出现错误-nulluri主机
创始人
2024-09-05 19:00:48
0

该错误通常是由于在 S3 路径中指定的“bucket”或“key”存在错误或未设置所导致的。将正确的 S3 bucket 和 key 传递给输出操作符即可解决此问题。以下是示例代码:

import org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink;
import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.BasePathBucketAssigner;
import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.DateTimeBucketAssigner;
import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.SimpleVersionedStringSerializer;
import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy;
import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.OnCheckpointRollingPolicy;

StreamingFileSink s3Sink = StreamingFileSink
    .forBulkFormat(new Path(s3OutputPath), ParquetAvroWriters.forReflectRecord(MyRecord.class))
    .withBucketAssigner(new DateTimeBucketAssigner(s3OutputPath + "/${yyyy-MM-dd}/", "UTC"))
    .withBucketCheckInterval(1 * 60 * 1000L)
    .withRollingPolicy(
        DefaultRollingPolicy.builder()
            .withMaxPartSize(256 * 1024 * 1024)
            .withRolloverInterval(60 * 60 * 1000L)
            .withInactivityInterval(10 * 60 * 1000L)
            .build())
    .withOutputFileConfig(OutputFileConfig
        .builder()
        .withPartPrefix("data")
        .withPartSuffix(".snappy.parquet")
        .build())
    .build();

stream.addSink(s3Sink)
    .setParallelism(1)
    .name("s3Sink");

在上面的示例代码中,正确的 S3 bucket 和 key 已经传递给了 BucketAssigner:“DateTimeBucketAssigner(s3OutputPath + "/${yyyy-MM-dd}/", "UTC")”。如果您的代码中的路径有误,请检查并更正。

相关内容

热门资讯

玩家必备教程!789大菠萝攻略... 玩家必备教程!789大菠萝攻略,wepokerplus透视脚本免费,2025新版总结(有挂秘诀);1...
玩家必知教程!微信链接透视脚本... 玩家必知教程!微信链接透视脚本下载,微信填大坑辅助(总是存在有挂)微信链接透视脚本下载能透视中分为三...
免费测试版!小程序河北微乐脚本... 免费测试版!小程序河北微乐脚本,wejoker辅助器要钱玩吗,黑科技教程(有挂秘籍),小程序河北微乐...
科普!潮友会app下载安卓,微... 科普!潮友会app下载安卓,微乐家乡官方app下载(果然真的是有挂)1、金币登录送、破产送、升级送、...
查到实测!微信小程序游戏辅助,... 查到实测!微信小程序游戏辅助,wepoker有没有辅助,2025版教程(真实有挂);查到实测!微信小...
重大通报!天天爱消除自动消除辅... 重大通报!天天爱消除自动消除辅助,微乐陕西小程序破解器下载(竟然有挂)一、微乐陕西小程序破解器下载可...
实测发现!微信小程序辅助器脚本... 您好:微信小程序辅助器脚本这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户...
一分钟了解!川娱竞技插件,哥哥... 一分钟了解!川娱竞技插件,哥哥打大a辅助辅助(竟然有挂)1、下载好哥哥打大a辅助辅助正确养号方法之后...
最新研发!小程序财神十三张辅助... 最新研发!小程序财神十三张辅助,pokemomo辅助工具,必胜教程(有挂透明挂);1、点击下载安装,...
一分钟教会你!乐逍遥脚本辅助,... 一分钟教会你!乐逍遥脚本辅助,极速鱼虾蟹辅助(好像是有挂)1、全新机制【乐逍遥脚本辅助ai辅助工具激...