Apache Flink - 无法在FlinkKinesisConsumer中使用本地Kinesis
创始人
2024-09-04 00:01:01
0

问题描述:在使用Apache Flink的FlinkKinesisConsumer时,无法使用本地Kinesis进行测试和开发。

解决方法:

  1. 引入相应的依赖:

    org.apache.flink
    flink-connector-kinesis_${scala.binary.version}
    ${flink.version}

  1. 创建一个Kinesis数据源:
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer;
import org.apache.flink.streaming.connectors.kinesis.config.ConsumerConfigConstants;

public class KinesisSourceExample {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 设置Kinesis配置
        env.getConfig().setGlobalJobParameters(ParameterTool.fromArgs(args));
        env.getConfig().setBoolean(ConsumerConfigConstants.STREAM_INITIAL_POSITION_LATEST, true);

        // 创建FlinkKinesisConsumer
        FlinkKinesisConsumer consumer = new FlinkKinesisConsumer<>(
                "my-stream",
                new SimpleStringSchema(),
                env.getConfig().getProperties());

        // 添加数据源
        env.addSource(consumer)
                .print();

        // 执行作业
        env.execute("Kinesis Source Example");
    }
}
  1. src/main/resources目录下创建一个flink-conf.yaml文件,并添加以下内容:
kinesis.endpoint: localhost:4567
  1. 启动本地Kinesis服务,可以使用Amazon Kinesis Local或者LocalStack等。

  2. 运行程序,即可使用本地Kinesis进行测试和开发。

注意:在生产环境中,需要修改Kinesis的配置为实际的AWS Kinesis服务。

相关内容

热门资讯

一个开挂!德扑ai软件购买(开... 一个开挂!德扑ai软件购买(开房间教程)透视辅助(有人有挂)-哔哩哔哩;德扑ai软件最新版本免费下载...
第2插件!天天斗牌为什么总是输... 第2插件!天天斗牌为什么总是输(辅助挂)太坑了其实真的有挂(真的有挂)-哔哩哔哩;一、天天斗牌为什么...
第6个挂!wpk辅助插件(辅助... 第6个挂!wpk辅助插件(辅助机器人)其实真的有挂(果真有挂)-哔哩哔哩这是由厦门游乐互动科技有限公...
第1测试(德扑之星自定义)外挂... 第1测试(德扑之星自定义)外挂透明挂辅助工具(透视)玩家教你(有挂总结)-哔哩哔哩关于德扑之星自定义...
7个插件!德扑平台机器人(真的... 7个插件!德扑平台机器人(真的太假了)辅助透视(有挂教学)-哔哩哔哩;德扑平台软件透明挂作为一款德扑...
6模拟器(鱼扑克辅助)外挂透明... 这是一款非常优秀的鱼扑克辅助 ia辅助检测软件,能够让你了解到鱼扑克辅助中牌率当中全部隐藏参数,与同...
第十真的有挂!闽游麻将十三水怎... 第十真的有挂!闽游麻将十三水怎么提升胜率(辅助挂)太坑了其实真的有挂(有挂技巧)-哔哩哔哩1、完成闽...
一个代打!wepoke有挂(软... 一个代打!wepoke有挂(软件)透视(有挂分析)-哔哩哔哩是一款可以让一直输的玩家,快速成为一个“...
第6个线上!德扑之星禁止模拟器... 第6个线上!德扑之星禁止模拟器(系统发牌机制)软件透明挂(有挂规律)-哔哩哔哩1、不需要AI权限,帮...
第六安卓版!钱塘十三水怎么提升... 您好,钱塘十三水怎么提升好牌率这款游戏可以开挂的,确实是有挂的,需要了解加微【439369440】很...