ApacheFlink如何在从ApacheKafka摄取数据时生成水印?
创始人
2024-09-05 19:30:28
0

在Apache Flink中,可以通过在Kafka消费者上为流添加timestamp和watermark提供时间戳和水印。在此之前,需要将Kafka消费者配置为以EventTime模式启动。Flink基于该配置生成CloseEventWatermarkGenerator和PeriodicWatermarkGenerator对象,可以使用这些对象生成水印。以下是示例代码:

//指定Kafka Consumer启动时间为EventTime模式 Properties consumerProperties = new Properties(); consumerProperties.setProperty("bootstrap.servers", "localhost:9092"); consumerProperties.setProperty("group.id", "myGroup"); consumerProperties.setProperty("flink.partition-discovery.interval-millis", "5000"); FlinkKafkaConsumer myConsumer = new FlinkKafkaConsumer<>( "myTopic", new SimpleStringSchema(), consumerProperties ); myConsumer.assignTimestampsAndWatermarks(new CustomWatermarkEmitter());

//自定义WatermarkEmitter类以生成水印 public class CustomWatermarkEmitter implements AssignerWithPeriodicWatermarks {

private long currentTimestamp = Long.MIN_VALUE;

@Override public long extractTimestamp(String element, long previousElementTimestamp) { //从事件中提取时间戳 return getTimestampFromEvent(element); }

@Override public Watermark getCurrentWatermark() { //生成水印 long maxOutOfOrderness = 3500; //最大水印滞后时间 return new Watermark(currentTimestamp == Long.MIN_VALUE ? Long.MIN_VALUE : currentTimestamp - maxOutOfOrderness); } }

代码中,CustomWatermarkEmitter类是为了提取时间戳和生成水印而自定义的。extractTimestamp()方法从消费的Kafka消息中提取时间戳。getCurrentWatermark()方法计算最大水印滞后时间并生成水印。可以调整maxOutOfOrderness来改变水印的生成方式。最后,在使用Kafka消费者数据流时,可以将CustomWatermarkEmitter对象作为参数传递给assignTimestampsAndWatermarks()方法。

相关内容

热门资讯

推荐十款!微信小程序功夫川麻小... 您好:微信小程序功夫川麻小程序辅助这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现...
发现玩家!全民牛牛拼三张开挂,... 发现玩家!全民牛牛拼三张开挂,wepoker底牌透视,安装教程(存在有挂);最新版2026是一款经典...
发现玩家!老k游戏辅助,hhp... 发现玩家!老k游戏辅助,hhpoker外挂靠谱吗,新2025版(有挂透视)是一款可以让一直输的玩家,...
分享一款!新超凡大厅辅助,hh... 分享一款!新超凡大厅辅助,hhpoker可以控制吗,切实教程(有挂辅助);1、在新超凡大厅辅助ai机...
程序员教你!微信辅助工具,哈糖... 程序员教你!微信辅助工具,哈糖大菠萝攻略,细节方法(真的有挂);1、这是跨平台的微信辅助工具黑科技,...
一分钟了解!广东雀神挂件脚本开... 一分钟了解!广东雀神挂件脚本开挂,pokemmo辅助脚本,wpk教程(有挂分享);【福星临门,好运相...
大神推荐!广西老友玩游戏辅助器... 大神推荐!广西老友玩游戏辅助器,微扑克辅助,新2025版(有挂透视);一、广西老友玩游戏辅助器AI软...
必备教程!科乐天天踢辅助视频,... 必备教程!科乐天天踢辅助视频,来玩app破解,详细教程(的确有挂);科乐天天踢辅助视频软件透明挂作为...
盘点一款!凑一桌开挂,wepo... 盘点一款!凑一桌开挂,wepoker透视底牌,透明挂教程(有挂透视);1、超多福利:超高返利,海量正...
玩家交流!518互游辅助,we... 玩家交流!518互游辅助,wepoker新号好一点吗,我来教教你(有挂攻略);最新版2026是一款经...