ApacheBeam:WhattriggerdoIneedformyusecase
创始人
2024-09-05 11:00:50
0次
  1. 确定您的用例所需的触发器类型。以下是Beam触发器类型的简要说明:

• 当所有窗口都有数据时启动窗口: AfterWatermark • 基于数据量的触发器: AfterCount • 基于处理时间的触发器: AfterProcessingTime • 基于事件时间的触发器: AfterWatermarkEarlyAndLate

  1. 为您的Beam管道配置触发器。下面是一些不同触发器的示例:

当窗口内有10个元素时启动窗口,等待1分钟后关闭窗口

windowed_elements = (p | beam.Create(data) | beam.WindowInto(window.FixedWindows(60)) | beam.ParDo(MyTransformer()) | beam.ParDo(MyDoFn()) | beam.ParDo(MyFilter()) | beam.ParDo(MyMap()) | beam.CombineGlobally(beam.combiners.ToListCombineFn()) | beam.ParDo(MyFinalTransform()) | beam.WindowInto(window.FixedWindows(60), trigger=trigger.AfterCount(10)))

略过初始延迟5分钟,在任何水印时间之后触发

windowed_elements = (p | beam.Create(data) | beam.WindowInto(window.FixedWindows(60)) | beam.ParDo(MyTransformer()) | beam.ParDo(MyDoFn()) | beam.ParDo(MyFilter()) | beam.ParDo(MyMap()) | beam.CombineGlobally(beam.combiners.ToListCombineFn()) | beam.ParDo(MyFinalTransform()) | beam.WindowInto(window.FixedWindows(60), trigger=trigger.AfterWatermark( early=timestamps.EarliestFirst, late=timestamps.LatestFirst, watermark=timedelta(minutes=-5))))

基于事件时间,在窗口关闭之前等待30秒钟

windowed_elements = (p | beam.Create(data) | beam.WindowInto(window.FixedWindows(60)) | beam.ParDo(MyTransformer()) | beam.ParDo(MyDoFn())

相关内容

热门资讯

必看攻略!红豆娱乐辅助器功能插... 必看攻略!红豆娱乐辅助器功能插件,红豆娱乐竟然有辅助器插件(有辅助挂秘诀)1、这是跨平台的红豆娱乐轻...
一分钟秒懂!五星跑得快透视功能... 一分钟秒懂!五星跑得快透视功能技巧,五星跑得快本来真的是有透视技巧(有辅助挂总结)五星跑得快透视方法...
一分钟揭秘!白金岛跑胡子透视功... 一分钟揭秘!白金岛跑胡子透视功能软件,白金岛跑胡子一贯真的有透视软件(有挂辅方法)1、游戏颠覆性的策...
科技揭秘!辰鸿透视挂功能教程,... 科技揭秘!辰鸿透视挂功能教程,辰鸿好像真的是有透视挂教程(有辅助挂实锤)该软件可以轻松地帮助玩家将辰...
我来分享!左右棋牌开挂功能插件... 我来分享!左右棋牌开挂功能插件,左右棋牌果然是有开挂插件(有辅助挂方略)1、左右棋牌辅助软件下载优化...
玩家必看科普!博雅红河棋牌辅助... 玩家必看科普!博雅红河棋牌辅助器功能工具,博雅红河棋牌竟然真的是有辅助器工具(有辅助挂技巧)1、博雅...
科技新动态!同城上饶辅助功能插... 科技新动态!同城上饶辅助功能插件,同城上饶竟然有辅助插件(有辅助挂技巧)1、同城上饶破解器简单,同城...
重大来袭!天下棋牌辅助器功能神... 重大来袭!天下棋牌辅助器功能神器,天下棋牌确实真的是有辅助器神器(有辅助挂存在)1、天下棋牌透视辅助...
一分钟揭秘!姚记大联盟辅助器功... 一分钟揭秘!姚记大联盟辅助器功能攻略,姚记大联盟一贯是有辅助器攻略(有辅助挂秘籍)1、一分钟揭秘!姚...
记者发布!青鸟大厅辅助器功能a... 记者发布!青鸟大厅辅助器功能app,青鸟大厅确实有辅助器app(有辅助挂细节)1、青鸟大厅公共底牌简...