ApacheBEAM管道消息批处理立即触发而不是在固定时间窗口后触发
创始人
2024-09-05 11:30:09
0

在Apache BEAM管道中实现消息批处理和立即触发需要在PipelineOptions中设置GlobalWindow和TriggeringPolicy。下面是一个示例代码:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.transforms.trigger import AfterWatermark, Repeatedly, AfterCount

p = beam.Pipeline(options=PipelineOptions())

messages = [
    {"id": 1, "message": "hello"},
    {"id": 2, "message": "world"},
    {"id": 3, "message": "apache"},
    {"id": 4, "message": "beam"}
]

batched_messages = (
    p
    | "Create Messages" >> beam.Create(messages)
    | "Batch Messages" >> beam.WindowInto(beam.window.GlobalWindows())
    | "Trigger Immediately" >> beam.TriggeringPolicy(
        AfterCount(1),
        Repeatedly(AfterWatermark()),
    )
    | "Print Batched Messages" >> beam.Map(print)
)

result = p.run()
result.wait_until_finish()

此代码使用GlobalWindows()将所有消息分配给全局窗口,然后使用TriggeringPolicy设置立即触发,以在批处理包含一条消息时立即触发管道。

相关内容

热门资讯

普及透视!哈糖大菠萝挂!教程辅... 普及透视!哈糖大菠萝挂!教程辅助辅助挂(有挂神器)-哔哩哔哩1、打开软件启动之后找到中间准星的标志长...
揭幕透视!pokemmo内置修... 揭幕透视!pokemmo内置修改器!记者发布辅助器(揭秘有挂)-哔哩哔哩进入游戏-大厅左侧-新手福利...
分享透视!pokemmo手机脚... 分享透视!pokemmo手机脚本辅助器!科技介绍辅助软件(有挂辅助)-哔哩哔哩1、下载好pokemm...
详细透视!哈糖大菠萝挂!推荐几... 详细透视!哈糖大菠萝挂!推荐几款新版辅助方法(有挂助手)-哔哩哔哩1、详细透视!哈糖大菠萝挂!推荐几...
详细透视!wepoker透视脚... 详细透视!wepoker透视脚本安卓!最新技巧辅助工具(今日头条)-哔哩哔哩1、操作简单,无需wep...
曝光透视!wepoker透视辅... 曝光透视!wepoker透视辅助下载!盘点几款辅助挂(真实有挂)-哔哩哔哩1、wepoker透视辅助...
解谜透视!pokemmo手机辅... 解谜透视!pokemmo手机辅助软件!玩家交流辅助神器(有挂方法)-哔哩哔哩所有人都在同一条线上,像...
了解透视!xpoker辅助怎么... 了解透视!xpoker辅助怎么用!推荐十款辅助技巧(讲解有挂)-哔哩哔哩1、这是跨平台的xpoker...
了解透视!福建大菠萝万能辅助器... 了解透视!福建大菠萝万能辅助器!技巧知识分享辅助神器(发现有挂)-哔哩哔哩福建大菠萝万能辅助器破解侠...
了解透视!hh poker软件... 了解透视!hh poker软件!玩家攻略辅助攻略(竟然有挂)-哔哩哔哩hh poker软件是不是有人...