ApacheBEAM管道消息批处理立即触发而不是在固定时间窗口后触发
创始人
2024-09-05 11:30:09
0

在Apache BEAM管道中实现消息批处理和立即触发需要在PipelineOptions中设置GlobalWindow和TriggeringPolicy。下面是一个示例代码:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.transforms.trigger import AfterWatermark, Repeatedly, AfterCount

p = beam.Pipeline(options=PipelineOptions())

messages = [
    {"id": 1, "message": "hello"},
    {"id": 2, "message": "world"},
    {"id": 3, "message": "apache"},
    {"id": 4, "message": "beam"}
]

batched_messages = (
    p
    | "Create Messages" >> beam.Create(messages)
    | "Batch Messages" >> beam.WindowInto(beam.window.GlobalWindows())
    | "Trigger Immediately" >> beam.TriggeringPolicy(
        AfterCount(1),
        Repeatedly(AfterWatermark()),
    )
    | "Print Batched Messages" >> beam.Map(print)
)

result = p.run()
result.wait_until_finish()

此代码使用GlobalWindows()将所有消息分配给全局窗口,然后使用TriggeringPolicy设置立即触发,以在批处理包含一条消息时立即触发管道。

相关内容

热门资讯

透视规律!wpk透视挂是真的-... 透视规律!wpk透视挂是真的-分享开挂透视辅助技巧(有挂辅助)1、超多福利:超高返利,海量正版游戏,...
每日必看“werplan脚本”... 每日必看“werplan脚本”从前有开挂辅助工具(的确有挂);亲,有的,ai轻松简单,又可以获得无穷...
透视黑科技!大菠萝789辅助器... 透视黑科技!大菠萝789辅助器下载-了解开挂透视辅助技巧(新版有挂)在进入大菠萝789辅助器下载辅助...
玩家攻略推荐“咸宁方片十三张透... 玩家攻略推荐“咸宁方片十三张透视脚本”本来有开挂辅助神器(有挂教程);亲真的是有正版授权,小编(透视...
透视了解!hhpoker有挂一... 透视了解!hhpoker有挂一直输-专业开挂透视辅助工具(存在有挂)hhpoker有挂一直输软件透明...
玩家亲测“新海贝之城辅助可以设... 玩家亲测“新海贝之城辅助可以设置”从前有开挂辅助软件(有挂方法)是一款可以让一直输的玩家,快速成为一...
透视中牌率!云扑克有透视-必备... 您好,云扑克有透视这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩家在...
推荐一款“闲逸辅助器”一直有开... 推荐一款“闲逸辅助器”一直有开挂辅助安装(有挂存在);推荐一款“闲逸辅助器”一直有开挂辅助安装(有挂...
透视真的!拱趴大菠萝十三水透视... 透视真的!拱趴大菠萝十三水透视挂-分享开挂透视辅助app(的确有挂)1、拱趴大菠萝十三水透视挂系统规...
玩家必看教程“开心泉州小程序辅... 玩家必看教程“开心泉州小程序辅助哪里查看”本然有开挂辅助助手(有挂分享);超受欢迎的开心泉州小程序辅...