ApacheBEAM管道消息批处理立即触发而不是在固定时间窗口后触发
创始人
2024-09-05 11:30:09
0次

在Apache BEAM管道中实现消息批处理和立即触发需要在PipelineOptions中设置GlobalWindow和TriggeringPolicy。下面是一个示例代码:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.transforms.trigger import AfterWatermark, Repeatedly, AfterCount

p = beam.Pipeline(options=PipelineOptions())

messages = [
    {"id": 1, "message": "hello"},
    {"id": 2, "message": "world"},
    {"id": 3, "message": "apache"},
    {"id": 4, "message": "beam"}
]

batched_messages = (
    p
    | "Create Messages" >> beam.Create(messages)
    | "Batch Messages" >> beam.WindowInto(beam.window.GlobalWindows())
    | "Trigger Immediately" >> beam.TriggeringPolicy(
        AfterCount(1),
        Repeatedly(AfterWatermark()),
    )
    | "Print Batched Messages" >> beam.Map(print)
)

result = p.run()
result.wait_until_finish()

此代码使用GlobalWindows()将所有消息分配给全局窗口,然后使用TriggeringPolicy设置立即触发,以在批处理包含一条消息时立即触发管道。

相关内容

热门资讯

盘点几款辅助教程!铃铛游戏3D... 盘点几款辅助教程!铃铛游戏3D多功能辅助教程,铃铛游戏3D原来有辅助教程1、进入游戏-大厅左侧-新手...
玩家必知教程透视器方法!中至山... 玩家必知教程透视器方法!中至山西麻将多功能透视器方法,中至山西麻将本来有透视器方法1、下载好中至山西...
盘点一款外挂app!重庆蛮籽麻... 盘点一款外挂app!重庆蛮籽麻将多功能外挂app,重庆蛮籽麻将本来是有外挂app1、重庆蛮籽麻将公共...
分享个大家辅助器app!咔遛游... 分享个大家辅助器app!咔遛游戏多功能辅助器app,咔遛游戏好像有辅助器app1、咔遛游戏有没有辅助...
推荐十款辅助软件!三三麻将多功... 推荐十款辅助软件!三三麻将多功能辅助软件,三三麻将确实真的是有辅助软件1、三三麻将有没有辅助教程、三...
解密关于开挂方法!三鑫联盟多功... 解密关于开挂方法!三鑫联盟多功能开挂方法,三鑫联盟果然真的有开挂方法1、解密关于开挂方法!三鑫联盟多...
玩家必知教程辅助器脚本!打两圈... 您好,打两圈泰州麻将这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩家...
揭秘一下辅助技巧!启东麻将多功... 揭秘一下辅助技巧!启东麻将多功能辅助技巧,启东麻将一直有辅助技巧启东麻将脚本下载中分为三种模型:启东...
我来教教大家外挂脚本!优优龙岩... 我来教教大家外挂脚本!优优龙岩麻将多功能外挂脚本,优优龙岩麻将竟然真的是有外挂脚本1)优优龙岩麻将有...
玩家必看教程外挂教程!小白大作... 玩家必看教程外挂教程!小白大作战多功能外挂教程,小白大作战真是存在有外挂教程1.小白大作战 选牌创建...