ApacheBEAM管道消息批处理立即触发而不是在固定时间窗口后触发
创始人
2024-09-05 11:30:09
0

在Apache BEAM管道中实现消息批处理和立即触发需要在PipelineOptions中设置GlobalWindow和TriggeringPolicy。下面是一个示例代码:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.transforms.trigger import AfterWatermark, Repeatedly, AfterCount

p = beam.Pipeline(options=PipelineOptions())

messages = [
    {"id": 1, "message": "hello"},
    {"id": 2, "message": "world"},
    {"id": 3, "message": "apache"},
    {"id": 4, "message": "beam"}
]

batched_messages = (
    p
    | "Create Messages" >> beam.Create(messages)
    | "Batch Messages" >> beam.WindowInto(beam.window.GlobalWindows())
    | "Trigger Immediately" >> beam.TriggeringPolicy(
        AfterCount(1),
        Repeatedly(AfterWatermark()),
    )
    | "Print Batched Messages" >> beam.Map(print)
)

result = p.run()
result.wait_until_finish()

此代码使用GlobalWindows()将所有消息分配给全局窗口,然后使用TriggeringPolicy设置立即触发,以在批处理包含一条消息时立即触发管道。

相关内容

热门资讯

最新技巧!关春天开挂,poke... 最新技巧!关春天开挂,pokemmo手机版脚本免费,微扑克教程(有挂攻略);关春天开挂是一种具有地方...
记者揭秘!情怀宜春怎么开挂,w... 记者揭秘!情怀宜春怎么开挂,wepoker私人局俱乐部辅助,必赢教程(详细教程);人气非常高,ai更...
教程攻略!皮皮跑胡子系统有鬼,... 教程攻略!皮皮跑胡子系统有鬼,epoker透视底牌,新2025版(有挂规律);教程攻略!皮皮跑胡子系...
专业讨论!闲来透视辅助器最新版... 专业讨论!闲来透视辅助器最新版,wepoker辅助真的假的,安装教程(有挂教学)是一款可以让一直输的...
最新研发!创思维激k看底牌辅助... 最新研发!创思维激k看底牌辅助,约局吧作弊脚本,新版2025教程(有挂头条);亲真的是有正版授权,小...
总算了解!打哈儿辅助软件,we... 总算了解!打哈儿辅助软件,wepoker手机版透视脚本,可靠技巧(有挂工具)是一款可以让一直输的玩家...
分辨真假!闲聚鱼虾蟹软件脚本,... 分辨真假!闲聚鱼虾蟹软件脚本,聚星ai辅助工具下载,靠谱教程(真实有挂)是一款可以让一直输的玩家,快...
实操分享!牵手跑得软件,wep... 实操分享!牵手跑得软件,wepoker高级辅助,详细教程(有挂方略);相信小伙伴都知道这个牵手跑得软...
揭秘关于!人海大厅挂什么好,w... 揭秘关于!人海大厅挂什么好,we poker辅助器v3.3,揭秘攻略(详细教程);1、点击下载安装,...
科技新动态!乐酷大厅怎么安装,... 您好,乐酷大厅怎么安装这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在...