ApacheBeam现在默认启用Shuffle服务了吗？
创始人
2024-09-05 12:00:43
0次

是的，自Apache Beam 2.16.0版本开始，Shuffle服务默认启用。Shuffle服务在将数据从一个节点传输到另一个节点时非常有用。

以下是使用默认启用Shuffle服务的Apache Beam代码示例：

import apache_beam as beam

with beam.Pipeline() as pipeline:
    result = (
        pipeline
        | beam.Create([1, 2, 3, 4, 5])
        | beam.Map(lambda x: x * 2)
        | beam.Map(lambda x: x * 2)
        | beam.Map(lambda x: x * 2)
        | beam.Map(lambda x: x * 2)
    )

    # 打印输出结果
    beam.pvalue.MaterializedValueTap(result).get_all()

上一篇：ApacheBeam无限流处理的窗口化

下一篇：ApacheBeam与Python。尝试验证ApacheKafkaSASL_SSLOAUTHBEARER时出错。

相关内容

热门资讯

透视攻略！wepoker祈福有... 透视攻略！wepoker祈福有用-普及开挂透视辅助插件（有挂方法）1、wepoker祈福有用机器人多...
玩家必用“皮皮辅助软件”原生有... 玩家必用“皮皮辅助软件”原生有开挂辅助软件（有挂助手）;1、这是跨平台的皮皮辅助软件黑科技，在线的操...
透视教程！sohoo开挂辅助-... 透视教程！sohoo开挂辅助-专业开挂透视辅助软件（有挂攻略）运sohoo开挂辅助辅助工具，进入游戏...
揭秘真相“广东雀神智能插件免费... 揭秘真相“广东雀神智能插件免费”果然有开挂辅助挂（有挂秘笈）;1、不需要AI权限，帮助你快速的进行广...
总算了解“九九联盟辅助在”一直... 总算了解“九九联盟辅助在”一直有开挂辅助脚本（有挂解惑）是一款可以让一直输的玩家，快速成为一个“必胜...
辅助透视！pokerworld... 辅助透视！pokerworld辅助器-关于开挂透视辅助插件（有挂功能）1、实时pokerworld辅...
实测交流“微信西楚辅助”本来有... 您好：微信西楚辅助这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
透视玄学！wpk是真的还是假的... 透视玄学！wpk是真的还是假的-详细开挂透视辅助方法（有挂秘笈）wpk是真的还是假的软件透明挂微扑克...
重大推荐“赣牌圈挂可以安装”从... 重大推荐“赣牌圈挂可以安装”从前有开挂辅助插件（有挂辅助）是一款可以让一直输的玩家，快速成为一个“必...
透视规律！wpk透视挂是真的-... 透视规律！wpk透视挂是真的-分享开挂透视辅助技巧（有挂辅助）1、超多福利：超高返利，海量正版游戏，...