Apache Beam/Dataflow: 在转换之间传递属性
创始人
2024-09-03 14:01:23
0

在 Apache Beam/Dataflow 中,在转换之间传递属性可以使用 ParDo 转换中的 withSideInputs 方法。下面是一个示例代码:

import apache_beam as beam

class AddAttributeFn(beam.DoFn):
    def __init__(self, attribute_value):
        self.attribute_value = attribute_value

    def process(self, element, *args, **kwargs):
        # 在输出元素中添加属性
        yield beam.pvalue.TaggedOutput('output', (element, self.attribute_value))

def main():
    with beam.Pipeline() as pipeline:
        input_data = pipeline | beam.Create([1, 2, 3, 4, 5])

        # 创建一个具有属性的 PCollection
        attribute_value = 10
        attribute_pcoll = pipeline | beam.Create([attribute_value])

        # 使用 withSideInputs 方法传递属性
        output_data = input_data | beam.ParDo(AddAttributeFn(), attribute_pcoll)

        # 获取输出 PCollection
        output_pcoll = output_data['output']

        # 打印输出元素和属性
        output_pcoll | beam.Map(print)

if __name__ == '__main__':
    main()

在上面的示例中,AddAttributeFn 类是一个 ParDo 转换,用于在每个输入元素上添加属性值。attribute_pcoll 是一个包含属性值的 PCollection。withSideInputs 方法将 attribute_pcoll 作为附加输入传递给 AddAttributeFn 转换。在 AddAttributeFnprocess 方法中,我们可以访问属性值并将其添加到输出元素中。

这样,我们就可以在 Apache Beam/Dataflow 中在转换之间传递属性。

相关内容

热门资讯

盘点一款(德州poker外挂)... 盘点一款(德州poker外挂)辅助透视(透视)竟然是真的有挂(有挂教学)-哔哩哔哩;原来确实真的有挂...
透视辅助!x-poker辅助软... 透视辅助!x-poker辅助软件(透视)确实是真的有挂(详细教程)(有挂教学)-哔哩哔哩;免费x-p...
每日必看教程(fishpoke... 每日必看教程(fishpoker大菠萝外挂)辅助透视(辅助挂)竟然真的有挂(有挂详情)-哔哩哔哩;玩...
透视智能ai!智星德州菠萝有挂... 透视智能ai!智星德州菠萝有挂,德扑之星操作,确实真的有挂(有挂详情)-哔哩哔哩智星德州菠萝有挂平台...
六分钟了解!智星德州有挂(透视... 六分钟了解!智星德州有挂(透视)确实是真的有挂(详细教程)(有挂攻略)-哔哩哔哩是一款可以让一直输的...
重大科普(约局吧有辅助)透视辅... 重大科普(约局吧有辅助)透视辅助(辅助挂)其实是真的有挂(有挂详情)-哔哩哔哩1、让任何用户在无需A...
最新技巧(欢乐棋牌有挂)软件透... WePoker透视辅助版本解析‌,最新技巧(欢乐棋牌有挂)软件透明挂(透视)果真是真的有挂(有挂攻略...
带你了解!扑克世界牌局设置(辅... 带你了解!扑克世界牌局设置(辅助挂)竟然是真的有挂(详细教程)(有挂技巧)-哔哩哔哩1、不需要AI权...
四分钟了解!德州线上扑克辅助工... 四分钟了解!德州线上扑克辅助工具app(透视)确实是真的有挂(详细教程)(有挂总结)-哔哩哔哩1、不...
总算了解!线上德州辅助工具,德... 《线上德州辅助工具软件透明挂》是一款多人竞技的线上德州辅助工具辅助透视游戏,你将微扑克对手来到同一个...