ApacheBeamSplittableDoFnStreamingAPI
创始人
2024-09-05 12:00:24
0

Apache Beam 提供了 Splittable DoFn Streaming API,它允许用户创建可拆分的并行处理函数,并在流式数据处理步骤中使用它们。

以下是一个使用 Splittable DoFn 的示例代码:

import org.apache.beam.sdk.transforms.DoFn;
import org.apache.beam.sdk.transforms.splittabledofn.OffsetRange;
import org.apache.beam.sdk.transforms.splittabledofn.RestrictionTracker;
import org.apache.beam.sdk.transforms.splittabledofn.SplitResult;

public class MyDoFn extends DoFn {
  @ProcessElement
  public void processElement(ProcessContext c, RestrictionTracker tracker) {
    OffsetRange range = tracker.currentRestriction();
    for (long i = range.getFrom(); tracker.tryClaim(i) && i < range.getTo(); ++i) {
      // Process input element with index i.
      c.output("Processed element " + i);
    }
  }

  @GetInitialRestriction
  public OffsetRange getInitialRestriction(String element) {
    // Split the global range into subranges and assign one to each worker.
    return new OffsetRange(0L, 100L);
  }

  @SplitRestriction
  public SplitResult splitRestriction(
      String element, OffsetRange restriction) {
    // Split the given range into sub-ranges that can be processed independently.
    long midpoint = (restriction.getFrom() + restriction.getTo()) / 2;
    return SplitResult.of(
        new OffsetRange(restriction.getFrom(), midpoint),
        new OffsetRange(midpoint, restriction.getTo()));
  }

  @NewTracker
  public RestrictionTracker newTracker(OffsetRange range) {
    // Return a new RestrictionTracker suitable for processing a subrange of the input
    // based on the given initial restriction.
    return new MyRestrictionTracker(range);
  }
}

此代码定义了一个可拆分的 DoFn,它从输入字符串流中处理元素,并输出处理后的字符串流。

我们可以使用此 DoFn 在 Apache Beam 流水线中进行流式处理,如下所示:

PipelineOptions options = PipelineOptionsFactory.create();
Pipeline p = Pipeline.create(options);

p.apply("ReadFromSource", TextIO.read().from("inputFile.txt"))
    .apply(ParDo.of(new MyDoFn()))
    .apply("WriteToSink", TextIO.write().to("outputFile.txt"));

p.run();

此代码从输入文件中读取字符串流

相关内容

热门资讯

2026版攻略!德普辅助器怎么... 2026版攻略!德普辅助器怎么用,德普之星辅助软件,切实存在有挂(的确有挂)在进入德普之星辅助软件软...
发现玩家!欢乐游戏城攻略,闲逸... 发现玩家!欢乐游戏城攻略,闲逸碰胡金钟罩,详细器(有挂工具)1、闲逸碰胡金钟罩免费脚本咨询教程、闲逸...
第三方插件!德普之星怎么设置埋... 第三方插件!德普之星怎么设置埋牌,德扑之星有辅助软件吗,原来是真的有挂(详细教程)1、超多福利:超高...
9分钟了解!拱趴大菠萝辅助神器... 9分钟了解!拱趴大菠萝辅助神器,雀友会潮汕麻将开挂辅助,详细器(有挂方略)1)雀友会潮汕麻将开挂辅助...
这一现象值得深思!wpk插件辅... 这一现象值得深思!wpk插件辅助,德普之星透视辅助软件下载,原来是有挂(有挂秘诀)小薇(辅助器软件下...
避坑细节!填大坑辅助视频,潮娱... 避坑细节!填大坑辅助视频,潮娱乐鱼虾蟹公式辅助软件,详细教程(发现有挂)亲,关键说明,潮娱乐鱼虾蟹公...
截至目前!wepokerplu... 截至目前!wepokerplus透视脚本免费,德普之星辅助器app,一贯是真的有挂(有挂详细)1、进...
每日必看!微信决胜游戏辅助,蘑... 每日必看!微信决胜游戏辅助,蘑菇云辅助脚本,详细教程(有挂分析)1、微信决胜游戏辅助模拟器是什么优化...
事发当天!约局吧德州有挂吗,德... 事发当天!约局吧德州有挂吗,德扑之星有透视辅助吗,竟然真的有挂(有挂功能)1、德扑之星有透视辅助吗模...
盘点几款!乐酷副厅辅助,闲逸辅... 盘点几款!乐酷副厅辅助,闲逸辅助软件下载,详细教程(真的有挂)闲逸辅助软件下载辅助器是一种具有地方特...