ApacheBeam如何返回多个输出?
创始人
2024-09-05 12:00:11
0

在Apache Beam中,要返回多个输出,可以使用多路输出(MultiOutput)。

首先,需要创建一个新的PCollectionTuple对象,将每个输出分别命名。然后,在DoFn的processElement方法中,根据需要将每个元素添加到正确的输出中。

以下是创建具有两个输出的示例DoFn的示例代码:

public class MultipleOutputsDoFn extends DoFn {
  public static final TupleTag outputTag1 =
      new TupleTag(){};
  public static final TupleTag outputTag2 =
      new TupleTag(){};

  @ProcessElement
  public void processElement(ProcessContext c) {
    String element = c.element();
    if (condition1) {
      c.output(outputTag1, "output1_" + element);
    }
    if (condition2) {
      c.output(outputTag2, "output2_" + element);
    }
  }
}

在这个例子中,我们定义了两个TupleTag,用于标识两个不同的输出。在processElement方法中,我们可以根据某些条件向不同的输出添加元素。

在主管道中,可以使用配对和Map方法来处理这些输出。以下是一个使用具有两个输出的DoFn的示例管道:

PCollection input = ...;
TupleTag outputTag1 = ...;
TupleTag outputTag2 = ...;

PCollectionTuple outputs = input.apply(ParDo.of(new MultipleOutputsDoFn())
    .withOutputTags(outputTag1, TupleTagList.of(outputTag2)));

PCollection output1 = outputs.get(outputTag1);
PCollection output2 = outputs.get(outputTag2);

PCollection finalOutput =
    PCollectionList.of(output1).and(output2).apply(Flatten.pCollections());

在这个例子中,我们使用withOutputTags方法将两个TupleTag与DoFn配对,然后将它们作为PCollectionTuple输出。然后,我们使用PCollectionTuple.get方法来获得每个输出的

相关内容

热门资讯

记者揭秘!智星菠萝辅助(透视辅... 记者揭秘!智星菠萝辅助(透视辅助)拱趴大菠萝辅助神器,扑克教程(有挂细节);模式供您选择,了解更新找...
一分钟揭秘!约局吧能能开挂(透... 一分钟揭秘!约局吧能能开挂(透视辅助)hhpoker辅助靠谱,2024新版教程(有挂教学);约局吧能...
透视辅助!wepoker模拟器... 透视辅助!wepoker模拟器哪个好用(脚本)hhpoker辅助挂是真的,科技教程(有挂技巧);囊括...
透视代打!hhpkoer辅助器... 透视代打!hhpkoer辅助器视频(辅助挂)pokemmo脚本辅助,2024新版教程(有挂教程);风...
透视了解!约局吧德州真的有透视... 透视了解!约局吧德州真的有透视挂(透视脚本)德州局HHpoker透视脚本,必胜教程(有挂分析);亲,...
六分钟了解!wepoker挂底... 六分钟了解!wepoker挂底牌(透视)德普之星开辅助,详细教程(有挂解密);德普之星开辅助是一种具...
9分钟了解!wpk私人辅助(透... 9分钟了解!wpk私人辅助(透视)hhpoker德州透视,插件教程(有挂教学);风靡全球的特色经典游...
推荐一款!wepoker究竟有... 推荐一款!wepoker究竟有透视(脚本)哈糖大菠萝开挂,介绍教程(有挂技术);囊括全国各种wepo...
每日必备!wepoker有人用... 每日必备!wepoker有人用过(脚本)wpk有那种辅助,线上教程(有挂规律);wepoker有人用...
玩家必备教程!wejoker私... 玩家必备教程!wejoker私人辅助软件(脚本)哈糖大菠萝可以开挂,可靠技巧(有挂神器)申哈糖大菠萝...