ApacheBeam在向多个输出PCollection中发射元素时出现问题。
创始人
2024-09-05 12:01:05
0

Apache Beam支持将单个PCollection划分为多个PCollection,并在管道中的多个位置使用这些PCollection。但是,有时候我们需要在管道中的某个位置将元素发射到多个不同的PCollection中。这时候可能会遇到问题。

在现有版本的Apache Beam中,我们可以使用一个自定义的转换器,称为MultiDoFn,来支持将元素发射到多个不同的PCollection中。MultiDoFn接受一个包含多个DoFn实例的列表,每个DoFn实例发射到不同的输出PCollection。

下面是一个示例,说明如何使用MultiDoFn来将PCollection中的汽车对象分成两个不同的输出PCollection,一个PCollection包含旧车,另一个PCollection包含新车。

import org.apache.beam.sdk.transforms.DoFn;
import org.apache.beam.sdk.transforms.MultiDoFn;
import org.apache.beam.sdk.values.TupleTag;
import org.apache.beam.sdk.values.TupleTagList;

class Car {
  public String model;
  public int year;

  public Car(String model, int year) {
    this.model = model;
    this.year = year;
  }
}

class CarSplitter extends MultiDoFn {
  TupleTag oldCars = new TupleTag("old_cars"){};
  TupleTag newCars = new TupleTag("new_cars"){};

  @Override
  public TupleTagList getAdditionalOutputTags() {
    return TupleTagList.of(oldCars).and(newCars);
  }

  @Override
  public void processElement(ProcessContext c) {
    Car car = c.element();
    if (car.year < 2000) {
      c.output(oldCars, car);
    } else {
      c.output(newCars, car);
    }
  }
}

在代码中,我们首先定义一个Car类,然后定义一个CarSplitter类,实现了MultiDoFn接口。在这个类中,我们定义

相关内容

热门资讯

透视规律!wpk透视挂是真的-... 透视规律!wpk透视挂是真的-分享开挂透视辅助技巧(有挂辅助)1、超多福利:超高返利,海量正版游戏,...
每日必看“werplan脚本”... 每日必看“werplan脚本”从前有开挂辅助工具(的确有挂);亲,有的,ai轻松简单,又可以获得无穷...
透视黑科技!大菠萝789辅助器... 透视黑科技!大菠萝789辅助器下载-了解开挂透视辅助技巧(新版有挂)在进入大菠萝789辅助器下载辅助...
玩家攻略推荐“咸宁方片十三张透... 玩家攻略推荐“咸宁方片十三张透视脚本”本来有开挂辅助神器(有挂教程);亲真的是有正版授权,小编(透视...
透视了解!hhpoker有挂一... 透视了解!hhpoker有挂一直输-专业开挂透视辅助工具(存在有挂)hhpoker有挂一直输软件透明...
玩家亲测“新海贝之城辅助可以设... 玩家亲测“新海贝之城辅助可以设置”从前有开挂辅助软件(有挂方法)是一款可以让一直输的玩家,快速成为一...
透视中牌率!云扑克有透视-必备... 您好,云扑克有透视这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩家在...
推荐一款“闲逸辅助器”一直有开... 推荐一款“闲逸辅助器”一直有开挂辅助安装(有挂存在);推荐一款“闲逸辅助器”一直有开挂辅助安装(有挂...
透视真的!拱趴大菠萝十三水透视... 透视真的!拱趴大菠萝十三水透视挂-分享开挂透视辅助app(的确有挂)1、拱趴大菠萝十三水透视挂系统规...
玩家必看教程“开心泉州小程序辅... 玩家必看教程“开心泉州小程序辅助哪里查看”本然有开挂辅助助手(有挂分享);超受欢迎的开心泉州小程序辅...