ApacheBeam在向多个输出PCollection中发射元素时出现问题。
创始人
2024-09-05 12:01:05
0

Apache Beam支持将单个PCollection划分为多个PCollection,并在管道中的多个位置使用这些PCollection。但是,有时候我们需要在管道中的某个位置将元素发射到多个不同的PCollection中。这时候可能会遇到问题。

在现有版本的Apache Beam中,我们可以使用一个自定义的转换器,称为MultiDoFn,来支持将元素发射到多个不同的PCollection中。MultiDoFn接受一个包含多个DoFn实例的列表,每个DoFn实例发射到不同的输出PCollection。

下面是一个示例,说明如何使用MultiDoFn来将PCollection中的汽车对象分成两个不同的输出PCollection,一个PCollection包含旧车,另一个PCollection包含新车。

import org.apache.beam.sdk.transforms.DoFn;
import org.apache.beam.sdk.transforms.MultiDoFn;
import org.apache.beam.sdk.values.TupleTag;
import org.apache.beam.sdk.values.TupleTagList;

class Car {
  public String model;
  public int year;

  public Car(String model, int year) {
    this.model = model;
    this.year = year;
  }
}

class CarSplitter extends MultiDoFn {
  TupleTag oldCars = new TupleTag("old_cars"){};
  TupleTag newCars = new TupleTag("new_cars"){};

  @Override
  public TupleTagList getAdditionalOutputTags() {
    return TupleTagList.of(oldCars).and(newCars);
  }

  @Override
  public void processElement(ProcessContext c) {
    Car car = c.element();
    if (car.year < 2000) {
      c.output(oldCars, car);
    } else {
      c.output(newCars, car);
    }
  }
}

在代码中,我们首先定义一个Car类,然后定义一个CarSplitter类,实现了MultiDoFn接口。在这个类中,我们定义

相关内容

热门资讯

透视揭露!wepoker辅助脚... 透视揭露!wepoker辅助脚本,wepoker私人局透视-确实是真的有辅助神器(哔哩哔哩)1、下载...
透视科普!wpk透视是真的假的... 透视科普!wpk透视是真的假的,wpk软件是正规的吗-真是存在有辅助软件(哔哩哔哩)1、金币登录送、...
透视解密!wepoker辅助真... 透视解密!wepoker辅助真的假的,We poker辅助器下载-真是真的有辅助神器(哔哩哔哩)亲,...
透视推荐!hhpoker辅助软... 透视推荐!hhpoker辅助软件,hhpoker德州有挂吗-果然是有辅助神器(哔哩哔哩)1、模拟器是...
透视科普!wpk透视是真的假的... 透视科普!wpk透视是真的假的,wpk辅助器是真的吗-真是是真的有辅助攻略(哔哩哔哩)1、有没有辅助...
透视曝光!wepoker可以透... 透视曝光!wepoker可以透视码,wejoker内置辅助-本来有辅助教程(哔哩哔哩)1、该软件可以...
透视揭露!wepoker破解工... 透视揭露!wepoker破解工具,wepoker怎么设置盖牌-本来一直总是有辅助方法(哔哩哔哩)1、...
透视有挂!有哪些免费的wpk作... 透视有挂!有哪些免费的wpk作弊码,wpk辅助器是真的吗-果然一直总是有辅助脚本(哔哩哔哩)1、公共...
透视关于!德扑圈透视挂,德普之... 透视关于!德扑圈透视挂,德普之星透视辅助-好像是真的有辅助软件(哔哩哔哩)脚本下载中分为三种模型:挂...
透视解密!德普辅助器怎么用,德... 透视解密!德普辅助器怎么用,德普之星透视-好像是有辅助app(哔哩哔哩)1、完成辅助器v3.3的残局...