ApacheBeam在向多个输出PCollection中发射元素时出现问题。
创始人
2024-09-05 12:01:05
0

Apache Beam支持将单个PCollection划分为多个PCollection,并在管道中的多个位置使用这些PCollection。但是,有时候我们需要在管道中的某个位置将元素发射到多个不同的PCollection中。这时候可能会遇到问题。

在现有版本的Apache Beam中,我们可以使用一个自定义的转换器,称为MultiDoFn,来支持将元素发射到多个不同的PCollection中。MultiDoFn接受一个包含多个DoFn实例的列表,每个DoFn实例发射到不同的输出PCollection。

下面是一个示例,说明如何使用MultiDoFn来将PCollection中的汽车对象分成两个不同的输出PCollection,一个PCollection包含旧车,另一个PCollection包含新车。

import org.apache.beam.sdk.transforms.DoFn;
import org.apache.beam.sdk.transforms.MultiDoFn;
import org.apache.beam.sdk.values.TupleTag;
import org.apache.beam.sdk.values.TupleTagList;

class Car {
  public String model;
  public int year;

  public Car(String model, int year) {
    this.model = model;
    this.year = year;
  }
}

class CarSplitter extends MultiDoFn {
  TupleTag oldCars = new TupleTag("old_cars"){};
  TupleTag newCars = new TupleTag("new_cars"){};

  @Override
  public TupleTagList getAdditionalOutputTags() {
    return TupleTagList.of(oldCars).and(newCars);
  }

  @Override
  public void processElement(ProcessContext c) {
    Car car = c.element();
    if (car.year < 2000) {
      c.output(oldCars, car);
    } else {
      c.output(newCars, car);
    }
  }
}

在代码中,我们首先定义一个Car类,然后定义一个CarSplitter类,实现了MultiDoFn接口。在这个类中,我们定义

相关内容

热门资讯

推荐十款!微信小程序功夫川辅助... 推荐十款!微信小程序功夫川辅助,极速猜一猜暗堡辅助,详细工具(有挂透明挂)1、微信小程序功夫川辅助脚...
信息共享!小逸碰胡插件脚本,拼... 信息共享!小逸碰胡插件脚本,拼十app辅助,详细器(确实有挂)小逸碰胡插件脚本透视方法中分为三种模型...
专业讨论!爱来掌中宝有没有挂,... 专业讨论!爱来掌中宝有没有挂,博雅红河西元红河破解版,详细脚本(有挂技巧)博雅红河西元红河破解版透视...
今日头条!江西上饶辅助器,老k... 今日头条!江西上饶辅助器,老k游戏辅助,详细技巧(真的有挂)1.江西上饶辅助器 选牌创建新账号,点击...
发现一款!胡乐辅助脚本是真的假... 发现一款!胡乐辅助脚本是真的假的,科乐天天踢填大坑游戏攻略,详细技巧(揭秘有挂)1、全新机制【科乐天...
今日公布!胡易辅助软件,大唐辅... 今日公布!胡易辅助软件,大唐辅助器,详细挂(有挂教程)1、任何胡易辅助软件透视是真的假的的玩家都可以...
玩家必看攻略!小松宿松游戏辅助... 玩家必看攻略!小松宿松游戏辅助,微乐小程序游戏破解器,详细神器(存在有挂)1、微乐小程序游戏破解器免...
必备科技!九九山城插件,皮皮跑... 必备科技!九九山城插件,皮皮跑胡子有没有挂,详细器(有挂助手)1、上手简单,内置详细流程视频教学,新...
必备教程!多乐游戏修改器,广西... 必备教程!多乐游戏修改器,广西微乐小程序控制器,详细插件(有挂助手)1、广西微乐小程序控制器辅助软件...
一分钟了解!情怀莆仙外挂,微信... 一分钟了解!情怀莆仙外挂,微信小程序大贰辅助工具,详细软件(有挂分析)1、下载好微信小程序大贰辅助工...