apachebeam中ValueProvider类有什么用途?
创始人
2024-09-05 12:30:28
0

ValueProvider类是Apache Beam中提供的一种方便处理运行时参数(如输入文件路径)的方法。它提供了一种方式来处理具有可能从不同来源(如命令行参数、环境变量或数据流)读取的值,并且自动支持将在运行时更新这些值。

在一个Beam管道中,我们可以使用ValueProvider作为管道参数,将其传递到一个特定的DoFn或PTransform中。例如,以下代码演示了如何定义一个ValueProvider类型的管道参数,并使用它来读取输入文件路径:

public static void main(String[] args) {
  PipelineOptions options = PipelineOptionsFactory.fromArgs(args).create();
  Pipeline pipeline = Pipeline.create(options);
  MyOptions myOptions = options.as(MyOptions.class);

  PCollection lines = pipeline.apply(TextIO.read().from(myOptions.getInputFile()));
  // do something with the lines
}

public interface MyOptions extends PipelineOptions {
  @Description("Input file path")
  @Default.String("gs:///")
  ValueProvider getInputFile();
  void setInputFile(ValueProvider value);
}

在上面的代码示例中,MyOptions接口定义了一个ValueProvider类型的参数getInputFile(),并使用@Default来设置默认值。在管道执行过程中,我们可以通过PipelineOptionsFactory.fromArgs(args).withValidation().as(MyOptions.class)方式来创建MyOptions类型的options实例,并将其传递给Pipeline.create()方法来创建管道。随之而来的TextIO.read().from(myOptions.getInputFile())表示从myOptions.getInputFile()指定的路径读取数据。由于myOptions.getInputFile()具有ValueProvider类型,所以我们可以通过在运行时指定该值来动态改变输入文件。

例如,以下命令行可用于运行该管道并将输入文件设置为gs://my-bucket/my-input-file.txt:

mvn compile exec:java \
    -Dexec.mainClass=

相关内容

热门资讯

记者揭秘!智星菠萝辅助(透视辅... 记者揭秘!智星菠萝辅助(透视辅助)拱趴大菠萝辅助神器,扑克教程(有挂细节);模式供您选择,了解更新找...
一分钟揭秘!约局吧能能开挂(透... 一分钟揭秘!约局吧能能开挂(透视辅助)hhpoker辅助靠谱,2024新版教程(有挂教学);约局吧能...
透视辅助!wepoker模拟器... 透视辅助!wepoker模拟器哪个好用(脚本)hhpoker辅助挂是真的,科技教程(有挂技巧);囊括...
透视代打!hhpkoer辅助器... 透视代打!hhpkoer辅助器视频(辅助挂)pokemmo脚本辅助,2024新版教程(有挂教程);风...
透视了解!约局吧德州真的有透视... 透视了解!约局吧德州真的有透视挂(透视脚本)德州局HHpoker透视脚本,必胜教程(有挂分析);亲,...
六分钟了解!wepoker挂底... 六分钟了解!wepoker挂底牌(透视)德普之星开辅助,详细教程(有挂解密);德普之星开辅助是一种具...
9分钟了解!wpk私人辅助(透... 9分钟了解!wpk私人辅助(透视)hhpoker德州透视,插件教程(有挂教学);风靡全球的特色经典游...
推荐一款!wepoker究竟有... 推荐一款!wepoker究竟有透视(脚本)哈糖大菠萝开挂,介绍教程(有挂技术);囊括全国各种wepo...
每日必备!wepoker有人用... 每日必备!wepoker有人用过(脚本)wpk有那种辅助,线上教程(有挂规律);wepoker有人用...
玩家必备教程!wejoker私... 玩家必备教程!wejoker私人辅助软件(脚本)哈糖大菠萝可以开挂,可靠技巧(有挂神器)申哈糖大菠萝...