ApacheBeam2.39.0和DataFlowrunner上的BigQueryStorageAPI出现权限拒绝的问题
创始人
2024-09-05 11:00:47
0次

在Apache Beam 2.39.0的DataFlow runner中使用BigQuery Storage API时,可能会遇到权限拒绝的问题。这是因为默认情况下,DataFlow runner使用Google Cloud Storage API而不是BigQuery Storage API,因此需要进行以下更改:

  1. 在pom.xml(或build.gradle)中添加以下依赖项:

    org.apache.beam
    beam-sdks-java-io-google-cloud-platform
    2.39.0

  1. 在代码中使用BigQueryIO.Read或BigQueryIO.Write:
PCollection rows = pipeline.apply(BigQueryIO.readTableRows()
        .from("my-project:my_dataset.my_table")
        .usingStandardSql()
        .withMethod(Method.DIRECT_READ)
        .withStorageReadOptions(new StorageReadOptions()
              .withFormatOptions(new AvroOptions())
              .withSelectedFields(Arrays.asList("field1", "field2"))))

请注意,使用BigQuery Storage API需要在Google Cloud Console中启用BigQuery Storage API并授权相应的IAM权限。

相关内容

热门资讯

玩家亲测!浙江茶苑辅助器功能方... 玩家亲测!浙江茶苑辅助器功能方法,浙江茶苑确实真的是有辅助器方法(详细教程辅助)1、进入到浙江茶苑是...
一分钟了解!摸一把跑得快透视功... 一分钟了解!摸一把跑得快透视功能方法,摸一把跑得快确实真的有透视方法(有辅助挂总结)1、完成摸一把跑...
实测交流!91y捕鱼透视挂功能... 实测交流!91y捕鱼透视挂功能方法,91y捕鱼总是是真的有透视挂方法(有辅助挂规律)1、实时91y捕...
推荐十款!南丰数刀透视功能攻略... 推荐十款!南丰数刀透视功能攻略,南丰数刀确实是真的有透视攻略(有辅助挂透视)1、该软件可以轻松地帮助...
新手必备!天星透视挂功能app... 新手必备!天星透视挂功能app,天星本来是真的有透视挂app(有辅助挂方针)天星透视方法中分为三种模...
玩家必看教程!新蓝鲸大厅透视挂... 玩家必看教程!新蓝鲸大厅透视挂功能攻略,新蓝鲸大厅一直有透视挂攻略(有辅助挂方法)玩家必看教程!新蓝...
攻略讲解!天狐游戏透视功能攻略... 攻略讲解!天狐游戏透视功能攻略,天狐游戏一直真的有透视攻略(真的有辅助挂)1、天狐游戏公共底牌简单,...
总算了解!大头十三水开挂功能软... 总算了解!大头十三水开挂功能软件,大头十三水真是真的是有开挂软件(有辅助挂实锤)1、大头十三水破解器...
最新研发!百人炸金花辅助功能神... 最新研发!百人炸金花辅助功能神器,百人炸金花一直真的是有辅助神器(有辅助挂猫腻)1、每一步都需要思考...
今日百科!喜临门辅助器功能教程... 今日百科!喜临门辅助器功能教程,喜临门本来存在有辅助器教程(有辅助挂分享)在进入喜临门软件靠谱后,参...