ApacheBeam的Python脚本无法写入GoogleBigQuery
创始人
2024-09-05 11:01:10
0

这可能是由于凭据问题所致。您可以通过更新您的Google Cloud SDK安装包并重新验证您的凭据来解决这个问题。如果更新SDK后问题仍然存在,则可以将服务帐号密钥文件传递给Beam管道以进行身份验证。以下是一个示例代码:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions, GoogleCloudOptions

project_id = 'your_project_id'
key_file = 'path/to/your/key_file.json'
table_spec = 'project_id:dataset_id.table_id'
schema = 'column1:STRING,column2:INTEGER'

options = PipelineOptions()
google_cloud_options = options.view_as(GoogleCloudOptions)
google_cloud_options.project = project_id
google_cloud_options.service_account = key_file

p = beam.Pipeline(options=options)

data = [{'column1': 'value1', 'column2': 1},
        {'column1': 'value2', 'column2': 2}]

(p | beam.Create(data)
   | beam.io.WriteToBigQuery(table_spec,
                             schema=schema,
                             create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
                             write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND))

p.run().wait_until_finish()

在上述示例中,您需要将“your_project_id”替换为您的Google Cloud项目ID,“path/to/your/key_file.json”替换为您的服务帐号密钥文件的路径,“project_id:dataset_id.table_id”替换为您的表格规范,以及“column1:STRING,column2:INTEGER”替换为您的表格架构。此外,您还需要根据实际情况调整表的创建和写入行为。

相关内容

热门资讯

今日科普!奇迹脚本辅助,wpk... 今日科普!奇迹脚本辅助,wpk安卓下载辅助,技巧教程(有挂细节);【福星临门,好运相随】;今日科普!...
分享个大家!情怀透明器看手机纸... 分享个大家!情怀透明器看手机纸牌,hhpoker有没有辅助,揭秘教程(有挂分析);暗藏猫腻!情怀透明...
玩家必备攻略!打哈儿辅助软件,... 您好:打哈儿辅助软件这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特...
盘点一款!填大坑辅助工具排行,... 盘点一款!填大坑辅助工具排行,wpk刷入池率脚本,大神讲解(揭秘有挂);1.填大坑辅助工具排行 ai...
一起来探讨!决战13水辅助,w... 您好:决战13水辅助这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特...
一分钟揭秘!丽水双扣茶苑脚本,... 一分钟揭秘!丽水双扣茶苑脚本,xpoker辅助控制,2025教程(有挂解惑)是一款可以让一直输的玩家...
今日百科!腾讯欢乐卡五星辅助器... 今日百科!腾讯欢乐卡五星辅助器,wepoker安装教程,2025新版(有挂神器)是一款可以让一直输的...
玩家必看科普!微信小程序外辅助... 玩家必看科普!微信小程序外辅助工具,pokernow辅助工具,力荐教程(有挂攻略);1、界面简单,没...
一分钟教会你!授权二厅辅助,w... 《一分钟教会你!授权二厅辅助,wpk有那种辅助吗,黑科技教程(果真有挂)》 授权二厅辅助软件透明挂更...
安装程序教程!小程序牵手跑得有... 安装程序教程!小程序牵手跑得有辅助器,pokernow辅助工具,揭秘教程(发现有挂);一、小程序牵手...