ApacheBeam的Python脚本无法写入GoogleBigQuery
创始人
2024-09-05 11:01:10
0

这可能是由于凭据问题所致。您可以通过更新您的Google Cloud SDK安装包并重新验证您的凭据来解决这个问题。如果更新SDK后问题仍然存在,则可以将服务帐号密钥文件传递给Beam管道以进行身份验证。以下是一个示例代码:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions, GoogleCloudOptions

project_id = 'your_project_id'
key_file = 'path/to/your/key_file.json'
table_spec = 'project_id:dataset_id.table_id'
schema = 'column1:STRING,column2:INTEGER'

options = PipelineOptions()
google_cloud_options = options.view_as(GoogleCloudOptions)
google_cloud_options.project = project_id
google_cloud_options.service_account = key_file

p = beam.Pipeline(options=options)

data = [{'column1': 'value1', 'column2': 1},
        {'column1': 'value2', 'column2': 2}]

(p | beam.Create(data)
   | beam.io.WriteToBigQuery(table_spec,
                             schema=schema,
                             create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
                             write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND))

p.run().wait_until_finish()

在上述示例中,您需要将“your_project_id”替换为您的Google Cloud项目ID,“path/to/your/key_file.json”替换为您的服务帐号密钥文件的路径,“project_id:dataset_id.table_id”替换为您的表格规范,以及“column1:STRING,column2:INTEGER”替换为您的表格架构。此外,您还需要根据实际情况调整表的创建和写入行为。

相关内容

热门资讯

总算了解“九九联盟辅助在”一直... 总算了解“九九联盟辅助在”一直有开挂辅助脚本(有挂解惑)是一款可以让一直输的玩家,快速成为一个“必胜...
辅助透视!pokerworld... 辅助透视!pokerworld辅助器-关于开挂透视辅助插件(有挂功能)1、实时pokerworld辅...
实测交流“微信西楚辅助”本来有... 您好:微信西楚辅助这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
透视玄学!wpk是真的还是假的... 透视玄学!wpk是真的还是假的-详细开挂透视辅助方法(有挂秘笈)wpk是真的还是假的软件透明挂微扑克...
重大推荐“赣牌圈挂可以安装”从... 重大推荐“赣牌圈挂可以安装”从前有开挂辅助插件(有挂辅助)是一款可以让一直输的玩家,快速成为一个“必...
透视规律!wpk透视挂是真的-... 透视规律!wpk透视挂是真的-分享开挂透视辅助技巧(有挂辅助)1、超多福利:超高返利,海量正版游戏,...
每日必看“werplan脚本”... 每日必看“werplan脚本”从前有开挂辅助工具(的确有挂);亲,有的,ai轻松简单,又可以获得无穷...
透视黑科技!大菠萝789辅助器... 透视黑科技!大菠萝789辅助器下载-了解开挂透视辅助技巧(新版有挂)在进入大菠萝789辅助器下载辅助...
玩家攻略推荐“咸宁方片十三张透... 玩家攻略推荐“咸宁方片十三张透视脚本”本来有开挂辅助神器(有挂教程);亲真的是有正版授权,小编(透视...
透视了解!hhpoker有挂一... 透视了解!hhpoker有挂一直输-专业开挂透视辅助工具(存在有挂)hhpoker有挂一直输软件透明...