Beam Python数据流运行器在apply_WriteToBigQuery中使用了已弃用的BigQuerySink,而不是WriteToBigQuery。
创始人
2024-11-27 01:30:17
0

在Beam Python中使用已弃用的BigQuerySink而不是WriteToBigQuery,可以通过以下代码示例进行解决:

import apache_beam as beam
from apache_beam.io import WriteToBigQuery

# 定义一个自定义的PTransform,用于将数据写入BigQuery
class CustomWriteToBigQuery(beam.PTransform):
    def __init__(self, table):
        self.table = table

    def expand(self, pcoll):
        return (
            pcoll
            | "ConvertToDict" >> beam.Map(lambda element: element.to_dict())
            | "WriteToBigQuery" >> WriteToBigQuery(table=self.table)
        )

# 创建一个Pipeline
with beam.Pipeline() as pipeline:
    # 从某个地方读取数据
    data = pipeline | beam.Create([
        {'name': 'John Doe', 'age': 25},
        {'name': 'Jane Smith', 'age': 30},
        {'name': 'Bob Johnson', 'age': 35}
    ])

    # 使用自定义的WriteToBigQuery将数据写入BigQuery
    data | CustomWriteToBigQuery(table='project-id:dataset.table')

在上面的代码示例中,我们定义了一个自定义的PTransform(CustomWriteToBigQuery),它将数据转换为字典并使用WriteToBigQuery将其写入BigQuery。然后,在Pipeline中我们使用这个自定义的PTransform来写入数据到BigQuery。

请确保将'project-id:dataset.table'替换为你要写入数据的实际BigQuery表的位置。

相关内容

热门资讯

线上(wepoke真的)原来是... 线上(wepoke真的)原来是真的有挂!其实真的有挂(2022已更新)(哔哩哔哩);亲,其实确实真的...
两教程(Wepoke程序)软件... 两教程(Wepoke程序)软件透明挂辅助工具(软件透明挂)透视辅助(2024已更新)(哔哩哔哩);致...
软件(wepoke透明)原来是... 软件(wepoke透明)原来是真的有挂!其实真的有挂(2020已更新)(哔哩哔哩)是一款可以让一直输...
一模拟器(德扑工具)外挂辅助工... 一模拟器(德扑工具)外挂辅助工具(透视)透视辅助(2025已更新)(哔哩哔哩);亲真的是有正版授权,...
系统(aapoker讲解)竟然... 系统(aapoker讲解)竟然真的有挂!其实真的有挂(2021已更新)(哔哩哔哩);aapoker讲...
6系统(aapoker下载)外... 6系统(aapoker下载)外挂辅助工具(辅助挂)透视辅助(2023已更新)(哔哩哔哩)aapoke...
智能(德扑之星刷数据)果真真的... 智能(德扑之星刷数据)果真真的有挂!原来真的有挂(2025已更新)(哔哩哔哩);《WPK辅助透视》‌...
1机器人(德州nzt软件)软件... 1机器人(德州nzt软件)软件透明挂辅助软件(透视)透视辅助(2022已更新)(哔哩哔哩);人气非常...
ai代打(德扑之星决策)确实是... ai代打(德扑之星决策)确实是真的有挂!原来真的有挂(2020已更新)(哔哩哔哩);科技详细教程小薇...
第8透明(wepoke数据)外... 第8透明(wepoke数据)外挂透明挂辅助神器(辅助挂)透视辅助(2023已更新)(哔哩哔哩);原来...