BigQuery导出CSV:我能控制输出的分区吗?
创始人
2024-12-12 12:00:35
0

可以使用BigQuery的table decorators来控制输出分区。

示例代码:

from google.cloud import bigquery

client = bigquery.Client()

table_reference = client.dataset('my_dataset').table('my_table')

destination_uri = 'gs://my_bucket/my_file*.csv'

# 控制输出分区
table = client.get_table(table_reference)
num_of_partitions = 10 # 设置分区数量
last_partition = table.time_partitioning.range.end # 最后一个分区的结束时间 

time_partitions = []
for partition_num in range(num_of_partitions):
    partition_end = last_partition - timedelta(days=partition_num*(last_partition-start_partition).days//num_of_partitions)
    partition_start = partition_end - timedelta(days=(last_partition-start_partition).days//num_of_partitions)
    time_partition = f'{partition_start.strftime("%Y%m%d")}_{partition_end.strftime("%Y%m%d")}'
    time_partitions.append(time_partition)

job_config = bigquery.ExtractJobConfig()
job_config.destination_format = bigquery.DestinationFormat.CSV
job_config.field_delimiter = ','
job_config.print_header = True

for partition in time_partitions:
    table_decorator = f"@{partition}"
    destination_uri_with_partition = f"{destination_uri[:-4]}_{partition}.csv"
    extract_job = client.extract_table(
        table_reference,
        destination_uri_with_partition,
        location='US',
        job_config=job_config,
        table_decorators=[table_decorator],
    )
    extract_job.result()

相关内容

热门资讯

一分钟软件!智星菠萝可以辅助吗... 一分钟软件!智星菠萝可以辅助吗(透视辅助软件)详细辅助机器人(其实机器人)该软件可以轻松地帮助玩家将...
7分钟免费透视!德普之星透视辅... 7分钟免费透视!德普之星透视辅助插件(透视辅助)详细辅助安装(竟然安装)1、实时德普之星透视辅助插件...
7分钟破解器!werplan免... 7分钟破解器!werplan免费挂下载(透视辅助)详细辅助功能(一直功能)werplan免费挂下载辅...
8分钟辅助工具!德普之星透视辅... 8分钟辅助工具!德普之星透视辅助软件激活码,德普之星透视辅助软件下载,详细教程(有挂方法);1、德普...
九分钟辅助器app!poker... 九分钟辅助器app!poker world辅助器,epoker免费透视脚本,详细教程(有挂软件)ep...
1分钟透视辅助!德普辅助器辅助... 1分钟透视辅助!德普辅助器辅助器怎么用(透视辅助软件)详细辅助透视(竟然透视);1分钟透视辅助!德普...
6分钟透视插件!来玩app破解... 6分钟透视插件!来玩app破解版,拱趴大菠萝万能辅助器,详细教程(有挂教程)1.拱趴大菠萝万能辅助器...
5分钟透视辅助插件!德普之星怎... 5分钟透视辅助插件!德普之星怎么设置埋牌(透视辅助软件)详细辅助方法(原来方法)1、全新机制【软件透...
8分钟透视免费!大菠萝辅助器(... 8分钟透视免费!大菠萝辅助器(辅助挂)详细辅助程序(都是程序)一、大菠萝辅助器AI软件牌型概率发牌机...
2分钟设置埋牌!德普之星透视辅... 2分钟设置埋牌!德普之星透视辅助(透视辅助软件)详细辅助挂(都是挂)所有人都在同一条线上,像星星一样...