BigQuery分页 - 使用pageToken还是startIndex?
创始人
2024-12-12 14:00:13
0

在使用 BigQuery 进行分页查询时,可以选择使用 pageToken 还是 startIndex 来指定查询的起始位置。

  1. 使用 pageToken 进行分页:
from google.cloud import bigquery

def query_with_page_token(page_token=None):
    client = bigquery.Client()
    query_job = client.query(
        """
        SELECT *
        FROM `project.dataset.table`
        ORDER BY column_name
        """,
        # 设置pageToken
        page_token=page_token
    )

    results = query_job.result()

    # 处理查询结果
    for row in results:
        # 处理每一行数据

    # 获取下一页的pageToken
    next_page_token = results.next_page_token

    return next_page_token

# 第一次查询
next_page_token = query_with_page_token()

# 后续查询
while next_page_token is not None:
    next_page_token = query_with_page_token(page_token=next_page_token)
  1. 使用 startIndex 进行分页:
from google.cloud import bigquery

def query_with_start_index(start_index):
    client = bigquery.Client()
    query_job = client.query(
        """
        SELECT *
        FROM `project.dataset.table`
        ORDER BY column_name
        LIMIT 100
        OFFSET {}
        """.format(start_index)
    )

    results = query_job.result()

    # 处理查询结果
    for row in results:
        # 处理每一行数据

    return results.total_rows

# 第一次查询
start_index = 0
total_rows = query_with_start_index(start_index)

# 后续查询
while start_index < total_rows:
    start_index += 100
    query_with_start_index(start_index)

使用 pageToken 的好处是可以直接从上一个查询结果中获取下一页的 pageToken,不需要手动计算 startIndex。但是,如果查询结果很大,需要多次调用查询函数,可能会导致查询时间较长。

使用 startIndex 的好处是可以直接指定查询的起始位置和每页的记录数,比较直观。但是,需要手动计算每次查询的起始位置和记录数,需要注意边界条件。

根据具体的需求和使用场景,选择合适的分页方式。

相关内容

热门资讯

8分钟方法!天天福建十三张挂视... 8分钟方法!天天福建十三张挂视频,wpk后台管理系统(详细透视辅助器教程);(需添加指定薇75744...
三分钟攻略!堆金城双金麻将有挂... 1、三分钟攻略!堆金城双金麻将有挂吗,德州ai智能营销系统(详细透视辅助app教程);详细教程。2、...
九分钟规律!哈狗游戏有外 挂吗... 九分钟规律!哈狗游戏有外 挂吗,wepoke有挂(详细透视辅助插件教程);1分钟了解详细教程(微信 ...
一分钟了解!蜂鸟娱乐辅助器,w... 一分钟了解!蜂鸟娱乐辅助器,wepoke好友助力(详细透视辅助助手教程)这是由厦门游乐互动科技有限公...
3分钟攻略!全民雀神棋牌云南有... 3分钟攻略!全民雀神棋牌云南有挂吗,微扑克真的有挂存在(详细透视辅助神器教程);原来确实真的有挂(需...
3分钟详情!微信麻将雀神有挂吗... 3分钟详情!微信麻将雀神有挂吗,wpk数据统计软件(详细透视辅助插件教程);微信麻将雀神有挂吗简单的...
七分钟黑科技!天天开心王国怎么... 七分钟黑科技!天天开心王国怎么开挂,德州ai辅助神器可以收费(详细透视辅助插件教程);天天开心王国怎...
5分钟辅助挂!吉祥麻将辅牌器购... WePoker透视辅助版本稳定性对比与推荐‌:5分钟辅助挂!吉祥麻将辅牌器购买,德州wpk辅助(详细...
9分钟教程!人人互娱吗,德扑之... 9分钟教程!人人互娱吗,德扑之星的机制(详细透视辅助助手教程);人人互娱吗软件透明挂作为一款人人互娱...
五分钟技巧!衡阳丫丫字牌外挂,... 五分钟技巧!衡阳丫丫字牌外挂,wepower德州扑克(详细透视辅助脚本教程)是一款可以让一直输的玩家...