Bigquery-两个不同的cronjob并行删除/更新表导致失败
创始人
2024-12-12 08:30:03
0

在Bigquery上并行操作同一个表可能导致问题,因为同时执行多个操作可能会导致互相干扰。为了避免这种情况,在cron job之间要使用锁来同步它们的操作,确保只有一个任务在执行时才能进行删除/更新操作。

以下是使用Python实现锁同步的示例代码:

from google.cloud import bigquery

# create a BigQuery client
client = bigquery.Client()

# create a lock table
lock_table_ref = client.dataset("my_dataset").table("lock_table")
lock_table = bigquery.Table(lock_table_ref)
lock_table.schema = (
    bigquery.SchemaField("job_name", "STRING", mode="REQUIRED"),
    bigquery.SchemaField("is_locked", "BOOLEAN", mode="REQUIRED"),
)
client.create_table(lock_table)

# acquire lock
def acquire_lock(client, lock_table_ref, job_name):
    # set lock
    query_string = f"""
    UPDATE `{lock_table_ref.project}.{lock_table_ref.dataset_id}.lock_table`
    SET is_locked = TRUE
    WHERE job_name = '{job_name}' AND is_locked = FALSE;
    """
    client.query(query_string).result()

    # check lock status
    query_string = f"""
    SELECT is_locked
    FROM `{lock_table_ref.project}.{lock_table_ref.dataset_id}.lock_table`
    WHERE job_name = '{job_name}';
    """
    results = client.query(query_string).result()
    for row in results:
        if row.is_locked:
            return True
    return False

# release lock
def release_lock(client, lock_table_ref, job_name):
    query_string = f"""
    UPDATE `{lock_table_ref.project}.{lock_table_ref.dataset_id}.lock_table`
    SET is_locked = FALSE
    WHERE job_name = '{job_name}';
    """
    client.query(query_string).result()

# delete table with lock synchronization
def delete_table_with_lock(client, table_ref, job_name):
    if acquire_lock(client, lock_table_ref, job_name):
        client.delete_table(table_ref)
        release_lock(client, lock_table_ref, job_name)
    else:

相关内容

热门资讯

五分钟透明!博乐温州棋牌有没有... 这是一款非常优秀的博乐温州棋牌有没有挂 ia辅助检测软件,能够让你了解到博乐温州棋牌有没有挂中牌率当...
六分钟辅助挂!博雅红河棋盘外挂... 1、六分钟辅助挂!博雅红河棋盘外挂,微扑克智能助手(详细透视辅助挂教程);详细教程。2、博雅红河棋盘...
6分钟黑科技!友友邳州麻将辅助... 6分钟黑科技!友友邳州麻将辅助器,微扑克靠谱(详细透视辅助软件教程);实战中需综合运用上述技巧,并根...
4分钟攻略!传送屋有外 挂,德... 4分钟攻略!传送屋有外 挂,德扑之星记分牌有有用(详细透视辅助挂教程);传送屋有外 挂黑科技是一款具...
5分钟了解!浙江游戏大厅辅具器... 5分钟了解!浙江游戏大厅辅具器,来玩app辅助工具(详细透视辅助器教程);(需添加指定薇757446...
7分钟介绍!广东雀神辅助器怎么... 7分钟介绍!广东雀神辅助器怎么买,微扑克职业代打(详细透视辅助助手教程);亲,其实确实真的有挂(需添...
三分钟攻略!可乐斗地主有没有挂... 三分钟攻略!可乐斗地主有没有挂,智星德州菠萝在哪下载(详细透视辅助神器教程);可乐斗地主有没有挂黑科...
九分钟规律!花花生活圈脚本,云... 九分钟规律!花花生活圈脚本,云扑克有辅助软件(详细透视辅助软件教程);(需添加指定薇75744690...
七分钟总结!中至窝龙必赢攻略,... 相信很多朋友都在电脑上玩过中至窝龙必赢攻略吧,但是很多朋友都在抱怨用电脑玩起来不方便。为此小编给大家...
1分钟详情!六瓣数字消有没有挂... 1分钟详情!六瓣数字消有没有挂,cloudpoker辅助器(详细透视辅助工具教程)关于六瓣数字消有没...