AWSDynamoDB的ParallelScan结果排序问题
创始人
2024-09-24 22:30:38
0

AWS DynamoDB 的 ParallelScan 方法可以并行扫描 DynamoDB 表中的数据,但结果的排序可能不会按照用户预期的顺序排列,因为它们将被返回一致性级别和扫描使用的不同分区键影响。以下是一种可能的解决方法,通过将 ParallelScan 方法中的扫描分为多个批次并按照指定顺序对其进行排序来确保结果的顺序一致性。

示例代码:

from boto3.dynamodb.conditions import Key, Attr import boto3

要扫描的 DynamoDB 表和索引

table_name = 'my_table' index_name = 'my_index'

定义扫描的分批大小和需要排序的属性

batch_size = 100 sort_key = 'my_sort_key'

获得 DynamoDB 客户端

dynamodb = boto3.client('dynamodb')

获取分区键的总数以确定要分配的批次数

partition_count = dynamodb.describe_table(TableName=table_name)['Table']['ItemCount'] batches = partition_count // batch_size

循环遍历批次并进行并行扫描

results = [] for batch in range(batches): start_partition = batch * batch_size end_partition = start_partition + batch_size kwargs = { 'TableName': table_name, 'IndexName': index_name, 'Segment': batch, 'TotalSegments': batches, 'FilterExpression': Attr('my_attribute').eq("my_value") } response = dynamodb.scan(**kwargs)

# 将结果添加到列表中
results.extend(response['Items'])

按照指定排序键对结果进行排序

sorted_results = sorted(results, key=lambda item: item.get(sort_key))

print(sorted_results)

相关内容

热门资讯

1分钟实锤!智星德州菠萝外挂(... 1分钟实锤!智星德州菠萝外挂(德州)总是真的是有挂(详细辅助AA德州教程);1、任何智星德州菠萝外挂...
2分钟实锤!智星德州菠萝外挂(... 2分钟实锤!智星德州菠萝外挂(来玩德州)竟然是真的有挂(详细辅助技巧教程)1、任何智星德州菠萝外挂a...
第8分钟实锤!智星德州菠萝辅助... 第8分钟实锤!智星德州菠萝辅助器(德州ai)总是真的是有挂(详细辅助介绍教程)1、用户打开应用后不用...
8分钟实锤!德扑之星猫腻(德州... 8分钟实锤!德扑之星猫腻(德州wepower)确实真的是有挂(详细辅助第三方教程)1、德扑之星猫腻系...
第2分钟实锤!智星德州菠萝(线... 第2分钟实锤!智星德州菠萝(线上德州)切实有挂(详细辅助第三方教程)第2分钟实锤!智星德州菠萝(线上...
3分钟实锤!德扑ai助手(nz... 3分钟实锤!德扑ai助手(nzt德州)确实是有挂(详细辅助透明挂教程);1、玩家可以在德扑ai助手软...
第二分钟实锤!德扑之星有猫腻(... 第二分钟实锤!德扑之星有猫腻(德州app)本来真的有挂(详细辅助wpk教程)1、第二分钟实锤!德扑之...
第十分钟实锤!德州之星外挂(德... 第十分钟实锤!德州之星外挂(德州nzt)果然真的有挂(详细辅助AI教程)该软件可以轻松地帮助玩家将德...
第3分钟实锤!智星德州菠萝有挂... 第3分钟实锤!智星德州菠萝有挂吗(nzt德州)其实有挂(详细辅助科技教程)1、点击下载安装,智星德州...
第6分钟实锤!德扑之星有作弊(... 第6分钟实锤!德扑之星有作弊(nzt德州)真是存在有挂(详细辅助黑科技教程)进入游戏-大厅左侧-新手...