AWS DynamoDB 的 ParallelScan 方法可以并行扫描 DynamoDB 表中的数据,但结果的排序可能不会按照用户预期的顺序排列,因为它们将被返回一致性级别和扫描使用的不同分区键影响。以下是一种可能的解决方法,通过将 ParallelScan 方法中的扫描分为多个批次并按照指定顺序对其进行排序来确保结果的顺序一致性。
示例代码:
from boto3.dynamodb.conditions import Key, Attr import boto3
table_name = 'my_table' index_name = 'my_index'
batch_size = 100 sort_key = 'my_sort_key'
dynamodb = boto3.client('dynamodb')
partition_count = dynamodb.describe_table(TableName=table_name)['Table']['ItemCount'] batches = partition_count // batch_size
results = [] for batch in range(batches): start_partition = batch * batch_size end_partition = start_partition + batch_size kwargs = { 'TableName': table_name, 'IndexName': index_name, 'Segment': batch, 'TotalSegments': batches, 'FilterExpression': Attr('my_attribute').eq("my_value") } response = dynamodb.scan(**kwargs)
# 将结果添加到列表中
results.extend(response['Items'])
sorted_results = sorted(results, key=lambda item: item.get(sort_key))
print(sorted_results)