在处理大型数据集时，避免一遍又一遍地加载数据集可以使用以下方法:

1. 使用生成器(generator)加载数据集: 生成器是一种特殊类型的函数，能够逐个生成数据项，而不是一次性生成整个数据集。这样可以节省内存，并且避免一次性加载整个数据集。以下是使用生成器加载数据集的示例代码:

def data_generator():
    # 逐个生成数据项
    for data_item in dataset:
        yield data_item

# 使用生成器加载数据集
data_gen = data_generator()

# 在循环中逐个获取数据项
for data_item in data_gen:
    # 处理数据项
    process_data(data_item)

2. 分批次加载数据集: 如果生成器不可行，可以考虑将数据集划分为多个批次，每次只加载一个批次的数据。以下是分批次加载数据集的示例代码:

batch_size = 32
num_batches = len(dataset) // batch_size

# 分批次加载数据集
for i in range(num_batches):
    # 计算当前批次的起始索引和结束索引
    start_idx = i * batch_size
    end_idx = (i + 1) * batch_size

    # 加载当前批次的数据
    batch_data = dataset[start_idx:end_idx]

    # 处理当前批次的数据
    process_batch(batch_data)

3. 使用缓存技术: 如果数据集可以全部加载到内存中，可以使用缓存技术将数据集存储在内存中，避免重复加载。以下是使用缓存技术加载数据集的示例代码:

# 加载数据集到内存中
dataset_cache = load_dataset()

# 处理数据集
for data_item in dataset_cache:
    process_data(data_item)

注意事项:

• 以上示例代码仅为演示目的，实际使用时需要根据具体情况进行适当修改。
• 划分批次时需要考虑数据集大小和可用内存大小，以免出现内存不足的问题。
• 如果数据集过大无法全部加载到内存中，可以考虑使用外部存储或数据库等技术进行存储和查询。
• 在处理数据集时，可以根据具体需求进行数据预处理、数据增强等操作，以提高模型的性能和准确性。