避免内存消耗并加载数据集的一种解决方法是使用生成器(generator)来逐批次加载数据。生成器是一个可以逐个生成数据的函数，而不是一次性将所有数据加载到内存中。

以下是一个示例代码，展示了如何使用生成器加载数据集：

def data_generator(batch_size):
    while True:
        # 从数据集中读取一批数据
        batch_data = read_batch_from_dataset(batch_size)
        
        # 如果数据集已经被读取完毕，终止生成器
        if not batch_data:
            break
        
        # 对数据进行预处理或其他操作
        processed_data = preprocess_data(batch_data)
        
        # 生成一批处理后的数据
        yield processed_data

在这个示例中，data_generator是一个生成器函数，它会无限循环地生成数据批次。在每次循环中，它会从数据集中读取一批数据，并对其进行预处理或其他操作。然后，使用yield关键字将处理后的数据返回给调用方。

使用该生成器的方法如下：

# 创建一个数据生成器对象
generator = data_generator(batch_size)

# 使用生成器加载数据批次
for batch_data in generator:
    # 在这里进行模型训练或其他操作
    train_model(batch_data)

通过这种方式，数据集可以逐批次地加载到内存中，避免了一次性加载整个数据集所带来的内存消耗。同时，生成器可以在数据集读取完毕后自动终止，避免了手动控制数据加载的复杂性。