awswrangler.s3.read_parquet多层分区读取速度非常慢。 _程序开发

创始人

2024-09-27 20:00:28

0次

可以通过设置partition_cols参数来优化awswrangler.s3.read_parquet函数的性能，从而加快读取速度。对于多层分区，建议在读取时将最大层数作为参数传递。例如：

import awswrangler as wr

path = "s3://bucket/prefix/"

# 读取具有3层分区的parquet文件
df = wr.s3.read_parquet(path, partition_cols=["col1", "col2", "col3"])

在这个例子中，我们可以看到我们将partition_cols参数设置为一个包含3个列名的列表，这意味着我们要处理带有3个层次的分区。这将有助于加速读取速度，并减少等待时间。

注意：如果您的S3分区命名约定包括斜杠/，则必须在参数中将斜杠转义。例如，如果我们有一个名为“col1/col2”的分区，则必须在参数中将其呈现为“col1/col2”。

科技通报!佛手在线大菠萝辅助(... 科技通报!佛手在线大菠萝辅助(辅助挂)真是存在有挂(确实有挂辅助器)1、上手简单，内置详细流程视频教...

玩家攻略!cloudpoker... 玩家攻略!cloudpoker作弊(辅助挂)真是是真的有挂(有挂技术辅助软件)1、进入到是否有挂之后...

科技通报!wpk可以作弊吗(辅... 科技通报!wpk可以作弊吗(辅助挂)真是有挂(有挂解密辅助软件)1、起透看视辅助软件价格2、随意选...

发现玩家!htx矩阵wepok... 发现玩家!htx矩阵wepoker辅助(辅助挂)其实存在有挂(有挂规律辅助方法)1）免费钻石：进一步...

分享一款!hhpoker脚本(... 分享一款!hhpoker脚本(辅助挂)好像是有挂(有挂秘籍辅助脚本)1、起透看视辅助软件价格2、随...

科技新动态!wepoker辅助... 科技新动态!wepoker辅助插件功能(辅助挂)其实真的是有挂(揭秘有挂辅助工具)1、实时透视辅助更...

一分钟了解!约局吧德州真的有透... 一分钟了解!约局吧德州真的有透视挂吗(辅助挂)真是真的是有挂(真的有挂辅助插件)1、一分钟了解!约局...

实测教程!wpk安卓下载辅助(... 实测教程!wpk安卓下载辅助(辅助挂)真是有挂(有挂功能辅助器)1、起透看视辅助软件价格2、随意选...

玩家必备教程!aapoker能... 玩家必备教程!aapoker能控制牌吗(辅助挂)一直真的有挂(有挂细节辅助技巧)1、首先打开辅助器下...

玩家科普!wepoker辅助器... 玩家科普!wepoker辅助器(辅助挂)好像真的是有挂(有挂透视辅助方法)1、用户打开应用后不用登录...