awswrangler.s3.read_parquet多层分区读取速度非常慢。 _程序开发

创始人

2024-09-27 20:00:28

0次

可以通过设置partition_cols参数来优化awswrangler.s3.read_parquet函数的性能，从而加快读取速度。对于多层分区，建议在读取时将最大层数作为参数传递。例如：

import awswrangler as wr

path = "s3://bucket/prefix/"

# 读取具有3层分区的parquet文件
df = wr.s3.read_parquet(path, partition_cols=["col1", "col2", "col3"])

在这个例子中，我们可以看到我们将partition_cols参数设置为一个包含3个列名的列表，这意味着我们要处理带有3个层次的分区。这将有助于加速读取速度，并减少等待时间。

注意：如果您的S3分区命名约定包括斜杠/，则必须在参数中将斜杠转义。例如，如果我们有一个名为“col1/col2”的分区，则必须在参数中将其呈现为“col1/col2”。

德扑HHpoker有挂吗!佛手... 德扑HHpoker有挂吗!佛手在线大菠萝技巧(透视)软件-确实解迷是有挂1、操作简单，无需佛手在线大...

wepoker透视辅助下载!德... wepoker透视辅助下载!德普之星透视辅助插件(透视)挂-原来关于真的是有挂1）德普之星透视辅助插...

德州透视hhpoker!uup... 德州透视hhpoker!uupoker透视(透视)攻略-确实曝光真的有挂1、玩家可以在德州透视hhp...

wepoker正确养号方法!哈... wepoker正确养号方法!哈糖大菠萝怎么挂(透视)器-竟然专业真的是有挂1、上手简单，内置详细流程...

智星德州插件2024最新版!w... 智星德州插件2024最新版!wepoker破解器(透视)技巧-确实详细是真的挂；1、智星德州插件20...

wepoker网页版透视方法!... wepoker网页版透视方法!We poker辅助器下载(透视)脚本-真是推荐存在有挂wepoker...

wepoker透视方法!哈糖大... wepoker透视方法!哈糖大菠萝软件下载(透视)app-竟然必备是真的挂1、哈糖大菠萝软件下载公共...

约局吧开挂神器是真的吗!wep... 约局吧开挂神器是真的吗!wepoker免费透视脚本(透视)攻略-确实揭露真的是有挂1、每一步都需要思...

hhpoker有透视的吗!we... hhpoker有透视的吗!wejoker辅助脚本(透视)方法-确实必备真的是有挂1、操作简单，无需h...

wepoker有没有挂!hhp... wepoker有没有挂!hhpoker德州牛仔视频(透视)软件-切实揭幕真的有挂1、许多玩家不知道h...