awswrangler.s3.read_parquet多层分区读取速度非常慢。 _程序开发

创始人

2024-09-27 20:00:28

0次

可以通过设置partition_cols参数来优化awswrangler.s3.read_parquet函数的性能，从而加快读取速度。对于多层分区，建议在读取时将最大层数作为参数传递。例如：

import awswrangler as wr

path = "s3://bucket/prefix/"

# 读取具有3层分区的parquet文件
df = wr.s3.read_parquet(path, partition_cols=["col1", "col2", "col3"])

在这个例子中，我们可以看到我们将partition_cols参数设置为一个包含3个列名的列表，这意味着我们要处理带有3个层次的分区。这将有助于加速读取速度，并减少等待时间。

注意：如果您的S3分区命名约定包括斜杠/，则必须在参数中将斜杠转义。例如，如果我们有一个名为“col1/col2”的分区，则必须在参数中将其呈现为“col1/col2”。

开挂辅助！科乐辅助工作室，we... 开挂辅助！科乐辅助工作室，wepoker私人局开挂视频（透视）开挂辅助工具（有挂神器）;科乐辅助工作...

开挂辅助！天天互娱app辅助，... 开挂辅助！天天互娱app辅助，拱趴游戏破解器（透视）开挂辅助插件（存在有挂）；详细天天互娱app辅助...

开挂辅助！大众互娱脚本，wep... 开挂辅助！大众互娱脚本，wepoker是不是有人用挂（透视）开挂辅助平台（有挂方略）;一、大众互娱脚...

开挂辅助！蜀山手游全自动辅助，... 开挂辅助！蜀山手游全自动辅助，wepoker怎么提高运气（透视）开挂辅助脚本（今日头条）；亲真的是有...

辅助开挂！龙岩闲游安卓脚本，w... 辅助开挂！龙岩闲游安卓脚本，wepoker轻量版有透视吗（透视）开挂辅助神器（有挂方式）；大家肯定在...

开挂辅助！哥哥打大a游戏攻略，... 开挂辅助！哥哥打大a游戏攻略，wepoker私人局有透视吗（透视）开挂辅助插件（果真有挂）；哥哥打大...

开挂辅助！h5大厅反杀，德扑H... 【福星临门，好运相随】；开挂辅助！h5大厅反杀，德扑HHpoker有挂吗（透视）开挂辅助神器（有挂教...

开挂辅助！微信小程序微乐游戏辅... 开挂辅助！微信小程序微乐游戏辅助，德普之星透视（透视）开挂辅助神器（有人有挂）；微信小程序微乐游戏辅...

辅助开挂！杭州边锋辅助软件，w... 辅助开挂！杭州边锋辅助软件，wpk辅助插件（透视）开挂辅助脚本（发现有挂）;是一款可以让一直输的玩家...

开挂辅助！吉安中至小程序微信辅... 开挂辅助！吉安中至小程序微信辅助，wepokerplus万能挂（透视）开挂辅助脚本（有挂教程）;相信...