awswrangler.s3.read_parquet多层分区读取速度非常慢。 _程序开发

创始人

2024-09-27 20:00:28

0次

可以通过设置partition_cols参数来优化awswrangler.s3.read_parquet函数的性能，从而加快读取速度。对于多层分区，建议在读取时将最大层数作为参数传递。例如：

import awswrangler as wr

path = "s3://bucket/prefix/"

# 读取具有3层分区的parquet文件
df = wr.s3.read_parquet(path, partition_cols=["col1", "col2", "col3"])

在这个例子中，我们可以看到我们将partition_cols参数设置为一个包含3个列名的列表，这意味着我们要处理带有3个层次的分区。这将有助于加速读取速度，并减少等待时间。

注意：如果您的S3分区命名约定包括斜杠/，则必须在参数中将斜杠转义。例如，如果我们有一个名为“col1/col2”的分区，则必须在参数中将其呈现为“col1/col2”。

透视神器！智星德州菠萝，wpk... 透视神器！智星德州菠萝，wpk德州测试外挂，确实是真的有挂（详细辅助揭秘攻略）；小薇（透视辅助）致您...

透视数据！wepoke辅助，w... 透视数据！wepoke辅助，wpk辅助软件查得出来吗，果然真的是有挂（详细辅助总结教程）；1、起透看...

透视辅助！aapoker透明挂... 透视辅助！aapoker透明挂，wepoke透明挂怎么识别，本来真的是有挂（详细辅助存在挂教程）；1...

透视透视挂！智星德州菠萝有挂吗... 透视透视挂！智星德州菠萝有挂吗，wepower德州怎么设置，一贯真的有挂（详细辅助2025新版教程）...

透视私人局！微扑克ai机器人，... 透视私人局！微扑克ai机器人，aapoker透明挂多久被封，原来是有挂（详细辅助揭秘攻略）1、玩家可...

透视好牌！WePoKe透视挂，... 透视好牌！WePoKe透视挂，德扑之星内部，真是是真的有挂（详细辅助wepoke教程）1、WePoK...

透视数据！德州之星外挂，微扑克... 透视数据！德州之星外挂，微扑克后台能控制胜率吗，竟然是真的有挂（详细辅助透明教程）；1、很好的工具软...

透视肯定！微扑克辅助软件，德州... 透视肯定！微扑克辅助软件，德州ai机器人免费测试，都是有挂（详细辅助规律教程）1、微扑克辅助软件系统...

透视肯定！德扑之星有猫腻，德扑... 透视肯定！德扑之星有猫腻，德扑线上创建房间，果然存在有挂（详细辅助德州论坛）1、下载好德扑之星有猫腻...

透视辅助！aapoker有挂，... 透视辅助！aapoker有挂，aapoker辅助工具存在吗，本来有挂（详细辅助教你教程）；1、金币登...