AWSWranglerPython库在读取具有布尔类型列的Parquet文件时会引发“未知编码类型异常。
创始人
2024-09-27 20:00:39
0

尝试使用pyarrow库而非fastparquet库来读取Parquet文件。以下是使用pyarrow库来读取Parquet文件的示例代码:

import awswrangler as wr
import pyarrow.parquet as pq

s3_path = "s3://my-bucket/my-file.parquet"
dataset = pq.ParquetDataset(s3_path, filesystem=wr.s3.get_fs())
table = dataset.read()

这将使用pyarrow库来读取Parquet文件并将数据加载到pyarrow表中,而无需使用AWS Wrangler库。

如果您需要使用AWS Wrangler库来读取Parquet文件,则可以尝试升级到最新版本以查看是否解决了该问题。您还可以尝试使用不同的数据类型来表示布尔值,例如使用整数(0或1)来表示布尔值,并在读取数据时将其转换为布尔类型。

import awswrangler as wr

s3_path = "s3://my-bucket/my-file.parquet"
df = wr.s3.read_parquet(s3_path, dataset=True, use_threads=True)
df["my_boolean_column"] = df["my_boolean_column"].astype(bool)

相关内容

热门资讯

透视揭露!德州来玩辅助器(透视... 透视揭露!德州来玩辅助器(透视)hhpoker辅助挂是真的吗,教程绝活儿(有挂分析)-哔哩哔哩在进入...
透视有挂!wepoker私人局... 透视有挂!wepoker私人局辅助器怎么用(透视)hhpkoer辅助器视频,教程指南书(有挂秘笈)-...
透视推荐!aapoker透视怎... 透视推荐!aapoker透视怎么用(透视)智星德州插件2024最新版,教程法子(真的有挂)-哔哩哔哩...
透视普及!hhpoker透视码... 透视普及!hhpoker透视码(透视)aapoker公共底牌,教程模板(有挂规律)-哔哩哔哩1、上手...
透视揭露!hhpoker有没有... 透视揭露!hhpoker有没有开挂(透视)pokemmo辅助器手机版下载,教程步骤(有挂秘诀)-哔哩...
透视了解!hhpkoer辅助挂... 透视了解!hhpkoer辅助挂是真的吗(透视)哈糖大菠萝攻略,教程学习(证实有挂)-哔哩哔哩1、金币...
透视解迷!约局吧怎么看有没有挂... 透视解迷!约局吧怎么看有没有挂(透视)wepoker有没有机器人,教程窍门(确实有挂)-哔哩哔哩亲,...
透视推荐!wepokerplu... 透视推荐!wepokerplus透视脚本免费(透视)菠萝德州透视脚本,教程教材(存在有挂)-哔哩哔哩...
透视辅助!wepoker辅助器... 透视辅助!wepoker辅助器安装包(透视)wepoker插件程序激活码,教程阶段(有挂分析)-哔哩...
透视总结!wepoker安装教... 透视总结!wepoker安装教程(透视)约局吧开挂神器是真的吗,教程方式(有挂猫腻)-哔哩哔哩所有人...