AWSWranglerS3读取Parquet并写入DynamoDB-不支持numpy.ndarray类型。
创始人
2024-09-27 20:00:41
0

AWS Wrangler 不支持将 numpy.ndarray 类型直接写入 DynamoDB,需要将其转换为支持的数据类型。可以通过在代码中使用 astype() 方法将 numpy.ndarray 类型转换为支持的数据类型,例如将 numpy.float64 转换为 Python float。示例代码如下:

import boto3
import awswrangler as wr
import pandas as pd
import numpy as np

session = boto3.Session()
s3 = session.client('s3')
dynamodb = session.resource('dynamodb')

df = pd.read_parquet('s3://my-bucket/my-prefix/my-file.parquet')
df['my_array_column'] = df['my_array_column'].astype(np.float64) # 转换为 float 类型
items = wr.pandas.df_to_dict(df)

table = dynamodb.Table('my-table')
with table.batch_writer() as batch:
    for item in items:
        batch.put_item(Item=item)

这段代码从 S3 中读取 Parquet 文件,使用 pandas 将其转换为 DataFrame,并使用 astype() 方法将 numpy.ndarray 类型转换为 float 类型。然后,通过将 DataFrame 转换为字典,使用 AWS Wrangler 将其写入 DynamoDB 表中。

相关内容

热门资讯

透视分享!wepoker透视脚... 透视分享!wepoker透视脚本免费使用视频(透视)智星德州插件,教程妙计(有挂讲解)-哔哩哔哩在进...
透视普及!wepoker有辅助... 透视普及!wepoker有辅助功能吗(透视)wpk德州局透视,教程窍要(有挂助手)-哔哩哔哩1、we...
透视推荐!云扑克有透视吗(透视... 透视推荐!云扑克有透视吗(透视)wepokerplus万能挂,教程诀窍(有挂规律)-哔哩哔哩1、该软...
透视解谜!拱趴大菠萝机器人(透... 透视解谜!拱趴大菠萝机器人(透视)wpk辅助是什么,教程法门(有挂秘诀)-哔哩哔哩1、游戏颠覆性的策...
透视详细!aa poker透视... 透视详细!aa poker透视软件(透视)红龙poker辅助,教程大纲(有挂存在)-哔哩哔哩1、aa...
透视科普!wepoker透视视... 透视科普!wepoker透视视频(透视)wepoker透视脚本免费下载,教程机巧(有挂方略)-哔哩哔...
透视曝光!wepoker辅助器... 透视曝光!wepoker辅助器如何使用(透视)wepoker透视器免费,教程手段(有挂技巧)-哔哩哔...
透视推荐!德州局怎么透视(透视... 透视推荐!德州局怎么透视(透视)wejoker辅助软件,教程法门(有挂神器)-哔哩哔哩1、完成德州局...
透视开挂!哈糖大菠萝万能挂(透... 透视开挂!哈糖大菠萝万能挂(透视)wpk辅助哪里买,教程积累(有挂辅助)-哔哩哔哩1、玩家可以在哈糖...
透视解迷!如何下载wpk透视版... 透视解迷!如何下载wpk透视版(透视)wepoker是不是有人用挂,教程方针(有挂分析)-哔哩哔哩1...