AWSWranglerS3读取Parquet并写入DynamoDB-不支持numpy.ndarray类型。
创始人
2024-09-27 20:00:41
0

AWS Wrangler 不支持将 numpy.ndarray 类型直接写入 DynamoDB,需要将其转换为支持的数据类型。可以通过在代码中使用 astype() 方法将 numpy.ndarray 类型转换为支持的数据类型,例如将 numpy.float64 转换为 Python float。示例代码如下:

import boto3
import awswrangler as wr
import pandas as pd
import numpy as np

session = boto3.Session()
s3 = session.client('s3')
dynamodb = session.resource('dynamodb')

df = pd.read_parquet('s3://my-bucket/my-prefix/my-file.parquet')
df['my_array_column'] = df['my_array_column'].astype(np.float64) # 转换为 float 类型
items = wr.pandas.df_to_dict(df)

table = dynamodb.Table('my-table')
with table.batch_writer() as batch:
    for item in items:
        batch.put_item(Item=item)

这段代码从 S3 中读取 Parquet 文件,使用 pandas 将其转换为 DataFrame,并使用 astype() 方法将 numpy.ndarray 类型转换为 float 类型。然后,通过将 DataFrame 转换为字典,使用 AWS Wrangler 将其写入 DynamoDB 表中。

相关内容

热门资讯

透视曝光!pokemmo手机版... 透视曝光!pokemmo手机版透视脚本(透视)wepoker有没有挂,教程模板(果真有挂)-哔哩哔哩...
透视辅助!hhpoker有没有... 透视辅助!hhpoker有没有透视辅助(透视)werplan脚本,教程策略(竟然有挂)-哔哩哔哩1、...
透视教你!wepoker模拟器... 您好,wepoker到底有没有透视这款游戏可以开挂的,确实是有挂的,需要了解加去威信【4852750...
透视透视!wepoker怎么开... 透视透视!wepoker怎么开辅助(透视)佛手大菠萝13道挂哪里,教程攻略(真是有挂)-哔哩哔哩1、...
透视透视!hhpoker真的有... 透视透视!hhpoker真的有透视吗(透视)pokermaster破解版,教程策略(确实有挂)-哔哩...
透视揭露!wepoker能不能... 透视揭露!wepoker能不能透视(透视)wepoker免费透视脚本,教程窍要(有挂详细)-哔哩哔哩...
透视解迷!wpk刷入池率脚本(... 透视解迷!wpk刷入池率脚本(透视)wepoker高级辅助,教程技法(真的有挂)-哔哩哔哩1、玩家可...
透视推荐!wepoker亲友圈... 透视推荐!wepoker亲友圈有用吗(透视)wepoker透视有没有,教程教材(有挂详细)-哔哩哔哩...
透视分享!hhpoker智能辅... 透视分享!hhpoker智能辅助插件(透视)有没有人wepoker,教程教程书(真实有挂)-哔哩哔哩...
透视推荐!pokermaste... 透视推荐!pokermaster脚本(透视)佛手在线大菠萝技巧,教程手段(有挂规律)-哔哩哔哩1、很...