AWSRDS导出parquet格式表格时为什么会分段?
创始人
2024-09-26 18:31:50
0

AWS RDS 导出 parquet 格式表格时,会根据所选的文件大小进行自动分段,以确保数据的高效性和可伸缩性。

AWS SDK 提供了一个 python 示例代码,可以用来导出 parquet 格式的数据,并将其分段:

import sys
import boto3
from boto3.session import Session

session = Session(aws_access_key_id='YOUR_ACCESS_KEY', aws_secret_access_key='YOUR_SECRET_KEY')
s3 = session.resource('s3')
aws_bucket = 'YOUR_AWS_BUCKET_NAME'
aws_object_key = 'YOUR_AWS_OBJECT_KEY'
local_file = '/tmp/MY_LOCAL_FILE.parquet'

# Create an S3 resource
s3 = boto3.resource('s3')

# Get the bucket
bucket = s3.Bucket(aws_bucket)

# Download the object to local file
bucket.download_file(aws_object_key, local_file)

# Partition the data using pandas
import pandas as pd

# Read the parquet file
df = pd.read_parquet(local_file)

# Write the parquet partitions to S3
import awswrangler as wr

# Write the data partitioned to Parquet
wr.s3.to_parquet(
    df=df,
    dataset=True,
    database='mydatabase',
    table='mytable',
    path='s3://aws-bucket/mytable/',
    partition_cols=['year', 'month', 'day'],
    mode='overwrite',
    concurrent_partitioning=True
)

其中 concurrent_partitioning=True 选项表示并发分区。如果您的表格非常大,则会自动分段。

相关内容

热门资讯

有挂一下!九九联盟辅助在,广西... 有挂一下!九九联盟辅助在,广西老友玩辅助,好像真的有挂(哔哩哔哩)九九联盟辅助在能透视中分为三种模型...
详细一下!雀友会广东潮汕辅助有... 详细一下!雀友会广东潮汕辅助有开挂,约战大同辅助,总是是有挂(哔哩哔哩);1、打开软件启动之后找到中...
专业一下!微乐小程序外辅助工具... 专业一下!微乐小程序外辅助工具,欢乐茶馆辅助,一直是真的有挂(哔哩哔哩)1、不需要AI权限,帮助你快...
辅助一下!道游互娱辅助,填大坑... 辅助一下!道游互娱辅助,填大坑辅助器视频,其实是真的有挂(哔哩哔哩)一、填大坑辅助器视频可以开透视的...
必备一下!潮娱乐鱼虾蟹公式辅助... 您好,潮娱乐鱼虾蟹公式辅助软件这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302...
总结一下!圣游科技,博雅红河西... 总结一下!圣游科技,博雅红河西元红河挂,确实真的是有挂(哔哩哔哩)1、许多玩家不知道博雅红河西元红河...
分享一下!福建微乐小程序修改器... 分享一下!福建微乐小程序修改器,大懒人斗十四辅助,其实真的有挂(哔哩哔哩)小薇(辅助器软件下载)致您...
解迷一下!天天贵阳游戏辅助,衢... 解迷一下!天天贵阳游戏辅助,衢州都莱罗松辅助器,都是是真的有挂(哔哩哔哩)1、天天贵阳游戏辅助模拟器...
教你一下!青橙竞技游戏辅助,决... 教你一下!青橙竞技游戏辅助,决战卡五星辅助器,都是有挂(哔哩哔哩)亲,关键说明,青橙竞技游戏辅助透视...
普及一下!微信卡五星辅助器,海... 普及一下!微信卡五星辅助器,海盗来了大白辅助,都是是有挂(哔哩哔哩)1、在微信卡五星辅助器插件功能辅...