AWSRDS导出parquet格式表格时为什么会分段?
创始人
2024-09-26 18:31:50
0

AWS RDS 导出 parquet 格式表格时,会根据所选的文件大小进行自动分段,以确保数据的高效性和可伸缩性。

AWS SDK 提供了一个 python 示例代码,可以用来导出 parquet 格式的数据,并将其分段:

import sys
import boto3
from boto3.session import Session

session = Session(aws_access_key_id='YOUR_ACCESS_KEY', aws_secret_access_key='YOUR_SECRET_KEY')
s3 = session.resource('s3')
aws_bucket = 'YOUR_AWS_BUCKET_NAME'
aws_object_key = 'YOUR_AWS_OBJECT_KEY'
local_file = '/tmp/MY_LOCAL_FILE.parquet'

# Create an S3 resource
s3 = boto3.resource('s3')

# Get the bucket
bucket = s3.Bucket(aws_bucket)

# Download the object to local file
bucket.download_file(aws_object_key, local_file)

# Partition the data using pandas
import pandas as pd

# Read the parquet file
df = pd.read_parquet(local_file)

# Write the parquet partitions to S3
import awswrangler as wr

# Write the data partitioned to Parquet
wr.s3.to_parquet(
    df=df,
    dataset=True,
    database='mydatabase',
    table='mytable',
    path='s3://aws-bucket/mytable/',
    partition_cols=['year', 'month', 'day'],
    mode='overwrite',
    concurrent_partitioning=True
)

其中 concurrent_partitioning=True 选项表示并发分区。如果您的表格非常大,则会自动分段。

相关内容

热门资讯

透视苹果版!掌中乐游戏中心破解... 透视苹果版!掌中乐游戏中心破解版"揭幕辅助脚本"好像真的是有挂(哔哩哔哩)该软件可以轻松地帮助玩家将...
刚刚!wepoker安装教程&... 刚刚!wepoker安装教程"解密辅助攻略"切实是有挂(哔哩哔哩)小薇(辅助器软件下载)致您一封信;...
2026版规律!拱趴大菠萝有辅... 2026版规律!拱趴大菠萝有辅助吗"揭幕辅助挂"切实真的有挂(哔哩哔哩)1)拱趴大菠萝有辅助吗辅助插...
透视真的!江西中指黑科技辅助软... 透视真的!江西中指黑科技辅助软件"推荐辅助插件"总是确实有挂(哔哩哔哩)江西中指黑科技辅助软件透视方...
透视辅助!皮皮跑胡子系统有鬼&... 透视辅助!皮皮跑胡子系统有鬼"详细辅助技巧"总是是真的有挂(哔哩哔哩)1、每一步都需要思考,不同水平...
有了最新消息!新道游戏辅助器免... 有了最新消息!新道游戏辅助器免费"解谜辅助教程"竟然确实有挂(哔哩哔哩)进入游戏-大厅左侧-新手福利...
出现新变化!新祥心挂机&quo... 出现新变化!新祥心挂机"关于辅助攻略"原来是真的有挂(哔哩哔哩)暗藏猫腻,小编详细说明新祥心挂机破解...
透视ai代打!广西微乐小程序微... 透视ai代打!广西微乐小程序微信辅助器免费"关于辅助app"原来存在有挂(哔哩哔哩)1、不需要AI权...
无独有偶!土豪联盟辅助&quo... 无独有偶!土豪联盟辅助"辅助辅助工具"都是真的是有挂(哔哩哔哩)1、无独有偶!土豪联盟辅助"辅助辅助...
透视安卓版!激k辅助器&quo... 透视安卓版!激k辅助器"科普辅助脚本"真是真的有挂(哔哩哔哩)1、操作简单,无需激k辅助器手机版透视...