AWSDMS中Parquet数据格式无法使用GZIP压缩
创始人
2024-09-24 21:30:27
0

若要在 AWS DMS 中使用 GZIP 压缩 Parquet 数据格式,需执行以下步骤:

  1. 创建具有下列结构的文件:replication-task-settings.json

{ "TargetMetadata": { ... "Parquet_GZIP": true, ... } }

  1. 将此文件按照以下命令保存到 S3 存储桶中:

aws s3 cp replication-task-settings.json s3://bucket-name/folder-name/

  1. 找到 DMS 复制任务中 S3 装入任务的 S3 选项卡,并将其配置为使用步骤 2 中上载的文件。

{ "S3Settings": { "ExternalTableDefinition": "SET parquet.gzip=true;", ... }, ... }

  1. 最后,运行新配置的复制任务。

以下是使用 GZIP 压缩的示例代码:

{ "Type": "AWS::DMS::ReplicationTask", "Properties": { "MigrationType": "full-load", "ReplicationTaskSettings": { "BucketName": "bucket-name", "BucketFolder": "folder-name", "FileName": "replication-task-settings.json" }, "SourceEndpointArn": "source-endpoint-arn", "TargetEndpointArn": "target-endpoint-arn", "ReplicationInstanceArn": "replication-instance-arn", "TableMappings": "table-mappings", "Tags": [{"Key": "Name", "Value": "replication-task-name"}] } }

相关内容

热门资讯

一分钟科普!模拟器打开hhpo... 一分钟科普!模拟器打开hhpoker(透视)本来是有挂,扑克教程(真的有挂)-哔哩哔哩1、首先打开模...
透视肯定!pokemmo手机脚... 透视肯定!pokemmo手机脚本(透视)好像真的是有挂,插件教程(有挂测试)-哔哩哔哩1、pokem...
2分钟分享!aapoker安装... 2分钟分享!aapoker安装包怎么使用(透视)其实真的是有挂,黑科技教程(有挂教学)-哔哩哔哩1、...
透视有挂!wepoker破解器... 透视有挂!wepoker破解器(透视)确实真的有挂,2025新版总结(有挂苹果版本)-哔哩哔哩1、w...
第2分钟详细!hhpoker辅... 第2分钟详细!hhpoker辅助软件下载(透视)本来有挂,2025新版教程(有挂技术)-哔哩哔哩1、...
透视黑科技!智星菠萝透视(透视... 透视黑科技!智星菠萝透视(透视)本来存在有挂,透明挂教程(有挂俱乐部)-哔哩哔哩1、这是跨平台的智星...
透视线上!wpk私人局有透视吗... 透视线上!wpk私人局有透视吗(透视)一直真的有挂,细节方法(有挂内置)-哔哩哔哩1、wpk私人局有...
六分钟总结!wepoker插件... 六分钟总结!wepoker插件下载(透视)真是真的是有挂,扑克教程(发现有挂)-哔哩哔哩1、操作简单...
透视计算!wepoker代打辅... 透视计算!wepoker代打辅助机器人(透视)确实有挂,安装教程(有挂私人局)-哔哩哔哩wepoke...
第七分钟必备!hhpoker是... 第七分钟必备!hhpoker是正品吗(透视)好像有挂,第三方教程(有挂方式)-哔哩哔哩1、打开软件启...