Athena并行卸载到同一位置。
创始人
2024-09-21 13:00:47
0次

要使Athena并行卸载到同一位置，需要在查询中指定输出表的位置，并且在拆分的第一层level上使用PARTITION BY关键字。例如：

CREATE EXTERNAL TABLE my_table(
  column1 INT,
  column2 STRING
)
PARTITIONED BY (dt STRING)
LOCATION 's3://my-bucket/my_folder';

INSERT OVERWRITE TABLE my_table
PARTITION(dt='2022-01-01')
SELECT column1, column2
FROM source_table
WHERE dt = '2022-01-01'
DISTRIBUTE BY RAND();

上述代码将source_table中2022年1月1日的数据随机分配到多个Athena实例进行处理，并将结果存储在s3://my-bucket/my_folder/dt=2022-01-01/下的my_table表中。

需要注意的是，Athena会自动为每个分区创建一个文件夹，因此不需要在代码中单独创建文件夹。

上一篇：Athena表中的数据与S3文件不同

下一篇：Athena不支持带有时区的时间戳？

相关内容

热门资讯

七分钟辅助！丽水茶苑苹果手机辅... 七分钟辅助！丽水茶苑苹果手机辅助，本来是真的有辅助教程（有挂方式）1、实时丽水茶苑苹果手机辅助透视辅...
第一分钟辅助！闲来辅助神器下载... 第一分钟辅助！闲来辅助神器下载2022，好像真的有辅助方法（有挂教程）1、不需要AI权限，帮助你快速...
九分钟辅助！丽水都莱辅助工具试... 九分钟辅助！丽水都莱辅助工具试用，确实存在有辅助神器（有挂方法）九分钟辅助！丽水都莱辅助工具试用，确...
第一分钟辅助！蛮王辅助器，好像... 第一分钟辅助！蛮王辅助器，好像是有辅助方法（有挂教学）1、首先打开蛮王辅助器辅助器下载最新版本，在蛮...
第六分钟辅助！潮汕汇挂，一贯真... 第六分钟辅助！潮汕汇挂，一贯真的是有辅助插件（有挂辅助）1、这是跨平台的潮汕汇挂轻量版有透视，在线的...
六分钟辅助！微信开心泉州辅助器... 六分钟辅助！微信开心泉州辅助器，一直有辅助器（有挂教学）1、下载好微信开心泉州辅助器透视辅助下载之后...
第3分钟辅助！佛手十三道破解版... 第3分钟辅助！佛手十三道破解版安卓，竟然真的有辅助攻略（有挂存在）1、让任何用户在无需佛手十三道破解...
2分钟辅助！sohoo竞技联盟... 2分钟辅助！sohoo竞技联盟辅助，切实真的有辅助脚本（有挂技术）1.sohoo竞技联盟辅助 选牌创...
第8分钟辅助！心悦手游辅助器，... 第8分钟辅助！心悦手游辅助器，原来真的是有辅助技巧（确实有挂）；1、每一步都需要思考，不同水平的挑战...
第十分钟辅助！广东雀神祈福真的... 第十分钟辅助！广东雀神祈福真的有用吗，都是是有辅助技巧（有挂方略）1、下载好广东雀神祈福真的有用吗透...