Athena并行卸载到同一位置。
创始人
2024-09-21 13:00:47
0次

要使Athena并行卸载到同一位置，需要在查询中指定输出表的位置，并且在拆分的第一层level上使用PARTITION BY关键字。例如：

CREATE EXTERNAL TABLE my_table(
  column1 INT,
  column2 STRING
)
PARTITIONED BY (dt STRING)
LOCATION 's3://my-bucket/my_folder';

INSERT OVERWRITE TABLE my_table
PARTITION(dt='2022-01-01')
SELECT column1, column2
FROM source_table
WHERE dt = '2022-01-01'
DISTRIBUTE BY RAND();

上述代码将source_table中2022年1月1日的数据随机分配到多个Athena实例进行处理，并将结果存储在s3://my-bucket/my_folder/dt=2022-01-01/下的my_table表中。

需要注意的是，Athena会自动为每个分区创建一个文件夹，因此不需要在代码中单独创建文件夹。

上一篇：Athena表中的数据与S3文件不同

下一篇：Athena不支持带有时区的时间戳？

相关内容

热门资讯

分享个大家“wepoker透视... wepoker透视脚本配置是一款可以让一直输的玩家，快速成为一个“必胜”的ai辅助神器，有需要的用户...
指导大家“WePoKer到底有... 您好：WePoKer到底有透视挂吗这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现...
玩家必看科普“wepoker有... 您好，wepoker有透视吗这款游戏可以开挂的，确实是有挂的，需要了解加微【136704302】很多...
终于知道“wpk德州辅助”开挂... 您好：wpk德州辅助的软件，软件加客服确实是有挂的，很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
科技新动态“wepoker能不... 无需打开直接搜索加微信客服（136704302）咨询了解wepoker能不能开挂辅助器目前（微信:1...
我来向大家传授“wepoker... 我来向大家传授“wepoker辅助器教程”开挂辅助安装（透视）解密教程是一款可以让一直输的玩家，快速...
技术分享“wepoker发牌到... wepoker发牌到底是不是随机是一款可以让一直输的玩家，快速成为一个“必胜”的ai辅助神器，有需要...
盘点一款“wepoker私人局... 盘点一款“wepoker私人局怎么设置抽水”开挂辅助挂（透视）技巧教程是一款可以让一直输的玩家，快速...
总算了解“wepoker有挂吗... 您好：wepoker有挂吗透视软件这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现...
如何分辨真伪“wpk有挂吗”开... 您好：wpk有挂吗这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现很多用户的牌特别...