Athena目录查询非常慢
创始人
2024-09-21 14:00:54
0

1.优化查询语句:使用分区表,过滤查询条件以减少检索数据量。同时可以使用WITH语句在查询前进行数据预处理,加快查询速度。例如:

WITH prep AS ( SELECT * FROM my_table WHERE date_col >= '2019-01-01' ) SELECT * FROM prep WHERE col_1 = 'foo'

2.增加查询资源:增加查询资源可以增加查询引擎可用的CPU、内存等资源,从而提高查询速度。可以通过修改查询配置或提高查询资源容量来实现。例如:

ALTER TABLE my_table SET TBLPROPERTIES('aws:athena:query_execution'.'instance_count'='3','aws:athena:query_execution'.'instance_type'='r5.large')

3.使用分布式查询:使用AWS Glue或Spark等分布式计算服务可以加速大规模查询的处理速度。例如:

SELECT * FROM my_table WHERE col_1 = 'foo' AND date_col >= '2019-01-01' AND parquet_filter_col BETWEEN 0 and 10 AND $CONDITIONS

4.使用Amazon Redshift Spectrum:如果数据被存储在Amazon S3上,可以使用Redshift Spectrum查询引擎轻松进行高速、低成本的复杂查询。例如:

SELECT * FROM my_redshift_spectrum_table WHERE col_1 = 'foo' AND date_col >= '2019-01-01' AND parquet_filter_col BETWEEN 0 and 10;

这些是提高Athena查询性能的一些解决方案。实际上,性能提升的方法因不同的场景而异。所以,我们必须结合具体情况进行相应的优化。

相关内容

热门资讯

科技通报!佛手在线大菠萝辅助(... 科技通报!佛手在线大菠萝辅助(辅助挂)真是存在有挂(确实有挂辅助器)1、上手简单,内置详细流程视频教...
玩家攻略!cloudpoker... 玩家攻略!cloudpoker作弊(辅助挂)真是是真的有挂(有挂技术辅助软件)1、进入到是否有挂之后...
科技通报!wpk可以作弊吗(辅... 科技通报!wpk可以作弊吗(辅助挂)真是有挂(有挂解密辅助软件)1、起透看视 辅助软件价格2、随意选...
发现玩家!htx矩阵wepok... 发现玩家!htx矩阵wepoker辅助(辅助挂)其实存在有挂(有挂规律辅助方法)1)免费钻石:进一步...
分享一款!hhpoker脚本(... 分享一款!hhpoker脚本(辅助挂)好像是有挂(有挂秘籍辅助脚本)1、起透看视 辅助软件价格2、随...
科技新动态!wepoker辅助... 科技新动态!wepoker辅助插件功能(辅助挂)其实真的是有挂(揭秘有挂辅助工具)1、实时透视辅助更...
一分钟了解!约局吧德州真的有透... 一分钟了解!约局吧德州真的有透视挂吗(辅助挂)真是真的是有挂(真的有挂辅助插件)1、一分钟了解!约局...
实测教程!wpk安卓下载辅助(... 实测教程!wpk安卓下载辅助(辅助挂)真是有挂(有挂功能辅助器)1、起透看视 辅助软件价格2、随意选...
玩家必备教程!aapoker能... 玩家必备教程!aapoker能控制牌吗(辅助挂)一直真的有挂(有挂细节辅助技巧)1、首先打开辅助器下...
玩家科普!wepoker辅助器... 玩家科普!wepoker辅助器(辅助挂)好像真的是有挂(有挂透视辅助方法)1、用户打开应用后不用登录...