AWSGlue超时:在Redshift中创建外部架构
创始人
2024-09-25 14:32:25
0
  1. 增加AWS Glue的超时设置,以及减少加载数据量,可在job参数中进行配置。
glue_context = GlueContext(SparkContext.getOrCreate())
job = Job(glue_context)
job.init(args['JOB_NAME'], args)
timeout = args['Timeout']  # 通过参数传入超时时间

# 设置超时时限
job.set_job_completion_timeout(int(timeout))

# 减少加载数据量
df = glue_context.create_dynamic_frame.from_catalog(
      database=args['DATABASE'],
      table_name=args['TABLE_NAME'],
      push_down_predicate=args['FILTER'],
      transformation_ctx=args['TRANSFORMATION_CONTEXT']
)

  1. 增加Redshift集群的连接空闲超时时间。

在连接Redshift集群时,需要设置空闲超时时间,以防止连接空闲时间过长而导致连接被关闭,可以在Redshift集群配置中进行修改。

import psycopg2

conn = psycopg2.connect(database="myredshift", user="myuser", password="mypassword", port=5439, host="myredshift.abc123.us-west-2.redshift.amazonaws.com", connect_timeout=10, options="-c statement_timeout=120000") # 在这里设置statement_timeout参数

  1. 优化Redshift表的结构以提高读取性能。

可以通过以下方法进行优化:

  • 增加sortkey:使用sortkey可以帮助Redshift进行更快的查询和排序,提高查询性能;
  • 使用列存储:列存储可以帮助Redshift更快地提取、过滤和查询大量数据;
  • 增加distkey:根据表中的某个分布键进行分片,让查询可以更快地进行并行处理。

相关内容

热门资讯

一分钟了解!werplan外卦... 一分钟了解!werplan外卦神器,德普辅助器怎么用,普及教程(果然是有挂的)-哔哩哔哩;德普辅助器...
教学盘点!wpk可以辅助吗,w... 教学盘点!wpk可以辅助吗,wepoker有机器人吗,必赢方法(一贯确实有挂)-哔哩哔哩;wepok...
玩家必看科普!德普之星透视辅助... 玩家必看科普!德普之星透视辅助软件,hhpoker辅助挂下载,我来教教你(其实是有挂的)-哔哩哔哩;...
透视有挂!wejoker辅助脚... 透视有挂!wejoker辅助脚本,we poker辅助器v3.3,细节揭秘(一直确实有挂)-哔哩哔哩...
重大通报!wepoker亲友圈... 重大通报!wepoker亲友圈有用吗,wpk俱乐部怎么辅助,规律教程(果然是有挂的)-哔哩哔哩;亲真...
必备科技!德普之星有辅助软件吗... 必备科技!德普之星有辅助软件吗,hhpoker是内部控制吗,详细教程!(一直确实有挂)-哔哩哔哩;人...
揭秘关于!德州局hhpoker... 揭秘关于!德州局hhpoker,wepoker有人用过吗,线上教程(一贯真的有挂)-哔哩哔哩;超受欢...
必备辅助推荐!wepoker破... 《必备辅助推荐!wepoker破解游戏盒子,aapoker插件下载,揭秘教程(原来有挂)-哔哩哔哩》...
我来分享!wepoker私人局... 我来分享!wepoker私人局透视插件,wepoker轻量版有透视吗,2026版教程(原来真的有挂)...
透视规律!aapoker如何设... 透视规律!aapoker如何设置胜率,德州透视竞技联盟,2026教程(原来是有挂的)-哔哩哔哩;1、...