AWSEMR常驻集群是否适合始终运行结构化流式处理?
创始人
2024-09-25 10:00:31
0

在AWS EMR中使用结构化流式处理时,建议应该将EMR集群配置为可伸缩的,这样可以在处理任务执行时进行自动缩放。但是,如果流式处理程序需要保持长时间运行并实时处理数据,则选择始终运行的常驻集群也是一种可行的解决方案。在此过程中,我们可以考虑以下步骤:

  1. 创建常驻集群

在EMR控制台或使用AWS CLI创建一个持久的EMR集群(例如:标准EMR集群/Spark EMR集群)并选择运行结构化流式处理的软件配置选项。

  1. 编写流式处理应用

使用Spark结构化流式处理API编写流式处理应用。

  1. 提交Spark应用

使用以下命令将编写的应用程序提交到始终运行的EMR常驻集群:

spark-submit --class [class name] \
--master yarn \
--deploy-mode client \
--num-executors [num_of_executors] \
--executor-cores [num_of_cores] \
--executor-memory [memory_size] \
/path/to/jar [application_parameters] 
  1. 运行和监控Spark应用

运行在EMR常驻集群上的Spark应用可以使用以下命令监控:

yarn application -kill [application_id] 

请注意,始终运行的EMR集群会持续收取费用,因此需要相应的预算。

相关内容

热门资讯

此事备受玩家关注!大菠萝免费辅... 此事备受玩家关注!大菠萝免费辅助,佛手在线辅助,总结教程(原来是有挂的)-哔哩哔哩此事备受玩家关注!...
刚刚!科乐辅助工作室,多乐辅助... 刚刚!科乐辅助工作室,多乐辅助app,烘培教程(果然确实有挂)-哔哩哔哩1、打开软件启动之后找到中间...
来临!遇悦游戏辅助,指尖捕鱼b... 来临!遇悦游戏辅助,指尖捕鱼bgm,要领教程(其实确实是有挂)-哔哩哔哩1、完成遇悦游戏辅助透视辅助...
此事迅速冲上热搜!新九五辅助,... 此事迅速冲上热搜!新九五辅助,新星游辅助软件免费版,积累教程(其实真的有挂的)-哔哩哔哩1、用户打开...
此事备受玩家关注!创思维激k破... 此事备受玩家关注!创思维激k破解更新内容,新玄龙插件,指引教程(一直是有挂)-哔哩哔哩1、超多福利:...
这一问题亟待解决!边锋干橙眼开... 这一问题亟待解决!边锋干橙眼开挂免费,新九九辅助,窍门教程(一直真的有挂的)-哔哩哔哩边锋干橙眼开挂...
记者获悉!小程序广东雀神智能插... 记者获悉!小程序广东雀神智能插件免费,川娱竞技血战辅助,方案教程(其实是真的有挂)-哔哩哔哩1、小程...
近期!樱花之盛有没有挂,越乡游... 近期!樱花之盛有没有挂,越乡游义乌辅助器,烘培教程(一贯确实有挂的)-哔哩哔哩1、许多玩家不知道越乡...
有了最新消息!新老夫子开挂系统... 有了最新消息!新老夫子开挂系统,猎鱼达人破解版无限弹头,模块教程(一贯是真的有挂)-哔哩哔哩1、猎鱼...
据相关数据显示!川南游戏辅助,... 据相关数据显示!川南游戏辅助,决战卡五星辅助源码,指南书教程(一贯是有挂的)-哔哩哔哩所有人都在同一...