AWSEMR中的StepTypes解释与示例代码
创始人
2024-09-25 10:30:12
0

AWS EMR中的Step Types指的是在启动Cluster之后,运行Job Flow时所需要的各类Step类型。Step Types通常包括Hadoop, Spark等分布式计算框架的Step类型。AWS EMR支持多种Step Types,下面就是一些常用的Step Types及对应的用法和示例代码。

  1. HadoopStep HadoopStep主要是用于运行Hadoop作业,其中主要包括mapred.map.tasks、mapred.reduce.tasks、mapred.job.name、mapred.output.compress等参数的设置。

代码示例:

from aws_cdk import ( aws_emr as emr, core, )

class EmrStack(core.Stack): def init(self, scope: core.Construct, id: str, **kwargs) -> None: self.emr_cluster = emr.CfnCluster( self, id='emr-cluster', name='emr-cluster', release_label='emr-5.32.0', instances=emr.CfnCluster.JobFlowInstancesConfigProperty( core_count=2, master_instance_fleet=emr.CfnCluster.InstanceFleetConfigProperty( target_on_demand_capacity=1, instance_type_configs=[ emr.CfnCluster.InstanceTypeConfigProperty(instance_type='m6g.xlarge'), ], ), core_instance_fleet=emr.CfnCluster.InstanceFleetConfigProperty( target_spot_capacity=1, instance_type_configs=[ emr.CfnCluster.InstanceTypeConfigProperty(instance_type='m6g.xlarge'), ], ), ), applications=[emr.CfnCluster.ApplicationProperty(name='Hadoop')], steps=[ emr.CfnStep( name='Word Count', action_on_failure='CONTINUE', hadoop_jar_step=emr.CfnStep.HadoopJarStepConfigProperty( jar='command-runner.jar', args=[ 'hadoop', 'jar', '/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar', 'wordcount', 's3://my-bucket/my-input-path', 's3://my-bucket/my-output-path', ], ) ) ], )

  1. SparkStep SparkStep是运行Spark应用程序的主要Step类型。其中包括SparkJar、SparkPy等。

代码示例:

from aws_cdk import ( aws_emr as emr, core, )

class EmrStack(core.Stack): def init(self, scope: core.Construct, id: str, **kwargs) -> None: self.emr_cluster

相关内容

热门资讯

透视能赢!wepoker私人局... 透视能赢!wepoker私人局透视方法,wepoker私局辅助(透视)教你教程(有挂辅助)-哔哩哔哩...
透视存在!wpk模拟器多开,w... 透视存在!wpk模拟器多开,wepoker怎么增加运气(透视)解密教程(有挂讲解)-哔哩哔哩1、用户...
透视存在!sohoo竞技联盟辅... 透视存在!sohoo竞技联盟辅助器,德普之星有透视辅助吗(透视)推荐教程(有挂方略)-哔哩哔哩1、上...
透视规律!hhpoker开挂教... 透视规律!hhpoker开挂教程,wepoker辅助透视(透视)总结教程(有挂秘笈)-哔哩哔哩1、不...
透视新版!拱趴大菠萝机器人,n... 透视新版!拱趴大菠萝机器人,newpoker脚本(透视)开挂教程(有挂猫腻)-哔哩哔哩1、拱趴大菠萝...
透视神器!wpk刷入池率脚本,... 透视神器!wpk刷入池率脚本,德州透视是真的吗(透视)推荐教程(的确有挂)-哔哩哔哩1、完成德州透视...
据了解!aapoker发牌逻辑... 据了解!aapoker发牌逻辑,wepoker可以开透视吗(透视)推荐教程(真实有挂)-哔哩哔哩1、...
现场直击!wepoker有辅助... 现场直击!wepoker有辅助吗,wepoker有没有透视方法(透视)科普教程(有挂教学)-哔哩哔哩...
透视黑科技!hhpoker怎么... 透视黑科技!hhpoker怎么防辅助,wepoker科技辅助器(透视)解密教程(今日头条)-哔哩哔哩...
于此同时!德州机器人代打脚本,... 于此同时!德州机器人代打脚本,aapoker如何设置胜率(透视)关于教程(真实有挂)-哔哩哔哩在进入...