AWSSagemakerPySparkProcessor能够管理自动扩缩容吗?
创始人
2024-09-27 01:30:57
0

AWS Sagemaker PySparkProcessor 可以通过指定实例计数和实例类型来控制处理集群的大小。但是,它目前没有默认的自动扩缩容功能。但是,可以使用AWS Autoscaling 来进行自动扩缩容操作。

以下是一个使用 AWS Sagemaker PySparkProcessor 和 AWS Autoscaling 的示例代码:

import boto3
import sagemaker
from sagemaker import get_execution_role
from sagemaker.spark.processing import PySparkProcessor
from sagemaker.autoscaling import CronJobScheduler

# 获取角色
role = get_execution_role()

# 获取Sagemaker session 和 s3 bucket
sagemaker_session = sagemaker.Session()
bucket = sagemaker_session.default_bucket()

# 创建 S3 input 和 output路径
input_prefix = 'input'
input_uri = f's3://{bucket}/{input_prefix}/'

output_prefix = 'output'
output_uri = f's3://{bucket}/{output_prefix}/'

# 将 PySpark 脚本上传到s3
code_path = 'scripts'
code_uri = f's3://{bucket}/code/'

sagemaker_session.upload_data(path=code_path, bucket=bucket, key_prefix='code')
code_uri = sagemaker_session.upload_data(path=code_path, bucket=bucket, key_prefix='code')

# 配置自动扩缩容
autoscaling = boto3.client('autoscaling')
desired_size = 1
autoscaling_params = {'AutoScalingGroupName': 'processing-group',
                      'ScheduledActionName': 'scale-out',
                      'DesiredCapacity': desired_size}

# 每分钟进行自动扩容一次
scheduler = CronJobScheduler(
    scheduled_action_name='scale-out',
    target_min_capacity=1,
    target_max_capacity=4,
    role_arn=role,
    scheduled_expression='* * * * ? *'
)

with scheduler:
    # 创建 PySparkProcessor
    processor = PySparkProcessor(base_job_name='processing-jobs', 
                                 framework_version='2.4', 
                                 role=role,
                                 instance_count=1,
                                 instance_type='ml.m5.xlarge',
                                 max_runtime_in_seconds=1200) # 20 minutes
    
    # 开始处理任务
    processor.run(spark_event_logs_uri=input_uri,
                  logs=True,
                  arguments=['--output', output_uri, '--job-id', '6690', '--model-version', 'v1'])

此代码创建了一个名为 processing-group 的 Auto Scaling Group 对象,并使用 ScheduledAction 扩展这个组的实

相关内容

热门资讯

透视模拟器!智星德州菠萝插件官... 1、透视模拟器!智星德州菠萝插件官网,乐胡脚本,黑科技教程(有挂攻略)(UU poker、乐胡脚本、...
透视插件!wpk透视表,大唐辅... 透视插件!wpk透视表,大唐辅助软件,解密教程(有挂攻略);《WPK辅助透视》‌:支持手机实时对战,...
辅助透视!智星德州菠萝插件官网... 辅助透视!智星德州菠萝插件官网,禅游指尖四川无限钻石,必胜教程(有挂透视);1分钟了解详细教程(微信...
透视计算!德普之星app安卓版... 透视计算!德普之星app安卓版破解版,花花生活圈脚本,科技教程(有挂神器);1.花花生活圈脚本 ai...
透视ai代打!红龙poker透... 自定义新九方科技系统规律,只需要输入自己想要的开挂功能,一键便可以生成出微扑克专用辅助器,不管你是想...
透视app!wepoker透视... 透视app!wepoker透视脚本苹果版,熊猫辅助软件,系统教程(有挂方法);原来确实真的有挂(需添...
透视好友!红龙poker作弊指... 透视好友!红龙poker作弊指令,福建兄弟13水修改器,教你教程(有挂辅助)是一款可以让一直输的玩家...
透视数据!wepoker底牌透... 1、透视数据!wepoker底牌透视脚本http,约局吧可以看到别人的底牌,解密教程(有挂教程)2、...
透视ai代打!aapoker俱... 透视ai代打!aapoker俱乐部靠谱吗,哈灵脚本辅助最简单三个步骤,细节揭秘(有挂辅助)1、很好的...
透视黑科技!aapoker辅助... 透视黑科技!aapoker辅助包,新九方科技,解密教程(有挂教程)是由北京得新九方科技黑科技有限公司...