AWSEMR是否通常会为S3模型文件发送大量的list和head请求?
创始人
2024-09-25 10:01:24
0

AWS EMR通常会在启动集群时从S3中下载文件,可能会涉及到大量的list和head请求。但如果您的应用程序频繁地读取模型文件,则会有大量的list和head请求。您可以通过在应用程序中使用适当的缓存机制来减少这些请求次数。以下是Python代码示例:

import boto3 from botocore.exceptions import ClientError

s3 = boto3.client('s3')

def download_model(model_bucket, model_key): model_path = '/tmp/' + model_key.split('/')[-1]

# Check if model is in cache
try:
    with open(model_path) as f:
        print("Model %s found in cache..." % model_key)
        return f.read()

# Download and cache model
except FileNotFoundError:
    print("Downloading model %s..." % model_key)
    try:
        s3.download_file(model_bucket, model_key, model_path)
        with open(model_path) as f:
            return f.read()

    except ClientError as e:
        print(e)
        raise Exception('Error downloading %s from %s' % (model_key, model_bucket))

print(download_model('my-model-bucket', 'models/my-model.h5')) # returns model as string

相关内容

热门资讯

wpk透视辅助测试!aapok... wpk透视辅助测试!aapoker有挂吗(透视)一向有挂(详细辅助透明挂教程)(1)wpk透视辅助测...
WePoKe透视挂!wpk线上... WePoKe透视挂!wpk线上德州俱乐部(透视)原本是真的有挂(详细辅助新版2025教程)1、WeP...
微扑克辅助器ios!微扑克专用... 一、微扑克辅助器ios简介了解软件请加微:136704302微扑克辅助器ios是一款在线扑克游戏平台...
微扑克辅助机器人!微扑克有辅助... 您好,微扑克辅助机器人这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在...
德州之星有辅助挂!约局吧辅助工... 德州之星有辅助挂!约局吧辅助工具获取方法(透视)起初是真的有挂(详细辅助专业教程);是一款可以让一直...
德扑之星ai代打!wpk机制(... 德扑之星ai代打!wpk机制(透视)原本真的是有挂(详细辅助扑克教程)1、这是跨平台的德扑之星ai代...
微扑克德州专用辅助器!wpk透... 微扑克德州专用辅助器!wpk透视辅助测试(透视)果然是有挂(详细辅助可靠教程)1、这是跨平台的微扑克...
wepoke辅助德之星!aap... wepoke辅助德之星!aapoker有网页版吗(透视)都是真的是有挂(详细辅助教你教程)是一款可以...
aapoker俱乐部!微扑克辅... aapoker俱乐部!微扑克辅助钻石(透视)往昔存在有挂(详细辅助线上教程)是一款可以让一直输的玩家...
wpk德州透视辅助!德扑ai软... 一、wpk德州透视辅助简介了解软件请加微:136704302wpk德州透视辅助是一款在线扑克游戏平台...