AWSEMR是否通常会为S3模型文件发送大量的list和head请求?
创始人
2024-09-25 10:01:24
0

AWS EMR通常会在启动集群时从S3中下载文件,可能会涉及到大量的list和head请求。但如果您的应用程序频繁地读取模型文件,则会有大量的list和head请求。您可以通过在应用程序中使用适当的缓存机制来减少这些请求次数。以下是Python代码示例:

import boto3 from botocore.exceptions import ClientError

s3 = boto3.client('s3')

def download_model(model_bucket, model_key): model_path = '/tmp/' + model_key.split('/')[-1]

# Check if model is in cache
try:
    with open(model_path) as f:
        print("Model %s found in cache..." % model_key)
        return f.read()

# Download and cache model
except FileNotFoundError:
    print("Downloading model %s..." % model_key)
    try:
        s3.download_file(model_bucket, model_key, model_path)
        with open(model_path) as f:
            return f.read()

    except ClientError as e:
        print(e)
        raise Exception('Error downloading %s from %s' % (model_key, model_bucket))

print(download_model('my-model-bucket', 'models/my-model.h5')) # returns model as string

相关内容

热门资讯

透视私人房!模拟器打开hhpo... 透视私人房!模拟器打开hhpoker(透视)开挂辅助app(确实是真的挂)-哔哩哔哩1、该软件可以轻...
七分钟教材!心悦填大坑辅助器免... 七分钟教材!心悦填大坑辅助器免费下载,有没有人会衢州都莱的辅助,黑科技教程(有挂方针)-哔哩哔哩1、...
透视黑科技!大菠萝免费辅助,w... 透视黑科技!大菠萝免费辅助,wepoker破解工具,项目教程(好像真的有挂)-哔哩哔哩1)大菠萝免费...
透视专用!wepoker私人局... 透视专用!wepoker私人局辅助器怎么用(透视)开挂辅助工具(确实存在有挂)-哔哩哔哩1、wepo...
透视有挂!wepoker透视脚... 透视有挂!wepoker透视脚本苹果版,竞技联盟透视插件,教材教程(都是真的有挂)-哔哩哔哩1、不需...
三分钟法门!越乡有辅助软件,四... 三分钟法门!越乡有辅助软件,四川途游辅助软件下载,揭秘教程(有挂技巧)-哔哩哔哩1、起透看视 四川途...
透视黑科技!线上德州的辅助器是... 透视黑科技!线上德州的辅助器是什么(透视)开挂辅助攻略(切实真的有挂)-哔哩哔哩1、玩家可以在线上德...
透视能赢!pokernow辅助... 透视能赢!pokernow辅助控制,wepoker有没有辅助,阶段教程(本来真的有挂)-哔哩哔哩1、...
九分钟窍门!乐玩游戏辅助工具,... 九分钟窍门!乐玩游戏辅助工具,新芒果监利开机贴吧,黑科技教程(有挂方法)-哔哩哔哩小薇(透视辅助)致...
透视线上!wepoker有没有... 透视线上!wepoker有没有透视方法(透视)开挂辅助方法(原来有挂)-哔哩哔哩1、进入游戏-大厅左...