AWSGLUEPyspark作业意外删除S3文件夹
创始人
2024-09-25 16:01:39
0
  1. 首先,您可以尝试禁用job commit选项以防止AWS Glue删除S3目录。要禁用job commit选项,请将以下代码添加到您的PySpark作业中:
from awsglue.context import GlueContext

glueContext = GlueContext(SparkContext.getOrCreate())

# Disable the job commit option
glueContext.setJobCommit(False)
  1. 如果禁用job commit选项不起作用,请尝试使用AWS CLI进行S3文件夹恢复。以下是AWS CLI命令的示例,用于复制先前保存在S3中的文件夹:
aws s3 cp --recursive s3://your-bucket-name/your-folder s3://your-bucket-name/your-folder-backup/
  1. 此外,您可以尝试设置AWS S3 Lifecycle规则,以确保S3文件夹不会被意外删除。以下是AWS S3控制台中设置Lifecycle规则的示例:
  • 转到S3控制台并选择您的S3存储桶。
  • 单击“Lifecycle”选项卡,然后单击“添加生命周期规则”。
  • 输入规则名称,并为“转换为标准IA存储类型”和“转换为 Glacier 存储类型”指定有效期。
  • 保存规则。

通过上述方法,您可以避免AWS Glue Pyspark作业意外删除S3文件夹。

相关内容

热门资讯

透视解迷!wpk透视最怕三个东... 透视解迷!wpk透视最怕三个东西(透视)wepoker辅助器怎么弄,教程手筋(的确有挂)-哔哩哔哩1...
透视关于!福建大菠萝万能辅助器... 透视关于!福建大菠萝万能辅助器(透视)pokermaster破解版,教程策略(有挂攻略)-哔哩哔哩1...
透视解谜!aapoker透视插... 透视解谜!aapoker透视插件(透视)约局吧德州透视,教程诀窍(有挂解惑)-哔哩哔哩约局吧德州透视...
透视有挂!wepoker辅助器... 透视有挂!wepoker辅助器官方(透视)pokemmo手机辅助软件,教程方针(有挂解惑)-哔哩哔哩...
透视普及!德州hhpoker脚... 透视普及!德州hhpoker脚本(透视)约局吧德州有挂吗,教程秘籍(有挂技术)-哔哩哔哩1.约局吧德...
透视专业!佛手大菠萝辅助(透视... 透视专业!佛手大菠萝辅助(透视)we poker游戏下,教程积累(有挂讲解)-哔哩哔哩1、佛手大菠萝...
透视解密!xpoker辅助助手... 透视解密!xpoker辅助助手(透视)wepoker辅助器如何使用,教程手册(有挂猫腻)-哔哩哔哩1...
透视开挂!wpk辅助是什么(透... 透视开挂!wpk辅助是什么(透视)德扑圈透视挂,教程要领(确实有挂)-哔哩哔哩所有人都在同一条线上,...
透视专业!sohoo poke... 透视专业!sohoo poker辅助器(透视)wejoker黑侠辅助器,教程教程书(的确有挂)-哔哩...
透视辅助!aapoker公共底... 透视辅助!aapoker公共底牌(透视)wepoker透视脚本免费app,教程诀窍(有挂技巧)-哔哩...