AWSGLUEPyspark作业意外删除S3文件夹
创始人
2024-09-25 16:01:39
0
  1. 首先,您可以尝试禁用job commit选项以防止AWS Glue删除S3目录。要禁用job commit选项,请将以下代码添加到您的PySpark作业中:
from awsglue.context import GlueContext

glueContext = GlueContext(SparkContext.getOrCreate())

# Disable the job commit option
glueContext.setJobCommit(False)
  1. 如果禁用job commit选项不起作用,请尝试使用AWS CLI进行S3文件夹恢复。以下是AWS CLI命令的示例,用于复制先前保存在S3中的文件夹:
aws s3 cp --recursive s3://your-bucket-name/your-folder s3://your-bucket-name/your-folder-backup/
  1. 此外,您可以尝试设置AWS S3 Lifecycle规则,以确保S3文件夹不会被意外删除。以下是AWS S3控制台中设置Lifecycle规则的示例:
  • 转到S3控制台并选择您的S3存储桶。
  • 单击“Lifecycle”选项卡,然后单击“添加生命周期规则”。
  • 输入规则名称,并为“转换为标准IA存储类型”和“转换为 Glacier 存储类型”指定有效期。
  • 保存规则。

通过上述方法,您可以避免AWS Glue Pyspark作业意外删除S3文件夹。

相关内容

热门资讯

第十分钟辅助!wejoker辅... 第十分钟辅助!wejoker辅助器怎么卖,wepoker免费透视脚本,窍门教程(有挂方式)1、进入游...
十分钟辅助!wepoker-h... 十分钟辅助!wepoker-h5下载,pokernow辅助控制,绝活教程(有挂实锤)1、点击下载安装...
5分钟辅助!aapoker辅助... 5分钟辅助!aapoker辅助器怎么用,wepoker模拟器哪个好用,模板教程(有挂辅助)wepok...
八分钟辅助!wpk官网下载链接... 八分钟辅助!wpk官网下载链接,wpk透视怎么安装,教程书教程(有挂分享)该软件可以轻松地帮助玩家将...
9分钟辅助!wepoker怎么... 9分钟辅助!wepoker怎么买辅助,wepoker安装教程,课程教程(有挂方略)1、wepoker...
第七分钟辅助!hh poker... 第七分钟辅助!hh poker插件下载,wepoker科技辅助器,教程书教程(有挂教程)wepoke...
三分钟辅助!hhpoker脚本... 三分钟辅助!hhpoker脚本下载,hhpoker辅助器,举措教程(有挂教程)三分钟辅助!hhpok...
第8分钟辅助!hhpoker的... 第8分钟辅助!hhpoker的辅助是真的吗,wepoker祈福有用吗,讲义教程(有挂解密)1、第8分...
6分钟辅助!hhpoker是真... 6分钟辅助!hhpoker是真的假的,hhpoker真的有透视吗,演示教程(真是有挂)1、每一步都需...
第七分钟辅助!we poker... 第七分钟辅助!we poker插件,we poker免费辅助器,手筋教程(有挂方式)暗藏猫腻,小编详...