AWS Glue Spark ETL 写入 S3 不会触发 S3 事件。
创始人
2024-11-16 05:30:36
0

AWS Glue Spark ETL 写入 S3 不会触发 S3 事件的解决方法是使用 AWS Glue 的 Job Bookmarks 功能。以下是一个示例代码,演示了如何在 Glue Spark ETL 作业中使用 Job Bookmarks:

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

# 获取命令行参数
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

# 创建 Spark Context 和 Glue Context
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# 创建 Glue Job 对象
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# 读取源数据
datasource = glueContext.create_dynamic_frame.from_catalog(database="your-database-name", table_name="your-table-name")

# 进行数据转换和处理
# ...

# 写入目标数据
glueContext.write_dynamic_frame.from_options(
    frame = transformed_data,
    connection_type = "s3",
    connection_options = {"path": "s3://your-bucket-name/your-output-path"},
    format = "parquet"
)

# 完成 Glue Job
job.commit()

在上述代码中,我们使用 glueContext.write_dynamic_frame.from_options() 函数将 Spark Dataframe 或 Glue DynamicFrame 写入到 S3 中。通过将 connection_type 设置为 "s3" 并提供 S3 路径作为 connection_options 参数的一部分,我们可以将数据写入到指定的 S3 路径。

使用 Job Bookmarks 功能时,AWS Glue 会跟踪作业的状态并为每个作业运行维护一个标记。这样,如果作业在中断后重新启动,它将能够从上次中断的位置继续读取和处理数据,而不是从头开始。这样就可以避免重复处理和丢失数据。

要启用 Job Bookmarks 功能,只需在 AWS Glue 控制台或使用 AWS CLI 创建作业时设置 --job-bookmark-option enable

相关内容

热门资讯

5分钟了解(微扑克系统)外挂透... 1、5分钟了解(微扑克系统)外挂透明挂辅助器安装(辅助挂)确实是真的有挂(2020已更新)(哔哩哔哩...
透明软件!wepoke辅助透视... 透明软件!wepoke辅助透视(wepOkE)外挂透明挂辅助APP(辅助挂)切实教程(真是有挂)-哔...
新手必备(WPk)外挂透明挂辅... 新手必备(WPk)外挂透明挂辅助器安装(透视)发牌机制(有挂讲解)-哔哩哔哩;一、WPkAI软件牌型...
分享一款(德扑之星专业)外挂透... 分享一款(德扑之星专业)外挂透明挂辅助软件(透视)辅助透视(有挂技术)-哔哩哔哩;德扑之星专业简单的...
分辨真假!轰趴十三水(wEPO... 这是一款非常优秀的轰趴十三水 ia辅助检测软件,能够让你了解到轰趴十三水中牌率当中全部隐藏参数,与同...
一分钟了解(wpk透视辅助)外... 一分钟了解(wpk透视辅助)外挂透明挂辅助机制(透视)确实是真的有挂(2023已更新)(哔哩哔哩);...
透视透明!Wepoke透明(w... 透视透明!Wepoke透明(wePOKE)外挂透明挂辅助挂(透视)教你教程(有挂实锤)-哔哩哔哩;W...
教程辅助(We辅poker助)... 1、教程辅助(We辅poker助)外挂透明挂辅助挂(辅助挂)透视辅助(今日头条)-哔哩哔哩;该软件可...
解密关于(德扑自定义房间)外挂... 解密关于(德扑自定义房间)外挂透明挂辅助软件(透视)德州ai机器人(有挂教学)-哔哩哔哩;揭秘教程安...
一分钟秒懂!wpk稳赢(Wep... 一分钟秒懂!wpk稳赢(WepokE)外挂透明挂辅助神器(透视)2024新版总结(有挂方法)-哔哩哔...