AWSGlue:在写入后保持分区列作为行值。
创始人
2024-09-25 18:31:38
0

可以使用以下代码示例在写入后保持分区列作为行值:

在您的脚本中添加以下行:

job = Job(glueContext) job.init('myjob')

Set up logging

logger = glueContext.get_logger()

Set up glue argument parser and parse arguments

glue_parser = argparse.ArgumentParser(description='Arguments for my glue job') glue_parser.add_argument('--s3_destination_path', type=str, required=True, help='S3 destination path where the data should be written') args = glue_parser.parse_args()

Set destination path

s3_destination_path = args.s3_destination_path

Create dynamic frame

input_dyf = glueContext.create_dynamic_frame.from_catalog(database="mydb", table_name="mytable")

Convert dynamic frame to data frame

input_df = input_dyf.toDF()

Write data frame as partitioned parquet files in S3

input_df.write
.partitionBy('partition_column')
.parquet(s3_destination_path)

Read partitioned parquet files from S3 as data frame

output_df = spark.read
.parquet(s3_destination_path)

Drop partition column from data frame

output_df = output_df.drop('partition_column')

Add partition column with corresponding value as row value

output_df = output_df.withColumn('partition_column', lit('value'))

Write final data frame as non-partitioned parquet file in S3

output_df.write
.parquet(s3_destination_path)

相关内容

热门资讯

为了进一步!科乐游戏辅助脚本下... 为了进一步!科乐游戏辅助脚本下载"真是真的是有辅助软件"(哔哩哔哩)一、科乐游戏辅助脚本下载游戏安装...
截至发稿!天酷辅助巡查系统&q... 截至发稿!天酷辅助巡查系统"确实真的是有辅助脚本"(哔哩哔哩)1、天酷辅助巡查系统透视辅助软件激活码...
2026版教程!指尖四川辅助脚... 2026版教程!指尖四川辅助脚本视频"一直存在有辅助方法"(哔哩哔哩)该软件可以轻松地帮助玩家将指尖...
第三方辅助!蜀山四川免费辅助软... 第三方辅助!蜀山四川免费辅助软件"果然存在有辅助工具"(哔哩哔哩)1、这是跨平台的蜀山四川免费辅助软...
网友热议!顺兴茶楼开挂&quo... 网友热议!顺兴茶楼开挂"原来是真的有辅助器"(哔哩哔哩)顺兴茶楼开挂破解侠是真的助透视。每个模型中均...
受玩家影响!途游辅助器&quo... 受玩家影响!途游辅助器"真是是有辅助app"(哔哩哔哩);1、途游辅助器公共底牌简单,途游辅助器透视...
据公告内容!潮友会辅助&quo... 据公告内容!潮友会辅助"确实是真的有辅助技巧"(哔哩哔哩)潮友会辅助透视方法中分为三种模型:潮友会辅...
此事引发广泛关注!牛总管一定要... 此事引发广泛关注!牛总管一定要牛辅助"真是真的是有辅助挂"(哔哩哔哩)1、进入游戏-大厅左侧-新手福...
今天下午!开心门一番有挂吗&q... 今天下午!开心门一番有挂吗"好像确实有辅助工具"(哔哩哔哩)1、开心门一番有挂吗脚本辅助下载、开心门...
做出回应!柚子联盟辅助脚本&q... 做出回应!柚子联盟辅助脚本"真是确实有辅助技巧"(哔哩哔哩)1.柚子联盟辅助脚本 选牌创建新账号,点...