AWSGlue:在写入后保持分区列作为行值。
创始人
2024-09-25 18:31:38
0

可以使用以下代码示例在写入后保持分区列作为行值:

在您的脚本中添加以下行:

job = Job(glueContext) job.init('myjob')

Set up logging

logger = glueContext.get_logger()

Set up glue argument parser and parse arguments

glue_parser = argparse.ArgumentParser(description='Arguments for my glue job') glue_parser.add_argument('--s3_destination_path', type=str, required=True, help='S3 destination path where the data should be written') args = glue_parser.parse_args()

Set destination path

s3_destination_path = args.s3_destination_path

Create dynamic frame

input_dyf = glueContext.create_dynamic_frame.from_catalog(database="mydb", table_name="mytable")

Convert dynamic frame to data frame

input_df = input_dyf.toDF()

Write data frame as partitioned parquet files in S3

input_df.write
.partitionBy('partition_column')
.parquet(s3_destination_path)

Read partitioned parquet files from S3 as data frame

output_df = spark.read
.parquet(s3_destination_path)

Drop partition column from data frame

output_df = output_df.drop('partition_column')

Add partition column with corresponding value as row value

output_df = output_df.withColumn('partition_column', lit('value'))

Write final data frame as non-partitioned parquet file in S3

output_df.write
.parquet(s3_destination_path)

相关内容

热门资讯

第六分钟透视!微乐小程序游戏破... 第六分钟透视!微乐小程序游戏破解器(辅助挂)原来是有挂(普及教程开挂辅助神器);无需打开直接搜索薇:...
5分钟发现!广西友乐解码器下载... 5分钟发现!广西友乐解码器下载安装(辅助挂)果然是有挂(介绍教程开挂辅助安装) 了解更多开挂安装加(...
第六分钟科普!湖北休闲辅助(辅... 第六分钟科普!湖北休闲辅助(辅助挂)一直确实有挂(安装教程开挂辅助神器)1、下载安装好湖北休闲辅助,...
第二分钟辅助!至余干辅助(辅助... 第二分钟辅助!至余干辅助(辅助挂)其实确实有挂(教你攻略开挂辅助平台) >>您好:软件加薇13670...
7分钟辅助!仟众部落辅助(辅助... 7分钟辅助!仟众部落辅助(辅助挂)其实确实有挂(德州论坛开挂辅助平台);亲,仟众部落辅助这款游戏原来...
三分钟详情!玄龙辅助工具(辅助... 三分钟详情!玄龙辅助工具(辅助挂)一直确实有挂(规律教程开挂辅助软件);无需打开直接搜索微信(136...
第二分钟讲解!浙江游戏辅助(辅... 您好:浙江游戏辅助这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
十分钟了解!福建天天开心福州器... 十分钟了解!福建天天开心福州器真的假的(辅助挂)原来有挂(安装教程开挂辅助安装);无需打开直接搜索加...
第6分钟科普!微信随意玩辅助器... 您好:这款微信随意玩辅助器有开挂吗游戏是可以开挂的,确实是有挂的,很多玩家在这款微信随意玩辅助器有开...
第七分钟发现!情怀游戏字牌辅助... 第七分钟发现!情怀游戏字牌辅助(辅助挂)一直真的是有挂(黑科技教程开挂辅助神器);无需打开直接搜索打...