AWSGlue中long类型存在时创建struct的问题
创始人
2024-09-25 18:01:27
0

在 AWS Glue 脚本中使用 DynamicFrame 类来处理数据,并将 long 类型转换为字符串类型,再使用 from_python_options 方法将转换后的数据中的数据类型信息添加到 DynamicFrame 中。以下是示例代码:

from awsglue.dynamicframe import DynamicFrame

假设数据源为 S3 上的 CSV 文件

my_data_source = glueContext.create_dynamic_frame_from_options( connection_type="s3", connection_options={"paths": ["s3://my-bucket/my-path"]}, format="csv", format_options={"withHeader": True} )

将数据源中的 long 类型字段转换为字符串类型

transformed_data = my_data_source.toDF().withColumn("my_long_column", my_data_source.toDF()["my_long_column"].cast("string"))

将转换后的数据重新转换为 DynamicFrame 类型,并添加数据类型信息

transformed_dynamic_frame = DynamicFrame.fromDF(transformed_data, glueContext, "transformed_data") transformed_dynamic_frame = transformed_dynamic_frame.from_python_options(schema=[ {"name": "my_long_column", "type": "string"} ])

相关内容

热门资讯

透视透视!pokerworld... 透视透视!pokerworld修改器(透视)xpoker辅助神器,教程经验(有挂透明挂)-哔哩哔哩1...
透视科普!epoker免费透视... 透视科普!epoker免费透视脚本(透视)wepoker怎么看牌型,教程要领(有挂头条)-哔哩哔哩1...
透视揭露!wepoker透视脚... 透视揭露!wepoker透视脚本免费app(透视)wpk私人局辅助是真的吗,教程手册(有挂分析)-哔...
透视曝光!aapoker辅助怎... 透视曝光!aapoker辅助怎么用(透视)wpk插件辅助,教程攻略(有挂讲解)-哔哩哔哩1、打开软件...
透视解密!xpoker透视辅助... 透视解密!xpoker透视辅助(透视)fishpoker透视底牌,教程操作(真是有挂)-哔哩哔哩1、...
透视透视!聚星ai辅助工具收费... 透视透视!聚星ai辅助工具收费多少(透视)wepoker有透视吗,教程方式(有挂解密)-哔哩哔哩1、...
透视普及!如何判断wpk辅助软... 透视普及!如何判断wpk辅助软件的真假(透视)wepoker透视脚本免费使用视频,教程手册(有挂实锤...
透视辅助!aapoker透视怎... 透视辅助!aapoker透视怎么用(透视)德普之星透视辅助,教程方针(确实有挂)-哔哩哔哩1、每一步...
透视有挂!pokerrrr2辅... 透视有挂!pokerrrr2辅助(透视)hhpoker一直输有挂吗,教程法子(果真有挂)-哔哩哔哩h...
透视关于!hhpoker脚本下... 透视关于!hhpoker脚本下载(透视)wepoker怎么买辅助,教程方式(有挂方式)-哔哩哔哩1、...