AWSGlue-无法在unnest或relationalize后选择字段
创始人
2024-09-25 14:31:19
0

当使用 AWS Glue 的 unnest() 或 relationalize() 转换操作时,有时可能会遇到无法选择字段的问题。这是由于转换操作会将嵌套的数据转换成平面表,从而使得原来的结构信息丢失。

为了解决这个问题,我们可以使用 select() 函数来选择所需的字段。下面是一个示例代码:

from pyspark.sql.functions import col, select

读取数据源并转换为 DataFrame

df = glueContext.create_dynamic_frame.from_catalog(database="my_database", table_name="my_table").toDF()

通过 unnest() 转换操作,将嵌套数据转换为平面表

df = df.select(col("id"), col("name"), explode(col("address")).alias("address")).select("", "address.").drop("address")

通过 select() 函数选择所需的字段

df = df.select(col("id"), col("name"), col("location"), col("state"))

输出结果

df.show()

在上面的代码中,我们首先读取数据源并转换为 DataFrame。然后使用 unnest() 转换操作将嵌套的数据转换成平面表,接着使用 select() 函数选择所需的字段。最后输出结果即可。

相关内容

热门资讯

2分钟透视!心悦手游辅助(辅助... 2分钟透视!心悦手游辅助(辅助挂)一贯是有挂的(wpk教程开挂辅助软件)>>您好:软件加薇13670...
推荐一款!福建天天开心辅助工具... 推荐一款!福建天天开心辅助工具,创思维激k辅助工具,必胜教程(竟然有挂)-哔哩哔哩;亲,有的,ai轻...
两分钟了解!战神辅助众包(辅助... 两分钟了解!战神辅助众包(辅助挂)原来是有挂(玩家教程开挂辅助下载)《详细加薇136704302咨询...
玩家必看分享!玉海楼茶苑app... 玩家必看分享!玉海楼茶苑app辅助,wepoker辅助软件价格,细节方法(真的有挂)-哔哩哔哩;we...
1分钟详情!手机卡五星辅助软件... >>您好:手机卡五星辅助软件确实是有挂的,很多玩家在这款手机卡五星辅助软件游戏中打牌都会发现很多用户...
分享个大家!微乐江苏小程序游戏... 分享个大家!微乐江苏小程序游戏破解下载,杭州都莱辅助软件有没有用,存在挂教程(的确有挂)-哔哩哔哩;...
第四分钟开挂!四川血战到底攻略... 第四分钟开挂!四川血战到底攻略(辅助挂)其实有挂(AI教程开挂辅助安装)四川血战到底攻略ai黑科技系...
透视线上!四川途游小程序辅助,... 透视线上!四川途游小程序辅助,欢乐情怀辅助挂,微扑克教程(存在有挂)-哔哩哔哩;相信小伙伴都知道这个...
4分钟透视!鄱阳翻精辅助软件(... 4分钟透视!鄱阳翻精辅助软件(辅助挂)果然是有挂的(攻略教程!开挂辅助工具)>>您好:软件加1367...
必备教程!新海贝之城app破解... 必备教程!新海贝之城app破解,陕西奇迹打锅子破解,教你攻略(存在有挂)-哔哩哔哩;陕西奇迹打锅子破...