AWSGlue-无法在unnest或relationalize后选择字段
创始人
2024-09-25 14:31:19
0

当使用 AWS Glue 的 unnest() 或 relationalize() 转换操作时,有时可能会遇到无法选择字段的问题。这是由于转换操作会将嵌套的数据转换成平面表,从而使得原来的结构信息丢失。

为了解决这个问题,我们可以使用 select() 函数来选择所需的字段。下面是一个示例代码:

from pyspark.sql.functions import col, select

读取数据源并转换为 DataFrame

df = glueContext.create_dynamic_frame.from_catalog(database="my_database", table_name="my_table").toDF()

通过 unnest() 转换操作,将嵌套数据转换为平面表

df = df.select(col("id"), col("name"), explode(col("address")).alias("address")).select("", "address.").drop("address")

通过 select() 函数选择所需的字段

df = df.select(col("id"), col("name"), col("location"), col("state"))

输出结果

df.show()

在上面的代码中,我们首先读取数据源并转换为 DataFrame。然后使用 unnest() 转换操作将嵌套的数据转换成平面表,接着使用 select() 函数选择所需的字段。最后输出结果即可。

相关内容

热门资讯

备受关注的!桃乐甘肃麻将辅助器... 备受关注的!桃乐甘肃麻将辅助器(辅助)果然真的是有辅助器(有挂透明挂)1)桃乐甘肃麻将辅助器免费钻石...
为了进一步!多乐跑得快辅助器(... 为了进一步!多乐跑得快辅助器(辅助)原来是真的有辅助挂(有挂实锤);1、多乐跑得快辅助器有没有辅助教...
长期以来!hhpoker是正规... 长期以来!hhpoker是正规平台吗(辅助)其实确实有辅助技巧(有挂秘笈)1、完成hhpoker是正...
2026版攻略!欢乐达人暗堡链... 2026版攻略!欢乐达人暗堡链接脚本(辅助)原来是真的有辅助方法(有挂存在)1、很好的工具软件,可以...
这一问题亟待解决!哈局八张挂辅... 这一问题亟待解决!哈局八张挂辅助(辅助)切实是真的有辅助插件(有挂分享)1、每一步都需要思考,不同水...
复盘辅助挂!疯狂联盟辅助器(辅... 复盘辅助挂!疯狂联盟辅助器(辅助)其实是真的有辅助app(有挂头条)1、疯狂联盟辅助器免费辅助多个强...
据玩家消息!钱柜手游辅助(辅助... 据玩家消息!钱柜手游辅助(辅助)一直确实有辅助插件(有挂方略)1、完成钱柜手游辅助辅助器v3.3的残...
更值得关注的是!琼崖海南麻将辅... 更值得关注的是!琼崖海南麻将辅助器(辅助)切实确实有辅助攻略(有人有挂)1.琼崖海南麻将辅助器 选牌...
现就发布提示!亲友圈辅助吧(辅... 现就发布提示!亲友圈辅助吧(辅助)好像存在有辅助app(新版有挂)1、这是跨平台的亲友圈辅助吧轻量版...
于此同时!博雅棋牌辅助器(辅助... 于此同时!博雅棋牌辅助器(辅助)确实真的有辅助器(真的有挂)1、博雅棋牌辅助器辅助器安装包、博雅棋牌...