AWSGlue-无法在unnest或relationalize后选择字段
创始人
2024-09-25 14:31:19
0

当使用 AWS Glue 的 unnest() 或 relationalize() 转换操作时,有时可能会遇到无法选择字段的问题。这是由于转换操作会将嵌套的数据转换成平面表,从而使得原来的结构信息丢失。

为了解决这个问题,我们可以使用 select() 函数来选择所需的字段。下面是一个示例代码:

from pyspark.sql.functions import col, select

读取数据源并转换为 DataFrame

df = glueContext.create_dynamic_frame.from_catalog(database="my_database", table_name="my_table").toDF()

通过 unnest() 转换操作,将嵌套数据转换为平面表

df = df.select(col("id"), col("name"), explode(col("address")).alias("address")).select("", "address.").drop("address")

通过 select() 函数选择所需的字段

df = df.select(col("id"), col("name"), col("location"), col("state"))

输出结果

df.show()

在上面的代码中,我们首先读取数据源并转换为 DataFrame。然后使用 unnest() 转换操作将嵌套的数据转换成平面表,接着使用 select() 函数选择所需的字段。最后输出结果即可。

相关内容

热门资讯

透视新版!智星德州有脚本吗,四... 透视新版!智星德州有脚本吗,四川长牌皮皮游戏挂,透明教程(有挂攻略);致您一封信;亲爱四川长牌皮皮游...
带你了解!微扑克专用辅助器,W... 带你了解!微扑克专用辅助器,WePoKe透明挂,辅助教程(起初存在有挂)WePoKe透明挂辅助器中分...
透视游戏!wepoker辅助下... 透视游戏!wepoker辅助下载,创思维激k辅助器免费,可靠教程(有挂技巧)准备好在创思维激k辅助器...
技术分享!wepkoe有外挂么... 技术分享!wepkoe有外挂么,wepoke确实有挂,安装教程(总是存在有挂)1、wepoke确实有...
透视科技!wepoker脚本下... 透视科技!wepoker脚本下载,四川家园游戏辅助,技巧教程(有挂神器),支持语音通讯、好友开房及战...
查到实测辅助!wopoker有... 查到实测辅助!wopoker有没有外挂,aapoker有猫腻,新版2025教程(最初存在有挂)是一款...
教程辅助!德州aapoker俱... 教程辅助!德州aapoker俱乐部外挂,wepoke的确有挂,解说技巧(好像有挂)1、很好的工具软件...
透视玄学!wepoker辅助透... 透视玄学!wepoker辅助透视软件,甘肃白银麻将辅助软件,必备教程(有挂透视);玩家必备必赢加哟《...
透视辅助!德普之星透视辅助,方... 此外,数据分析德州(方片十三张外挂)辅助神器app还具备辅助透视行为开挂功能,通过对客户方片十三张外...
科技揭秘!微扑克app,wep... 自定义wepower有外挂系统规律,只需要输入自己想要的开挂功能,一键便可以生成出微扑克专用辅助器,...