Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

透视科技!wepoker有用吗... 透视科技!wepoker有用吗,wepoker作弊视频(透视)玩家教程(有挂详情);所有人都在同一条...
透视真的!wepoker透视脚... 透视真的!wepoker透视脚本免费app,wepoker可以免费玩吗(透视)微扑克教程(有挂解密)...
透视线上!wejoker内置辅... 透视线上!wejoker内置辅助,wepoker手机版辅助(透视)细节方法(有挂教程)1、wepok...
透视神器!wepoker养号规... 透视神器!wepoker养号规律,wepoker辅助器如何使用(透视)攻略方法(有挂工具)一、wep...
透视教学!wepoker国外版... 透视教学!wepoker国外版透视,wepoker游戏的安装教程(透视)揭秘教程(有挂脚本);一、w...
透视黑科技!wepoker代打... 透视黑科技!wepoker代打辅助,wepoker亲友圈有用吗(透视)辅助教程(有挂揭秘);进入游戏...
透视黑科技!wepoker私人... 透视黑科技!wepoker私人局俱乐部辅助,wepoker辅助分析器(透视)德州论坛(有挂细节);所...
透视辅助!破解辅助插件wepo... 透视辅助!破解辅助插件wepoker,wepoker破解工具(透视)规律教程(有挂辅助)1、进入游戏...
透视中牌率!wepoker开辅... 透视中牌率!wepoker开辅助能查到吗,wepoker辅助软件价格(透视)线上教程(有挂解密)在进...
透视app!wepoker私人... 透视app!wepoker私人局透视方法,wepokerplus辅助(透视)透明教程(有挂工具)we...