Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0次

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

总算了解透视器!天久大厅透视器... 总算了解透视器!天久大厅透视器多功能AI软件,天久大厅一贯真的有透视器软件1、许多玩家不知道天久大厅...
玩家实测透视器!美人透视器多功... 玩家实测透视器!美人透视器多功能AI技巧,美人竟然真的有透视器技巧1、玩家可以在美人线上大神俱乐部对...
必知教程透视器!新乐酷副厅透视... 必知教程透视器!新乐酷副厅透视器多功能AIapp,新乐酷副厅真是存在有透视器app1、该软件可以轻松...
热点推荐透视挂!新鸿狐透视挂多... 热点推荐透视挂!新鸿狐透视挂多功能AI工具,新鸿狐其实有透视挂工具1、新鸿狐透视辅助软件激活码多个强...
带你了解辅助!椰子大厅辅助多功... 带你了解辅助!椰子大厅辅助多功能AI攻略,椰子大厅总是真的有辅助攻略椰子大厅是不是有人用挂微扑克wp...
每日必看推荐作弊器!八戒大厅作... 每日必看推荐作弊器!八戒大厅作弊器多功能AI插件,八戒大厅竟然存在有作弊器插件八戒大厅破解侠是真的助...
盘点十款透视器!新星辰透视器多... 盘点十款透视器!新星辰透视器多功能AI工具,新星辰总是是有透视器工具暗藏猫腻,小编详细说明新星辰破解...
热门推荐辅助!圣光大厅辅助多功... 热门推荐辅助!圣光大厅辅助多功能AI攻略,圣光大厅一贯有辅助攻略1、玩家可以在圣光大厅线上大神俱乐部...
实测教程辅助!多多娱乐辅助多功... 实测教程辅助!多多娱乐辅助多功能AI技巧,多多娱乐一直真的有辅助技巧1、点击下载安装,多多娱乐脚本分...
玩家交流外挂!金足互娱外挂多功... 玩家交流外挂!金足互娱外挂多功能AI技巧,金足互娱切实是有外挂技巧1)金足互娱有没有挂:进一步探索金...