Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0次

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

一分钟了解外挂!新棋联盟外挂多... 一分钟了解外挂!新棋联盟外挂多功能AI插件,新棋联盟切实真的有外挂插件一、新棋联盟游戏安装教程牌型概...
今日公布外挂!多多娱乐外挂多功... 今日公布外挂!多多娱乐外挂多功能AI技巧,多多娱乐切实有外挂技巧1、任何多多娱乐透视是真的假的的玩家...
实测分享透视挂!超稳新城透视挂... 实测分享透视挂!超稳新城透视挂多功能AI脚本,超稳新城果然真的有透视挂脚本1、点击下载安装,超稳新城...
玩家必看分享作弊器!闲玩娱乐鱼... 玩家必看分享作弊器!闲玩娱乐鱼虾蟹作弊器多功能AI方法,闲玩娱乐鱼虾蟹切实是真的有作弊器方法1、闲玩...
分享认知开挂!皇家互娱开挂多功... 分享认知开挂!皇家互娱开挂多功能AI教程,皇家互娱竟然是有开挂教程所有人都在同一条线上,像星星一样排...
玩家科普作弊器!新道游作弊器多... 玩家科普作弊器!新道游作弊器多功能AI技巧,新道游本来是真的有作弊器技巧1、进入游戏-大厅左侧-新手...
今日重大通报透视器!新九方透视... 您好,新九方这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩家在这款游...
终于清楚辅助!四通娱乐3辅助多... 终于清楚辅助!四通娱乐3辅助多功能AIapp,四通娱乐3原来真的是有辅助app所有人都在同一条线上,...
科普分享外挂!闲时互娱外挂多功... 科普分享外挂!闲时互娱外挂多功能AI技巧,闲时互娱原来有外挂技巧1、闲时互娱辅助软件下载优化,闲时互...
玩家必看科普作弊器!魔龙作弊器... 玩家必看科普作弊器!魔龙作弊器多功能AI工具,魔龙一直真的是有作弊器工具1、让任何用户在无需魔龙安装...