Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

透视辅助!aapoker ai... 透视辅助!aapoker ai插件,aapoker破解侠是真的吗,详细教程(有挂辅助);小薇(透视辅...
一分钟了解!pokemomo辅... 一分钟了解!pokemomo辅助工具,poker红龙辅助,介绍教程(有挂辅助)1、打开软件启动之后找...
透视辅助“aapoker公共底... 透视辅助“aapoker公共底牌”详细插件下载(有挂技巧);1、超多福利:超高返利,海量正版游戏,a...
9分钟了解!拱趴大菠萝挂,约局... 9分钟了解!拱趴大菠萝挂,约局吧怎么看有没有挂,2025新版(有挂工具);1、让任何用户在无需约局吧...
透视辅助“aapoker怎么设... 透视辅助“aapoker怎么设置提高好牌几率”详细ai插件(有挂揭秘)1、很好的工具软件,可以解锁游...
如何分辨真伪!pokernow... 如何分辨真伪!pokernow辅助控制,pokemmo脚本辅助,wpk教程(有挂解说);1、点击下载...
透视辅助!aapoker插件,... 透视辅助!aapoker插件,aapoker安装包怎么使用,详细教程(有挂详情);1、在aapoke...
科技通报!xpoker辅助控制... 科技通报!xpoker辅助控制,agpoker辅助,技巧教程(有挂解说)1、这是跨平台的xpoker...
透视辅助!aapoker透视方... 透视辅助!aapoker透视方法,aapoker怎么设置提高好牌几率,详细教程(有挂插件)一、aap...
专业讨论!大菠萝免费辅助,xp... 专业讨论!大菠萝免费辅助,xpoker透视辅助,wpk教程(有挂介绍)1、大菠萝免费辅助ai辅助优化...