Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

透视讲解!德扑圈透视,德扑圈透... 透视讲解!德扑圈透视,德扑圈透视挂,介绍教程(有挂技巧)1、构建自己的德扑圈透视挂辅助插件;2、选择...
透视透视“智星德州插件2024... 透视透视“智星德州插件2024最新版”透视辅助神器(都是是有挂)智星德州插件2024最新版辅助器中分...
透视黑科技!德普之星的辅助工具... 透视黑科技!德普之星的辅助工具介绍,德普之星有透视辅助吗,安装教程(有挂辅助);1、德普之星的辅助工...
透视智能ai!哈糖大菠萝怎么挂... 透视智能ai!哈糖大菠萝怎么挂,德州局透视脚本下载安装最新版本,AI教程(有挂解密)德州局透视脚本下...
透视插件!德普之星私人局辅助器... 透视插件!德普之星私人局辅助器,(德普之星)好像真的是有挂,透视教程(有挂教程)1、德普之星私人局辅...
透视计算“pokemmo手机辅... 透视计算“pokemmo手机辅助软件”透视辅助黑科技(切实存在有挂);1、pokemmo手机辅助软件...
透视了解!德普之星透视辅助,德... 透视了解!德普之星透视辅助,德普软件,wepoke教程(有挂介绍)1、任何德普之星透视辅助ai辅助神...
透视透视!佛手在线大菠萝技巧,... 透视透视!佛手在线大菠萝技巧,pokerworld修改器,wpk教程(有挂辅助)1、构建自己的佛手在...
透视免费!德普之星透视软件免费... 透视免费!德普之星透视软件免费入口官网,德普之星透视辅助,微扑克教程(有挂揭秘);亲,关键说明,德普...
透视教程!德州来玩辅助器,智星... 透视教程!德州来玩辅助器,智星德州可以透视吗,玩家教你(有挂黑科技);1、智星德州可以透视吗ai辅助...