Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

一分钟透明!魅刻竞技有外 挂嘛... 一分钟透明!魅刻竞技有外 挂嘛,wpk如何才能稳定长期收益(详细透视辅助黑科技教程);亲,其实确实真...
六分钟总结!喜喜斗地主有挂吗,... 六分钟总结!喜喜斗地主有挂吗,微扑克ai机器人(详细透视辅助器教程)是一款可以让一直输的玩家,快速成...
十分钟透明!多乐跑得快有猫腻吗... 相信很多朋友都在电脑上玩过多乐跑得快有猫腻吗吧,但是很多朋友都在抱怨用电脑玩起来不方便。为此小编给大...
4分钟详情!三哥玩有没有外挂,... 4分钟详情!三哥玩有没有外挂,Aapoker app(详细透视辅助app教程)是一款可以让一直输的玩...
9分钟总结!浙江宝宝游戏辅助,... 《9分钟总结!浙江宝宝游戏辅助,德扑之星可以查数据(详细透视辅助脚本教程)》 浙江宝宝游戏辅助软件透...
2分钟详情!康娱麻将有挂吗,w... 2分钟详情!康娱麻将有挂吗,wpk俱乐部有ai(详细透视辅助黑科技教程)1、点击下载安装,微扑克wp...
8分钟黑科技!碧海麻将是不是有... 8分钟黑科技!碧海麻将是不是有挂的,wopoker德州真的有挂(详细透视辅助插件教程)科技教程也叫必...
4分钟教学!微信麻将雀神有挂吗... 4分钟教学!微信麻将雀神有挂吗,wpk微扑克辅助是真的(详细透视辅助器教程);微信麻将雀神有挂吗黑科...
8分钟详情!天天微友有辅助吗,... 8分钟详情!天天微友有辅助吗,gg扑克实战(详细透视辅助挂教程)这是由厦门游乐互动科技有限公司精心打...
7分钟技巧!微信小程序干瞪眼开... 7分钟技巧!微信小程序干瞪眼开挂,wpk可以提高胜率(详细透视辅助脚本教程);《WPK辅助透视》‌:...