Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

透视计算!德普之星透视辅助(透... 透视计算!德普之星透视辅助(透视)透视免费(原来存在有挂)在进入德普之星透视辅助辅助挂后,参与本局比...
透视教学!aapoker怎么提... 透视教学!aapoker怎么提高中牌率(透视)万能辅助器(竟然存在有挂);1、aapoker怎么提高...
透视神器!aapoker万能辅... 透视神器!aapoker万能辅助器(透视)真的假的(其实是真的有挂)1、完成aapoker万能辅助器...
透视新版!德普之星辅助器(透视... 透视新版!德普之星辅助器(透视)私人局辅助器(本来有挂)透视新版!德普之星辅助器(透视)私人局辅助器...
透视苹果版!aapoker怎么... 透视苹果版!aapoker怎么提高中牌率(透视)透视插件(本来真的是有挂)1、aapoker怎么提高...
透视软件!德扑之心免费透视(透... 透视软件!德扑之心免费透视(透视)透视辅助软件激活码(本来是有挂)1)德扑之心免费透视辅助挂:进一步...
透视ai代打!aapoker怎... 透视ai代打!aapoker怎么设置提高好牌几率(透视)辅助插件工具(本来真的是有挂)aapoker...
透视系统!德普之星辅助器app... 透视系统!德普之星辅助器app(透视)透视(确实真的是有挂)1、德普之星辅助器appai辅助优化,德...
透视讲解!德普之星的辅助工具介... 透视讲解!德普之星的辅助工具介绍(透视)辅助器app(都是是有挂)1、全新机制【德普之星的辅助工具介...
透视好牌!aapoker怎么控... 透视好牌!aapoker怎么控制牌(透视)透视脚本(一贯是有挂);1、起透看视 aapoker怎么控...