Assigningparenttosparkrow
将Spark行分配给父行
通常在处理具有分层结构的数据时，我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column（列）和struct（结构）类型来实现。
例如，考虑以下数据：
| id | parent |
|---|---|
| 1 | null |
| 2 | 1 |
| 3 | 1 |
| 4 | 2 |
| 5 | 3 |
要将每个行Spark分配给其父行，我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子：
from pyspark.sql.functions import struct
df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])
Assign parent to each row
df = df.withColumn("row_and_parent", struct("*", "parent"))
Show the result
df.show()
输出结果如下：
+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+
现在，我们可以访问每行的父行并执行操作。例如，要过滤具有id = 4的行的父行，我们可以使用以下代码：
Filter rows with id=4 and its parent row
df.filter("id = 4 or row_and_parent.parent = 4").show()
输出结果：
+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|