Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

总算了解!pokemmo脚本最... 总算了解!pokemmo脚本最新版(透视)一直存在有挂(2025已更新)(哔哩哔哩);1、全新机制【...
查到实测!佛手大菠萝有挂吗(透... 查到实测!佛手大菠萝有挂吗(透视)好像有挂(2021已更新)(哔哩哔哩);1、每一步都需要思考,不同...
透视教程书!德普之星私人局辅助... 透视教程书!德普之星私人局辅助器,(德普)本来真的有挂(详细免费透视);1、很好的工具软件,可以解锁...
揭秘一下!pokerworld... 揭秘一下!pokerworld修改器(透视)好像是真的有挂(2023已更新)(哔哩哔哩)1)poke...
透视技法!德普之星辅助软件,(... 透视技法!德普之星辅助软件,(德扑之心)本来真的是有挂(详细私人局辅助器)1、上手简单,内置详细流程...
发现玩家!哈糖大菠萝助手(透视... 发现玩家!哈糖大菠萝助手(透视)一贯有挂(2022已更新)(哔哩哔哩)1)哈糖大菠萝助手辅助挂:进一...
透视经验!德普之星有辅助软件吗... 透视经验!德普之星有辅助软件吗(透视)透视辅助软件(原来是有挂);1、该软件可以轻松地帮助玩家将德普...
玩家科普!pokemmo手机辅... 玩家科普!pokemmo手机辅助软件(透视)总是存在有挂(2023已更新)(哔哩哔哩)1、全新机制【...
透视办法!德普之星透视辅助软件... 透视办法!德普之星透视辅助软件下载(透视)透视辅助(都是有挂)1、操作简单,无需注册,只需要使用手机...
一分钟教会你!cloudpok... 一分钟教会你!cloudpoker怎么开挂(透视)一直是真的有挂(2025已更新)(哔哩哔哩)1、每...