Assigningparenttosparkrow
创始人
2024-09-20 18:00:08
0

将Spark行分配给父行

通常在处理具有分层结构的数据时,我们会需要为Spark DataFrame中的每一行分配一个父行。这可以通过使用Spark中的Column(列)和struct(结构)类型来实现。

例如,考虑以下数据:

id parent
1 null
2 1
3 1
4 2
5 3

要将每个行Spark分配给其父行,我们可以使用withColumn函数并使用struct类型来创建一个新列。下面是例子:

from pyspark.sql.functions import struct

df = spark.createDataFrame([(1, None), (2, 1), (3, 1), (4, 2), (5, 3)], ["id", "parent"])

Assign parent to each row

df = df.withColumn("row_and_parent", struct("*", "parent"))

Show the result

df.show()

输出结果如下:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 1| null| [1,null] | | 2| 1| [2,1] | | 3| 1| [3,1] | | 4| 2| [4,2] | | 5| 3| [5,3] | +---+------+----------------+

现在,我们可以访问每行的父行并执行操作。例如,要过滤具有id = 4的行的父行,我们可以使用以下代码:

Filter rows with id=4 and its parent row

df.filter("id = 4 or row_and_parent.parent = 4").show()

输出结果:

+---+------+----------------+ | id|parent| row_and_parent| +---+------+----------------+ | 2|

相关内容

热门资讯

透视app“哈糖大菠萝攻略”透... 透视app“哈糖大菠萝攻略”透视辅助机制(果然是真的有挂)1、起透看视 哈糖大菠萝攻略透明视辅助2、...
透视插件!德普之星透视辅助软件... 透视插件!德普之星透视辅助软件是真的吗,(德普之星)真是真的是有挂,微扑克教程(有挂插件);1、德普...
透视游戏“德州透视插件”透视辅... 透视游戏“德州透视插件”透视辅助软件(一贯是真的有挂);1、操作简单,无需注册,只需要使用手机进行登...
透视app!德扑圈有透视吗,德... 透视app!德扑圈有透视吗,德普辅助软件,可靠教程(有挂黑科技);1、在德扑圈有透视吗ai机器人技巧...
透视数据“uupoker透视”... 透视数据“uupoker透视”透视辅助安装(切实有挂)1)uupoker透视辅助挂:进一步探索uup...
透视挂!德普之星app安卓版破... 透视挂!德普之星app安卓版破解版,(德普之星)其实真的有挂,攻略教程(有挂介绍);1、操作简单,无...
透视安卓版“newpoker脚... 透视安卓版“newpoker脚本”透视辅助下载(真是真的有挂);1、金币登录送、破产送、升级送、活动...
透视计算“德州透视脚本”透视辅... 透视计算“德州透视脚本”透视辅助app(果然有挂)1、每一步都需要思考,不同水平的挑战会更加具有挑战...
透视透视!德普之星辅助器怎么用... 透视透视!德普之星辅助器怎么用,德扑圈有透视吗,必赢教程(有挂教程);亲,关键说明,德普之星辅助器怎...
透视有挂“德州辅助工具到底怎么... 透视有挂“德州辅助工具到底怎么样”透视辅助挂(切实有挂)1、金币登录送、破产送、升级送、活动送。详细...