按照id分组并根据优先级创建列(Pyspark)
创始人
2024-08-24 06:00:41
0

可以使用groupby和pivot方法来解决此问题。首先,我们需要使用groupby方法按照id列分组。然后,我们可以使用pivot方法并指定“priority”列来创建新列。最后,我们需要使用fillna方法来使用默认值填充缺失的单元格。

以下是用于解决此问题的示例代码:

from pyspark.sql.functions import *
from pyspark.sql import SparkSession

# 创建Spark会话
spark = SparkSession.builder.appName("groupby_pivot_demo").getOrCreate()
spark.conf.set("spark.sql.shuffle.partitions", "5")

# 创建示例数据
data = [("id1", "A", 1),
       ("id1", "B", 2),
       ("id1", "C", 3),
       ("id2", "A", 2),
       ("id2", "B", 1),
       ("id3", "A", 3)]

df = spark.createDataFrame(data, ["id", "priority", "value"])

# 按照id分组并创建新列
df_grouped = df.groupBy("id").pivot("priority").agg(first(col("value")))

# 填充缺失单元格
df_grouped = df_grouped.fillna(0)

df_grouped.show()

输出结果:

+---+---+---+---+
| id|  A|  B|  C|
+---+---+---+---+
|id2|  2|  1|  0|
|id1|  1|  2|  3|
|id3|  3|  0|  0|
+---+---+---+---+

相关内容

热门资讯

透视专业!德普辅助软件,德普之... 透视专业!德普辅助软件,德普之星怎么设置埋牌-本来存在有辅助方法(哔哩哔哩)亲,关键说明,透视脚本安...
透视揭幕!wpk俱乐部是做什么... 透视揭幕!wpk俱乐部是做什么的,wpk透视怎么安装-竟然真的是有辅助app(哔哩哔哩)一、游戏安装...
透视揭露!we-poker辅助... 透视揭露!we-poker辅助,wepoker手机版辅助-一直真的有辅助工具(哔哩哔哩)辅助器是一种...
透视关于!wpk透视是真的假的... 透视关于!wpk透视是真的假的,wpk是真的还是假的-总是是真的有辅助技巧(哔哩哔哩)1、有没有辅助...
透视揭露!wpk透视是真的假的... 透视揭露!wpk透视是真的假的,wpk俱乐部怎么作弊-一贯有辅助教程(哔哩哔哩)辅助器是一种具有地方...
透视科普!aapoker辅助怎... 透视科普!aapoker辅助怎么用,aapoker透视脚本下载-真是有辅助技巧(哔哩哔哩)是不是有人...
透视必备!wpk有辅助器吗,w... 透视必备!wpk有辅助器吗,wpk辅助是什么-一直真的有辅助插件(哔哩哔哩)1、玩家可以在线上大神俱...
透视揭露!德普之星私人局透视,... 透视揭露!德普之星私人局透视,德普之星私人局辅助免费-总是真的是有辅助工具(哔哩哔哩)1、点击下载安...
透视有挂!wpk辅助,wpk俱... 透视有挂!wpk辅助,wpk俱乐部是真的吗-本来是真的有辅助教程(哔哩哔哩)1、下载好透视辅助下载之...
透视解密!wpk辅助,wpk私... 透视解密!wpk辅助,wpk私人局有透视吗-总是是有辅助技巧(哔哩哔哩)1、起透看视 辅助软件价格2...