按照指定列进行分组并在PySpark数据帧中创建新列
创始人
2024-08-26 07:30:05
0

在PySpark中,可以使用groupBywithColumn方法来按照指定列进行分组并创建新列。

以下是一个示例代码:

# 导入必要的模块
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 创建SparkSession对象
spark = SparkSession.builder.getOrCreate()

# 创建示例数据帧
data = [("Alice", 25, "A"),
        ("Bob", 30, "B"),
        ("Alice", 35, "A"),
        ("Bob", 40, "B")]

df = spark.createDataFrame(data, ["Name", "Age", "Group"])

# 按照指定列进行分组,并创建新列"Average Age"来计算每个组的平均年龄
df_with_avg_age = df.groupBy("Group").agg({"Age": "avg"}).withColumnRenamed("avg(Age)", "Average Age")

# 显示结果
df_with_avg_age.show()

运行以上代码,将会得到以下输出:

+-----+-----------+
|Group|Average Age|
+-----+-----------+
|    B|       35.0|
|    A|       30.0|
+-----+-----------+

在上面的代码中,我们使用groupBy方法按照"Group"列进行分组,并使用agg方法计算每个组的平均年龄。然后,使用withColumnRenamed方法为结果列重命名为"Average Age"。最后,使用show方法显示结果数据帧。

相关内容

热门资讯

第二分钟辅助!wepokerp... 第二分钟辅助!wepokerplus脚本,hhpoker德州牛仔视频,机巧教程(有挂技术)1、全新机...
四分钟辅助!HH平台挂,pok... 四分钟辅助!HH平台挂,pokemmo修改器手机版,攻略教程(有挂存在)1、pokemmo修改器手机...
第2分钟辅助!wepoker底... 第2分钟辅助!wepoker底牌透视,aapoker怎么开辅助器,演示教程(有挂解惑)1、玩家可以在...
第2分钟辅助!wpk透视怎么安... 第2分钟辅助!wpk透视怎么安装,wepoker手机助手,手段教程(有挂教学)1、wpk透视怎么安装...
七分钟辅助!wepoker免费... 您好,wepoker免费脚本弱密码这款游戏可以开挂的,确实是有挂的,需要了解加去威信【1367043...
第6分钟辅助!wejoker开... 第6分钟辅助!wejoker开挂,aa poker辅助,妙计教程(有挂细节)1、aa poker辅助...
6分钟辅助!德州透视脚本,hh... 6分钟辅助!德州透视脚本,hh poker软件,教程书教程(真的有挂)1、任何德州透视脚本透视是真的...
十分钟辅助!pokemmo手机... 十分钟辅助!pokemmo手机版脚本免费,wepoker祈福有用吗,手段教程(有挂方式)1、poke...
第2分钟辅助!wepoker免... 第2分钟辅助!wepoker免费脚本咨询,wepoker透视器免费,积累教程(有挂总结)wepoke...
第六分钟辅助!aapoker怎... 第六分钟辅助!aapoker怎么设置提高好牌几率,德普之星透视免费,法子教程(有挂猫腻)所有人都在同...