按条件将Pyspark DataFrame拆分为多个DataFrame
创始人
2024-11-08 01:30:44
0

在Pyspark中,可以使用filter()函数根据条件将DataFrame拆分为多个DataFrame。以下是一个示例代码:

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例DataFrame
data = [("Alice", 25, "Female"),
        ("Bob", 30, "Male"),
        ("Charlie", 35, "Male"),
        ("David", 40, "Male"),
        ("Eve", 45, "Female")]

df = spark.createDataFrame(data, ["Name", "Age", "Gender"])

# 按条件将DataFrame拆分为多个DataFrame
male_df = df.filter(df.Gender == "Male")
female_df = df.filter(df.Gender == "Female")

# 打印结果
print("Male DataFrame:")
male_df.show()

print("Female DataFrame:")
female_df.show()

输出结果:

Male DataFrame:
+-------+---+------+
|   Name|Age|Gender|
+-------+---+------+
|    Bob| 30|  Male|
|Charlie| 35|  Male|
|  David| 40|  Male|
+-------+---+------+

Female DataFrame:
+-----+---+------+
| Name|Age|Gender|
+-----+---+------+
|Alice| 25|Female|
|  Eve| 45|Female|
+-----+---+------+

在上述代码中,我们首先创建了一个示例DataFrame,并使用filter()函数将其拆分为两个DataFrame,分别是male_dffemale_df。我们通过指定条件df.Gender == "Male"df.Gender == "Female"来进行拆分。最后,我们使用show()函数打印了两个DataFrame的内容。

相关内容

热门资讯

关于透视!智星德州插件怎么下载... 关于透视!智星德州插件怎么下载,微信小程序微乐辅助器免费版,模板教程(有挂透明挂)-哔哩哔哩1、智星...
关于透视!来玩德州破解器,微信... 关于透视!来玩德州破解器,微信小程序微乐辅助器免费版v2.0免费,手筋教程(有挂透明挂)-哔哩哔哩1...
教你透视!德州透视脚本,微乐小... 教你透视!德州透视脚本,微乐小程序挂哪里有,模块教程(有挂教程)-哔哩哔哩1、实时德州透视脚本透视辅...
揭幕透视!aa poker透视... 揭幕透视!aa poker透视软件,微乐小程序辅助教程,讲义教程(有挂秘诀)-哔哩哔哩1、很好的工具...
详细透视!pokemmo脚本最... 详细透视!pokemmo脚本最新版,微乐自建房辅助可信吗,指南教程(了解有挂)-哔哩哔哩1、首先打开...
必备透视!wepoker能不能... 必备透视!wepoker能不能透视,微乐小程序破解版修改器,模块教程(有挂教学)-哔哩哔哩1、许多玩...
教你透视!hhpoker辅助挂... 教你透视!hhpoker辅助挂下载,微信小程序 微乐陕西挖坑 外挂,教程书教程(有挂技术)-哔哩哔哩...
曝光透视!hhpoker开挂教... 曝光透视!hhpoker开挂教程,微乐江苏小程序游戏破解下载,操作教程(有挂教学)-哔哩哔哩hhpo...
有挂透视!wepoker新号好... 有挂透视!wepoker新号好一点吗,微乐小程序辅助开发透视,绝活教程(有挂讲解)-哔哩哔哩1)we...
解谜透视!wepoker透视有... 解谜透视!wepoker透视有吗,微信小程序微乐家乡辅助器,妙招教程(详细教程)-哔哩哔哩1、该软件...