按照id列的顺序,将Spark DataFrame拆分为两个DataFrame(70%和30%)。
创始人
2024-11-09 03:00:11
0

可以使用randomSplit函数将Spark DataFrame拆分为两个DataFrame,代码示例如下:

import org.apache.spark.sql.{SparkSession, DataFrame}

val spark = SparkSession.builder().appName("Split DataFrame").master("local").getOrCreate()

// 创建示例DataFrame
val data = Seq(
  (1, "John", 25),
  (2, "Jane", 30),
  (3, "Bob", 35),
  (4, "Alice", 40),
  (5, "Mark", 45)
).toDF("id", "name", "age")

// 按照id列进行排序
val sortedData = data.sort("id")

// 将DataFrame拆分为70%和30%
val Array(df1, df2) = sortedData.randomSplit(Array(0.7, 0.3))

// 打印拆分后的结果
println("DataFrame 1:")
df1.show()

println("DataFrame 2:")
df2.show()

上述代码首先创建了一个示例的Spark DataFrame,然后按照id列进行排序。接着使用randomSplit函数将DataFrame拆分为70%和30%两部分,最后分别打印出拆分后的结果。

相关内容

热门资讯

总结透视!wepoker有没有... 总结透视!wepoker有没有挂,微乐云南小程序辅助器,方式教程(有挂存在)-哔哩哔哩1、wepok...
科普透视!hhpoker的辅助... 科普透视!hhpoker的辅助是真的吗,微乐自建房辅助可信吗,大纲教程(有挂头条)-哔哩哔哩1、操作...
详细透视!德普之星透视,微乐小... 详细透视!德普之星透视,微乐小程序辅助器脚本,课程教程(有挂总结)-哔哩哔哩1、用户打开应用后不用登...
推荐透视!wepoker透视器... 推荐透视!wepoker透视器免费,微乐广西自建房免费黑科技下载,窍要教程(有挂技术)-哔哩哔哩1、...
推荐透视!xpoker辅助工具... 推荐透视!xpoker辅助工具,微乐小程序辅助工具2025,手筋教程(讲解有挂)-哔哩哔哩1、xpo...
必备透视!德普之星透视辅助软件... 必备透视!德普之星透视辅助软件激活码,微信小程序辅助器脚本,课程教程(有挂实锤)-哔哩哔哩1、金币登...
详细透视!hhpoker德州牛... 详细透视!hhpoker德州牛仔视频,微乐游戏辅助脚本安装,阶段教程(果真有挂)-哔哩哔哩1、hhp...
关于透视!wepoker养号规... 关于透视!wepoker养号规律,微乐春天扑克开挂辅助插件,大纲教程(有挂分析)-哔哩哔哩wepok...
解迷透视!哈糖大菠萝怎么开挂,... 解迷透视!哈糖大菠萝怎么开挂,微乐家乡麻辣自建房,经验教程(确实有挂)-哔哩哔哩小薇(辅助器软件下载...
必备透视!aapoker ai... 必备透视!aapoker ai插件,微信小程序微乐安徽辅助器,大纲教程(有挂秘籍)-哔哩哔哩该软件可...