ApacheSpark的窗口操作不保证顺序。
创始人
2024-09-06 11:30:54
0次

在使用窗口操作的时候要注意数据可能会被重组，导致顺序不确定。可以使用orderBy操作或者sortWithinPartitions操作，将数据按照指定的顺序进行排序，再进行窗口操作。示例代码如下：

val df = Seq( ("Alice", 1), ("Bob", 2), ("Charlie", 3), ("Dave", 4), ("Eva", 5), ("Frank", 6), ("George", 7), ("Hugo", 8), ("Ivan", 9), ("Jack", 10) ).toDF("name", "value")

// 没有排序的窗口操作 df.select( $"name", avg($"value").over(Window.orderBy($"name")).as("avg") ).show()

// 按照name排序后的窗口操作 df.select( $"name", avg($"value").over(Window.orderBy($"name")).as("avg") ).orderBy($"name").show()

上一篇：ApacheSpark的BisectingK-Means算法是否是确定性的？

下一篇：ApacheSpark的map()函数为什么会给我一个“notiterable”错误？

相关内容

热门资讯

aapoker猫腻！德扑ai智... aapoker猫腻！德扑ai智能，（wepOke）总是有挂，分享教程（有挂工具）1、操作简单，无需注...
透视计算！wpk辅助器安装，w... 透视计算！wpk辅助器安装，wpk脚本下载，最新技巧（有挂教学）；1、系统规律教程、辅助透视等服务，...
德扑之星有作弊！wepoke辅... 德扑之星有作弊！wepoke辅助，（WEpoke）都是真的是有挂，详细教程（有挂攻略）；德扑之星有作...
wpk发牌逻辑！aapoker... wpk发牌逻辑！aapoker猫腻，（wepoke）竟然是有挂，解密教程（有挂介绍）1、在wpk发牌...
透视科技！wepoker辅助透... 透视科技！wepoker辅助透视软件，aapoker辅助器怎么用，玩家必看教程（有挂攻略）一、aap...
德扑之星辅助器购买！aapok... 德扑之星辅助器购买！aapoker有挂，（wepoKE）一贯是有挂，存在挂教程（有挂技巧）暗藏猫腻，...
透视挂！智星菠萝辅助怎么买，德... 透视挂！智星菠萝辅助怎么买，德普之星透视辅助ios，分享认知（有挂黑科技）辅助器中分为三种模型：软件...
透视科技！aapoker透视脚... 透视科技！aapoker透视脚本，wpk辅助器下载，一起来讨论（有挂详情）；辅助器中分为三种模型：软...
德扑ai智能！WePoKe外挂... 德扑ai智能！WePoKe外挂，（wepoKE）切实真的有挂，安装教程（有挂脚本）1、每一步都需要思...
透视黑科技！wpk有脚本吗，w... 透视黑科技！wpk有脚本吗，wpk辅助器安装，重大通报（有挂总结）；1、系统规律教程、辅助透视等服务...