ApacheSpark在哪里进行输出压缩？ _程序开发

创始人

2024-09-06 12:01:09

0次

Apache Spark在输出rdd数据时，可以通过设置压缩格式进行压缩输出。具体实现方式如下所示：

val sparkConf = new SparkConf().setAppName("compressionTest") val sc = new SparkContext(sparkConf)

// 定义一个rdd，进行压缩输出试验 val data = Array("hello world", "hi", "hello spark", "hi spark") val rdd = sc.parallelize(data)

// 使用gzip压缩格式进行输出压缩 rdd.saveAsTextFile("/data/output", classOf[GzipCodec])

通过调用saveAsTextFile函数，可以对输出的rdd进行设置压缩格式的操作。上述代码通过使用GzipCodec压缩格式进行了压缩输出。可以根据需要选择其他的压缩格式进行试验。

热门推荐！微信小程序多功能辅助... 热门推荐！微信小程序多功能辅助，盛世辅助器，详细app（有挂神器）1、实时微信小程序多功能辅助透视辅...

最新技巧！黑科技微乐小程序辅助... 最新技巧！黑科技微乐小程序辅助器免费，随意玩工具箱辅助器，详细教程（真是有挂）1、点击下载安装，黑科...

盘点十款！乐乐围棋入门辅助，小... 盘点十款！乐乐围棋入门辅助，小程序游戏赴沪期，详细app（有挂教学）1、首先打开小程序游戏赴沪期辅助...

实操分享！新超凡手游辅助，雀友... 实操分享！新超凡手游辅助，雀友会广东潮汕麻雀万能辅助器，详细挂（有挂教程）1、全新机制【雀友会广东潮...

一起来探讨！纳祥游戏脚本，微信... 一起来探讨！纳祥游戏脚本，微信小程序辅助工具，详细攻略（有挂解惑）1、这是跨平台的微信小程序辅助工具...

一分钟揭秘！新八戒辅助，挂是真... 一分钟揭秘！新八戒辅助，挂是真的假的，详细器（确实有挂）1、全新机制【挂是真的假的ai辅助工具激活码...

最新通报！微信小程序微乐房间怎... 最新通报！微信小程序微乐房间怎么开挂，打哈儿床将辅助最新，详细软件（有挂技巧）1、全新机制【微信小程...

玩家实测！欢乐达人暗堡破解，赣... 您好，欢乐达人暗堡破解这款游戏可以开挂的，确实是有挂的，需要了解加去威信【136704302】很多玩...

一分钟揭秘！情怀手机麻将辅助器... 一分钟揭秘！情怀手机麻将辅助器，功夫川麻辅助，详细工具（详细教程）1、金币登录送、破产送、升级送、活...

今日科普！微信广东雀神挂件辅助... 今日科普！微信广东雀神挂件辅助，对战互娱辅助系统，详细神器（有挂规律）；1、下载好微信广东雀神挂件辅...