AWSEMR/Spark上出现的HikariNoSuchMethodError错误
创始人
2024-09-25 09:31:34
0

问题描述: 在使用 AWS EMR/Spark 的过程中,可能会遇到一种错误,即 Hikari NoSuchMethodError 错误。这种错误通常是由于库之间的版本兼容性问题引起的。具体地说,这是由于 Spark 的版本与 HikariCP 的版本不兼容导致的,因为 Spark 默认使用的 Hikari 版本过低。

解决方案: 为了解决这个问题,我们需要手动升级 AWS EMR 上 Spark 依赖的 HikariCP 版本。以下是具体的步骤:

  1. 在 AWS EMR 集群上运行以下命令来获取当前使用的 Spark 版本:

spark-submit --version

  1. 确定当前使用的 Spark 版本后,您需要在 AWS EMR 集群的 Spark 依赖项中手动升级 HikariCP,方法如下:

a. 打开以下目录:/usr/lib/spark/jars/

b. 将所有带有 HikariCP 字样的 JAR 文件从该目录中删除。

c. 从 HikariCP 官方网站(https://github.com/brettwooldridge/HikariCP)下载与 Spark 版本兼容的最新 HikariCP JAR 文件。

d. 将下载后的 HikariCP JAR 文件上传到 /usr/lib/spark/jars/ 目录下。

  1. 现在,重新启动 Spark 应用程序并检查是否已解决此错误。

以下是一个例子,演示了如何通过 Gradle 在 Spark 项目中手动指定 HikariCP 版本:

build.gradle 文件:

dependencies { compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.4.4' compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.

相关内容

热门资讯

一分钟带你透视!微乐小程序微乐... >>您好:微乐小程序微乐辅助器免费下载确实是有挂的,很多玩家在这款微乐小程序微乐辅助器免费下载游戏中...
第7分钟带你透视!欢乐茶馆修改... 第7分钟带你透视!欢乐茶馆修改器辅助,皇豪互众辅助软件是干嘛的,力荐教程(有挂教程)-哔哩哔哩>>您...
第二分钟带你辅助!天天爱柳州有... 第二分钟带你辅助!天天爱柳州有没有辅助器,心悦游戏辅助,AI教程(今日头条)-哔哩哔哩>>您好:软件...
第二分钟带你开挂!518互游私... 【亲,新广西老友辅助 这款游戏可以开挂的,确实是有挂的,很多玩家在这款新广西老友辅助中打牌都会发现很...
一分钟带你讲解!白金岛透视插件... 较多好评“微乐万能挂官网”开挂(透视)辅助教程 了解更多开挂安装加(136704302)微信号是一款...
八分钟带你透视!找浙江宝宝游戏... 【亲,找浙江宝宝游戏辅助插件 这款游戏可以开挂的,确实是有挂的,很多玩家在这款找浙江宝宝游戏辅助插件...
5分钟带你了解!福建天天开心万... 5分钟带你了解!福建天天开心万能辅助,约局吧辅助,可靠教程(有挂详情)-哔哩哔哩福建天天开心万能辅助...
第三分钟带你讲究!星悦云南丽江... 第三分钟带你讲究!星悦云南丽江卡二辅助,樱花之盛辅助器,普及教程(有挂总结)-哔哩哔哩;无需打开直接...
第5分钟带你透视!来趣广西辅助... 第5分钟带你透视!来趣广西辅助,新青鸟必胜,新版2026教程(今日头条)-哔哩哔哩 >>您好:软件加...
第二分钟带你科普!微乐小程序多... 第二分钟带你科普!微乐小程序多乐辅助器,哥哥打大a游戏攻略,揭秘教程(存在有挂)-哔哩哔哩 >>您好...