您的位置 首页 java

迷之问题:Spark和Scala库的版本一致性

Spark程序开发中,很多地方都会涉及Spark和Scala库之间的的版本问题,如果处理不好,在开发和运行时,会频频出错。

由于问题出现的地方多,又涉及开发和运行的多个阶段,概念不清,就容易混淆,因此,这个问题可以说是Spark开发中的 迷之问题

例如,至少以下3个地方,就会涉及到Spark和Scala库的版本一致性。

  • Spark编译时使用的Scala版本;
  • Spark程序编译时的Scala版本;
  • Spark程序运行时的Scala版本。

解决上述问题的总原则是:第2和第3所涉及的Scala版本,要和第1的Scala版本保持一致。

否则,由于Scala版本向后兼容并不是那么友好,就会出现各种问题。

以上原则并不复杂,麻烦的是,开发环境中有Scala库、运行环境中有Scala库、Maven构建时也会有Scala库,Spark自身运行也带了Scala库,而Spark框架的编译也用到了Scala库。

要搞清楚在开发和运行的各个阶段,用到了哪个Scala库,才是麻烦所在。

这不,艾叔前不久,就遇到有人求助Spark编译和运行时出的问题,一看报错,就知道是Spark和Scala库版本不一致的原因,求助者测试了好几个Scala库的版本,也没有成功。

最后在艾叔的帮助下,解决了问题并找到了原因。

迷之问题:Spark和Scala库的版本一致性

迷之问题:Spark和Scala库的版本一致性

迷之问题:Spark和Scala库的版本一致性

迷之问题:Spark和Scala库的版本一致性


艾叔大数据系列

推荐:百万年薪的Docker岗位,需要工作经验怎么破?

推荐:迈开通往年薪30w的第一步(专门面向Spark开发的IDEA课程)

为何我自学大数据这么久,效果却不好呢?

艾叔:最全【大数据采集技术】总结

艾叔:大数据存储技术

什么样的数据可以称为“大数据”?

大数据开发的通用步骤

Python or Java? 真的没有那么重要

如何理解Scala的函数式编程

艾叔,我的两台虚拟机咋就通不了呢?

明明是按书上的步骤一步步来的,为什么还总出错?

文章来源:智云一二三科技

文章标题:迷之问题:Spark和Scala库的版本一致性

文章地址:https://www.zhihuclub.com/191956.shtml

关于作者: 智云科技

热门文章

网站地图