本文主要是介绍Spark 之 Java+Maven 工程构建的一点坑,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Class 不兼容
有如下的错误,
java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVersionUID = -5447855329526097695, local class serialVersionUID = -2221986757032131007
明眼一看就是类在序列化和反序列化的类版本不一致导致的
因为一开始依赖的包是apache的包
但是使用的是CDH集群安装的Spark
所以客户端和服务端类不一致
修改客户端依赖jar包即可
<dependencies>
这篇关于Spark 之 Java+Maven 工程构建的一点坑的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!