火花java.lang.VerifyE

Question

当我试着打电话时，出现了以下错误 我使用python客户机作为spark。在

lines = sc.textFile(hdfs://...)
lines.take(10)

我怀疑spark和hadoop版本可能不兼容。以下是hadoop版本的结果： Hadoop 2.5.2 Subversionhttps://git-wip-us.apache.org/repos/asf/hadoop.git-r cc72e9b00545b86b75a61f4835eb86d57bfafc0 詹金斯编于2014-11-14T23:45Z 用protoc 2.5.0编译 源代码，校验和df7537a4faa4658983d397abf4514320 这个命令是使用/etc/hadoop-2.5.2/share/hadoop/common/hadoop-common-2.5.2.jar运行的

我还有spark 1.3.1。在

^{pr2}$

我一直在寻找问题，有些人提到protobuffer的版本，但我不太熟悉如何正确设置它。有什么想法吗？在

Answer 1

您需要检查这个hadoop版本所需的py4jjar版本。下载并将其放入spark installed目录的lib文件夹中。并检查bashrc的路径引用。它将修复此错误

Answer 2

检查pom.xml文件你在哪里编译的

搜索protobuf版本。它可能会解决问题。在

或者问题可能是这个Jira线程中提到的其他问题。在

{a1}