Apache Spark：先决条件问题

Question

我要在Ubuntu16.04LTS上安装ApacheSpark2.1.0。我的目标是一个独立的集群，使用Hadoop，使用Scala和Python（2.7是活动的）

下载时，我可以选择：为hadoop2.7和更高版本预构建（文件是spark-2.1.0-bin-hadoop2.7.tgz）

• 这个包实际上包括hadoop2.7还是需要单独安装（首先我假设）？

• 我已经安装了javajre8（其他任务需要）。由于JDK 8似乎也是一个先决条件，我还做了一个“sudo apt install default JDK”，它确实显示为installed:

默认jdk/xenial，现在为2:1.8-56ubuntu2 amd64[已安装]

但是，检查java版本并没有显示JDK：

java版本“1.8.0_121” Java（TM）SE运行时环境（build 1.8.0_121-b13） Java HotSpot（TM）64位服务器虚拟机（内部版本25.121-b13，混合模式）

这足够安装吗？为什么它不显示JDK？在

• 我想用scala2.12.1。这个版本与Spark2.1/hadoop2.7的组合工作得很好吗？或者另一个版本更合适？

• 是否还需要Scala SBT包？

我一直在努力让一切正常运转，但我在这一点上卡住了。在

希望有人能有所启示：）

Answer 1

您需要将hadoop-2.7安装到您正在安装的任何地方。在

Java版本没问题。在

上面提到的配置应该适用于scala2.12.1。在