如何在Python脚本中使用pyspark模块？

Question

我下载了pyspark这个模块，想在我的IDE（Spyder）里使用它。但是它根本不工作。我输入了export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH，试图把它加到python的路径里，但我还是收到了“没有名为pyspark的模块”的提示。难道我必须使用pyspark控制台才能使用spark模块吗？难道就没有办法直接在其他python IDE里使用这个模块吗？

Answer 1

首先，从Spark的官网下载源代码。接着，从这个网站下载并安装sbt工具。然后，进入你下载的Spark源代码中的sbt文件夹。用之前安装的sbt工具运行sbt文件。这会开始构建，整个过程大约需要30分钟才能完成。想了解更多信息，可以访问这个链接。

记得，你的电脑或笔记本上必须安装最新版本的JDK。可以从这里获取JDK。构建完成后，按照Spark官网上的指示创建pyspark的PYTHONPATH和环境设置。你也可以在Spyder中进行这个操作。