在Eclipse中启动PySpark以在Spark中使用Python

Question

我想知道怎么在Eclipse里用Python写Spark程序。我已经在Eclipse里安装了PyDev插件，也在系统上安装了Python，但我该怎么用PySpark呢？

Answer 1

我在PyDev中开始了一个新的Python项目，然后进入了项目的设置，依次点击项目 -> 属性 -> PyDev - PYTHONPATH -> 外部库。我为以下路径添加了一个“源路径”：

/path/to/spark/spark-0.9.1/python

这样一来，PyDev就能看到所有与Spark相关的代码，并且可以提供自动补全等功能。

希望这对你有帮助。

Answer 2

查看 Spark的Python编程指南

要运行一个交互式的Python Spark解释器，首先需要构建Spark，然后运行：

./bin/pyspark

这一步是在Spark安装目录下进行的。

你也可以通过在自己的Python脚本中创建一个SparkContext来使用PySpark，然后用 bin/pyspark 来运行这个脚本。

另外，还可以在IPython中启动PySpark，IPython是一个增强版的Python解释器——具体细节可以查看编程指南。