无法识别Pyspark命令

Question

我已经安装了anaconda，也下载了Spark 1.6.2。我使用这个答案中的以下说明来配置Jupyterenter link description here的spark

我下载并解压缩了spark目录

~/spark

现在，当我cd到这个目录和bin中时，我看到以下内容

SFOM00618927A:spark $ cd bin
SFOM00618927A:bin $ ls
beeline         pyspark         run-example.cmd     spark-class2.cmd    spark-sql       sparkR
beeline.cmd     pyspark.cmd     run-example2.cmd    spark-shell     spark-submit        sparkR.cmd
load-spark-env.cmd  pyspark2.cmd        spark-class     spark-shell.cmd     spark-submit.cmd    sparkR2.cmd
load-spark-env.sh   run-example     spark-class.cmd     spark-shell2.cmd    spark-submit2.cmd

我还将上述答案中提到的环境变量添加到了我的.bash_profile和.profile中

现在在spark/bin目录中，我首先要检查pyspark命令是否首先在shell上工作。

所以我在做了cd spark/bin之后

SFOM00618927A:bin $ pyspark
-bash: pyspark: command not found

按照我能做的所有步骤回答

pyspark 

在终端的任何目录下，它应该启动一个带有火花引擎的笔记本电脑。但即使是外壳内的pyspark也不工作，忘了让它在juypter笔记本上运行吧

请告诉我这里出了什么问题。

编辑：

是的

open .profile 

在主目录中，这是存储在路径中的内容。

export PATH=/Users/854319/anaconda/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/Library/TeX/texbin:/Users/854319/spark/bin
export PYSPARK_DRIVER_PYTHON=ipython
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark

Answer 1

1-需要设置JAVA_HOME和spark路径，shell才能找到它们。在您的.profile中设置它们之后，您可能需要

source ~/.profile

以激活当前会话中的设置。从你的评论中我可以看出你已经有了JAVA_HOME问题。

注意，如果您有.bash_profile或.bash_login，则.profile将不按所述工作here

2-当您在spark/bin时，您需要运行

./pyspark

告诉shell目标在当前文件夹中。

Answer 2

这是我的环境变量，希望它能帮助你：

# path to JAVA_HOME
export JAVA_HOME=$(/usr/libexec/java_home)

#Spark
export SPARK_HOME="/usr/local/spark" #version 1.6
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_SUBMIT_ARGS="--master local[2]"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

^^如果不希望启动笔记本，请删除Pyspark_driver_python_opts选项，否则可以完全忽略此选项，并在需要时在命令行中使用它。

我在另一行有水蟒变量要附加到路径上。