我在apachezeppelin(0.6.0版)笔记本中使用pyspark有问题。运行下面的简单代码会出现pyspark interpreter not found
错误
%pyspark
a = 1+3
运行sc.version
给了我res2: String = 1.6.0
这是我机器上安装的spark版本。{cd4>{cd5}
Pyspark使用CLI(使用spark 1.6.0和python 2.6.6)
机器2.6.6上的默认python,而anaconda Python3.5也已安装,但未设置为默认python。
基于此,我更新了齐柏林飞艇-环境sh文件位于/usr/hdp/current/zeppelin-server/lib/conf
并添加了Anaconda python 3路径
export PYSPARK_PYTHON=/opt/anaconda3/bin/python export PYTHONPATH=/opt/anaconda3/bin/python
在那之后,我已经停止和重新启动齐柏林飞艇很多次使用
^{pr2}$但我不能让Pypark的翻译在齐柏林工作。在
对于发现pyspark没有响应的人,请尝试在Zeppelin中重新启动spark解释器,它可能会解决pyspark没有响应的问题 错误。在
相关问题 更多 >
编程相关推荐