pyspark解释器在apache zeppelin中找不到

2024-06-09 05:39:56 发布

您现在位置:Python中文网/ 问答频道 /正文

我在apachezeppelin(0.6.0版)笔记本中使用pyspark有问题。运行下面的简单代码会出现pyspark interpreter not found错误

%pyspark
a = 1+3

运行sc.version给了我res2: String = 1.6.0这是我机器上安装的spark版本。{cd4>{cd5}

  1. Pyspark使用CLI(使用spark 1.6.0和python 2.6.6)

  2. 机器2.6.6上的默认python,而anaconda Python3.5也已安装,但未设置为默认python。

  3. 基于此,我更新了齐柏林飞艇-环境sh文件位于/usr/hdp/current/zeppelin-server/lib/conf并添加了Anaconda python 3路径

export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export PYTHONPATH=/opt/anaconda3/bin/python

在那之后,我已经停止和重新启动齐柏林飞艇很多次使用

^{pr2}$

但我不能让Pypark的翻译在齐柏林工作。在


Tags: 代码机器bin错误not笔记本exportspark