如何在Spark中为Python3.5安装numpy和pandas？
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我尝试在Spark中使用python3.5而不是python2.7运行线性回归。所以首先我导出了PYSPARK_PHTHON=python3。我收到一个错误“没有名为numpy的模块”。我试图“pip install numpy”，但pip无法识别PYSPARK_PYTHON的设置。如何让pip为3.5安装numpy？谢谢您。。。在</p>
<pre><code>$ export PYSPARK_PYTHON=python3
$ spark-submit linreg.py
....
Traceback (most recent call last):
File "/home/yoda/Code/idenlink-examples/test22-spark-linreg/linreg.py", line 115, in <module>
from pyspark.ml.linalg import Vectors
File "/home/yoda/install/spark/python/lib/pyspark.zip/pyspark/ml/__init__.py", line 22, in <module>
File "/home/yoda/install/spark/python/lib/pyspark.zip/pyspark/ml/base.py", line 21, in <module>
File "/home/yoda/install/spark/python/lib/pyspark.zip/pyspark/ml/param/__init__.py", line 26, in <module>
ImportError: No module named 'numpy'
$ pip install numpy
Requirement already satisfied: numpy in /home/yoda/.local/lib/python2.7/site-packages
$ pyspark
Python 3.5.2 (default, Nov 17 2016, 17:05:23)
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
17/02/09 20:29:20 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/02/09 20:29:20 WARN Utils: Your hostname, yoda-VirtualBox resolves to a loopback address: 127.0.1.1; using 10.0.2.15 instead (on interface enp0s3)
17/02/09 20:29:20 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
17/02/09 20:29:31 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version 2.1.0
/_/
Using Python version 3.5.2 (default, Nov 17 2016 17:05:23)
SparkSession available as 'spark'.
>>> import site; site.getsitepackages()
['/usr/local/lib/python3.5/dist-packages', '/usr/lib/python3/dist-packages', '/usr/lib/python3.5/dist-packages']
>>>
</code></pre>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- plt.savefig不会覆盖现有文件 2 回答
- plt.savefig不保存图像 4 回答
- plt.savefig在jupyter笔记本中不起作用 5 回答
- plt.savefig在从另一个fi调用时停止工作 6 回答
- plt.savefig在调用plt.show之前保存空数字 6 回答
- plt.save不创建png文件 2 回答
- plt.scatter overlay分类数据帧列 3 回答
- Plt.Scatter:如何添加title、xlabel和ylab 8 回答
- plt.scatter（）绘图与Matplotlib中的plt.plot（）绘图类似 2 回答
- plt.scatter错误'NoneType'对象在成功运行后没有属性'sqrt' 1 回答
- plt.set_title（）中的标题字符串有误 8 回答
- plt.show（） 5 回答
- plt.show（）不在Jupyter笔记本上渲染任何内容 5 回答
- plt.show（）不打印plt.plot only plt.scatter 10 回答
- plt.show（）不显示三维散射图像 9 回答
- plt.show（）不显示任何内容 3 回答
- plt.show()不显示数据，而是保留它供下一个图表使用（spyder） 2 回答
- plt.show（）使终端挂起 10 回答
- plt.show（）无法使用此代码 6 回答
- plt.show（）没有打开新的图形风 1 回答
