"numpy问题在执行spark提交时"

2024-04-25 14:48:25 发布

您现在位置:Python中文网/ 问答频道 /正文

当我在独立的ec2spark集群上使用spark submit提交python脚本时。 我使用python2.7.9,验证了集群中没有其他python在运行。 -我得到以下错误:

ImportError: No module named numpy

我证实了numpy正在为每一个

^{pr2}$

还手动将numpy包复制到/usr/local/lib/python2.7/site-packages 但问题依然存在。在

更新 问题没有按照这里的答案解决。 Pympy在主映像上安装了另一个没有安装的程序。 因此,解决方案是将其作为程序docker映像的一部分进行安装,并在其中设置PYSPARK_PYTHON和PYTHONPATH的环境变量。在


Tags: no程序numpy脚本错误集群手动named