当我在独立的ec2spark集群上使用spark submit提交python脚本时。 我使用python2.7.9,验证了集群中没有其他python在运行。 -我得到以下错误:
ImportError: No module named numpy
我证实了numpy正在为每一个
^{pr2}$还手动将numpy包复制到/usr/local/lib/python2.7/site-packages 但问题依然存在。在
更新 问题没有按照这里的答案解决。 Pympy在主映像上安装了另一个没有安装的程序。 因此,解决方案是将其作为程序docker映像的一部分进行安装,并在其中设置PYSPARK_PYTHON和PYTHONPATH的环境变量。在
目前没有回答
相关问题 更多 >
编程相关推荐