IBMBluemixSpark：向sparksubmit.sh

Question

我在我的IBM Bluemix PySpark应用程序中使用cloudantpythonapi。在

如何提供spark提交的依赖包？spark-submit.sh的py-files选项只接受py, zip or egg文件，我的包是tar.gz和{}格式。在

这是指向Cloudant Python客户机库的链接，我正试图使用这个库-https://pypi.python.org/pypi/cloudant

本文How to install dependencies for python讨论了相同的主题，但是我想看看要求.txt，Procfile和清单.yml解决方案中提到的文件。在

Answer 1

您应该能够从python脚本中以编程方式使用pip，例如

import pip
pip.main(['install', ' user', 'cloudant'])

这对我很有效：

地狱公园.py

^{pr2}$

运行.sh

./spark-submit.sh  vcap ./vcap.json  deploy-mode cluster \
      master https://169.54.219.20:8443 \
      conf spark.service.spark_version=1.6
     helloSpark.py 

运行后的标准输出：

^{4}$

不幸的是，我在第一次运行脚本时没有保存输出，该脚本通知它安装了Cloudant。但是在这里您可以看到Cloudant库是可用的，并且尝试使用无效凭证连接到集群，因此Cloudant返回401错误。在

您可能不希望每次运行脚本时都尝试pip安装，因此可以尝试以下操作：

try:
    import cloudant
except:
    import pip
    pip.main(['install', ' user', 'cloudant'])

这将尝试加载Cloudant库。如果加载时出现错误（例如，由于尚未安装），则将使用pip安装。在