如何将外部python库添加到HDFS中？

Question

有没有办法，如何将this one这样的外部库添加到hdfs中？ pyspark似乎需要外部lib才能将它们放在hdfs上的共享文件夹中。Byt因为我使用的是shell脚本，它运行pyspark脚本和外部库，所以无法导入它们。在

参见文章here关于importeror。在

Answer 1

我们在所有工作节点上安装了库。我们只在NameNode上有。在

Answer 2

您可以使用 py-files选项添加外部库。您可以提供.py文件或.zip文件。在

例如，使用spark提交：

spark-submit  master yarn  py-files ./hdfs.zip myJob.py

检查相应的文档：Submitting Applications