pyspark：如何提交依赖文件和文件夹？

Question

我想提交一份pyspark task。以及一些.py文件文件夹。尤其是我只想把配置文件和常用工具放在一个文件夹中。但是当我提交一个pyspark任务时，我只知道--py-files参数，那么如何提交文件夹呢？我的代码结构喜欢：

--conf folder
|  --origin.conf
|  --scenes.conf
--tools folder
|  --utils.py
|  --vali.py
-- other fodlsers...

Answer 1

Cloudera的这个链接提供了一些将python包分发给Spark执行器的示例 Running Spark Python Applications

Answer 2

• 创建Python package来组织代码
• 压缩包或创建egg file
• 将你的应用程序传递egg或zip文件提交到 py-files/sc.pyFiles