在pyspark中运行nosetests

Question

如何使用 nose 来运行用 Python 编写的 Apache Spark 应用的单元测试呢？

通常情况下，使用 nose 只需要执行以下命令：

nosetests

就可以运行 Python 包中 tests 目录里的测试。但是，Pyspark 脚本需要用 spark-submit 命令来运行，而不是普通的 Python 可执行文件，这样才能导入 pyspark 模块。那么，我该如何将 nosetests 和 pyspark 结合起来，以便为我的 Spark 应用运行测试呢？

Answer 1

如果有帮助的话，我们使用 nosetest 来测试 sparkling pandas。在我们的工具文件中，我们做了一些小魔法，根据 SPARK_HOME 这个环境变量，把 pyspark 加入到路径中。