测试pyspark代码的实用程序
mockrdd的Python项目详细描述
模拟RDD
测试pyspark代码的python3模块。
mockrdd类提供了类似于pyspark.RDD的行为，如下所示 额外福利。
- 广泛的健全性检查以识别无效输入
- 有关调试问题的更有意义的错误消息
- 在PDB中运行简单
- 从开发和测试环境中删除Spark依赖项
- 运行大型测试套件时不会产生火花
在测试中使用mockrdd的简单示例。
frommockrddimportMockRDDdefjob(rdd):returnrdd.map(lambdax:x*2).filter(lambdax:x>3)assertjob(MockRDD.empty()).collect()==[]assertjob(MockRDD.of(1)).collect()==[]assertjob(MockRDD.of(2)).collect()==[4]
按照惯例，您将包含一个主要方法来将rdd连接到产品源和汇。 此外，测试将包含在一个单独的文件中，并使用模块 unittest用于定义测试用例。
有关详细信息，请参阅mockrdd.MockRDD的docstring。
欢迎加入QQ群-->： 979659372
