总是知道从你的数据中期待什么。
great-expectations的Python项目详细描述
期望值高
总是知道从数据中期望得到什么。
什么是伟大的期望?
期望值高有助于团队节省时间并促进分析完整性 通过提供一种独特的自动化测试方法:管道测试。 管道测试应用于数据(而不是代码)和批处理时 (而不是编译或部署时间)。管道测试就像单元测试 对于数据集:它们有助于防止上游数据更改和 监控数据质量。
软件开发人员早就知道自动化测试是必不可少的 用于管理复杂的代码库。远大的期望带来同样的结果 数据科学与工程的纪律、信心和加速 团队。
为什么我要用远大的期望?
以更快的速度处理更多的数据。团队使用“伟大的期望”来
- 节省数据清理和咀嚼的时间。
- 加速etl和数据规范化。
- 简化分析员到工程师的交接。
- 监控生产数据管道和数据产品中的数据质量。
- 如果数据管道中断,则简化调试。
- 在与分布式共享时用于构建模型的假设 团队或其他分析师。
如何开始?
很简单!首先使用pip安装:
$ pip install great_expectations Then run this command in the root directory of the project you want to try Great Expectations on: $ great_expectations init
您还可以克隆存储库,其中包括使用 伟大的期望。
$ git clone https://github.com/great-expectations/great_expectations.git $ pip install great_expectations/
有什么期望?
期望值包括:-expect_table_row_count_to_equal- expect_column_values_to_be_unique- expect_column_values_to_be_in_set- expect_column_mean_to_be_between-…还有更多
访问glossary of expectations 一份完整的期望清单 期望词汇。
我能帮忙吗?
当然。是的,谢谢。起点 here, 别羞于提问!
我怎样才能学到更多?
有关完整文档,请访问Great Expectations on readthedocs.io。
Down with Pipeline Debt! 解释了远大期望背后的核心理念。请给它一个 阅读,拍手,跟随,分享。
为了快速、实际地介绍Great Expections的主要功能, 查看我们的演练视频:
与远大期望团队联系的最佳方式是什么?
如果您有问题、评论、功能请求等,opening an issue 绝对是最好的出路。
我们还有一个空闲频道,您可以在这里加入: https://tinyurl.com/great-expectations-slack
远大的期望不适合X。它适合我的用例吗?
这要看情况。如果你有图书馆还不能满足的需要,请 upvote an existing issue(s) 或open a new issue 我们会看看我们能做些什么。厚望不足 开发,因此您的用例可能很快就会得到支持。