自动化和工具无关的数据集成测试工具。
etlTest的Python项目详细描述
#ETLTest
[![构建状态](https://travis-ci.org/opendataalex/etltest.png?branch=dev)(https://travis ci.org/opendataalex/etltest)
[![覆盖状态](https://coveralls.io/repos/opendataalex/etltest/badge.png?branch=dev)(https://coveralls.io/r/opendataalex/etltest?分支=dev)
[![科达西徽章](https://www.codacy.com/project/badge/0ff3a2e5b651416e9292ca9cdedf58f8)(https://www.codacy.com)
[![文档状态](https://readthedocs.org/projects/etltest/badge/?版本=最新](https://readthedocs.org/projects/etltest/?徽章=最新)
[![背书](https://api.coderwall.com/dbaalex/endorsecount.png)(https://coderwall.com/dbaalex)
\installation
可以通过下载源代码并使用setup.py脚本安装**etltest**,如下所示:
$git clone git@github.com:opendataalex/etltest.git
$cd etltest
$python setup.pyinstall
此安装调用安装所有必需的python依赖项。还有一些外部依赖项,因此请参阅下面标记为“非python依赖项”的部分。一旦完成此操作,它就可以运行了!
etltest是什么?
来自软件开发和使用数据集成工具,我们总是想知道为什么没有针对数据集成的统一单元和集成测试工具。etltest旨在通过提供一个易于使用的工具和与数据源无关的测试工具来填补这一空白。测试被设计成“黑盒”
,这意味着我们没有深入到实际的数据集成代码中。相反,
我们正在基于测试编写器提供的测试数据集执行数据集成过程,并使用python的unittest框架比较
结果。
etltest基于etltunit启动的工作和讨论。
你需要一个数据和测试文件来执行它。最基本的资源文件可以在项目的[示例](https://github.com/opendataalex/etltest/tree/dev/etltest/samples)目录中找到(data/etlunittest/users.yml和test/datamart/users_dim.yml)。
执行
将占用该资源,在指定的输出目录中生成一些python代码,并运行将显示执行到终端的测试输出的代码。
$python etltest/etltest/etlttest.py-f<;用户的路径dim.yml测试文件>;-o/tmp/-g-e
文档
etltest**的文档可以在read the docs[此处](https://etltest.readthedocs.org/en/latest/)上找到。
非python依赖项
python中当前未处理的唯一依赖项是sqlalchemy连接到数据源的依赖项。关于如何安装这些程序的文档如下:
*[mysql](https://github.com/opendataalex/etltest/blob/develop/docs/mysql_deps.md)
*[oracle](https://github.com/opendataalex/etltest/blob/develop/docs/oracle_deps.md)
\请毫不犹豫地通过[Github问题跟踪器](https://github.com/opendataalex/etltest/issues)报告任何问题/问题/评论。
[![构建状态](https://travis-ci.org/opendataalex/etltest.png?branch=dev)(https://travis ci.org/opendataalex/etltest)
[![覆盖状态](https://coveralls.io/repos/opendataalex/etltest/badge.png?branch=dev)(https://coveralls.io/r/opendataalex/etltest?分支=dev)
[![科达西徽章](https://www.codacy.com/project/badge/0ff3a2e5b651416e9292ca9cdedf58f8)(https://www.codacy.com)
[![文档状态](https://readthedocs.org/projects/etltest/badge/?版本=最新](https://readthedocs.org/projects/etltest/?徽章=最新)
[![背书](https://api.coderwall.com/dbaalex/endorsecount.png)(https://coderwall.com/dbaalex)
\installation
可以通过下载源代码并使用setup.py脚本安装**etltest**,如下所示:
$git clone git@github.com:opendataalex/etltest.git
$cd etltest
$python setup.pyinstall
此安装调用安装所有必需的python依赖项。还有一些外部依赖项,因此请参阅下面标记为“非python依赖项”的部分。一旦完成此操作,它就可以运行了!
etltest是什么?
来自软件开发和使用数据集成工具,我们总是想知道为什么没有针对数据集成的统一单元和集成测试工具。etltest旨在通过提供一个易于使用的工具和与数据源无关的测试工具来填补这一空白。测试被设计成“黑盒”
,这意味着我们没有深入到实际的数据集成代码中。相反,
我们正在基于测试编写器提供的测试数据集执行数据集成过程,并使用python的unittest框架比较
结果。
etltest基于etltunit启动的工作和讨论。
你需要一个数据和测试文件来执行它。最基本的资源文件可以在项目的[示例](https://github.com/opendataalex/etltest/tree/dev/etltest/samples)目录中找到(data/etlunittest/users.yml和test/datamart/users_dim.yml)。
执行
将占用该资源,在指定的输出目录中生成一些python代码,并运行将显示执行到终端的测试输出的代码。
$python etltest/etltest/etlttest.py-f<;用户的路径dim.yml测试文件>;-o/tmp/-g-e
文档
etltest**的文档可以在read the docs[此处](https://etltest.readthedocs.org/en/latest/)上找到。
非python依赖项
python中当前未处理的唯一依赖项是sqlalchemy连接到数据源的依赖项。关于如何安装这些程序的文档如下:
*[mysql](https://github.com/opendataalex/etltest/blob/develop/docs/mysql_deps.md)
*[oracle](https://github.com/opendataalex/etltest/blob/develop/docs/oracle_deps.md)
\请毫不犹豫地通过[Github问题跟踪器](https://github.com/opendataalex/etltest/issues)报告任何问题/问题/评论。