多次运行测试以暴露片状。
pytest-flakefinder的Python项目详细描述
多次运行测试以暴露片状。
这个Pytest插件是用Cookiecutter和@hackebrot的Cookiecutter-pytest-plugin模板生成的。
功能
- 启用后,它将“倍增”您的测试,以便在不必重新启动pytest的情况下多次运行它们。这有助于你在测试中发现片状物。
- 您可以将flake运行限制为特定的超时值。
安装
使用setup.py安装:
python setup.py install
结合pytest xlist:
pip install pytest-xdist
用法
薄片发现
启用测试插件:
py.test --flake-finder
这将以默认的50次运行每个测试。每个测试都是独立运行的,甚至可以使用xdist将测试发送到多个进程。
配置运行次数:
py.test --flake-finder --flake-runs=runs
要在一个或两个测试中找到薄片,可以使用pytest的内置测试选择。
在一次测试中查找薄片:
py.test -k test_maybe_flaky --flake-finder
与xlist一起使用时,flake finder可以公开许多与时间相关的flake。
超时
当使用flake finder作为ci运行的一部分时,限制它的运行时间可能会很有用。
运行超时:
py.test --flake-finder --flake-max-minutes=minutes
将跳过超时后启动的测试。
贡献
我们非常欢迎您的贡献。测试可以用tox运行,请确保 在提交请求之前,覆盖范围至少保持不变。
问题
如果您遇到任何问题,请file an issue连同详细说明。