如何通过失败的testsuite运行(junit.xml文件解析）？

Question

我们正在一个自动化的持续集成/部署管道中工作。我们得到了数百个测试用例和4个阶段（红色，橙色，黄色，绿色）。你知道吗

我面临的问题是，测试可能会失败（bug、计时、进程卡住等等），并且它会使整个回归运行失败。你知道吗

我认为我们需要某种权重来确定被视为“失败”构建的通过/失败测试的数量。你知道吗

有什么想法吗？你在管道上创造的东西？你知道吗

谢谢你， -米

Answer 1

失败的构建并不总是反映产品的质量，主要是当失败与测试基础设施问题有关时。你知道吗

通过构建一个强大而稳定的、易于维护和扩展的框架，降低与应用程序错误无关的意外故障（计时、进程停滞）的风险。你知道吗

当谈到与应用程序错误相关的失败时，失败的测试类型比失败的数量更重要。这是缺陷严重性。你可以有3个没有大影响的小失败，也可以只有1个关键的失败。您需要相应地标记测试。你知道吗

除此之外，还有一个Jenkins plugin，它创建了一个易于跟踪的测试运行历史记录，在这个历史记录中，您可以看到上一次运行中失败次数最多的测试的数量。你知道吗