非参数检验的极低p值

Question

我使用Python的非参数测试来检查两个样本是否与从相同的底层父种群中提取的样本一致：scipy.stats.ks_2samp（两个样本Kolmogorov-Smirnov）、scipy.stats.anderson_ksamp（k个样本的Anderson-Darling）和{}（Mann-Whitney-Wilcoxon针对2个样本）。我的显著性阈值是p=0.01。在

如果这三个测试返回非常低的p值（有时像10^-30或更低），那么我需要担心scipy函数出了什么问题吗？这些小得离谱的p值可靠吗？我能否只报告p<；<；0.01（p远低于我的阈值）？在

Answer 1

好吧，你已经碰到了显著性检验的一个众所周知的特性，那就是当样本量无限制地增加时，p值通常会变为零。如果零假设是错误的（这通常可以通过先验建立），那么只要增加样本量，就可以得到尽可能小的p值。在

我的建议是想一想这些分布的差异在实际中有什么不同。试着用实际（美元）或抽象的成本来量化它。然后设计一个测量方法。在

Answer 2

您不需要担心scipy函数出问题。P值这么低意味着你的样本不太可能有相同的亲本群体。在

也就是说，如果你不希望分布会有那么大的不同，现在是一个好时机来确保你在测量你认为你在测量的东西，也就是说，你向scipy提供了正确的数据。在

Answer 3

可能导致不正确（太小）p值的一个常见错误（至少在生命科学中）是，测试测试的独立性假设通常假设样本中的观察值（数据点）是独立的。例如，Mann Whitney的GraphPad的checklist在“错误独立性”下有这一点

作为参考，this 2010 paper查阅了《自然神经科学》（神经科学领域的顶级期刊）的一期，发现“12%的论文存在伪复制，另有36%的论文被怀疑存在伪复制。”