Python OverflowError：在不同的运行中引发的数学范围错误不同

Question

我的程序几乎是任意地崩溃了。

我的代码包括以下两行：

z[i, j] = -math.exp(oneminusbeta[j, i])
weights[i,j] = math.exp(beta[j,i] + oneminusbeta[j,i])

我以前在有2维的数据上运行过我的全部代码，它是7341 x 648。我在运行代码时完全没有问题。

但现在我使用的数据是现在的十倍。它是71678 x 648，我得到这个错误：

OverflowError: math range error

我不想在任何具体的问题上说这些。我在每一行代码之前都会记录注释，这样我就可以看到导致崩溃的原因，而且看起来崩溃更经常发生在上面提到的第二行（weights[i,j] = math.exp(beta[j,i] + oneminusbeta[j,i])）。

问题是，它在不同的时间崩溃。 起初，它在weights[30816, 42]坠毁。然后在weights[55399, 43]。然后在z[33715,45]。但这三种情况的数据都是一样的。

有什么问题吗？这是python的内存相关问题吗？顺便说一下，我也在用Numba。

编辑

我忘了提到，我设置了阈值，这样进入exp()函数的内容不会超过709或-708，所以技术上不应该出现溢出。

Answer 1

计算结果无法在计算机上表示。这可能意味着math.exp(...)大于约10³⁰⁸，或者传递给math.exp()的参数大于约710。

尝试在每次计算之前打印beta[j,i]和oneminusbeta[j,i]的值。

实际上，您不必在每一行代码之前都打印注释。相反，尝试用try块包装计算，如下所示：

try:
  weights[i,j] = math.exp(beta[j,i] + oneminusbeta[j,i])
except OverflowError:
  print "Calculation failed! j=%d i=%d beta=%f oneminusbeta=%f"%(j,i,beta[j,i],oneminusbeta[j,i])
  raise