如何在Python中计算逻辑 sigmoid 函数？

Question

这是一个逻辑 sigmoid 函数：

我知道 x 的值。现在我该如何在 Python 中计算 F(x) 呢？

假设 x = 0.458。

那么 F(x) 等于多少呢？

Answer 1

下面是如何以数值稳定的方式实现逻辑 sigmoid 函数的方法（详细说明可以在这里找到）：

def sigmoid(x):
    "Numerically-stable sigmoid function."
    if x >= 0:
        z = exp(-x)
        return 1 / (1 + z)
    else:
        z = exp(x)
        return z / (1 + z)

或者，也许这样更准确：

import numpy as np

def sigmoid(x):  
    return np.exp(-np.logaddexp(0, -x))

内部实现上，它和上面提到的条件是一样的，但使用了 log1p。

一般来说，多项式逻辑 sigmoid 是：

def nat_to_exp(q):
    max_q = max(0.0, np.max(q))
    rebased_q = q - max_q
    return np.exp(rebased_q - np.logaddexp(-max_q, np.logaddexp.reduce(rebased_q)))

(不过，logaddexp.reduce 可能会更准确。)

Answer 2

在scipy库中也可以找到这个功能：http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.logistic.html

In [1]: from scipy.stats import logistic

In [2]: logistic.cdf(0.458)
Out[2]: 0.61253961344091512

这个功能其实只是另一个scipy函数的一个昂贵的包装（因为它可以让你对逻辑函数进行缩放和转换）：

In [3]: from scipy.special import expit

In [4]: expit(0.458)
Out[4]: 0.61253961344091512

如果你关心性能问题，可以继续往下看，否则就直接使用expit吧。

一些性能测试：

In [5]: def sigmoid(x):
  ....:     return 1 / (1 + math.exp(-x))
  ....: 

In [6]: %timeit -r 1 sigmoid(0.458)
1000000 loops, best of 1: 371 ns per loop


In [7]: %timeit -r 1 logistic.cdf(0.458)
10000 loops, best of 1: 72.2 µs per loop

In [8]: %timeit -r 1 expit(0.458)
100000 loops, best of 1: 2.98 µs per loop

正如预期的那样，logistic.cdf的速度（要慢得多）比expit慢。当你用单个值调用时，expit的速度仍然比Python的sigmoid函数慢，因为expit是用C语言写的通用函数（http://docs.scipy.org/doc/numpy/reference/ufuncs.html），因此调用时会有一些额外的开销。这种开销在你只计算一个值时，超过了expit的编译速度提升。但当处理大数组时，这种开销就显得微不足道了：

In [9]: import numpy as np

In [10]: x = np.random.random(1000000)

In [11]: def sigmoid_array(x):                                        
   ....:    return 1 / (1 + np.exp(-x))
   ....: 

（你会注意到从math.exp到np.exp的微小变化（前者不支持数组，但如果你只计算一个值，它会快得多））

In [12]: %timeit -r 1 -n 100 sigmoid_array(x)
100 loops, best of 1: 34.3 ms per loop

In [13]: %timeit -r 1 -n 100 expit(x)
100 loops, best of 1: 31 ms per loop

但是当你真的需要性能时，一个常见的做法是提前计算好逻辑函数的表格并保存在内存中，这样可以在速度和精度、内存之间进行一些权衡（例如：http://radimrehurek.com/2013/09/word2vec-in-python-part-two-optimizing/）

另外，请注意，expit的实现从0.14.0版本开始是数值稳定的：https://github.com/scipy/scipy/issues/3385

Answer 3

这样做就可以了：

import math

def sigmoid(x):
  return 1 / (1 + math.exp(-x))

现在你可以通过调用来测试它：

>>> sigmoid(0.458)
0.61253961344091512

更新：请注意，上面的内容主要是将给定的表达式直接翻译成Python代码。它并没有经过测试，也不能保证在数字计算上是可靠的。如果你知道需要一个非常稳健的实现，我相信还有其他人对此问题进行了深入思考并提供了解决方案。