使用SciPy/Numpy在Python中分箱数据

Question

有没有更有效的方法来计算一个数组中预先指定的区间的平均值？比如说，我有一个数字数组，还有一个对应的区间起始和结束位置的数组，我想在这些区间内计算平均值。我下面有一段代码可以做到这一点，但我在想有没有办法让它更简洁、更高效。谢谢。

from scipy import *
from numpy import *

def get_bin_mean(a, b_start, b_end):
    ind_upper = nonzero(a >= b_start)[0]
    a_upper = a[ind_upper]
    a_range = a_upper[nonzero(a_upper < b_end)[0]]
    mean_val = mean(a_range)
    return mean_val


data = rand(100)
bins = linspace(0, 1, 10)
binned_data = []

n = 0
for n in range(0, len(bins)-1):
    b_start = bins[n]
    b_end = bins[n+1]
    binned_data.append(get_bin_mean(data, b_start, b_end))

print binned_data

Answer 1

不太明白为什么这个话题又被提起来了；不过这里有一个2014年通过的答案，应该会快很多：

import numpy as np

data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)

mean = np.add.reduceat(data, slices[:-1]) / counts
print mean

Answer 2

Scipy（版本大于等于0.11）里面有一个函数叫做 scipy.stats.binned_statistic，这个函数专门用来解决上面提到的问题。

对于之前提到的例子，使用Scipy的解决方案是：

import numpy as np
from scipy.stats import binned_statistic

data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]

Answer 3

使用 numpy.digitize() 可能会更快、更简单：

import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]

另外一个选择是使用 numpy.histogram()：

bin_means = (numpy.histogram(data, bins, weights=data)[0] /
             numpy.histogram(data, bins)[0])

你可以自己试试看哪个更快... :)