如何使用非唯一的箱子边缘进行qcut？

Question

我的问题和前一个一样：

Binning with zero values in pandas

但是，我仍然希望在分形中包含0值。有办法吗？换言之，如果我有600个值，其中50%是0，其余的值在1到100之间，我将如何对分形1中的所有0值进行分类，然后对分形标签2到10中的其余非零值进行分类（假设我需要10个分形）。我可以将0转换为nan，qcut剩余的非nan数据为9个分位数（1到9），然后将1添加到每个标签（现在是2到10）并手动将所有0值标记为分位数1吗？即使这样也很棘手，因为在我的数据集中，除了600个值之外，我还有另外的几百个值，在我将0转换成nan之前，它们可能已经是nan了。

2014年1月26日更新：

我想出了下面的临时解决办法。不过，这段代码的问题是，如果高频值不在分布的边缘，那么它会在现有的一组存储箱中间插入一个额外的存储箱，并将所有内容都丢弃一点（或很多）。

def fractile_cut(ser, num_fractiles):
    num_valid = ser.valid().shape[0]
    remain_fractiles = num_fractiles
    vcounts = ser.value_counts()
    high_freq = []
    i = 0
    while vcounts.iloc[i] > num_valid/ float(remain_fractiles):
        curr_val = vcounts.index[i]
        high_freq.append(curr_val)
        remain_fractiles -= 1
        num_valid = num_valid - vcounts[i]
        i += 1
    curr_ser = ser.copy()
    curr_ser = curr_ser[~curr_ser.isin(high_freq)]
    qcut = pd.qcut(curr_ser, remain_fractiles, retbins=True)
    qcut_bins = qcut[1]
    all_bins = list(qcut_bins)
    for val in high_freq:
        bisect.insort(all_bins, val)
    cut = pd.cut(ser, bins=all_bins)
    ser_fractiles = pd.Series(cut.labels + 1, index=ser.index)
    return ser_fractiles

Answer 1

另一种方法是引入最小的噪声，这将人为地创建唯一的垃圾箱边缘。下面是一个例子：

a = pd.Series(range(100) + ([0]*20))

def jitter(a_series, noise_reduction=1000000):
    return (np.random.random(len(a_series))*a_series.std()/noise_reduction)-(a_series.std()/(2*noise_reduction))

# and now this works by adding a little noise
a_deciles = pd.qcut(a + jitter(a), 10, labels=False)

我们可以使用以下方法重新创建原始错误：

a_deciles = pd.qcut(a, 10, labels=False)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python2.7/site-packages/pandas/tools/tile.py", line 173, in qcut
    precision=precision, include_lowest=True)
  File "/usr/local/lib/python2.7/site-packages/pandas/tools/tile.py", line 192, in _bins_to_cuts
    raise ValueError('Bin edges must be unique: %s' % repr(bins))
ValueError: Bin edges must be unique: array([  0.        ,   0.        ,   0.        ,   3.8       ,
        11.73333333,  19.66666667,  27.6       ,  35.53333333,
        43.46666667,  51.4       ,  59.33333333,  67.26666667,
        75.2       ,  83.13333333,  91.06666667,  99.        ])