排序数组子集中唯一值的计数

Question

我有两个numpy数组，users和dat。对于users中的每个用户，我需要找到与dat中的用户相关的数据，并计算唯一值的数量。我需要处理一个案例，其中len(users)=200000和len(dat)=2800000。目前我没有利用dat被排序这一事实，这使得该方法非常慢。我该怎么做？你知道吗

dat中的值'other'仅表示结构化数组中也将存在其他值。你知道吗

import numpy as np

users = np.array([111, 222, 333])
info = np.zeros(len(users))
dt = [('id', np.int32), ('group', np.int16), ('other', np.float)]
dat = np.array([(111, 1, 0.0), (111, 3, 0.0), (111, 2, 0.0), (111, 1, 0.0),
               (222, 1, 0.0), (222, 1, 0.0), (222, 4, 0.0),
               (333, 2, 0.0), (333, 1, 0.0), (333, 2, 0.0)],
               dtype=dt)

for i, u in enumerate(users):
    u_dat = dat[np.in1d(dat['id'], u)]
    uniq = set(u_dat['group'])
    info[i] = int(len(uniq))

print info

Answer 1

如果您想从numpy的矢量化中获益，那么如果您可以在手之前从dat中删除所有重复项，这将非常有帮助。然后，您可以通过对searchsorted的两次调用找到值的第一次和最后一次出现：

dat_unq = np.unique(dat)
first = dat_unq['id'].searchsorted(users, side='left')
last =  dat_unq['id'].searchsorted(users, side='right')
info = last - first

只有在dat中搜索大量条目时，这才是有利的。如果它是一个较小的分数，您仍然可以使用对searchsorted的两个调用来确定要调用unique的片：

info = np.empty_like(users, dtype=np.intp)
first = dat['id'].searchsorted(users, side='left')
last =  dat['id'].searchsorted(users, side='right')
for idx, (start, stop) in enumerate(zip(first, last)):
    info[idx] = len(np.unique(dat[start:stop]))