同时打乱两个numpy数组的更好方法

Question

我有两个形状不同但长度相同的numpy数组。我想把它们打乱顺序，但要确保对应的元素仍然对应，也就是说，要一起打乱它们的顺序。

下面这段代码可以实现我的目标：

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

举个例子：

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

不过，这种方法感觉有点笨重、效率低，而且还需要复制数组——我更希望能就地打乱它们，因为它们会很大。

有没有更好的方法呢？我主要希望能更快执行并减少内存使用，当然，代码写得优雅一点也不错。

我还有一个想法：

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

这个方法是可行的……但让我有点担心，因为我不太确定它会一直有效——看起来不像是那种能在不同numpy版本中都能保证有效的做法。

Answer 1

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)

想了解更多，可以查看这个链接：http://scikit-learn.org/stable/modules/generated/sklearn.utils.shuffle.html

Answer 2

你可以使用NumPy的数组索引：

def unison_shuffled_copies(a, b):
    assert len(a) == len(b)
    p = numpy.random.permutation(len(a))
    return a[p], b[p]

这样会生成几个独立的、经过统一洗牌的数组。

Answer 3

你说的那个“可怕”的解决方案对我来说并不可怕。调用 shuffle() 对于两个长度相同的序列来说，会产生相同次数的随机数生成器调用，而这些调用是洗牌算法中唯一的“随机”元素。通过重置状态，你确保第二次调用 shuffle() 时，随机数生成器的结果是一样的，所以整个算法会生成相同的排列。

如果你不喜欢这种方式，另一种解决方案是从一开始就把数据存储在一个数组中，而不是两个，然后创建两个视图来模拟你现在的两个数组。你可以用这个单一的数组来进行洗牌，其他用途则用视图。

举个例子：假设数组 a 和 b 看起来是这样的：

a = numpy.array([[[  0.,   1.,   2.],
                  [  3.,   4.,   5.]],

                 [[  6.,   7.,   8.],
                  [  9.,  10.,  11.]],

                 [[ 12.,  13.,  14.],
                  [ 15.,  16.,  17.]]])

b = numpy.array([[ 0.,  1.],
                 [ 2.,  3.],
                 [ 4.,  5.]])

现在我们可以构建一个包含所有数据的单一数组：

c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[  0.,   1.,   2.,   3.,   4.,   5.,   0.,   1.],
#        [  6.,   7.,   8.,   9.,  10.,  11.,   2.,   3.],
#        [ 12.,  13.,  14.,  15.,  16.,  17.,   4.,   5.]])

接下来，我们创建视图来模拟原来的 a 和 b：

a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)

这里 a2 和 b2 的数据是和 c 共享的。要同时洗牌这两个数组，可以使用 numpy.random.shuffle(c)。

在实际的代码中，你当然会尽量避免创建原始的 a 和 b，而是直接创建 c、a2 和 b2。

这个解决方案也可以调整，以适应 a 和 b 有不同数据类型的情况。