获取数据帧中不同值计数的最有效方法是什么？

Question

我有一个如下所示的数据帧

    0   1   2
0   A   B   C
1   B   C   B
2   B   D   E
3   C   E   E
4   B   F   A

我需要从整个数据帧中获取唯一值的计数，而不是按列的唯一值。 在上面的数据框中，唯一值是A、B、C、D、E、F。 因此，我需要的结果是6

我使用pandas squeeze、ravel和nunique函数来实现这一点，这些函数将整个数据帧转换为一个系列

pd.Series(df.squeeze().values.ravel()).nunique(dropna=True)

请让我知道是否有更好的方法来实现这一点

Answer 1

将^{}与length的唯一值一起使用：

out = len(np.unique(df))
6

Answer 2

您也可以使用set、len和flatten：

len(set(df.values.flatten()))

输出：

6

---

计时：使用具有6个唯一值的虚拟数据帧

#dummy data
df = pd.DataFrame({'Day':np.random.choice(['aa','bbbb','c','ddddd','EeeeE','xxx'], 10**6),'Heloo':np.random.choice(['aa','bbbb','c','ddddd','EeeeE','xxx'], 10**6)})


print(df.shape)
(1000000, 2)


%timeit len(set(df.values.flatten()))

>>>89.5 ms ± 1.56 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)


%timeit np.unique(df.values).shape[0]

>>>1.61 s ± 25.6 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)


%timeit len(np.unique(df))

>>>1.85 s ± 229 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Answer 3

为此使用NumPy，如下所示：

import numpy as np
print(np.unique(df.values).shape[0])