可能使用python绑定的大规模集群库

Question

我一直在试着收集一些更大的数据集。由50000个尺寸为7的测量矢量组成。我正在尝试生成大约30到300个集群以供进一步处理。

我一直在尝试以下集群实现，但没有成功：

• Pycluster.kcluster（在我的数据集上只提供1-2个非空的集群）
• scipy.cluster.hierarchy.fclusterdata（运行时间过长）
• scipy.cluster.vq.kmeans（内存不足）
• sklearn.cluster.hierarchical.Ward（运行时间过长）

还有什么我可能遗漏的实现吗？

Answer 1

我的包milk很容易处理此问题：

import milk
import numpy as np
data = np.random.rand(50000,7)
%timeit milk.kmeans(data, 300)
1 loops, best of 3: 14.3 s per loop

我想知道你是否打算写50万个数据点，因为5万个数据点并不是那么多。如果是这样的话，milk需要更长的时间（大约700秒），但是仍然可以很好地处理它，因为它不会分配除数据和质心之外的任何内存。