这个包通过选择top-n乘法来增强稀疏矩阵乘法
sparse-dot-topn的Python项目详细描述
稀疏点阵:
sparse_dot_top n提供了一种快速的方法来执行稀疏矩阵乘法,然后选择top-n乘法结果。
在实践中,比较非常大的特征向量并选择最佳匹配,通常会导致执行稀疏矩阵乘法,然后选择top-n乘法结果。在这个包中,我们实现了一个定制的cython函数。当比较我们的cythonic方法与使用scipy和numpy函数时,我们的方法可以将速度提高约40%,并减少内存消耗。
此软件包由ING批发银行高级分析团队制作。这个blog解释了我们如何实现它。
示例
importnumpyasnpfromscipy.sparseimportcsr_matrixfromscipy.sparseimportrandfromsparse_dot_topnimportawesome_cossim_topnN=10a=rand(100,1000000,density=0.005,format='csr')b=rand(1000000,200,density=0.005,format='csr')c=awesome_cossim_topn(a,b,5,0.01)
您还可以在example/comparison.py中找到将boosting方法与直接调用scipy+numpy函数进行比较的代码。
依赖项和安装
在安装此软件包之前,请先安装numpy
和cython
。然后,
pip install sparse_dot_topn
卸载
pip uninstall sparse_dot_topn