使用spark s中的python scipy

Question

可以使用spark/scala脚本中的python“scipy”线性代数库吗？在

我需要在“scipy”库中使用丰富的稀疏函数，但是我的项目已经在scala中了

Answer 1

从Scala使用SciPy是不可行的，因为Python不是JVM语言，但似乎有ways。在纯Scala中，最接近的可能是使用Scalanlp-Breeze。你可以看看他们的Comparison with Matlab and Numpy。他们是一个SparseMatrix数据结构，你应该看看。在

如果要获得最佳性能，请确保正确安装本机库。在

Answer 2

如果你想利用spark的并发计算优势，我认为不可能使用scipy，因为scipy不是为spark设计的。在

如果您只想在scala脚本的本地计算机上使用它，可以尝试java-python-integration。或者您可以在Java中使用scipy-like lib。在