从导入wikipediasift公司

Question

我是spark的新手，无法从中导入wikipedia包筛选语料库. 我得到了这个错误。”ImportError:没有名为“”的模块筛选语料库". 这是我正在写的笔记本。谢谢你的帮助！你知道吗

https://github.com/wikilinks/sift/blob/master/sift.ipynb

Answer 1

首先，这是一个python问题，而不是spark问题。错误消息告诉您找不到要导入的模块。siftdocumentation告诉您必须先安装python包，然后才能将其用于：

pip install git+http://git@github.com/wikilinks/sift.git

您必须在每个spark节点上执行此命令，因为spark是一个分布式环境。你知道吗