如何仅使用IPython笔记本访问ApacheSpark的参考库?

2024-06-09 09:42:24 发布

您现在位置:Python中文网/ 问答频道 /正文

我目前正在ibmbluemix中使用apachespark服务。有一个快速启动的复合应用程序(样板),由Spark服务本身、一个OpenStack Swift数据服务和一个IPython/Jupyter笔记本组成。你知道吗

我想在系统中添加一些第三方库,我想知道如何实现这一点。使用python import语句并没有真正的帮助,因为库应该位于SparkWorker节点上。你知道吗

有没有办法在作业运行时从外部源(例如Swift或ftp源)在Spark中加载python库?你知道吗

非常感谢!你知道吗


Tags: import应用程序openstack系统ipython笔记本jupyter样板