Papermill Pypark supp造纸厂

Question

我正在寻找一种方法来轻松执行Jupyter笔记本的参数化运行，我找到了Papermill项目（https://github.com/nteract/papermill/）

这个工具似乎符合我的要求，但是我找不到任何关于PySpark内核支持的参考资料。在

PySpark内核是否受papermill执行的支持？在

如果是的话，有一些配置要做，以连接到Jupyter使用的Spark cluster？在

提前感谢你的支持，马蒂亚

Answer 1

Papermill将使用PySpark内核，只要它们实现Jupyter的内核规范

配置您的内核将取决于所讨论的内核。通常是从火花.conf和/或火花特性配置Spark的群集和启动时间设置的文件。在