作为Kedro节点的Jupyter笔记本

Question

如何将Jupyter笔记本用作Kedro管道中的节点？这与converting functions from Jupyter Notebooks into Kedro nodes不同。我想做的是使用完整的笔记本作为节点

Answer 1

AFAIK Kedro不支持这一点，但Ploomber支持（免责声明：我是作者）。任务可以是笔记本、脚本、函数或它们的任意组合。您可以在本地运行Airflow或Kubernetes（使用Argo工作流）

如果将笔记本或脚本用作管道任务，则Ploomber会在运行管道时创建副本。例如，您可以创建函数来预处理数据，并添加在笔记本中训练模型的最终任务，这样您就可以利用ipynb格式为模型训练过程生成报告

管道声明是这样的：

tasks:
  - source: notebook.ipynb
    product:
      nb: output.html
      data: output.csv

  - source: another.ipynb
    product:
      nb: another.html
      data: another.csv

资源：

• Repository
• Exporting to Airflow
• Exporting to Kubernetes
• Sample pipelines

Answer 2

尽管这在技术上是可行的（例如，通过nbconvert），但对于multiple reasons来说，这是非常不鼓励的，包括笔记本电脑缺乏可测试性和可复制性等

最佳实践通常是保持管道节点函数pure（如果适用），这意味着它们不会产生任何副作用。笔记本电脑的工作方式通常与这一原则相矛盾