cli计划使用paperpill和argo执行jupyter笔记本
yason的Python项目详细描述
yason:argo的jupyter笔记本调度程序
部署在kubernetes上的jupyterhub允许团队在浏览器中进行数据分析,并有效地共享计算资源。但当谈到Jupyter笔记本电脑时,要远程、非交互地运行它们或安排它们的运行时间并不容易。幸运的是,有了paperpill和argo工作流,现在就可以做到这一点了。yason是python包和cli,用于调度jupyter笔记本的远程执行。
- 自由软件:麻省理工学院许可证
- 文档:https://yason.readthedocs.io。
功能
- 检查所有预定笔记本作业的状态
- 安排执行笔记本
- 执行后获取结果笔记本
- 删除预定的笔记本作业
即将到来
- 包括多个文件/文件夹和笔记本以供执行
- 与argo事件集成以进行调度
先决条件
亚森打算在部署在库伯内特斯的朱庇特枢纽所产生的朱庇特实验室吊舱上运行。yason还要求在名称空间argo中的同一集群上部署argo工作流。S3 bucket用于笔记本电脑在执行前后的中间存储。
请参见完整文档中的详细信息和说明https://yason.readthedocs.io
使用量
在python项目中使用yason:
from yason import yason
cli工具
要使用yason作为cli工具,请键入:
yason COMMAND [ARGS]
要查看jupyterhub用户名的所有预定笔记本的列表,请键入:
yason list
要立即安排和执行笔记本,请键入:
yason run <Notebook Name>.ipynb
要在执行后获取结果笔记本,请键入:
yason get <Workflow ID> <Destination>
即:
yason get 25fe9753bc854148aac26ff7d97ba128 My_Notebook_result.ipynb
要从列表中删除计划的笔记本,请键入:
yason delete <Workflow ID>
即:
yason delete 25fe9753bc854148aac26ff7d97ba128
姓名
希腊神话中的亚森(或杰森)是阿贡人的首领。Yason将您的Jupyter笔记本电脑带到Argo(工作流)板上。
学分
这个包是用Cookiecutter和audreyr/cookiecutter-pypackage项目模板创建的。
历史记录
0.1.0(2019-05-22)
- pypi上的第一个版本。