在JupyterHub上运行工作流

jupyterflow的Python项目详细描述


巨流

在JupyterHub上运行您的工作流!在

什么是JupyterFlow?在

用一个命令在JupyterHub上运行Argo Workflow。在

  • 不需要运行Kubernetes知识(YAML)。
  • 无容器映像生成和推送或部署。
  • 只需使用一个命令jupyterflow运行工作流。在

jupyterflow是一个单独的命令,它可以帮助用户使用Argo工作流引擎,而无需在JupyterHub上生成任何YAML文件或构建容器。下面的jupyterflow命令将为您创建序列工作流。就这样!在

jupyterflow run -c "python hello.py >> python world.py"

要创建并行工作流,请编写您自己的^{}文件。在

要解决的问题

  • 我想有效地训练多个ML模型。在
  • 使用Kubernetes是个好主意,因为
    • 分配工作很容易。在
    • 在多个训练服务器上调度ML作业很容易。在
    • 它具有本地资源管理机制。在
    • 它有良好的监控系统。在
  • 但也有一些缺点。
    • 每次更新我的模型时,我都需要重新构建和重新推送图像。这很痛苦。在
    • 不熟悉k8s的人很难使用这种方法。在

JupyterFlow旨在解决这个问题。使用单个命令在JupyterHub上运行工作流,而不执行Kubernetes&container麻烦的任务。在

限制

JupyterFlow只适用于部署在Kubernetes上的JupyterHub。在

因此,虽然使用JupyterFlow并不需要Kubernetes的知识,但是设置JupyterFlow需要Kubernetes的理解(YAML,helmService)。如果你熟悉库伯内特斯,那就不难了。在

入门

要设置jupyterflow并开始运行您的第一个工作流,请遵循Getting Started指南。在

它是如何工作的

要了解它是如何工作的,请转到How it works指南。在

示例

有关如何使用的示例,请参见Examples页。在

配置

要了解更多配置,请查看Configuration页。在

CLI参考

有关jupyterflow命令行界面的详细用法,请在CLI Reference页上找到更多信息。在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何在导入到Google工作表时使用ApachePOI显示系列标签   java在Swing表上修改数据生成SQL   java TCP数据包在网络级别合并   java自动连线bean在线程位置为空   javasocket。禁用无线连接时getOutputStream()阻塞   JSON上的javascript字符串数组。stringify输出unicode字符   java在Oracle数据库中存储不同类型数据的最佳体验   Spring MVC中模板引擎后的java进程输出   不知从哪里来的java空字符串。   如何加载java。使用Adobe Flex的客户端的属性文件?   java如何替换多层括号之间的所有内容?   {JSONObject必须以java'开头   java使用commandButton或commandLink返回并管理HTML控件值   java Android大文本视图动态   java JMock需要自定义类   java Android应用程序在emulator中工作,但在设备中失败   java连接到derby数据库时使用什么文件路径格式?   java在一个函数调用中返回两个结果?