Outflow是一个框架,它可以帮助您创建和执行顺序的、并行的以及分布式的任务工作流。

outflow的Python项目详细描述


pythonPyPIpipeline statuscoverage reportDocumentation Statuslicensechat-discord-support

流出是一个帮助您构建和运行任务工作流的框架。在

api尽可能简单,同时仍让用户完全控制 工作流。在

功能亮点:

  • 简单但功能强大的API
  • 支持并行和分布式执行
  • 集中的命令行界面,用于管道命令
  • 集成的数据库access、sqlalchemy模型和alembic迁移
  • tracapability的执行和异常日志记录
  • robust管道的严格类型和输入/输出检查

查看我们的documentation了解更多信息。在

安装

使用pip安装和更新:

pip install -U outflow

快速入门

一个文件启动器

创建pipeline.py脚本:

^{pr2}$

运行第一条流出管道:

$ python pipeline.py hello_world

一个健壮、可配置和组织良好的管道

你对流出的特性有了一个简要的概述,你还想更进一步。流出提供命令行工具来帮助您启动管道项目。在

首先,我们需要自动生成管道结构——一组文件,包括管道设置、数据库和集群配置等

$ python -m outflow management create pipeline my_pipeline

然后,我们必须创建一个插件——一个专门的文件夹,重新组合命令、任务以及数据库(模型)的描述

$ python -m outflow management create plugin my_namespace.my_plugin --plugin_dir my_pipeline/plugins/my_plugin

在我的管道里/设置.py文件,将新插件添加到插件列表:

PLUGINS=['outflow.management','my_namespace.my_plugin',]

并运行以下命令:

$ python ./my_pipeline/manage.py my_plugin

您将在命令行上看到以下输出:

 * outflow.core.pipeline.pipeline - pipeline.py:325 - INFO - No cluster config found in configuration file, running in a local cluster
 * my_namespace.my_plugin.commands - commands.py:49 - INFO - Hello from my_plugin

你的管道正在运行。现在可以开始添加新任务和命令。在

贡献

有关设置开发环境以及如何对流出做出贡献的指导,请参阅contributing guidelines。在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何在windows上向doclet添加多个sourcepath?   java谷歌地图应用程序   java为以下场景创建正则表达式   Java文件通道异常   Java集合如何将文件对象列表转换为路径对象列表?   多线程生产者/消费者模型使用Java(同步),但始终运行同一线程   java如何为存储在ArrayList中的特定属性设置值?   java一次不能加载多个osm文件   使用java 8将map<String,map<Long,customeObject>>转换为list<customeObject>   java JDK包含哪些脚本语言解释器?   java为什么eclipse在这里生成语法错误?   多线程Javasocket异常:socket已关闭且值为空   java我想在Android活动中创建一个带有图像的可滚动文本列表。我应该用什么?   java实现编译时警告   java根据安卓 SQLite数据库中前一行的相同值递增特定值   java移动迭代器语句使代码可编译   java JVM终身/旧代已达到限制&服务器挂起   为什么我们不能在映射上使用迭代器(Java)?   xml如何映射JAXB中已有的JavaBean