Outflow是一个框架,它可以帮助您创建和执行顺序的、并行的以及分布式的任务工作流。
outflow的Python项目详细描述
流出是一个帮助您构建和运行任务工作流的框架。在
api尽可能简单,同时仍让用户完全控制 工作流。在
功能亮点:
- 简单但功能强大的API
- 支持并行和分布式执行
- 集中的命令行界面,用于管道命令
- 集成的数据库access、sqlalchemy模型和alembic迁移
- tracapability的执行和异常日志记录
- robust管道的严格类型和输入/输出检查
查看我们的documentation了解更多信息。在
安装
使用pip安装和更新:
pip install -U outflow
快速入门
一个文件启动器
创建pipeline.py
脚本:
运行第一条流出管道:
$ python pipeline.py hello_world
一个健壮、可配置和组织良好的管道
你对流出的特性有了一个简要的概述,你还想更进一步。流出提供命令行工具来帮助您启动管道项目。在
首先,我们需要自动生成管道结构——一组文件,包括管道设置、数据库和集群配置等
$ python -m outflow management create pipeline my_pipeline
然后,我们必须创建一个插件——一个专门的文件夹,重新组合命令、任务以及数据库(模型)的描述
$ python -m outflow management create plugin my_namespace.my_plugin --plugin_dir my_pipeline/plugins/my_plugin
在我的管道里/设置.py文件,将新插件添加到插件列表:
PLUGINS=['outflow.management','my_namespace.my_plugin',]
并运行以下命令:
$ python ./my_pipeline/manage.py my_plugin
您将在命令行上看到以下输出:
* outflow.core.pipeline.pipeline - pipeline.py:325 - INFO - No cluster config found in configuration file, running in a local cluster
* my_namespace.my_plugin.commands - commands.py:49 - INFO - Hello from my_plugin
你的管道正在运行。现在可以开始添加新任务和命令。在
贡献
有关设置开发环境以及如何对流出做出贡献的指导,请参阅contributing guidelines。在
- 项目
标签: