基于芹菜的分布式声明性任务调度器
thescheduler的Python项目详细描述
scheduler:一个基于芹菜的声明性任务调度引擎
此项目处于alpha之前的早期开发阶段,并且会受到快速(read:breaking)更改的影响
概念验证Distributed Task/Job Scheduler,主要为批处理驱动环境设计。在
scheduler通过“tags”(用于创建作业定义的声明性语法)公开Celery的内置功能。在
它还实现了其他特性(例如集中日志记录、日志轮换)来覆盖扩展的用例。在
特点
- 使用简单的基于yaml的语法编写作业定义。在
- 定义是基于文件的,因此可以将它们合并到现有的开发工作流(CI/CD)中。 在代码旁边编写/提交/部署作业定义。在
- 调度程序将读取和解析有效的定义,将它们添加到计划中,并发送到工作线程池以供执行。在
- 通过使用依赖项标记链接作业来构建工作流/管道。在
外部依赖性
- 雷迪斯
安装
开发版本:
$ git clone git@github.com:ehm-are/thescheduler.git $ cd thescheduler $ pip install -e .
在或直接从存储库:
^{pr2}$ 在
Docker
TODO
用法
- 配置设置
TODO
- 启动调度程序
TODO
- 启动工人
TODO
- 在配置的作业路径中创建作业定义ex: /jobs/test/job_3
runcmd: python3 hello_world.py startat: 13:00 US/Pacific failat: 13:05 US/Pacific runday: mon, wed, fri pool: us-west-1-dev env: PATH="/home/user/.local/bin" dependon: /test/job_1, /test/job_2
学分
此包是用Cookiecutter和audreyr/cookiecutter-pypackage项目模板创建的。在
历史
- PyPI的第一个版本。在
- 项目
标签: