任务调度
我现在正在重新做我们所有的数据库调度工作,比如数据提取、转换和加载(ETL)、备份、日常任务、报告汇总等等。
为了做到这一点,我需要一个任务调度工具,这样我就可以定义任务之间的依赖关系、基于时间的任务、异步任务等等。
我之前看过celery和基于流程的编程技术,但我不确定这些是否适合我的需求。
我更想要一个可以直接支持这些功能的框架。有什么建议吗?
1 个回答
4
可能有点晚了,但我想提一下Job runner,也许会对其他看到这个问题的人有帮助。
这是他们在GitHub上的README文件里的内容:
Job-Runner是一个类似于定时任务的工具,配有一个很不错的网页界面,可以用来管理和实时监控当前的状态。
它的特点包括:
- 可以安排定期执行的任务
- 可以把多个任务串联起来执行
- 通过将工作者放在一个池中来进行负载均衡
- 可以安排任务在池中的所有工作者上运行
- 有实时仪表盘(可以选择终止正在运行的任务和临时安排任务)
- 支持多个项目和每个项目的权限管理