阅兵管理模块
parade-manage的Python项目详细描述
巡游管理
Parade-manage
是游行的标志。
注意:应该先安装parade。
安装
安装很简单:
> pip install parade-manage
用法
任务DAG:
t1 a b c
\ / \ / \ /
d e f
\ / \
g h
note:t1是表名,其他是任务名 先输入您的项目
> cd your_project
初始化类
fromparade_manageimportParadeManagemanage=ParadeManage()
如果任务a失败,您可以获取任务a的子任务和deps,如
> manage.get_task('a')# get task a([a, d, e, g, h], {'a': [], 'd': [a], 'e': ['a'], 'g': ['d', 'e'], 'h': [e]})
第一个结果是任务,另一个是deps。而且,你可以得到许多失败的任务。
> manage.get_task(['d', 'e'])# get task d and e(['d', 'e', 'g', 'h'], {'d':[], 'e': [], 'g': ['d', 'e'], 'h': ['e']})
然后,创建流和存储流,生成一个yaml文件
> manage.store_task_flow('a')# args: 'a' or ['d', 'e']
或者,按任务名称删除流
> manage.rm_task_flow('a')
运行流,执行失败的任务
manage.run_taskflow('a')
有时,任务不依赖于其他任务,而是使用一些表。 现在你可以得到表格和任务了。
> manage.get_source('d')['t1', 'a']# return table 't1' and task name 'a'
如果表t1
失败,可以使用store_source_flow
存储流
> manage.store_source_flow('t1')# return a flow related to etl task only