我将Airflow设置为使用DebugExcecutor,在进行实验时,我将DAGsmax_active_runs
属性设置为3。现在我好像打开了潘多拉的盒子。
我随后的所有跑步都抱怨INFO - max_active_runs limit for dag has been reached - waiting for other dag runs to finish
SAWarning: Reassigning polymorphic association for identity 'BackfillJob' from <Mapper at 0x10a067e50; BackfillJob> to <Mapper at 0x10a1588e0; BackfillJob>: Check for duplicate use of 'BackfillJob' as value for polymorphic_identity.
这很烦人。发生什么事?显然,在关闭调试会话时,有一些活动作业没有完成。如何(以编程方式)清除它们
在代码的末尾,我有以下内容:
if __name__ == '__main__':
dag.clear(reset_dag_runs=True)
min_ago=timezone.utcnow() - timedelta(minutes=1)
dag.run(start_date=min_ago)
我的方法全错了吗?为什么这不是一个问题,直到我设置了一次论点
目前没有回答
相关问题 更多 >
编程相关推荐