气流调试:设置最大活动行程会导致达到dag限制错误

2024-04-23 10:09:19 发布

您现在位置:Python中文网/ 问答频道 /正文

我将Airflow设置为使用DebugExcecutor,在进行实验时,我将DAGsmax_active_runs属性设置为3。现在我好像打开了潘多拉的盒子。 我随后的所有跑步都抱怨INFO - max_active_runs limit for dag has been reached - waiting for other dag runs to finish

  1. 删除max\u active\u runs属性无法解决此问题
  2. 设置max\u active\u runs=-1无法解决此问题
  3. 将最大活动跑步次数设置为0并不能解决此问题
  4. 递增max_active runs会修复它一次,然后我需要不断递增它,最终我会得到这个错误: SAWarning: Reassigning polymorphic association for identity 'BackfillJob' from <Mapper at 0x10a067e50; BackfillJob> to <Mapper at 0x10a1588e0; BackfillJob>: Check for duplicate use of 'BackfillJob' as value for polymorphic_identity.
  5. 砸了我的笔记本电脑并不能解决这个问题

这很烦人。发生什么事?显然,在关闭调试会话时,有一些活动作业没有完成。如何(以编程方式)清除它们

在代码的末尾,我有以下内容:

if __name__ == '__main__':
    dag.clear(reset_dag_runs=True)
    min_ago=timezone.utcnow() - timedelta(minutes=1)
    dag.run(start_date=min_ago)

我的方法全错了吗?为什么这不是一个问题,直到我设置了一次论点


Tags: tofor属性runsminago跑步max