如何在气流中有多个分支?

2024-04-19 19:13:25 发布

您现在位置:Python中文网/ 问答频道 /正文

我在想办法在Apache Airflow中管理我的dag。在

我需要一些主要步骤。 例如,假设step 1和{}应该始终在分支之前执行。然后步骤A, B, C, D, E应该在step 2之后同时分支出去,并且每个步骤都有自己的步骤。。就像A1, A2..和{}一样。在

最好的管理方法是什么?看起来好像有BranchOperator,但它说它对警报非常有用,我不想在这里做警报,而是在A1, A2..步骤中使用运算符。A-E应该都是子数据吗?如果是,如何触发子数据?在


Tags: 数据方法a2apachea1step分支步骤
2条回答

如果你想要这样的结构:

               -> A1 -> A2 -> ...
              /
step1 -> step2 -> B1 -> B2 -> ...
              \ 
               -> C1 -> C2 -> ...

然后可以在DAG中设置依赖项为

^{pr2}$

当有条件分支时使用BranchOperator(如果是X,则执行A else B)。在

是否要同时执行所有任务A、B、C?如果是这样,那么branchOperator可能不合适。branchOperator选择基于某个逻辑的特定分支。在

相关问题 更多 >