气流数据包导入超时使用子数据?

2024-04-19 07:35:49 发布

您现在位置:Python中文网/ 问答频道 /正文

我在LocalExecutor模式下使用Airflow 1.8.0。 我最近遇到了一些dag有很多任务的问题:这些任务保持在state='queued'状态,但由于dagbag导入期间的超时错误而从未启动。在

[2018-08-08 00:10:50,388] {models.py:167} INFO - Filling up the DagBag from /opt/airflow/dags/mydag.py
[2018-08-08 00:10:51,187] {models.py:167} INFO - Filling up the DagBag from /opt/airflow/dags/mydag.py
[2018-08-08 00:12:57,790] {timeout.py:37} ERROR - Process timed out
[2018-08-08 00:12:57,791] {models.py:266} ERROR - Failed to import: /opt/airflow/dags/mydag.py 

我找到的解决方案是增加dagbag_import_超时,并将DAG拆分成更小的DAG。 但我想知道使用subdag运算符是否会有所帮助。气流只会尝试单独导入每个子数据,还是仍然尝试加载整个子数据并给我相同的错误?在

谢谢!在


Tags: thefrompyinfomodels错误errorairflow