如何配置气流dag在每天的特定时间运行?

2024-04-19 08:16:05 发布

您现在位置:Python中文网/ 问答频道 /正文

如何配置Airflow dag,使其在每天的指定时间执行,无论发生什么,都与cron完全一样。

我知道使用时间传感器可以获得类似的行为,但在这种情况下,它取决于传感器任务,并且可能与dag执行时间冲突。

示例:对于传感器进近,如果传感器在0小时15分钟运行,但如果稍后执行dag,则我的任务会延迟,因此即使对于传感器进近,我也需要确保dag在正确的时间执行。

那么,如何确保在指定的时间执行Dag呢?


Tags: 示例时间情况传感器cronairflowdag小时
2条回答

例如,要在每天凌晨2:30开始DAG,您可以执行以下操作:

DAG(
   dag_id='dag_id',
   # start date:28-03-2017
   start_date= datetime(year=2017, month=3, day=28),
   # run this dag at 2 hours 30 min interval from 00:00 28-03-2017
   schedule_interval='30 2 * * *')

在配置调度之前,可以在这里验证和测试cron间隔的解释:https://crontab.guru/

在实例化DAG时,可以将schedule_interval设置为字符串cron表达式:

schedule_interval='0 * * * *'

BaseOperator documentation

相关问题 更多 >