普罗米修斯气流测量导出器
airflow-prometheus-exporter的Python项目详细描述
气流普罗米修斯出口
Airflow Prometheus Exporter公开了有关调度程序、DAG和任务的各种度量,这些度量有助于提高Airflow群集的可观测性。
导出器基于这个prometheus exporter for Airflow。
要求
该插件已通过以下测试:
- 气流>;=1.10.4
- Python3.6+
调度程序度量假设有一个名为canary_dag
的DAG在我们的设置中,canary_dag
是一个DAG,它有一个执行非常简单操作的任务,比如建立数据库连接此DAG用于测试气流计划程序本身的正常运行时间
安装
导出器可以作为气流插件安装,使用:
pip install airflow-prometheus-exporter
理想情况下,应该将其安装在Airflow virtualenv中
指标
指标将在
http://<your_airflow_host_and_port>/admin/metrics/
任务特定指标
airflow_task_status
具有特定状态的任务数。
所有可能的状态都列在here
airflow_task_duration
成功任务的持续时间(秒)
airflow_task_fail_count
特定任务失败的次数。
DAG特定指标
airflow_dag_status
具有特定状态的DAG数
列出了所有可能的状态here
airflow_dag_run_duration
成功DagRun的持续时间(秒)
调度程序度量
airflow_dag_scheduler_delay
计划DAG运行的延迟(秒)。此度量假定存在canary_dag
。
调度延迟被测量为DAG标记为SCHEDULED
和它实际启动RUNNING
之间的延迟
airflow_task_scheduler_delay
以秒为单位安排任务的延迟。此度量假定存在canary_dag
airflow_num_queued_tasks
任何给定实例上处于QUEUED
状态的任务数。