普罗米修斯气流测量导出器

airflow-prometheus-exporter的Python项目详细描述


气流普罗米修斯出口

Airflow Prometheus Exporter公开了有关调度程序、DAG和任务的各种度量,这些度量有助于提高Airflow群集的可观测性。

导出器基于这个prometheus exporter for Airflow

要求

该插件已通过以下测试:

  • 气流>;=1.10.4
  • Python3.6+

调度程序度量假设有一个名为canary_dag的DAG在我们的设置中,canary_dag是一个DAG,它有一个执行非常简单操作的任务,比如建立数据库连接此DAG用于测试气流计划程序本身的正常运行时间

安装

导出器可以作为气流插件安装,使用:

pip install airflow-prometheus-exporter

理想情况下,应该将其安装在Airflow virtualenv中

指标

指标将在

http://<your_airflow_host_and_port>/admin/metrics/

任务特定指标

airflow_task_status

具有特定状态的任务数。

所有可能的状态都列在here

airflow_task_duration

成功任务的持续时间(秒)

airflow_task_fail_count

特定任务失败的次数。

DAG特定指标

airflow_dag_status

具有特定状态的DAG数

列出了所有可能的状态here

airflow_dag_run_duration

成功DagRun的持续时间(秒)

调度程序度量

airflow_dag_scheduler_delay

计划DAG运行的延迟(秒)。此度量假定存在canary_dag

调度延迟被测量为DAG标记为SCHEDULED和它实际启动RUNNING之间的延迟

airflow_task_scheduler_delay

以秒为单位安排任务的延迟。此度量假定存在canary_dag

airflow_num_queued_tasks

任何给定实例上处于QUEUED状态的任务数。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何在数据库中插入行时自动发送电子邮件?   从进程输出读取的Java问题   java质疑StyledDocument和JTextPane之间的关系,以及接口的正确使用   java错误getPlayer(args[0]);   java如何使Spring引导在重新打包的WAR中包含清单文件?   Java中的除法与模   java使用2d数组和JfreeChart制作散点图   java扩展SonarQube FindBugs插件和自定义FindBugs插件   javaspring:hibernate+ehcache   具有不正确的equals和HashCode实现的java HashMap   java Jaspersoft报告网。旧金山。jasperreports。发动机例外:net。旧金山。jasperreports。发动机填满JRepressionEvalException:计算表达式时出错   java如果输入与其变量不匹配,如何添加错误   在java中使用简单数组[]实现队列   无法启动上下文路径/hsx上的java FAIL应用程序