将luigi作业的摘要消息发送到slack。
fluigi-monitor的Python项目详细描述
Luigi监视器
将luigi作业的摘要消息发送到slack。
概述
Luigi是制作 作业管道,但很难知道运行的状态。路易吉有 支持错误电子邮件,但这需要配置您的计算机 发送电子邮件,这对于短寿命的emr集群来说是一个麻烦。此外, 它会为每一次失败发送一封电子邮件,这会很快淹没你的收件箱。
相比之下,此工具收集所有失败和缺少的依赖项 并在作业完成时发送摘要松弛消息。
使用量
使用默认应用程序用户名:
importluigifromluigi_monitorimportmonitor...if__name__=="__main__":withmonitor(slack_url=<your_slack_url>,max_print=10):luigi.run(main_task_cls=MainClass)
使用动态应用程序用户名:
importluigifromluigi_monitorimportmonitor...if__name__=="__main__":withmonitor(slack_url=<your_slack_url>,max_print=10,username="FooBar Monitor"):luigi.run(main_task_cls=MainClass)
监视和通知各种事件:
当前支持:SUCCESS
、DEPENDENCY_MISSING
和FAILURE
默认情况下,以上三项都会在上进行监视和通知。如果,SUCCESS
事件被监视并且
所有任务都成功,则通知文本是“job run successfully”,而不是列出all
成功的任务。
importluigifromluigi_monitorimportmonitor...if__name__=="__main__":withmonitor(slack_url=<your_slack_url>,events=['DEPENDENCY_MISSING','FAILURE']):luigi.run(main_task_cls=MainClass)
或者:
luigi-monitor --module path.to.module TaskName
注意:如果计划从命令行使用luigi monitor,请使用luigi.cfg
:
[luigi-monitor]
slack_url=<slack_hook>
max_print=<int>
username=<string>
这是一项正在进行的工作。尤其要注意:
- 它只通过slack发送通知