将luigi作业的摘要消息发送到slack。

fluigi-monitor的Python项目详细描述


Luigi监视器

Pypi Latest VersionLicensePython VersionsPypi FormatBuild Status

message

将luigi作业的摘要消息发送到slack。

概述

Luigi是制作 作业管道,但很难知道运行的状态。路易吉有 支持错误电子邮件,但这需要配置您的计算机 发送电子邮件,这对于短寿命的emr集群来说是一个麻烦。此外, 它会为每一次失败发送一封电子邮件,这会很快淹没你的收件箱。

相比之下,此工具收集所有失败和缺少的依赖项 并在作业完成时发送摘要松弛消息。

使用量

使用默认应用程序用户名:

importluigifromluigi_monitorimportmonitor...if__name__=="__main__":withmonitor(slack_url=<your_slack_url>,max_print=10):luigi.run(main_task_cls=MainClass)

使用动态应用程序用户名:

importluigifromluigi_monitorimportmonitor...if__name__=="__main__":withmonitor(slack_url=<your_slack_url>,max_print=10,username="FooBar Monitor"):luigi.run(main_task_cls=MainClass)

监视和通知各种事件:

当前支持:SUCCESSDEPENDENCY_MISSINGFAILURE

默认情况下,以上三项都会在上进行监视和通知。如果,SUCCESS事件被监视并且 所有任务都成功,则通知文本是“job run successfully”,而不是列出all 成功的任务。

importluigifromluigi_monitorimportmonitor...if__name__=="__main__":withmonitor(slack_url=<your_slack_url>,events=['DEPENDENCY_MISSING','FAILURE']):luigi.run(main_task_cls=MainClass)

或者:

luigi-monitor --module path.to.module TaskName

注意:如果计划从命令行使用luigi monitor,请使用luigi.cfg

[luigi-monitor]
slack_url=<slack_hook>
max_print=<int>
username=<string>

这是一项正在进行的工作。尤其要注意:

  • 它只通过slack发送通知

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java为什么这一行是charg=(char)(br.read());被跳过?   java三重DES中的IV在哪里?   java Lombok注释不在Intellij idea下编译   java为什么我不能使用过滤器作为流中的最后一步   sqlite Java编译错误找不到符号方法next()   在Java中解析处理对int来说太大的数字   java摄像头不工作   java是“断言错误”好的做法?   java确定api请求是来自CURL还是POSTMAN?   JavaSpringMVC导航   java使单例模式代码更强大   当Java(解释器)区分大小写时,为什么Java编译器(javac)不区分大小写?   java注释字符串[]oneArr();vs字符串[][]twoArr();公告   java命名查询的利弊   java使用log4jweb在web应用程序中配置Log4j2。罐子   java正则表达式查找以开头和结尾的所有可能出现的文本~   java从字符串执行方法