未提供项目说明
khadoop的Python项目详细描述
自述文件
解析和切片hadoop日志
纱线室
数据集
fromkhadoop.yarnimportlogrm
使用默认名称解析所有看起来像常规资源管理器日志的文件。在
logrm.FILEPATTERN是一个类似于unix的模式文件，可以帮助glob它们。在
logrm.process将解析每一行并生成一个包含合理信息的dict列表
每个dict看起来像：
{'accepted_to_running':6,# nb sec between ACCEPT to RUNNING'id_application':'application_1596547077642_6854','accept_to_running_ts':'2020-08-06 14:59:59,119'# timestamp set for log line 'FROM accepted to RUNNING'}
accepted_to_running表示yarn聚合RM log上这两个时间戳之间的数字：
2020-08-06 14:59:52,756 INFO rmapp.RMAppImpl (RMAppImpl.java:handle(779)) - application_1596547077642_6854 State change from SUBMITTED to ACCEPTED ... 2020-08-06 14:59:59,119 INFO rmapp.RMAppImpl (RMAppImpl.java:handle(779)) - application_1596547077642_6854 State change from ACCEPTED to RUNNING
相关
- 项目
标签：
欢迎加入QQ群-->： 979659372
