分析文本日志文件以从日志消息中提取某些数据字段

Question

我对python还不太熟悉，我一直在研究如何做到这一点。 我有一个非常大的文本文件，大约4GB包含错误消息。文本文件中的每个消息行代表一条消息，我需要筛选出几列，并用|替换空格字符。 示例：

input:
83b14af0-949b-71e0-18d5-0ad781020000 40ba8352-8dd2-71dc-12b8-0ad781020000 1 -1407714483 20 COLG-GRA-617-RD1.oss 1 181895426 12 oss-ap-1.oss 0 0 48 0 0 0 1307845644 1307845647 0 2 12 0 0 0  0 0 12 0 0 0  0 0 1307845918 3 OpC 6 opcecm 9 SNMPTraps 8 IBB_COLG 4 ATM0 0  0  0  69 Cisco Agent Interface Up (linkUp Trap) on interface ATM0 --Sev Normal 372 Generic: 3; Specific: 0; Enterprise: .1.3.6.1.4.1.9.1.569;
output:
83b14af0-949b-71e0-18d5-0ad781020000 | 40ba8352-8dd2-71dc-12b8-0ad781020000 | COLG-GRA-617-RD1.oss | 1307845644 | 1307845647 |1307845918 | Cisco Agent Interface Up (linkUp Trap) on interface ATM0 | Normal 372 | Generic: 3 | Specific: 0 | Enterprise: .1.3.6.1.4.1.9.1.569

真的很感谢你的帮助

谢谢你

Answer 1

如果您使用的是linux，那么使用sed命令很容易替换字符。它比在python中逐行读取要快，因为您的文件太大了。

sed -i 's/pattern/|/g' inputfile

上面的命令将用|替换所有模式字符串。