HTTP请求后快速写入日志文件
我最近搭建了一个网络服务器，主要功能就是接收每个HTTP POST请求中的数据内容，并把它写入一个日志文件。收到的数据内容是经过处理的，所以我需要把它恢复成原来的样子，然后再写入服务器的日志文件。经过处理的数据是一系列随机的键值对，每次请求都不一样，数据不是固定的。
这个服务器运行在Linux系统上，内核版本是2.6以上。服务器配置可以处理大量的流量（比如打开文件的限制是32k等）。这个应用是用Python编写的，使用了web.py框架。HTTP服务器是Gunicorn，后面有Nginx作为反向代理。
我用Apache Benchmark做了一些压力测试，发现服务器每秒可以处理大约600到700个请求，写日志没有问题。Linux在缓冲方面表现得很好。但当每秒的请求数量超过这个范围，试图同时写入同一个文件时，就会出现问题，数据无法写入，信息会丢失。我知道“直接写入文件”的设计可能一开始就不是最佳选择。
所以我在想有没有人能提出一个解决方案，让我能快速实现，而不需要大幅度改变基础设施和代码，来解决这个问题？
我听说过像Redis这样的内存存储，但我意识到如果服务器发生故障，内存中的数据就会丢失。我在文档中看到Redis可以配置为持久存储，只要服务器有足够的内存就行。这个方案意味着我需要写一个脚本，定期把Redis中的数据（内存）转存到日志文件中。
我在想有没有更快的解决方案？任何帮助都将非常感激！
1 个回答
1
我想到的一个可能的解决方案是使用一个单独的日志记录进程。这样，你的web.py就可以避免因为性能问题而受到影响。这是一种经典的处理日志模块的方法。你可以使用进程间通信（IPC）或者其他的通信方式。这样做可以解决两个问题：
- 日志记录不会成为高流量调用的瓶颈。
- 一个单独的模块可以确保提供开关功能，方便你随时开启或关闭日志记录。
- 这样就不会占用太多的进程内存。
不过，你需要注意以下几点：
- 你要确保日志记录仅仅是记录日志，而不是用作业务处理的数据存储。否则，你可能会在业务逻辑中遇到很多同步问题。
- 日志记录进程（这里指的是实际的Unix进程）会变得很关键，并且稍微复杂（也就是说，你可能需要处理某种形式的进程间通信）。
希望这些对你有帮助！