在Python中为日志添加每请求上下文

Question

背景

我在做一个REST API服务，想要在日志中提供更多的上下文信息，但又不想为整个应用程序重写日志语句。我在flask中使用python的日志库，并且使用gunicorn的eventlet运行方式。

使用场景

想象一下未来，所有通过这个系统的请求都有一个独特的（足够唯一的）事务ID，这个ID是从某个上游源（可能是反向代理）作为头信息传过来的。我希望在每条日志中记录这个事务ID，这样即使在高峰期也能轻松追踪某个请求在系统中的流转。

方法

我打算写一个自定义的日志上下文过滤器类，从flask中提取所需的信息。我了解到，我应该能够从线程本地的上下文变量中获取这些信息（特别是请求对象）。在初始化全局根日志记录器时，我只需设置这个自定义的上下文过滤器，这样在调试时一切都会顺利进行！

我发现这个方法是从以下的文档中学到的…… https://docs.python.org/2/howto/logging-cookbook.html#using-filters-to-impart-contextual-information

问题

• 你觉得这种方法会有扩展性的问题吗？
• 关于如何将这个事务ID传递给网络中其他请求的想法？
• 使用eventlet工作类型会影响这个方法的预期效果吗（比如因为并发问题导致上下文混乱）？
• 仅仅因为你可以这样做，并不意味着你应该这样做。还有其他理由让我不要这样做吗？

Answer 1

听起来你可能在考虑实现一个类似于X-Trace的系统。需要说明的是：我在一个商业产品上工作，它的运作方式和这个类似。

关于传播问题，随着应用程序复杂度的增加，这可能会成为一个关注点。当你在后端需要更多现成的解决方案或多种语言的组件时，这些组件需要支持上下文日志记录，否则就会因为缺乏可见性而受到限制。对于其他消息传递机制也是如此，如果你需要通过除了HTTP-RPC之外的方式传递上下文，比如JBoss、Thrift或者某种消息队列，那么实现的复杂性就会增加。

对于异步请求，你一定要确保唯一的ID能够正确地从阻塞的代码路径传递到事件驱动的代码路径，否则可能会出现ID混淆或重复使用的情况。这在分析调用传播时可能会引发一些微妙的问题。