python:嵌套线程simplexmlrpcserver时httplib.CannotSendRequest

Question

当使用使用SocketServer.ThreadingMixin的simplexmlrpcserver链时，我间歇性地收到httplib.CannotSendRequest异常。

我所说的“链条”是指：

我有一个客户端脚本，它使用xmlrpclib在SimpleXMLRPCServer上调用函数。该服务器依次调用另一个SimpleXMLRPCServer。我知道这听起来有多复杂，但有充分的理由选择这种架构，我不认为这是不可能的。

(testclient)client_script ---calls--> 
    (middleserver)SimpleXMLRPCServer ---calls---> 
        (finalserver)SimpleXMLRPCServer --- does something

• 如果我不使用SocketServer.ThreadingMixin，则不会出现此问题（但我需要请求是多线程的，因此这没有帮助）
• 如果我只有一个服务级别（即客户机脚本直接调用最终服务器），就不会发生这种情况。

我已经能够在下面的简单测试代码中重现这个问题。有三个片段：

最终服务器：

import SocketServer
import time
from SimpleXMLRPCServer import SimpleXMLRPCServer
from SimpleXMLRPCServer import SimpleXMLRPCRequestHandler

class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

# Create server
server = AsyncXMLRPCServer(('', 9999), SimpleXMLRPCRequestHandler)
server.register_introspection_functions()

def waste_time():
    time.sleep(10)
    return True

server.register_function(waste_time, 'waste_time')
server.serve_forever()

中间服务器：

import SocketServer
from SimpleXMLRPCServer import SimpleXMLRPCServer
from SimpleXMLRPCServer import SimpleXMLRPCRequestHandler
import xmlrpclib

class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

# Create server
server = AsyncXMLRPCServer(('', 8888), SimpleXMLRPCRequestHandler)
server.register_introspection_functions()

s = xmlrpclib.ServerProxy('http://localhost:9999')
def call_waste():
    s.waste_time()
    return True

server.register_function(call_waste, 'call_waste')
server.serve_forever()

测试客户端：

import xmlrpclib
s = xmlrpclib.ServerProxy('http://localhost:8888')
print s.call_waste()

要复制，应使用以下步骤：

1. 运行python finalserver.py
2. 运行python middleserver.py
3. 运行python testclient.py
4. 当（3）仍在运行时，运行python testclient.py的另一个实例

通常（几乎每次）您在第一次尝试运行步骤4时都会遇到以下错误。有趣的是，如果立即再次尝试运行步骤（4），则不会发生错误。

Traceback (most recent call last):
  File "testclient.py", line 6, in <module>
    print s.call_waste()
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1224, in __call__
    return self.__send(self.__name, args)
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1578, in __request
    verbose=self.__verbose
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1264, in request
    return self.single_request(host, handler, request_body, verbose)
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1297, in single_request
    return self.parse_response(response)
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1473, in parse_response
    return u.close()
  File "/usr/lib64/python2.7/xmlrpclib.py", line 793, in close
    raise Fault(**self._stack[0])
xmlrpclib.Fault: <Fault 1: "<class 'httplib.CannotSendRequest'>:">

internet似乎说，此异常可能是由于多次调用httplib.HTTPConnection.request而导致的，而无需干预getresponse调用。但是，internet不会在SimpleXMLRPCServer的上下文中讨论这个问题。如果有任何指向解决httplib.CannotSendRequest问题的指针，我们将不胜感激。

=========================================================================================== 回答：

好吧，我有点傻。我想我盯着代码看了太长时间，以至于错过了一个显而易见的解决方案（相当字面的意思，因为答案实际上是在实际问题中）

基本上，CannotSendRequest发生在httplib.HTTPConnection被中间的“请求”操作中断时。每个httplib.HTTPConnection.request都必须与.getresponse（）调用配对。如果该配对被另一个请求操作中断，则第二个请求将产生CannotSendRequest错误。所以：

connection = httplib.HTTPConnection(...)
connection.request(...)
connection.request(...)

将失败，因为在调用任何getresponse之前，在同一连接上有两个请求。

把这和我的问题联系起来：

1. 在这三个程序中，进行这种连接的唯一地方是服务器代理调用。
2. 这个问题只在线程期间出现，所以很可能是一个竞争条件。
3. 只有在middleserver.py中才能共享服务器代理调用

那么，解决方案显然是让每个线程创建自己的服务器代理。下面是middleserver的固定版本，它可以工作：

import SocketServer
from SimpleXMLRPCServer import SimpleXMLRPCServer
from SimpleXMLRPCServer import SimpleXMLRPCRequestHandler
import xmlrpclib

class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

# Create server
server = AsyncXMLRPCServer(('', 8888), SimpleXMLRPCRequestHandler)
server.register_introspection_functions()

def call_waste():
    # Each call to this function creates its own serverproxy.
    # If this function is called by concurrent threads, each thread
    # will safely have its own serverproxy.
    s = xmlrpclib.ServerProxy('http://localhost:9999')
    s.waste_time()
    return True

server.register_function(call_waste, 'call_waste')
server.serve_forever()

由于此版本导致每个线程都有自己的xmlrpclib.serverproxy，因此不会有相同的serverproxy实例连续调用HTTPConnection.request多次的风险。程序按预期工作。

抱歉打扰了。