强制python mechanize/urllib2只使用请求？

Question

这里有一个相关的问题，但是我不知道如何将答案应用到mechanize/urllib2:how to force python httplib library to use only A requests

基本上，给定这个简单的代码：

#!/usr/bin/python
import urllib2
print urllib2.urlopen('http://python.org/').read(100)

这导致wireshark说：

  0.000000  10.102.0.79 -> 8.8.8.8      DNS Standard query A python.org
  0.000023  10.102.0.79 -> 8.8.8.8      DNS Standard query AAAA python.org
  0.005369      8.8.8.8 -> 10.102.0.79  DNS Standard query response A 82.94.164.162
  5.004494  10.102.0.79 -> 8.8.8.8      DNS Standard query A python.org
  5.010540      8.8.8.8 -> 10.102.0.79  DNS Standard query response A 82.94.164.162
  5.010599  10.102.0.79 -> 8.8.8.8      DNS Standard query AAAA python.org
  5.015832      8.8.8.8 -> 10.102.0.79  DNS Standard query response AAAA 2001:888:2000:d::a2

这是一个5秒的延迟！

我的系统中没有启用IPv6（gentoo是用USE=-ipv6编译的），所以我认为python甚至没有任何理由尝试IPv6查找。

上面提到的问题建议显式地将套接字类型设置为AF_INET，这听起来不错。我不知道如何强制urllib或mechanize使用我创建的任何套接字。

编辑：我知道AAAA查询是问题所在，因为其他应用程序也有延迟，当我在禁用ipv6的情况下重新编译时，问题就消失了。。。除了在python中仍然执行AAAA请求。

Answer 1

没有答案，只有几个数据点。DNS解析似乎来自HTTPConnection.connect()中的httplib.py（python 2.5.4 stdlib上的第670行）

代码流大致如下：

for res in socket.getaddrinfo(self.host, self.port, 0, socket.SOCK_STREAM):
    af, socktype, proto, canonname, sa = res
    self.sock = socket.socket(af, socktype, proto)
    try:
        self.sock.connect(sa)
    except socket.error, msg: 
        continue
    break

对发生的事情有几点看法：

• socket.getaddrinfo()的第三个参数限制套接字系列，即IPv4与IPv6。通过零返回所有族。零被硬编码到stdlib中。

• 将主机名传递到getaddrinfo()将导致名称解析——在启用了IPv6的OS X框中，a和AAAA记录都会输出，两个答案都会返回，并且都会返回。

• connect循环的其余部分尝试每个返回的地址，直到一个成功为止

例如：

>>> socket.getaddrinfo("python.org", 80, 0, socket.SOCK_STREAM)
[
 (30, 1, 6, '', ('2001:888:2000:d::a2', 80, 0, 0)), 
 ( 2, 1, 6, '', ('82.94.164.162', 80))
]
>>> help(socket.getaddrinfo)
getaddrinfo(...)
    getaddrinfo(host, port [, family, socktype, proto, flags])
        -> list of (family, socktype, proto, canonname, sockaddr)

一些猜测：

• 由于getaddrinfo()中的套接字系列硬编码为零，您将无法通过urllib中支持的一些API接口重写A与AAAA记录。除非mechanize出于其他原因执行自己的名称解析，否则mechanize也不能。从连接循环的构造来看，这是通过设计实现的。

• python的socket模块是POSIX socket api的一个瘦包装器；我期望它们正在解析系统上配置的每个可用系列。仔细检查Gentoo的IPv6配置。