使用urllib下载HTTPS页面，错误：14077438：SSL routines：SSL23_GET_SERVER_HELLO：tlsv1 alert intern。

Question

即时消息使用最新的Kubuntu和Python 2.7.6。我尝试使用以下代码下载https页面：

import urllib2

hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'pl-PL,pl;q=0.8',
       'Connection': 'keep-alive'}

req = urllib2.Request(main_page_url, headers=hdr)

try:
    page = urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.fp.read()

content = page.read()
print content

但是，我得到了这样一个错误：

Traceback (most recent call last):
  File "test.py", line 33, in <module>
    page = urllib2.urlopen(req)
  File "/usr/lib/python2.7/urllib2.py", line 127, in urlopen
    return _opener.open(url, data, timeout)
  File "/usr/lib/python2.7/urllib2.py", line 404, in open
    response = self._open(req, data)
  File "/usr/lib/python2.7/urllib2.py", line 422, in _open
    '_open', req)
  File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain
    result = func(*args)
  File "/usr/lib/python2.7/urllib2.py", line 1222, in https_open
    return self.do_open(httplib.HTTPSConnection, req)
  File "/usr/lib/python2.7/urllib2.py", line 1184, in do_open
    raise URLError(err)
urllib2.URLError: <urlopen error [Errno 1] _ssl.c:510: error:14077438:SSL routines:SSL23_GET_SERVER_HELLO:tlsv1 alert internal error>

如何解决这个问题？

解决了！

我使用了@SteffenUllrich给出的urlhttps://www.ssllabs.com。结果发现服务器使用了TLS 1.2，所以我将python更新为2.7.10，并将代码修改为：

import ssl
import urllib2

context = ssl.SSLContext(ssl.PROTOCOL_TLSv1)

hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'pl-PL,pl;q=0.8',
       'Connection': 'keep-alive'}

req = urllib2.Request(main_page_url, headers=hdr)

try:
    page = urllib2.urlopen(req,context=context)
except urllib2.HTTPError, e:
    print e.fp.read()

content = page.read()
print content

现在它下载了页面。

Answer 1

Im using newest Kubuntu with Python 2.7.6

据我所知，最新的Kubuntu（15.10）使用了2.7.10。但假设您使用14.04 LTS中包含的2.7.6：

Works with facebook for me too, so it's probably the page issue. What now?

那就要看地点了。这个版本的Python的典型问题是缺少对Server Name Indication (SNI)的支持，该支持只添加到Python 2.7.9中。因为现在很多站点都需要SNI（就像所有使用Cloudflare Free SSL的站点一样），我想这就是问题所在。

但是，还有其他的可能性，比如multiple trust path，它只在OpenSSL 1.0.2中被修复。或者只是缺少中间证书等。只有在您提供URL或根据此信息和来自SSLLabs的分析自行分析情况时，才有可能获得更多信息，或许还有解决方法。

Answer 2

以上答案仅部分正确，您可以添加修复程序来解决此问题：

代码：

def allow_unverified_content():
    """
    A 'fix' for Python SSL CERTIFICATE_VERIFY_FAILED (mainly python 2.7)
    """
    if (not os.environ.get('PYTHONHTTPSVERIFY', '') and
            getattr(ssl, '_create_unverified_context', None)):
        ssl._create_default_https_context = ssl._create_unverified_context

别无选择：

allow_unverified_content()