使用ssl模块进行HTTPS代理隧道转换
我想手动使用 socket 和 ssl 模块，通过一个使用 HTTPS 的代理来发起一个 HTTPS 请求。
我可以顺利完成初始的 CONNECT 交换：
import ssl, socket
PROXY_ADDR = ("proxy-addr", 443)
CONNECT = "CONNECT example.com:443 HTTP/1.1\r\n\r\n"
sock = socket.create_connection(PROXY_ADDR)
sock = ssl.wrap_socket(sock)
sock.sendall(CONNECT)
s = ""
while s[-4:] != "\r\n\r\n":
s += sock.recv(1)
print repr(s)
上面的代码打印出 HTTP/1.1 200 Connection established 以及一些头信息，这正是我期待的结果。所以现在我应该可以发起请求，比如：
sock.sendall("GET / HTTP/1.1\r\n\r\n")
但是上面的代码返回了
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>400 Bad Request</title>
</head><body>
<h1>Bad Request</h1>
<p>Your browser sent a request that this server could not understand.<br />
Reason: You're speaking plain HTTP to an SSL-enabled server port.<br />
Instead use the HTTPS scheme to access this URL, please.<br />
</body></html>
这也可以理解，因为我还需要和我正在连接的 example.com 服务器进行 SSL 握手。不过，如果我不是立即发送 GET 请求，而是说：
sock = ssl.wrap_socket(sock)
来和远程服务器进行握手，那么我就会遇到一个异常：
Traceback (most recent call last):
File "so_test.py", line 18, in <module>
ssl.wrap_socket(sock)
File "/usr/lib/python2.6/ssl.py", line 350, in wrap_socket
suppress_ragged_eofs=suppress_ragged_eofs)
File "/usr/lib/python2.6/ssl.py", line 118, in __init__
self.do_handshake()
File "/usr/lib/python2.6/ssl.py", line 293, in do_handshake
self._sslobj.do_handshake()
ssl.SSLError: [Errno 1] _ssl.c:480: error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol
那么我该如何与远程的 example.com 服务器进行 SSL 握手呢？
编辑：我很确定在我第二次调用 wrap_socket 之前没有额外的数据可用，因为调用 sock.recv(1) 会一直阻塞。
5 个回答
最后我在@kravietz和@02strich的回答基础上有了一些新的理解。
这里是代码：
import threading
import select
import socket
import ssl
server = 'mail.google.com'
port = 443
PROXY = ("localhost", 4433)
CONNECT = "CONNECT %s:%s HTTP/1.0\r\nConnection: close\r\n\r\n" % (server, port)
class ForwardedSocket(threading.Thread):
def __init__(self, s, **kwargs):
threading.Thread.__init__(self)
self.dest = s
self.oursraw, self.theirsraw = socket.socketpair(socket.AF_UNIX, socket.SOCK_STREAM)
self.theirs = socket.socket(_sock=self.theirsraw)
self.start()
self.ours = ssl.wrap_socket(socket.socket(_sock=self.oursraw), **kwargs)
def run(self):
rl, wl, xl = select.select([self.dest, self.theirs], [], [], 1)
print rl, wl, xl
# FIXME write may block
if self.theirs in rl:
self.dest.send(self.theirs.recv(4096))
if self.dest in rl:
self.theirs.send(self.dest.recv(4096))
def recv(self, *args):
return self.ours.recv(*args)
def send(self, *args):
return self.outs.recv(*args)
def test():
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(PROXY)
s = ssl.wrap_socket(s, ciphers="ALL:aNULL:eNULL")
s.send(CONNECT)
resp = s.read(4096)
print (resp, )
fs = ForwardedSocket(s, ciphers="ALL:aNULL:eNULL")
fs.send("foobar")
别在意自定义的 cihpers=，那只是因为我不想处理证书的问题。
还有深度为1的ssl输出，显示了 CONNECT，我对此的回应是 ssagd，接着是深度为2的ssl协商和一些二进制的杂乱信息：
[dima@bmg ~]$ openssl s_server -nocert -cipher "ALL:aNULL:eNULL"
Using default temp DH parameters
Using default temp ECDH parameters
ACCEPT
-----BEGIN SSL SESSION PARAMETERS-----
MHUCAQECAgMDBALAGQQgmn6XfJt8ru+edj6BXljltJf43Sz6AmacYM/dSmrhgl4E
MOztEauhPoixCwS84DL29MD/OxuxuvG5tnkN59ikoqtfrnCKsk8Y9JtUU9zuaDFV
ZaEGAgRSnJ81ogQCAgEspAYEBAEAAAA=
-----END SSL SESSION PARAMETERS-----
Shared ciphers: [snipped]
CIPHER is AECDH-AES256-SHA
Secure Renegotiation IS supported
CONNECT mail.google.com:443 HTTP/1.0
Connection: close
sagq
�u\�0�,�(�$��
�"�!��kj98���� �m:��2�.�*�&���=5�����
��/�+�'�#�� ����g@32��ED���l4�F�1�-�)�%���</�A������
�� ������
�;��A��q�J&O��y�l
根据OpenSSL和GnuTLS库的接口来看，把一个SSLSocket叠加到另一个SSLSocket上其实并不是一件简单的事，因为它们提供了特殊的读写功能来实现加密，而在包裹一个已经存在的SSLSocket时，它们无法使用这些功能。
这个错误的原因是内部的SSLSocket直接从系统的socket读取数据，而不是从外部的SSLSocket读取。这就导致发送的数据不属于外部的SSL会话，这样会出现问题，肯定不会返回一个有效的ServerHello。
总结一下，我觉得没有简单的方法可以实现你（其实也是我自己）想要做的事情。
如果把连接字符串改成下面这样，应该就能正常工作：
CONNECT = "CONNECT %s:%s HTTP/1.0\r\nConnection: close\r\n\r\n" % (server, port)
我不太确定为什么这样做有效，但可能和我使用的代理有关。这里有一段示例代码：
from OpenSSL import SSL
import socket
def verify_cb(conn, cert, errun, depth, ok):
return True
server = 'mail.google.com'
port = 443
PROXY_ADDR = ("proxy.example.com", 3128)
CONNECT = "CONNECT %s:%s HTTP/1.0\r\nConnection: close\r\n\r\n" % (server, port)
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(PROXY_ADDR)
s.send(CONNECT)
print s.recv(4096)
ctx = SSL.Context(SSL.SSLv23_METHOD)
ctx.set_verify(SSL.VERIFY_PEER, verify_cb)
ss = SSL.Connection(ctx, s)
ss.set_connect_state()
ss.do_handshake()
cert = ss.get_peer_certificate()
print cert.get_subject()
ss.shutdown()
ss.close()
注意，首先是打开了一个套接字，然后把这个打开的套接字放入SSL上下文中。接着我手动初始化了SSL握手。输出结果是：
HTTP/1.1 200 连接已建立
<X509Name对象 '/C=US/ST=California/L=Mountain View/O=Google Inc/CN=mail.google.com'>
这段代码是基于pyOpenSSL的，因为我需要获取无效证书，而Python自带的ssl模块在收到证书时总是会尝试验证它。