以编程方式解析网页（使用login/ssl）

Question

我想以编程方式解析一些没有公开可用API的网站上的网页。你知道吗

例如，检查我在大学的成绩是否合格。你知道吗

有没有人做过这样的事情，找到了一个有用的解决方案？我可能在找一个用python或类似语言编写的库，对吧？你知道吗

还要注意，其中一些站点需要登录和/或ssl。你建议怎么处理？你知道吗

Answer 1

我建议使用urllib或urllib2，它允许您发送/接收请求，并为您提供可以轻松解析的HTML对象。你知道吗

import urllib
proxies = {'http': 'http://proxy.example.com:8080/'}
opener = urllib.FancyURLopener(proxies)
f = opener.open("http://www.python.org")
f.read()

有关如何使用它的详细信息：https://docs.python.org/2/library/urllib.html