用Python读取网页搜索结果

Question

我想能够生成自动警报的某些类型的匹配到一个网络搜索。第一步是用Python读取url，这样我就可以使用BeautifulSoup或其他基于regex的方法解析它。 不过，对于下面示例中的页面，当我使用浏览器打开该页面时，html不会捕获我正在可视化的结果。 有没有一种方法可以通过搜索结果来获取HTML？你知道吗

import urllib

link = 'http://www.sas.com/jobs/USjobs/search.html'
f = urllib.urlopen(link)
myfile = f.read()
print myfile

Answer 1

您无法通过使用传统的urllib、urllib2或requests模块（甚至是mechanize）来获取使用javascript动态生成的数据。您必须使用selenium和chrome、Firefox或phantomjs来模拟浏览器环境，以评估网页中的javascript。你知道吗

看看Selenium Binding for python