我尝试使用Python的BeautifulSoup和urllib2库对这个link进行爬网。我遇到的一个问题是soup对象与使用GoogleChrome的DeveloperTool显示的网页html不匹配。我查了很多遍,我确信我传递的地址是正确的。我之所以知道它们不同,是因为我将整个soup对象打印到sublime2上,并将其与chrome的DeveloperTools上显示的内容进行了比较。我还搜索了soup对象中真正特定的标记。经过几个小时的调试,我已经没有主意了。有人知道为什么会这样吗?有没有什么改变方向的事情?你知道吗
Tags:
JavaScript将在改变网站DOM的网站中运行。任何url库(如urllib2)只下载HTML,不执行包含/链接的JavaScript。这就是为什么你看到了不同。你知道吗
相关问题 更多 >
编程相关推荐