我尝试使用一些Python网络爬虫从一个网站下载大约3000个pdf文件。但是,这些pdf的url是由JavaScript函数生成的。所以,我想知道有没有关于如何实现这一点的教程?在
例如,链接到Alberto European Hairspray (Aerosol) - All Variants
的URL将在单击onclick="javascript:__doPostBack('ctl00$placeBody$gridView$gridView','DocumentCenter.aspx?did={0}$0'
后生成。
所以问题是如何让网络爬虫获得计算出的URL。在
function __doPostBack(eventTarget, eventArgument) {
if (!theForm.onsubmit || (theForm.onsubmit() != false)) {
theForm.__EVENTTARGET.value = eventTarget;
theForm.__EVENTARGUMENT.value = eventArgument;
theForm.submit();
}
}
<tbody>
<tr>
<td>
<input type="image" src="App_Graphics/PDFDocument.gif" alt="MSDS" onclick="javascript:__doPostBack('ctl00$placeBody$gridView$gridView','DocumentCenter.aspx?did={0}$0');return false;" />
</td>
<td><a href="javascript:__doPostBack('ctl00$placeBody$gridView$gridView','MSDSDetail.aspx?did={0}$0')">Alberto European Hairspray (Aerosol) - All Variants</a>
</td>
<td>Unilever PLC</td>
<td>8131-01</td>
</tr>
<tr class="row-alternate">
<td>
<input type="image" src="App_Graphics/PDFDocument.gif" alt="MSDS" onclick="javascript:__doPostBack('ctl00$placeBody$gridView$gridView','DocumentCenter.aspx?did={0}$1');return false;" />
</td>
<td><a href="javascript:__doPostBack('ctl00$placeBody$gridView$gridView','MSDSDetail.aspx?did={0}$1')">Alberto European Mousse (Aerosol) - All Variants</a>
</td>
<td>Unilever PLC</td>
<td>8132-01</td>
</tr>
</tbody>
另一个选择是您可以使用Selenium来execute js并获得计算的url。在
不能。使用JavaScript解释器(SpiderMonkey)来执行代码,然后继续进行HTML解析。使用Qt的WebKit也是一种很好的方法,但可能会慢一些。在
相关问题 更多 >
编程相关推荐