Python中文
首页
教程
问答
标签
搜索
登录
注册
用于JavaScript生成url的Python Web爬虫程序
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我尝试使用一些Python网络爬虫从一个网站下载大约3000个pdf文件。但是,这些pdf的url是由JavaScript函数生成的。所以,我想知道有没有关于如何实现这一点的教程?在</p> <p>例如,链接到<code>Alberto European Hairspray (Aerosol) - All Variants</code>的URL将在单击<code>onclick="javascript:__doPostBack(&#39;ctl00$placeBody$gridView$gridView&#39;,&#39;DocumentCenter.aspx?did={0}$0&#39</code>后生成。 所以问题是如何让网络爬虫获得计算出的URL。在</p> <pre><code>function __doPostBack(eventTarget, eventArgument) { if (!theForm.onsubmit || (theForm.onsubmit() != false)) { theForm.__EVENTTARGET.value = eventTarget; theForm.__EVENTARGUMENT.value = eventArgument; theForm.submit(); } } <tbody> <tr> <td> <input type="image" src="App_Graphics/PDFDocument.gif" alt="MSDS" onclick="javascript:__doPostBack(&#39;ctl00$placeBody$gridView$gridView&#39;,&#39;DocumentCenter.aspx?did={0}$0&#39;);return false;" /> </td> <td><a href="javascript:__doPostBack(&#39;ctl00$placeBody$gridView$gridView&#39;,&#39;MSDSDetail.aspx?did={0}$0&#39;)">Alberto European Hairspray (Aerosol) - All Variants</a> </td> <td>Unilever PLC</td> <td>8131-01</td> </tr> <tr class="row-alternate"> <td> <input type="image" src="App_Graphics/PDFDocument.gif" alt="MSDS" onclick="javascript:__doPostBack(&#39;ctl00$placeBody$gridView$gridView&#39;,&#39;DocumentCenter.aspx?did={0}$1&#39;);return false;" /> </td> <td><a href="javascript:__doPostBack(&#39;ctl00$placeBody$gridView$gridView&#39;,&#39;MSDSDetail.aspx?did={0}$1&#39;)">Alberto European Mousse (Aerosol) - All Variants</a> </td> <td>Unilever PLC</td> <td>8132-01</td> </tr> </tbody> </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>不能。使用JavaScript解释器(<a href="https://pypi.python.org/pypi/python-spidermonkey" rel="nofollow">SpiderMonkey</a>)来执行代码,然后继续进行HTML解析。使用Qt的WebKit也是一种很好的方法,但可能会慢一些。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
Kerasterflow预训练模型中的纯训练偏差
9 回答
KerasTF Conv2D模型运行时无响应型号.fi
8 回答
Kerastuner Randomsearch:TypeError:(“关键字参数未理解:”,“激活”)
3 回答
Kerastuner ValueError:形状(320,)和(1,)不兼容
7 回答
Kerastuner:“ValueError:不是法律参数”问题,当我使用LSTM网络时,但密集层工作正常
3 回答
KerasTuner:是否可以在目标/度量函数中使用测试/验证集?
7 回答
KerasTuner自定义目标函数
10 回答
kerastuner调整层数会创建与报告的层数不同的层数
8 回答
KerasTuner运行时错误:构建模型的失败尝试太多
8 回答
kerasv1.2.2与kerasv2+的奇怪行为(精确度上的巨大差异)
4 回答
kerasvis中visualize_-cam/visualize_显著性的热图输出形状
10 回答
Kerasvis和tfkerasvis的激活最大化不适用于MobileNetV2模型
6 回答
Kerasvis对于显著性图表,我们应该使用softmax还是线性激活
4 回答
Kerasvis给出以下错误:AttributeError:多个入站节点
8 回答
kerasyolov3模型中预期输入和目标的格式和形状
2 回答
Keras一个GPU可以同时训练两个不相关的模型吗?
10 回答
Keras一类CNN两个输入,每一步一个
5 回答
keras三维张量上的Softmax层
5 回答
Keras三维目标预测
1 回答
keras上的flatten与python中的Image的区别
3 回答