Python中文
首页
教程
问答
标签
搜索
登录
注册
有没有一种简单快速的方法来生成JavaScript?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我的问题开始于我尝试爬网一个应用商店,比方说googleplay。 对于每个应用程序都有很多评论,我想抓取他们快。 但是google中的评论部分是由java脚本生成的。 这里有一个链接,例如:<a href="https://play.google.com/store/apps/details?id=com.gameloft.android.ANMP.GloftAMHM" rel="nofollow">https://play.google.com/store/apps/details?id=com.gameloft.android.ANMP.GloftAMHM</a>在这个链接中,您可以看到为了生成更多的注释,您需要多次单击按钮。(大约5-6次单击后)该页面通过执行javascript生成更多注释。你知道吗</p> <p>一开始我用一个web驱动程序(firefox)解决了这个问题,模拟一个真实的人点击按钮,它会生成评论,他一直按直到所有的评论都生成。你知道吗</p> <p>问题是:1、时间太长。2、有时点击数过多,生成JS后,web浏览器无法响应。你知道吗</p> <p>我需要的是一种方法,以更好,更快的方式生成每个应用程序的所有评论。也许有某种技术,或者其他任何东西可以改进我的解决方案</p> <p>我用的是我在scrapy中创建的蜘蛛。你知道吗</p> <p>我们将非常感谢您的帮助</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>他们生成/显示附加评论的原因之一正是他们不希望有人对其进行爬网。。。另一种是在没有它们的情况下加载初始页面(更快),并且只有当有人开始阅读评论时才会显示更多的内容。。你知道吗</p> <p>除非他们提供了一个API,你可以拉所有的评论一次,我看不到另一个快速拉他们的方式,除了模拟点击和滚动。。。(慢动作)</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
Kerasterflow预训练模型中的纯训练偏差
9 回答
KerasTF Conv2D模型运行时无响应型号.fi
5 回答
Kerastuner Randomsearch:TypeError:(“关键字参数未理解:”,“激活”)
6 回答
Kerastuner ValueError:形状(320,)和(1,)不兼容
5 回答
Kerastuner:“ValueError:不是法律参数”问题,当我使用LSTM网络时,但密集层工作正常
5 回答
KerasTuner:是否可以在目标/度量函数中使用测试/验证集?
10 回答
KerasTuner自定义目标函数
9 回答
kerastuner调整层数会创建与报告的层数不同的层数
7 回答
KerasTuner运行时错误:构建模型的失败尝试太多
7 回答
kerasv1.2.2与kerasv2+的奇怪行为(精确度上的巨大差异)
10 回答
kerasvis中visualize_-cam/visualize_显著性的热图输出形状
1 回答
Kerasvis和tfkerasvis的激活最大化不适用于MobileNetV2模型
1 回答
Kerasvis对于显著性图表,我们应该使用softmax还是线性激活
6 回答
Kerasvis给出以下错误:AttributeError:多个入站节点
5 回答
kerasyolov3模型中预期输入和目标的格式和形状
7 回答
Keras一个GPU可以同时训练两个不相关的模型吗?
2 回答
Keras一类CNN两个输入,每一步一个
5 回答
keras三维张量上的Softmax层
6 回答
Keras三维目标预测
8 回答
keras上的flatten与python中的Image的区别
10 回答