有没有一种简单快速的方法来生成JavaScript？

Question

我的问题开始于我尝试爬网一个应用商店，比方说googleplay。 对于每个应用程序都有很多评论，我想抓取他们快。 但是google中的评论部分是由java脚本生成的。 这里有一个链接，例如：https://play.google.com/store/apps/details?id=com.gameloft.android.ANMP.GloftAMHM在这个链接中，您可以看到为了生成更多的注释，您需要多次单击按钮。（大约5-6次单击后）该页面通过执行javascript生成更多注释。你知道吗

一开始我用一个web驱动程序（firefox）解决了这个问题，模拟一个真实的人点击按钮，它会生成评论，他一直按直到所有的评论都生成。你知道吗

问题是：1、时间太长。2、有时点击数过多，生成JS后，web浏览器无法响应。你知道吗

我需要的是一种方法，以更好，更快的方式生成每个应用程序的所有评论。也许有某种技术，或者其他任何东西可以改进我的解决方案

我用的是我在scrapy中创建的蜘蛛。你知道吗

我们将非常感谢您的帮助

Answer 1

他们生成/显示附加评论的原因之一正是他们不希望有人对其进行爬网。。。另一种是在没有它们的情况下加载初始页面（更快），并且只有当有人开始阅读评论时才会显示更多的内容。。你知道吗

除非他们提供了一个API，你可以拉所有的评论一次，我看不到另一个快速拉他们的方式，除了模拟点击和滚动。。。（慢动作）

Answer 2

你尊重robots.txt吗？为什么？为什么不？你知道吗