Selenium长时间运行后的问题

Question

我一直在使用Selenium作为scraper/crawler，因为在JS被评估之后，我需要一个页面的内容。我有五台EC2机器，每台都运行selenium和我编写的scraper的两个实例。在

然而，我注意到一些非常奇怪的行为。几个小时后，selenium几乎同时在所有机器上停止运行。考虑到我在所有服务器上同时启动selenium和scraper，这让我相信，在长时间运行之后，selenium会出现一些问题。在

以下是selenium的日志：

14:34:58.628 INFO - RemoteWebDriver instances should connect to: http://127.0.0.1:4444/wd/hub
14:34:58.629 INFO - Version Jetty/5.1.x
14:34:58.630 INFO - Started HttpContext[/selenium-server/driver,/selenium-server/driver]
14:34:58.631 INFO - Started HttpContext[/selenium-server,/selenium-server]
14:34:58.631 INFO - Started HttpContext[/,/]
14:34:58.753 INFO - Started org.openqa.jetty.jetty.servlet.ServletHandler@6a669053
14:34:58.753 INFO - Started HttpContext[/wd,/wd]
14:34:58.764 INFO - Started SocketListener on 0.0.0.0:4444
14:34:58.765 INFO - Started org.openqa.jetty.jetty.Server@2ef36617
21:24:41.031 INFO - Shutting down...

另一件有趣的事我注意到：在每个集群上，我总是有一个scraper实例出现以下错误：

^{pr2}$

我认为这意味着selenium或firefox（我与web驱动程序一起使用的浏览器）在一段时间后会弹出一个模式。在

有没有人有类似的问题/对如何解决这个问题有任何见解？在

Answer 1

在计算机上启动selenium独立服务器时，请尝试使用java命令的-timeout选项。首先尝试将其设置为非常小的值，以验证它是否导致了问题。而不是把它提高到很高的水平。在