硒网

Question

当我使用Selenium和scrapy来爬行dymanicjs开发的信息时webdriver.PhantomJS文件但是我在cmd窗口中发现了这样的调试信息

你知道吗selenium.webdriver.remote文件.remote\u connection]调试：POSThttp://127.0.0.1:57000/wd/hub/session/26c385f0-d448-11e5-80bb-7575f0e930be/url

会有很多人，他们拖慢了我的脚步蜘蛛。怎么了我能把它关掉吗？我只想加快蜘蛛的速度。你知道吗

Answer 1

这是硒记录，而记录本身并不会减慢速度。启动和自动化一个真正的浏览器（甚至是无头的）的需要是减缓网页抓取过程的原因。你知道吗

如果不希望看到信息和调试消息，请将日志记录级别更改为警告：

import logging

selenium_logger = logging.getLogger('selenium.webdriver.remote.remote_connection')
selenium_logger.setLevel(logging.WARNING)

把这个放到你的crapy项目的settings.py中。你知道吗