Chrome中的长页面加载

Question

我使用selenium和scrapinghub crawlera在Python3.6中构建了一个scraper。我正试图取回这辆车并下载它的照片https://www.cars.com/vehicledetail/detail/800885995/overview/但是页面只是长时间保持加载。我想弄明白的是，如何在4分钟后阻止浏览器继续加载

我尝试过显性和隐性等待，但都没有成功

driver = webdriver.Chrome('/usr/bin/chromedriver', 
                            desired_capabilities=capabilities, 
                            options=chrome_options)
driver.implicitly_wait(180)
driver.get(url)

Answer 1

您需要使用driver.set_page_load_timeout()设置加载的最大等待时间。 如果页面超过加载时间，浏览器将抛出TimeoutException。你所需要做的就是照顾它

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Chrome('/usr/bin/chromedriver', 
                            desired_capabilities=capabilities, 
                            options=chrome_options)

driver.set_page_load_timeout(time_to_wait)
try:
    driver.get(url)
except TimeoutException:
    # Do what you need here