刮取搜索结果

Question

我想动态地抓取一个搜索结果。在

如果我不知道搜索结果的url，如何开始抓取？在

这不是一个单一的谷歌搜索；它是搜索引擎特定的搜索结果与汽车的vin号码。在

我已经编写了通过excel文件并基于vins进行搜索的代码。搜索结果一个接一个出现在一个新窗口中，我想从每个结果页抓取特定的数据。在

我希望这有道理。在

以下是我目前为止用python编写的代码：

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
import openpyxl
import os
import webbrowser
import csv
import urllib.request
from bs4 import BeautifulSoup as soup
from openpyxl import load_workbook

chrome_path = r"C:\Users\siamak\Downloads\chromedriver_win32\chromedriver.exe"
driver = webdriver.Chrome(chrome_path)

wb = openpyxl.load_workbook('VINS.xlsx')
sheet=wb['Sheet1']

for row in sheet.iter_rows(min_row=1, max_col=1, max_row=3):


    for cell in row:
        driver.get("http://www.autoreturn.com/las-vegas-nv/find-vehicle/")
        driver.find_element_by_name("vin")
        driver.find_element_by_name("vin").send_keys((cell.value).strip())
        driver.find_element_by_xpath("""//*[@id="searchParameters"]/div[3]/div[2]""").click()
    #   driver.get("http://www.autoreturn.com/las-vegas-nv/find-vehicle/results")
        driver.find_element_by_xpath("""//*[@id="vehicle-search-results"]/form/div/input""").click()
        time.sleep(4)