python网页抓取，提交数据，得到输出

Question

我有一个搜索数据的网站（http://wedge3.hcauditor.org），
这是起始页上的图像。在

输入示例-

这里第一个输入框（House # Range）=3419
而second one是 (empty)
and third one(Street Name）=Wabash

当我们提交这些数据并且有了这个链接， http://wedge3.hcauditor.org/view/re/0570005018800/2017/summary

我们无法创建用于搜索数据的URL，因为仅此链接包裹ID（0570005018800）发生了更改

实际上，我对pythonwebscrapt还不熟悉，但我对urllib、beautifulsoup和requests模块有很好的了解。在

我需要知道，我们可以用python来做这个吗，如果是哪个模块来做这个。在

我使用的是python3.6

Answer 1

你可以用硒。下面的简单示例-

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

browser = webdriver.Chrome("./chromedriver") #download chromebrowser
browser.get("http://wedge3.hcauditor.org/") #open page in browser
outDF = pd.DataFrame(columns=['prodname', 'imageurl', 'minprice', 'maxprice', 'actualprice']) #template of data
browser.find_element(By.XPATH, "//input[contains(@name, 'site_house_number_low')]").send_keys('3419')
browser.find_element(By.XPATH, "//input[contains(@name, 'site_street_name')]").send_keys('Wabash')
x = browser.find_elements(By.XPATH, "//button[contains(@type, 'submit')]/span")[1].click()

#browser.quit()

你将不得不下载chromedriver