Python使用requests提交网页表单

Question

我想用Python爬取这个网站，但在提交表单时遇到了问题。我提交表单后得到的响应还是同一个表单页面，而不是提交后的结果。我试过用requests 库/ mechanize / urllib。

这是我用requests写的代码：

url = "http://www.justiceservices.gov.mt/courtservices/Judgements/search.aspx?func=selected"
payload = {'ctl00$ContentPlaceHolderMain$search_selected_panel$tb_date_from':'',
           'ctl00$ContentPlaceHolderMain$search_selected_panel$tb_date_to':'',
           'ctl00$ContentPlaceHolderMain$search_selected_panel$dd_court':108,
           'ctl00$ContentPlaceHolderMain$search_selected_panel$dd_judiciary':'',
           'ctl00$ContentPlaceHolderMain$search_selected_panel$tb_litigant1':'',
           'ctl00$ContentPlaceHolderMain$search_selected_panel$tb_litigant2':'',
           'ctl00$ContentPlaceHolderMain$search_selected_panel$tb_keywords':'',
           'ctl00$ContentPlaceHolderMain$search_selected_panel$keywords':'rb_keywords_matching_all',                    
           'ctl00$ContentPlaceHolderMain$search_selected_panel$bt_search':'Search',
           'ctl00$ContentPlaceHolderMain$search_selected_panel$result_count_panel$dd_result_count':10}
headers = {'content-type': 'application/x-www-form-urlencoded'}
r = requests.post(url,payload,allow_redirects=True)
print r.headers
print r.text

我需要提交额外的数据吗？还是说我的方法不适合这种类型的表单？这个网站使用的是网页表单。

Answer 1

如果你查看一下requests库的源代码，特别是这个链接：https://github.com/kennethreitz/requests/blob/master/requests/api.py#L80，你会发现post方法并不考虑args参数。在没有时间进行测试的情况下，看起来你可能需要这样做：

r = requests.post(url, data=payload, allow_redirects=True