如何确定表单提交中需要哪些标题

2024-03-29 02:05:50 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在编写一个python脚本来收集大量数据,不幸的是,这需要提交一些web表单来获取我感兴趣的信息。因为这需要重复几千次,所以自动化它是有意义的

我从来没有处理过这种事情的形式方面,所以我有几个问题。下面是我正在使用的代码片段:

url = 'http://example.com/result.do'
values = {'id' : 'value', 'id' : 'value', 'submit' : 'Submit'}
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

我的问题: 我是否需要传递所有表单字段,即使我没有选择它们

我需要用这个传递HTTP头吗?如果需要,有人能给我一个很好的解释吗

我遗漏了什么吗


Tags: 数据脚本web信息idurl表单data