Python中文
首页
教程
问答
标签
搜索
登录
注册
如何避免HTTP错误429(请求太多)python
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正试图使用Python登录到一个网站并从多个网页收集信息,结果出现以下错误:</p> <blockquote> <pre><code>Traceback (most recent call last): File "extract_test.py", line 43, in <module> response=br.open(v) File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 203, in open return self._mech_open(url, data, timeout=timeout) File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 255, in _mech_open raise response mechanize._response.httperror_seek_wrapper: HTTP Error 429: Unknown Response Code </code></pre> </blockquote> <p>我使用了<code>time.sleep()</code>并且它是有效的,但是它看起来既不聪明又不可靠,有没有其他方法可以避免这个错误?</p> <p>这是我的代码:</p> <pre><code>import mechanize import cookielib import re first=("example.com/page1") second=("example.com/page2") third=("example.com/page3") fourth=("example.com/page4") ## I have seven URL's I want to open urls_list=[first,second,third,fourth] br = mechanize.Browser() # Cookie Jar cj = cookielib.LWPCookieJar() br.set_cookiejar(cj) # Browser options br.set_handle_equiv(True) br.set_handle_redirect(True) br.set_handle_referer(True) br.set_handle_robots(False) # Log in credentials br.open("example.com") br.select_form(nr=0) br["username"] = "username" br["password"] = "password" br.submit() for url in urls_list: br.open(url) print re.findall("Some String") </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>编写这段代码解决了我的问题:</p> <p><code>requests.get(link, headers = {'User-agent': 'your bot 0.1'})</code></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
使用Python创建一个非常大的二进制频率矩阵来运行协作过滤
7 回答
使用Python创建一张HTML网页,其中在不同颜色中重复n遍显示“Hello World”的方法
3 回答
使用Python创建一组唯一的值length L
10 回答
使用python创建不同表格的透视表
10 回答
使用python创建不和谐频道
3 回答
使用python创建不存在的多个文件夹
2 回答
使用python创建串行远程文件
2 回答
使用python创建交互式仪表板时出现问题
8 回答
使用python创建交互式绘图
2 回答
使用python创建交互式自动电子邮件
1 回答
使用Python创建价格列表
8 回答
使用python创建修改的txt文件
2 回答
使用Python创建全局变量,初始化后更改值
2 回答
使用Python创建关键字搜索词数组
2 回答
使用Python创建具有不均匀块大小/堆叠条形图的热图
1 回答
使用Python创建具有依赖于另一列的值的列
2 回答
使用Python创建具有多列的HTML表
5 回答
使用Python创建具有时间范围数据的等距数据帧
5 回答
使用Python创建具有特定顺序或属性的XML文件
1 回答
使用Python创建具有级联功能的搜索栏
5 回答