如何在urllib2中使用多个代理?
你好!
我有一个任务——创建一个脚本,让它在网上走一圈,并从一个代理列表中切换代理。
我看到在urllib2模块里有ProxyHandler和HTTPPasswordMgr,但说明书写得不太详细。
1. 在文档中,ProxyHandler需要一个包含多个代理服务器的字典,我该怎么从这个列表中选择一个并用它来打开网址呢?
2. HTTPPasswordMgr有一个叫add_password的方法,这个方法是干什么的呢?它是怎么选择代理的认证信息的?里面的realm又是什么?
3. 在urllib2中,怎么正确使用多个代理?我在想是不是只需要创建一个包含所有代理的列表,然后为每个请求创建一个新的“opener”。
谢谢!
1 个回答
-1
ProxyHandler
可以为不同的协议(比如 HTTP 等)使用不同的代理,但我觉得这对你没有太大帮助。你应该可以很容易地写一个自己的类来满足你的需求。