支持多线程的Python网络爬虫
最近我在写一个网页爬虫的脚本，但我遇到一个问题，就是我的网速非常慢。 所以我在想，是否可以通过使用 mechanize 或 urllib 等工具，来实现多线程的网页爬虫。 如果有人有这方面的经验，能分享一下信息，我会非常感激。 我在谷歌上找过，但没找到什么有用的信息。 提前谢谢大家！
3 个回答
1
同时向很多网站发送多个请求，肯定能提高你的结果，因为你不需要等一个请求的结果出来再去发下一个请求。
不过，使用线程只是实现这个目的的一种方法（而且我觉得这不是个好方法）。别用线程来做这个。其实你只需要在发送下一个请求时，不用等上一个请求的回复就行了！根本不需要用线程。
一个不错的选择是使用scrapy。它是一个快速的高级网页抓取和网络爬虫框架，用于爬取网站并从页面中提取结构化数据。这个框架是用python写的，可以同时建立很多连接来获取数据（而不需要用线程）。它真的很快。你也可以学习一下它是怎么实现的。
3
这篇文章《用Python进行实用的多线程编程》非常值得一读。
4
在这个Stack Overflow 讨论帖中，有一个很好的简单例子。