Python中的多线程爬虫真的能加快速度吗？

Question

我想用Python写一个小的网络爬虫。最近我在研究怎么把它写成一个多线程的脚本，一个线程池负责下载，另一个线程池处理结果。由于有个叫GIL的东西，这样真的能同时下载吗？GIL对网络爬虫有什么影响？每个线程会先从网络连接中取一些数据，然后再让下一个线程来取数据，依次进行吗？

简单来说，我想知道在Python中做一个多线程的爬虫，真的能比单线程的爬虫提高多少性能？

谢谢！

Answer 1

看看scrapy是怎么工作的吧。它能帮你很多忙。它不使用线程，但可以在同一个线程里同时进行多个下载。

想想看，你只有一张网络卡，所以从定义上来说，真正的并行处理其实帮不了你多少。

scrapy做的事情就是不在一个请求的响应上浪费时间，而是在等待一个请求的同时，直接发送下一个请求。所有这些都是在一个线程里完成的。

Answer 2

在进行网络操作时，Python解释器并不会持有全局解释器锁（GIL）。如果你在做一些依赖网络的工作，比如爬虫程序，那么你可以放心地忽略GIL带来的影响。

另一方面，如果你创建了很多线程来处理下载后的数据，你可能想要测量一下你的性能。在这种情况下，限制线程的数量可以减少GIL对你性能的影响。

Answer 3

在进行网络爬虫的时候，使用一些基于事件的工具，比如Twisted，可能会更好。它通过非阻塞的异步套接字操作来获取和返回数据，这样就不会在每次请求时都卡住。

异步网络操作通常是单线程的，这样可以更高效。网络输入输出的延迟通常比CPU要高，因为你根本不知道一个网页需要多长时间才能返回。而异步操作在这里就很有优势，因为它比线程要轻便得多。

补充一下：这里有一个简单的例子，展示了如何使用Twisted的getPage来创建一个简单的网络爬虫。