简单的多处理框架
multiworker的Python项目详细描述
今天的计算机几乎都是多核机器。然而,由于cpython的gil,利用这些多核 不简单。例如,multithreading模块实际上是无效的,因为多线程处理不会 除非线程在I/O操作中被绑定,否则会发生。
然而,python提供了一种实际利用多核并行性的方法:模块multiprocessing。
multiprocessing的问题是,给了您一个非常“低级”的管道机制。它为你提供了 用于创建多个(子)进程的工具,用于在(子)进程之间通信的工具,用于同步的工具 在(子)进程之间……但这就是问题所在。当你开始制作程序来利用multiprocessing时 powers,你会很快发现你必须继续构建完全相同的代码结构。一路上,你 可以说,继续“创造轮子”。
这个包旨在通过删除 必须继续创建“harness”代码。
简而言之,这段代码的目的是multiprocessing为requests做了什么urllib:提取 并提供一个更直观的工具集来实现多核感知程序。