从后台的python生成器中,从单独的进程中预取元素

multiprocessing-generator的Python项目详细描述


从后台的python生成器中预取项目的库, 使用单独的过程。

安装(无依赖项):

pip install multiprocessing_generator

示例:

from multiprocessing_generator import ParallelGenerator

def my_generator():
    while True:
        # ... download something long ...
        yield result

with ParallelGenerator(
   my_generator(),
   max_lookahead=100) as g:
     for elem in g:
          # ... do some heavy processing on that element ...

在消耗的元素之前,最多有100个元素将由 在后台生成程序,这在生成程序和 使用者不使用相同的资源(例如网络与CPU)。

生成器处理异常和更严重的故障 透明的。

在麻省理工学院的许可下发布。

另请参见:https://github.com/justheuristic/prefetch_generator

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java爬虫获取外部网站搜索结果   java Bluestack未连接到eclipse   java如何从ConstraintViolationException Hibernamte获取数据库字段名   HttpResponse HttpResponse=httpClient引发java运行时错误。执行(httpPost);   Jama中矩阵的java点积和叉积   java有什么方法可以唯一地识别可扩展设备吗?   java我需要用*来写我的名字,但我不断遇到一个错误,我对编码很陌生   java变量是在内部类中访问的。需要被宣布为最终决定。但我不想宣布最终结果   java如何缩短base64图像字符串,Android?   JavaSpringMVC:计划方法不自动触发   图形学习Java 2D API的好资源是什么?   如何在java中对方法进行排队   java JavaFX多行   java Selenium无法在[链接]上找到基于CSS元素的密码字段元素http://www.cartasi.it/gtwpages/index.jsp   Java中的equals()和hashCode()契约   软删除情况下的java Hibernate二级缓存   java为什么这段代码要两次调用这些方法?