简化并行任务过程的包
pyparallelize的Python项目详细描述
并行化
parallelize
是一个python包,用于简化在python中并行处理tak的过程。它利用multiprocessing
模块为您的作业生成新进程。
要求
- python 3.x
安装
要安装parallelize
,可以从源代码安装,也可以使用pip
。
要从源代码安装,请首先克隆存储库然后,在根目录中运行python setup.py install
。
文件
要构建文档,请在docs/
文件夹中运行make html
。文档将在docs/build/html
目录中找到。或者,查看文档here。
使用量
要在python中并行一个任务,您应该将整个代码包装在一个函数中,并让函数的第一个参数接收您的函数将要操作的iterable。
>>>fromparallelizeimportparallelize>>>deffoo(iterable:list)->int:...output=0...foriiniterable:...output=i**4...returnoutput>>>numbers=list(range(50000000))>>>%timefoo(numbers)Walltime:21.5s>>>parallelize.parallel(foo,numbers,6)Completed'parallel'in6.2743secs