线程池控制

threadpoolctl的Python项目详细描述


线程池控件Build Statuscodecov

python helpers来限制 用于科学研究的公共本机库的线程池 计算和数据科学(如BLAS和OpenMP)。

对底层线程池大小的精细控制在 涉及嵌套并行以减轻 超额认购问题。

安装

  • 对于用户,请从pypi安装最新发布的版本:

    pip install threadpoolctl
    
  • 对于贡献者,从developer中的源存储库安装 模式:

    pip install -r dev-requirements.txt
    flit install --symlink
    

    然后使用pytest运行测试:

    pytest
    

用法

运行时内省

反思启用线程池的运行库的当前状态 导入python包时加载的:

>>>fromthreadpoolctlimportthreadpool_info>>>frompprintimportpprint>>>pprint(threadpool_info())[]>>>importnumpy>>>pprint(threadpool_info())[{'filepath':'/opt/venvs/py37/lib/python3.7/site-packages/numpy/.libs/libopenblasp-r0-382c8f3a.3.5.dev.so','internal_api':'openblas','num_threads':4,'prefix':'libopenblas','user_api':'blas','version':'0.3.5.dev'}]>>>importxgboost>>>pprint(threadpool_info())[{'filepath':'/opt/venvs/py37/lib/python3.7/site-packages/numpy/.libs/libopenblasp-r0-382c8f3a.3.5.dev.so','internal_api':'openblas','num_threads':4,'prefix':'libopenblas','user_api':'blas','version':'0.3.5.dev'},{'filepath':'/opt/venvs/py37/lib/python3.7/site-packages/scipy/.libs/libopenblasp-r0-8dca6697.3.0.dev.so','internal_api':'openblas','num_threads':4,'prefix':'libopenblas','user_api':'blas','version':None},{'filepath':'/usr/lib/x86_64-linux-gnu/libgomp.so.1','internal_api':'openmp','num_threads':4,'prefix':'libgomp','user_api':'openmp','version':None}]
< H3>设置线程池的最大大小< EH3>

控制底层运行库使用的线程数 在python程序的特定部分:

fromthreadpoolctlimportthreadpool_limitsimportnumpyasnpwiththreadpool_limits(limits=1,user_api='blas'):# In this block, calls to blas implementation (like openblas or MKL)# will be limited to use only one thread. They can thus be used jointly# with thread-parallelism.a=np.random.randn(1000,1000)a_squared=a@a

已知限制

threadpool_limits在嵌套的并行循环中不按预期工作 由不同的openmp运行时实现(例如libgomp)管理 来自gcc和clang/llvm的libomp或来自icc的libiomp)。

请参见tests/test_threadpoolctl.py中的test_openmp_nesting()函数。 举个例子。

维护人员

发布:

pip install flit
flit build

检查dist/的含量。

如果一切正常,请提交发布,标记它,并按 标记到github,然后:

flit publish

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java JavaFX FXML控制器密钥处理程序代码不工作   java为什么在thymeleaf布局中包含的图像需要很长时间才能显示?   更改Java数组的维数   java文本不会显示在文本框(单选按钮)上   内存不足使用Jmap在OutOfMemoryError上转储Java堆文件   通过浏览器偏移进行java时间转换   java意图不可序列化   java iTextPdf:动态更改单元格宽度   具有资源值的java SpringJUnit4 ClassRunner上下文配置   java AsyncTask仍在最近的应用程序上运行   尝试生成Cucumber报告时出现java CucumberException   爪哇,爪哇。朗。反思。带摘要分析器的InvocationTargetException   java如何在log4j2中实现日期模式转换器   带有MongoRepository:DBRef的java Spring   java将字节[]转换为int   来自服务器的java移动应用自动拨号消息   java如何调用泛型类型为T[]的方法作为参数?   java在switch语句中使用ArrayList类