具有负载平衡和可自定义资源消耗约束的轻量级多进程执行池。

pyexpool的Python项目详细描述


pyexpool是一个并发执行池,具有自定义的资源约束(内存、超时、关联、cpu核心和缓存)和numa架构上外部应用程序的负载平衡。所有主要功能都实现为单个文件模块,可以轻松地包含在项目中,并作为发行版的一部分进行自定义(例如在PyCaBeM中,可以在专用CPU内核上并行执行多个应用程序,并避免它们从主内存中交换),还可以将其安装为库。在单独的模块中提供了一个可选的极简web接口,用于检查负载均衡器和执行池。通常,pyexpool被用作在受限计算资源上进行基准测试、负载测试或其他重载多进程执行活动的应用程序框架。pyexpool便于细粒度的资源控制(包括在特定数量的可选专用逻辑cpu上执行应用程序)和故障转移执行。

hwloc / lstopo should be additionally installed if customized CPU affinity masking and cache control are required, see Requirements section.

请查看PyExPool page的详细信息,如果您喜欢,请启动该项目!如需进一步帮助,您可以给我发电子邮件或写信me on Linkedin

双唇:

@misc{pyexpool,author={Artem Lutov and Philippe Cudré-Mauroux},title={PyExPool-v.3: A Lightweight Execution Pool with Constraint-aware Load-Balancer.},year={2018},url={https://github.com/eXascaleInfolab/PyExPool}}

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何在tex文件中以读/写方式拆分一行?   java Ping选项s的值不正确,有效范围为1到4   java我需要在Eclipse中设置/配置哪些环境变量(对于SeleniumWebDriver)?如果我不设置/配置它们呢?   java将经过筛选的第二个表的两列映射到一个集合成员   垃圾收集Java:增加YoungGen大小以提高GC性能   JavaHibernate对复杂连接执行两个查询,而不是一个查询   foreach Java 8:映射而非简单循环   java指定ThreadPoolExecutor问题   java如何解决此错误:二进制运算符“&&”的操作数类型错误   JavaJPA+MariaDB:排序规则如何影响unicode支持?   在循环中RxJava中变量延迟前后的java执行函数   java初始化数组中的数组   java在LWJGL中绘制四边形时,我做错了什么?   java错误找不到符号变量id   java组织。阿帕奇。log4j。jmx不具备生产质量?(log4j 1.2)