并行python-worker-failu

2024-04-25 12:07:29 发布

您现在位置:Python中文网/ 问答频道 /正文

在使用pp并行处理一个非常复杂的机器学习问题时,我发现自己不得不相当广泛地依赖于质量不同的第三方库。尤其是在不同的数据集上集中使用时,其中一个具有相当数量的边缘案例崩溃。我最终将不得不解决这些问题,但在短期内,试图修复我和他们的bug实在是太多了——而这个库确实是最好的。你知道吗

我的问题是:是否有一个既定的模式来允许pp中本地工作进程的正常失败?你知道吗

我看到的选项是:

  1. 不要使用任何本地工作进程,只使用远程工作进程,然后依赖套接字超时。你知道吗
  2. Shell全部工作到一个辅助python脚本,我将其包装并作为一个单独的进程执行,然后使用退出代码检查崩溃。这可能需要与超时结合起来,以防止出现非segfault故障情况。你知道吗

我是不是漏了什么?我一直在看聚丙烯据我所知,在工作进程上没有出口检测。你知道吗


Tags: 数据脚本机器数量远程进程选项模式