Python：高cpu垃圾如何调试

Question

我试着调试我的cpu使用率。我已经试了好几种方法：

• 将sleep(0.1)添加到管道
• 禁用管道
• 在job persistence中使用Scrapyd（JOBDIR参数将数据保存到磁盘，而不是将其保存在内存中），但我想这只对RAM有效。在
• 使用如下设置设置每个cpu的作业量。在

在碎屑.cfg公司名称：

[scrapyd]    
max_proc = 0    
max_proc_per_cpu = 2

这也没用。以下是我运行蜘蛛时的统计数据：

^{pr2}$

有谁能帮忙吗？我注意到，如果我加上sleep(0.1)，我在CPU使用率图表中看不到峰值，但是在几分钟内CPU使用率一直保持在50%左右。因为蜘蛛显然需要更长的时间才能完成。但我觉得奇怪的是，在执行任务的过程中，它总是使用50%的cpu。当更多的刮板同时运行时，cpu将超过70%，大部分时间它使用几乎100%的cpu。在