scrapyd:是否可以返回作业的错误状态

2024-06-10 14:54:10 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个应用程序,它通过scrapyd来安排抓取工作。 项很好地流向数据库,我可以通过listjobs.json监视作业状态终点。所以很好,我甚至可以知道什么时候工作结束。在

然而,有时工作会失败。或者可能是因为HTTP错误。我想访问已完成的作业状态,最好是从scrapydapi。什么东西列表作业.json今天给我的结果是,我希望得到的结果是:

{"status": "ok",


"error": [{"id": "78391cc0fcaf11e1b0090800272a6d06", "spider": "spider1"}],
 "running": [{"id": "422e608f9f28cef127b3d5ef93fe9399", "spider": "spider2", "start_time": "2012-09-12 10:14:03.594664"}],
 "finished": [{"id": "2f16646cfcaf11e1b0090800272a6d06", "spider": "spider3", "start_time": "2012-09-12 10:14:03.594664", "end_time": "2012-09-12 10:24:03.594664"}]}

当然,我可以让作业自己更新一些数据库或文件,我可以从应用程序中查看,但我想知道有没有更干净的方法。在


Tags: id数据库json应用程序httptime错误作业